Decoupled Mixture-of-Experts for Parametric Knowledge Injection

Resumen Técnico: Mezcla de Expertos Desacoplada para la Inyección de Conocimiento Paramétrico

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLMs) poseen un conocimiento paramétrico estático tras su preentrenamiento, lo que deriva en fallos ante consultas de dominio específico o sensibles al tiempo, resultando frecuentemente en alucinaciones o respuestas desactualizadas. Los paradigmas existentes de inyección de conocimiento enfrentan un compromiso fundamental entre flexibilidad y profundidad de integración:

• Generación Aumentada por Recuperación (RAG): Mantiene el conocimiento externo y fácilmente actualizable, pero lo inyecta solo a nivel de prompt. Esto proporciona una integración superficial y sufre de ineficiencias de inferencia debido a la recuperación repetida y al procesamiento de contextos largos.
• Métodos de Post-entrenamiento (p. ej., SFT, LoRA): Codifican el conocimiento directamente en los parámetros del modelo para una integración más profunda. Sin embargo, actualizar parámetros compartidos conlleva riesgos de olvido catastrófico, conflictos de conocimiento y altos costos de reentrenamiento, careciendo de modularidad y capacidad de actualización independiente.

El cuello de botella arquitectónico central identificado es la falta de un mecanismo para aislar el conocimiento heterogéneo, dirigirlo a módulos específicos y expandir el modelo incrementalmente sin perturbar capacidades no relacionadas ni romper la eficiente inferencia auto-regresiva.

Metodología: Mezcla de Expertos Desacoplada (DMoE)
Los autores proponen DMoE, una arquitectura modular que desacopla tanto los módulos de expertos como el enrutador del modelo base congelado.

1. Arquitectura y Construcción de Expertos:

   • Desacoplamiento: A diferencia de la Mezcla de Expertos (MoE) convencional, donde los enrutadores y los expertos se entrenan y embeben conjuntamente dentro del backbone, DMoE mantiene el modelo base congelado.
   • Expertos: Los corpus de conocimiento externo se particionan en unidades semánticas. Para cada unidad, se entrena de forma independiente un módulo de experto ligero (implementado como un adaptador LoRA) utilizando datos de estilo de instrucción derivados de dicha unidad. Estos expertos se almacenan externamente y pueden añadirse, eliminarse o actualizarse sin reentrenar el modelo base.
   • Ubicación: Para soportar una generación auto-regresiva eficiente, los expertos se adjuntan únicamente a la red de Alimentación hacia Adelante (FFN) de la última capa. Colocar expertos en capas intermedias alteraría los estados ocultos alimentados a los bloques de atención subsiguientes, invalidando el caché de Clave-Valor (KV) y forzando la recomputación. Al restringir los expertos a la última capa, DMoE preserva la validez de los estados de atención cacheados de las capas anteriores.

2. Enrutamiento Consciente de la Incertidumbre:

   • Activación: Un enrutador ligero se activa solo cuando el modelo base exhibe conocimiento insuficiente. Esto se determina mediante la Incertidumbre de Token (TU), calculada como la entropía de la distribución softmax del modelo en cada paso de decodificación. Si $TU > \tau$ (un umbral), se activa el enrutamiento.
   • Selección: El enrutador utiliza una búsqueda léxica basada en BM25 sobre sustitutos de texto asociados a cada experto. Recupera los $k$ mejores expertos cuyos documentos asociados mejor coinciden con el contexto de generación actual. Este diseño no requiere entrenamiento y es actualizable incrementalmente.
   • Activación: Los expertos seleccionados se componen con los parámetros del modelo base ($\theta_{eff} = \theta + \sum \Delta\theta_i$) solo para el estado de decodificación actual. El conjunto activo se mantiene hasta el siguiente evento de activación para evitar intercambios redundantes.

Contribuciones Clave

• Inyección de Conocimiento Paramétrico Modular: DMoE introduce un marco donde los expertos de conocimiento y el enrutador están totalmente desacoplados del modelo base, permitiendo actualizaciones independientes e integración modular.
• Diseño Seguro para el Caché: Al adjuntar los expertos exclusivamente a la FFN de la última capa, la arquitectura permite la aumentación de conocimiento a nivel de parámetro mientras preserva la reutilización del caché KV, un factor crítico para la eficiencia auto-regresiva.
• Activación Impulsada por la Incertidumbre: El sistema utiliza la entropía de los tokens para activar selectivamente los expertos solo cuando es necesario, evitando la sobrecarga de una recuperación constante o la modificación de parámetros.

Resultados Experimentales
Los autores evaluaron DMoE en cuatro bancos de pruebas intensivos en conocimiento: HotpotQA, ComplexWebQuestions (CWQ), Quasar-T y StrategyQA, utilizando Llama-3.2-1B y Qwen2.5-1.5B como modelos base.

• Efectividad: DMoE superó consistentemente a las líneas base densas y logró un rendimiento competitivo o superior comparado con RAG (Basic-RAG, FLARE) y métodos basados en adaptadores (PRAG, SFT-LoRA). Alcanzó la mejor puntuación o empató en la mejor puntuación en 11 de las 14 métricas reportadas.
• Eficiencia:
  • DMoE redujo la latencia de inferencia aproximadamente 3× en comparación con métodos de RAG dinámico como FLARE.
  • Redujo el uso de memoria GPU en 1.6×–1.9× en comparación con FLARE.
  • Los estudios de ablación confirmaron que adjuntar expertos a capas intermedias (rompiendo la reutilización del caché KV) degradaba significamente el rendimiento y la eficiencia, validando la estrategia de ubicación en la última capa.
• Comparación con MoE Acoplado: Al compararse con un backbone de MoE acoplado y ajustado (OLMoE), DMoE logró una mayor efectividad con un tiempo de inferencia significativamente menor (2.7–3.9s frente a 20.0s) y una huella de memoria reducida (7.2–8.3 GB frente a 26.1 GB), demostando que las ganancias provienen del desacoplamiento arquitectónico y no de la mera escalación de parámetros.

Significancia y Reivindicaciones
El artículo postula que DMoE ofrece una dirección prometedora para la inyección de conocimiento escalable y actualizable en los LLMs. Al tratar a los expertos como módulos externos y ligeros invocados solo cuando el modelo presenta incertidumbre, DMoE logra un compromiso efectividad-eficiencia estrictamente mejor que las arquitecturas MoE estándar o el RAG tradicional. El enfoque aborda las limitaciones de la actualización de parámetros compartidos (olvido/conflicto) y la inyección a nivel de prompt (integración superficial), manteniendo al mismo tiempo los beneficios computacionales de la generación auto-regresiva mediante la preservación del caché KV. Los autores enfatizan que el sistema es robusto a las elecciones de hiperparámetros (p. ej., top-$k$ expertos, umbrales de activación) y soporta actualizaciones incrementales sin reentrenar el backbone.