ExpertWeaver: Unlocking the Inherent MoE in Dense LLMs with GLU Activation Patterns

Resumen Técnico: ExpertWeaver

1. El Problema

Las arquitecturas de Mezcla de Expertos (MoE) son altamente eficientes para escalar la capacidad de los modelos de lenguaje (LLMs) activando solo un subconjunto disperso de parámetros por token. Sin embargo, entrenar modelos MoE de alta calidad desde cero es prohibitivamente costoso en términos computacionales.

Existen enfoques previos para convertir modelos densos preentrenados en MoE, pero presentan limitaciones significativas:

• Poda Estructural Dinámica: Convierte modelos densos en MoE con una dispersión moderada, pero a menudo rompe los patrones de activación intrínsecos del modelo.
• Downcycling (Reciclaje hacia abajo): Inicializa MoEs altamente dispersos dividiendo las capas MLP densas. Sin embargo, los métodos existentes ignoran las diferencias específicas por capa y rompen los patrones de activación naturales, lo que requiere entrenamiento adicional del enrutador (router) y conduce a una construcción subóptima de expertos.

La brecha clave: No existe un método que aproveche la estructura funcional inherente de los modelos densos modernos (basados en GLU) para crear una arquitectura MoE sin entrenamiento adicional y respetando la especialización neuronal original.

2. Metodología: ExpertWeaver

El artículo propone ExpertWeaver, un marco sin entrenamiento (training-free) que convierte modelos LLM densos en arquitecturas MoE eficientes. La metodología se basa en el análisis de los patrones de activación de la unidad lineal con puerta (GLU), que es el componente estándar en los LLMs modernos (como SwiGLU).

El proceso consta de tres etapas principales:

A. Captura de Patrones de Activación Multi-tarea

• Se utiliza un conjunto de datos de calibración multi-tarea (Flan-v2) para registrar las activaciones de las puertas (gate activations) de cada neurona en las capas GLU.
• Se analiza cómo se activan las neuronas a través de diferentes tareas para identificar su comportamiento funcional.

B. Asignación de Expertos Consciente de la Capa (Layer-Aware)

• Hallazgo Clave: Los autores descubren que la especialización neuronal varía sistemáticamente entre capas. Las capas iniciales y finales tienden a tener neuronas "universales" (activación consistente), mientras que las capas intermedias contienen neuronas "especializadas" (activación selectiva).
• Métrica: Se utiliza el Coeficiente de Variación (CV) de las activaciones para cuantificar la especialización. Un CV bajo indica una neurona universal; un CV alto indica una neurona especializada.
• Configuración Dinámica: En lugar de usar una configuración uniforme, ExpertWeaver asigna dinámicamente la proporción de "experto compartido" (shared expert) frente a "expertos enrutados" (routed experts) en cada capa según su nivel de especialización.

C. Construcción de Expertos y Enrutador

1. Experto Compartido: Se forman agrupando las neuronas más consistentemente activas (universales) en una sola capa que siempre está activa.
2. Expertos Enrutados: Las neuronas especializadas restantes se agrupan en múltiples expertos utilizando un algoritmo de K-Means Balanceado basado en sus patrones de co-activación.
3. Enrutador (Router) sin Entrenamiento: El enrutador se construye directamente promediando los vectores de puerta (gate vectors) originales de las neuronas dentro de cada cluster de experto. Esto preserva la lógica de enrutamiento aprendida durante el preentrenamiento original sin necesidad de fine-tuning inicial.

3. Contribuciones Clave

1. Análisis de Patrones GLU: Se demuestra que los patrones de activación a nivel de neurona en las capas GLU revelan una estructura de MoE inherente, identificando claramente neuronas universales y especializadas.
2. Marco ExpertWeaver: Un método novedoso y sin entrenamiento que realiza la conversión densa-a-MoE respetando la arquitectura interna del modelo, incluyendo una asignación de expertos adaptativa por capa.
3. Rendimiento Superior: Validación experimental que demuestra que ExpertWeaver supera a los métodos de poda estructural y estrategias de downcycling existentes, tanto en escenarios de inferencia directa como en inicialización para entrenamiento continuo.

4. Resultados Experimentales

Los experimentos se realizaron en modelos como Qwen2.5-7B y LLaMA3-8B.

• Poda Estructural Dinámica (Sin entrenamiento):

  • En un escenario de poda al 25% de dispersidad, ExpertWeaver superó consistentemente a baselines como LLM-Pruner, FLAP y CMoE.
  • Logró una mejora relativa del 5.6% sobre CMoE en LLaMA3-8B y del 3.1% sobre LLM-Pruner en Qwen2.5-7B en el benchmark MMLU.
  • Mantuvo capacidades de razonamiento y codificación mucho mejor que los métodos de poda estática, que sufren una pérdida irreversible de información.

• Estrategia de Downcycling (Inicialización para CPT):

  • Al convertir Qwen2.5-7B en un MoE y realizar un preentrenamiento continuo (CPT) limitado (200B tokens), el modelo resultante superó a modelos MoE entrenados desde cero con presupuestos similares.
  • El modelo ExpertWeaver (Qwen2.5-7B) alcanzó un promedio de 63.5 en múltiples tareas, superando a OLMoE-1B-7B* (entrenado con más del doble de datos) en 4.6 puntos.
  • Retuvo el 87.6% del rendimiento del modelo denso original activando solo el 25% de los parámetros del MLP.
  • En comparación con modelos densos de tamaño similar (ej. Qwen2.5-3B), el modelo downcycled logró un rendimiento superior, demostrando la eficiencia de la estrategia.

• Eficiencia de Inferencia:

  • Las pruebas de servicio (serving) mostraron que ExpertWeaver logra un mayor rendimiento (throughput) y menor latencia en GPUs (A100/H100) en comparación con el modelo denso original, debido a la reducción de parámetros activos por token.

5. Significado e Impacto

• Eficiencia de Recursos: ExpertWeaver ofrece una ruta viable y económica para desbloquear la capacidad de MoE en modelos densos existentes sin los costos masivos de entrenamiento desde cero.
• Preservación de Conocimiento: Al basarse en los patrones de activación originales y no en la duplicación de pesos o poda aleatoria, el método preserva mejor el conocimiento fundamental del modelo preentrenado.
• Flexibilidad: Funciona tanto como una técnica de optimización de inferencia inmediata (poda dinámica) como como una estrategia robusta de inicialización para modelos MoE que requieren entrenamiento adicional.
• Innovación Arquitectónica: Establece que la arquitectura GLU, a menudo vista solo como una mejora de activación, contiene en sí misma la semilla de una arquitectura MoE eficiente, guiando el diseño futuro de modelos más eficientes.

En conclusión, ExpertWeaver demuestra que es posible "tejer" (weave) la estructura neuronal de un modelo denso en una arquitectura MoE de alto rendimiento de manera automática, sin entrenamiento, aprovechando la inteligencia latente ya presente en los modelos preentrenados.