Resumen Técnico: Poda y Destilación de Mezclas de Expertos en Modelos de Lenguaje Densos

Enunciado del Problema

Las arquitecturas de Mezcla de Expertos (MoE) se han convertido en el paradigma dominante para los modelos de lenguaje grandes (LLM) de vanguardia debido a su capacidad para escalar el número total de parámetros manteniendo la eficiencia en el entrenamiento y la inferencia. Sin embargo, persiste una limitación fundamental: a pesar de activar solo una fracción de parámetros por token, los modelos MoE requieren que todos los parámetros de los expertos se carguen en memoria. Esta huella de memoria los hace inadecuados para escenarios de despliegue con restricciones de memoria, como la inferencia en dispositivos o la inferencia en una sola GPU.

Las soluciones actuales implican lanzar modelos densos pequeños separados, entrenados desde cero o mediante poda en cascada de grandes modelos maestros densos. Estos enfoques son computacionalmente costosos y no aprovechan las ricas capacidades ya presentes en el modelo MoE entrenado. Los métodos existentes de compresión de MoE (por ejemplo, MC-SMoE, HC-SMoE) reducen el número de expertos pero mantienen la estructura MoE dispersa, preservando la ineficiencia de memoria. Existe una falta de marcos sistemáticos para convertir un modelo MoE entrenado en una arquitectura completamente densa estándar.

Metodología

Los autores presentan el primer marco sistemático para convertir un modelo de lenguaje MoE entrenado en una arquitectura completamente densa mediante un pipeline de tres etapas: Puntuación y Selección de Expertos, Agrupación y Concatenación, y Destilación de Conocimiento.

1. Puntuación y Selección de Expertos

El núcleo del método consiste en puntuar a todos los $E$ expertos en una capa para seleccionar un subconjunto de tamaño $K$ ($K \ge k$, donde $k$ es el número de expertos activos por token). El artículo evalúa siete métodos de puntuación:

• Basados en frecuencia: Frecuencia de Selección (SF), Probabilidad de Pre-selección (PP), Probabilidad de Post-selección (PS). Estos favorecen a los expertos generalistas.
• Probabilidad Condicional (CP): Se centra en la confianza de enrutamiento, favoreciendo a los especialistas.
• CP ponderada por activación (ACP): Combina la confianza de enrutamiento con la magnitud de salida.
• Selección D-Óptima (DO): Un criterio novedoso que maximiza conjuntamente la importancia del experto y la diversidad mutua. Selecciona un subconjunto $S$ para maximizar el logaritmo del determinante de una matriz Gram ponderada por importancia:
  $$S^* = \arg \max_{|S|=K} \log \det(\mathcal{K}_S + \lambda_{reg} I)$$
  donde $\mathcal{K}_{ij} = \sqrt{I_i I_j} \cdot \mathbb{E}_t[\langle f_i(t), f_j(t) \rangle]$. Esto se resuelve de forma voraz. Los autores proponen DO-ACP (Selección D-Óptima basada en puntuaciones ACP) como la estrategia óptima.

2. Agrupación y Concatenación

Los expertos seleccionados se asignan a $k$ grupos.

• Poda Pura ($K=k$): Cada grupo contiene exactamente un experto; no ocurre promediado de pesos.
• Fusión ($K>k$): Los expertos en un grupo se fusionan mediante un promediado de sus parámetros ponderado por puntuación.
  Los $k$ grupos resultantes se concatenan en una única Red de Alimentación Avanzada (FFN) densa con dimensión intermedia $d_{dense} = k \times d_{expert}$. Las matrices de proyección descendente se escalan por factores $\alpha_g$ (uniforme o proporcional) para aproximar el comportamiento de enrutamiento promedio del MoE original.

3. Destilación de Conocimiento

El modelo denso inicializado se refina mediante destilación de conocimiento desde el maestro MoE. El objetivo minimiza la divergencia KL directa entre las distribuciones de salida del maestro y del estudiante. Los autores también exploran expandir el enrutamiento del maestro durante la destilación (activando $k' > k$ expertos) para exponer al estudiante al conocimiento de expertos no seleccionados.

Contribuciones Clave

1. Primer Marco MoE-a-Denso: El artículo introduce el primer sistema de extremo a extremo para convertir un MoE entrenado en una arquitectura completamente densa, superando la limitación de producir modelos MoE dispersos más pequeños.
2. Selección de Expertos Consciente de la Diversidad: Los autores introducen un criterio de selección D-óptima (DO-ACP) que maximiza el logaritmo del determinante de una matriz Gram ponderada por importancia. Este método penaliza explícitamente la redundancia, seleccionando expertos que son tanto importantes como diversos.
3. Evaluación Exhaustiva: El estudio evalúa 350 configuraciones (7 puntuaciones $\times$ 5 agrupaciones $\times$ 2 escalados $\times$ 5 valores de $K$) en Qwen3-30B-A3B y valida los hallazgos en DeepSeek-V2-Lite y GPT-OSS-20B.

Resultados

Rendimiento en Qwen3-30B-A3B

• Dominancia de la Puntuación: La elección del método de puntuación es el factor más impactante, creando una brecha de 5.7 puntos porcentuales (pp) en la precisión promedio aguas abajo entre los métodos mejor y peor. Las estrategias de agrupación contribuyen solo con $\sim$1 pp.
• Superioridad de DO-ACP: El método DO-ACP supera consistentemente a todas las demás configuraciones. Con $K=8$ (poda pura), alcanza una 43.41% de precisión promedio en los benchmarks aguas abajo (Winogrande, HellaSwag, ARC-E/C, MMLU).
• Poda Pura vs. Fusión: Para la puntuación consciente de la diversidad (DO-ACP, ACP), la poda pura ($K=k$) supera a la fusión ($K>k$). Los métodos basados en frecuencia (SF) se benefician de la fusión, pero los expertos DO-ACP son individualmente lo suficientemente fuertes para funcionar solos.
• Comparación con Líneas Base:
  • vs. Compresión MoE: Supera las métricas de compresión MoE reutilizadas (por ejemplo, MC-SMoE, HC-SMoE) por 5.9–7.1 pp.
  • vs. Poda Densa-a-Densa (D2D): En una comparación controlada con un maestro denso de parámetros coincidentes (Qwen3-32B $\to$ estudiante de 3.4B), MoE-a-denso (DO-ACP) supera a la poda D2D en +6.3 pp (58.10% vs. 51.84%) tras $\sim$4B tokens de destilación.
  • vs. Inicialización Aleatoria: Supera la inicialización aleatoria de FFN en +12.7 pp, demostrando que la estructura de expertos proporciona una inicialización poderosa.

Entrenamiento Extendido y Validación Cruzada entre Modelos

• Escalado: La ventaja de rendimiento de DO-ACP persiste y se amplía con el entrenamiento extendido ($\sim$4B tokens).
• Generalización: Los hallazgos se generalizan a DeepSeek-V2-Lite (64 expertos) y GPT-OSS-20B (32 expertos). Aunque la brecha absoluta entre los métodos de puntuación se reduce a medida que disminuye el tamaño del grupo de expertos, DO-ACP sigue siendo el mejor rendimiento.
• Eficiencia: La destilación MoE-a-denso es 1.6$\times$ más rápida en tiempo de reloj que la poda D2D porque el maestro MoE activa menos parámetros por token durante la fase de destilación.

Análisis Cualitativo

El análisis de errores en tareas de cadena de pensamiento de MMLU revela que los modelos DO-ACP tienen las tasas más bajas de fallos catastróficos (incoherencia, bucles repetitivos) y errores de conocimiento en comparación con los métodos D2D y basados en frecuencia. La selección consciente de la diversidad parece preservar el conocimiento factual y cultural de manera más efectiva, particularmente en humanidades y ciencias sociales.

Significado y Afirmaciones

El artículo afirma proporcionar una receta simple y efectiva para desplegar capacidades MoE en entornos con restricciones de memoria: Puntuar con DO-ACP, retener exactamente los mejores $k$ expertos por capa (poda pura) y destilar con KL directa.

Los autores enfatizan que este enfoque transforma la "ineficiencia de memoria" de MoE en una "eficiencia densa" sin sacrificar las ganancias de rendimiento derivadas de la estructura especializada de expertos de MoE. Afirman que los modelos MoE proporcionan un punto de partida más fuerte para la destilación que los maestros densos de conteo de parámetros coincidente, desafiando la necesidad de entrenar modelos densos desde cero o podar maestros densos. El trabajo establece que la diversidad de expertos, en lugar de solo la frecuencia o la magnitud, es el factor crítico en la compresión de modelos MoE en arquitecturas densas.