Resumen Técnico: Adaptación de Auto-Distilación de Cero Expertos (ZEDA)

1. Enunciado del Problema

Las arquitecturas de Mezcla de Expertos (MoE) se han convertido en el estándar para escalar Modelos de Lenguaje Grandes (LLM) aumentando la capacidad mientras se limita el cómputo por token. Aunque las variantes dinámicas de MoE ofrecen mayor eficiencia al ajustar el número de expertos activados según la dificultad de la entrada, los métodos existentes generalmente requieren pre-entrenamiento desde cero o adaptación específica para tareas. En consecuencia, la conversión práctica de modelos MoE estáticos totalmente post-entrenados (que han pasado por un extenso pre-entrenamiento, Ajuste Fino Supervisado (SFT) y Aprendizaje por Refuerzo (RL)) en contrapartes dinámicas eficientes sigue siendo poco explorada. Aplicar directamente métodos de enrutamiento dinámico existentes a estos modelos maduros corre el riesgo de alterar las distribuciones de enrutamiento y capacidades cuidadosamente calibradas establecidas durante sus pipelines de entrenamiento completos. El desafío central es migrar un MoE estático post-entrenado a uno dinámico que omita expertos innecesarios para tokens "fáciles" sin sacrificar el rendimiento establecido ni incurrir en costos de adaptación prohibitivos.

2. Metodología: ZEDA

El artículo introduce Adaptación de Auto-Distilación de Cero Expertos (ZEDA), un marco de bajo costo que transforma modelos MoE estáticos post-entrenados en dinámicos. El método consta de tres componentes principales:

2.1 Inyección de Cero Expertos

ZEDA convierte arquitectónicamente un MoE estático en uno dinámico inyectando expertos cero sin parámetros ($Z = \{Z_1, ..., Z_{N_Z}\}$) en el grupo de expertos existente.

• Mecanismo: Estos expertos cero generan idénticamente cero ($Z_j(h) = 0$) para cualquier estado oculto de entrada $h$.
• Enrutamiento: El enrutador selecciona un subconjunto top-$K$ del grupo expandido de $N + N_Z$ expertos. Si se selecciona un experto cero, no contribuye al cómputo, reduciendo efectivamente el número de expertos normales activos para ese token.
• Inicialización: Los parámetros originales del enrutador para expertos normales se preservan. Los nuevos parámetros del enrutador para expertos cero se inicializan desde una distribución gaussiana que coincide con la media y la varianza de los parámetros originales para mantener la escala de los logits del enrutador.

2.2 Auto-Distilación en Dos Etapas

Para adaptar el modelo aumentado sin reentrenar desde cero, ZEDA emplea un proceso de auto-distilación en dos etapas utilizando el MoE original post-entrenado como profesor congelado:

1. Ajuste Fino Supervisado (SFT): El modelo estudiante se entrena sobre respuestas muestreadas del profesor. La pérdida combina la entropía cruzada estándar con la Pérdida Auxiliar de Grupo.
2. Distilación On-Policy (OPD): El estudiante genera sus propias trayectorias, y el profesor las evalúa para proporcionar objetivos a nivel de token. El objetivo minimiza la divergencia KL inversa entre la distribución on-policy del estudiante y la distribución del profesor.

2.3 Pérdida Auxiliar de Grupo ($L_{GA}$)

Las pérdidas de balanceo de carga estándar (que imponen uniformidad en todos los expertos) no son adecuadas para MoE post-entrenados, ya que alterarían los patrones de enrutamiento aprendidos y no uniformes entre expertos normales. ZEDA introduce una Pérdida Auxiliar de Grupo que equilibra la activación a nivel de grupo en lugar de a nivel de experto individual:

• Grupos: Los expertos normales forman el grupo $\mathcal{E}$; los expertos cero forman el grupo $\mathcal{Z}$.
• Objetivo: La pérdida regula la frecuencia de activación relativa entre los dos grupos, controlada por un parámetro de peso $w$. Fomenta que la relación de expertos normales activados frente a expertos cero converja hacia una relación objetivo ($N : N_Z \cdot w$) sin aplanar la distribución de enrutamiento dentro del grupo de expertos normales.
• Resultado: Esto permite que el modelo aprenda cuándo omitir cómputo (seleccionar expertos cero) mientras preserva la lógica de enrutamiento interna del modelo original.

3. Contribuciones Clave

1. Marco de Adaptación Post-Entrenamiento: ZEDA es el primer método que convierte efectivamente modelos MoE estáticos totalmente post-entrenados en dinámicos mediante inyección de expertos cero y auto-distilación, evitando la necesidad de un re-pre-entrenamiento costoso.
2. Conversión Arquitectónica Estable: La introducción de la Pérdida Auxiliar de Grupo estabiliza la conversión regulando la utilización de expertos cero sin alterar las estructuras de enrutamiento aprendidas de los expertos normales.
3. Compensación Eficiencia-Rendimiento: El método logra una reducción significativa en el cómputo (omitir >50% de expertos) con una pérdida marginal de precisión, superando las líneas base y variantes de MoE dinámicos existentes (por ejemplo, Truncamiento Ingenuo de Expertos).
4. Perspectiva sobre la Dinámica de Activación: El artículo proporciona un análisis que muestra que la activación de expertos cero se correlaciona con las brechas de distribución profesor-estudiante (logp-diff) y la incertidumbre del modelo, en lugar de la dificultad general de la tarea. Los segmentos estructurados (como código o expresiones matemáticas) tienden a tener ratios más altos de activación de expertos cero (menos cómputo) en comparación con el texto natural.

4. Resultados Experimentales

Los experimentos se realizaron en Qwen3-30B-A3B y GLM-4.7-Flash a través de 11 puntos de referencia que cubren matemáticas, código y seguimiento de instrucciones.

• Rendimiento: ZEDA elimina más del 50% de los FLOPs de expertos (logrando $r_{ZE} \approx 51.2\%$ en Qwen y $53.0\%$ en GLM) mientras mantiene un rendimiento comparable al modelo estático original.
  • En Qwen3-30B-A3B, ZEDA supera a la línea base dinámica más fuerte (AdaMoE) en 6.1 puntos en promedio.
  • En GLM-4.7-Flash, supera a la línea base en 4.0 puntos.
  • A diferencia de las líneas base que colapsan en tareas de razonamiento difícil o código, ZEDA mantiene un rendimiento competitivo uniformemente en todos los dominios.
• Eficiencia: La adaptación produce una aceleración de inferencia de extremo a extremo de aproximadamente 1.20× (aproximadamente 20% de aceleración en las fases de prellenado y decodificación) en 8 GPUs NVIDIA H200.
• Costo de Adaptación: Todo el proceso de adaptación toma menos de 31 horas para Qwen y 62 horas para GLM, lo cual es insignificante en comparación con los costos de pre-entrenamiento o post-entrenamiento completo.
• Generalización: ZEDA demuestra una fuerte generalización fuera de distribución (OOD) en MMLU-Redux y GPQA-Diamond, preservando la precisión mientras mantiene una alta utilización de expertos cero.

5. Significado y Afirmaciones

El artículo afirma que ZEDA ofrece una solución práctica y rentable para mejorar la eficiencia de implementación de sistemas MoE a gran escala. Al aprovechar las capacidades existentes de modelos post-entrenados y utilizar la auto-distilación para aprender enrutamiento dinámico, ZEDA permite que los tokens "fáciles" eludan el cómputo de expertos innecesario sin comprometer el conocimiento establecido o las capacidades de razonamiento del modelo.

Los autores enfatizan que este enfoque evita las modificaciones arquitectónicas sustanciales y los costos de reentrenamiento asociados con los métodos anteriores de MoE dinámico. Los resultados sugieren que los modelos MoE post-entrenados pueden migrarse con éxito a arquitecturas dinámicas eficientes, haciendo que los modelos de alta capacidad sean más viables para la implementación en el mundo real donde los costos de inferencia son una restricción principal. El trabajo destaca que la asignación dinámica de cómputo está intrínsecamente vinculada a la incertidumbre interna del modelo y a la alineación entre las distribuciones del estudiante y el profesor, en lugar de solo a la dificultad externa de la tarea.