Mixture-of-Experts Can Surpass Dense LLMs Under Strictly Equal Resource

Resumen Técnico: Los Modelos de Expertos Mezclados Pueden Superar a los LLM Densos Bajo Recursos Estrictamente Iguales

Enunciado del Problema
Aunque los modelos de lenguaje de Expertos Mezclados (MoE) son ampliamente reconocidos por expandir la capacidad del modelo sin aumentar la computación por token, una pregunta crítica permanece sin resolver: ¿Pueden las arquitecturas MoE superar a las arquitecturas densas cuando están estrictamente limitadas por el mismo número total de parámetros ($N$), la misma computación total de entrenamiento ($C$) y el mismo presupuesto total de datos ($D$)? Las comparaciones anteriores a menudo favorecen a MoE al relajar estas restricciones (por ejemplo, permitiendo que MoE utilice más datos o comparando modelos con cantidades de parámetros muy diferentes). Este artículo aborda la brecha en la comprensión de si las ventajas arquitectónicas por sí solas, bajo paridad estricta de recursos, pueden generar un rendimiento superior.

Metodología
Los autores proponen una perspectiva novedosa y una metodología experimental rigurosa de tres pasos para garantizar una comparación justa bajo $N$, $C$ y $D$ fijos:

1. Búsqueda de Arquitectura Optimizada: Antes de comparar las tasas de activación, los autores optimizan sistemáticamente la columna vertebral de MoE. Investigan la disposición de las capas (MoE completo, intercalado o 1-denso + MoE), la normalización de las puntuaciones de la puerta, la asignación de parámetros (configuraciones Top-$K$) y los hiperparámetros estructurales (relación de aspecto del modelo $\zeta$ y ratios de expansión de FFN). Identifican una configuración de "1 denso + Experto Compartido" con ratios estructurales específicos ($\zeta \approx 88$, $\mu \approx 22$) como la columna vertebral óptima.
2. Análisis de la Tasa de Activación (AR) bajo $N$ y $C$ Fijos: Utilizando la columna vertebral optimizada, los autores entrenan modelos MoE con diversas tasas de activación ($r_a$, la relación entre parámetros activados y parámetros totales) mientras igualan la computación total de entrenamiento de una línea base densa. Para mantener $C$ igual, los modelos MoE (que tienen menor computación por token) se entrenan inicialmente con proporcionalmente más tokens.
3. Estrategia de Reutilización de Datos: Para equiparar estrictamente el presupuesto único de datos ($D$), los autores introducen una estrategia de reutilización de datos. Entrenan modelos en un conjunto de datos único más pequeño y fijo $\hat{D}$ durante múltiples épocas. Comparan la reutilización "estricta" (igualando $N, C, D$ exactamente) y la reutilización "laxa" (fijando las épocas a 2) frente a líneas base densas entrenadas con datos únicos.

Resultados Clave
El estudio involucró el entrenamiento de casi 200 modelos a la escala de 2B y más de 50 a la escala de 7B, procesando acumulativamente 50 billones de tokens.

• Existencia de una Tasa de Activación Óptima: Los experimentos revelan una región estable de "tasa de activación óptima" ($R^*_a$) donde los modelos MoE superan consistentemente a sus contrapartes densas. Esta tasa óptima es aproximadamente del 20% ($r_a \approx 0.2$).
• Superioridad en el Rendimiento: Bajo $N$ y $C$ fijos, los modelos MoE con $r_a \approx 20\%$ logran una pérdida menor (mejor rendimiento) que los modelos densos. Específicamente, un modelo MoE de 2B con AR óptima supera a un modelo denso entrenado con la misma computación, acercándose al rendimiento de un modelo denso entrenado con el doble de computación.
• Consistencia a través de Escalas: La tasa de activación óptima de ~20% se mantiene consistente a través de diferentes tamaños de modelo (2B, 3B y 7B), lo que sugiere que el hallazgo es independiente de la escala dentro del rango probado. Esto contrasta con algunos trabajos anteriores que sugieren que la dispersión óptima escala con el tamaño del modelo.
• Eficacia de la Reutilización de Datos: La estrategia de reutilización de datos compensa con éxito los requisitos adicionales de datos de los modelos MoE. Si bien la reutilización de datos causa una ligera reducción en el rendimiento en comparación con el entrenamiento en datos únicos, los modelos MoE con AR óptima aún superan a las líneas base densas incluso bajo restricciones estrictas de datos.
• Generalización Aguas Abajo: La superioridad de los modelos MoE con $r_a \approx 20\%$ se generaliza a tareas aguas abajo (SFT) en benchmarks de razonamiento, conocimiento, matemáticas y código. Cabe destacar que la reutilización de datos tiene un impacto negativo mínimo en las tareas de razonamiento pero degrada el rendimiento en conocimiento; sin embargo, en la AR óptima, los MoE ajustados con SFT con datos reutilizados aún superan a los modelos densos entrenados con datos únicos.

Significado y Afirmaciones
El artículo afirma proporcionar la primera evidencia definitiva de que las arquitecturas MoE pueden superar a los LLM densos bajo restricciones de recursos estrictamente iguales ($N, C, D$), siempre que la arquitectura esté optimizada y la tasa de activación caiga dentro de la región óptima identificada.

• Ventaja Arquitectónica: Las ganancias de rendimiento se atribuyen únicamente a ventajas arquitectónicas en lugar de disparidades en la cantidad de parámetros o en el presupuesto de computación.
• Eficiencia de Recursos: Los hallazgos desafían la sabiduría convencional de que los modelos densos son superiores cuando los recursos son fijos, allanando el camino para arquitecturas más eficientes en recursos en sistemas NLP de próxima generación.
• Estrategia Práctica: La introducción de una estrategia de reutilización de datos demuestra que la demanda adicional de datos de los modelos MoE puede mitigarse, haciendo que el rendimiento superior sea alcanzable sin requerir presupuestos de datos únicos significativamente mayores que los de los modelos densos.

Los autores reconocen limitaciones, incluida la restricción de no entrenar modelos más grandes que 7B debido a los costos computacionales y el enfoque en componentes específicos de MoE mientras se fijan otros. Sugieren que el trabajo futuro podría explorar cómo las tasas de activación óptimas mejoran las capacidades en otros paradigmas de entrenamiento como el reciclaje ascendente (upcycling) y la MoEficación.