Leveraging Routing Dynamics in Mixture-of-Experts Models for Efficient Language Adaptation

Resumen Técnico: Aprovechamiento de la Dinámica de Enrutamiento en Modelos de Mezcla de Expertos para la Adaptación Eficiente de Lenguas

Planteamiento del Problema
Los modelos de Mezcla de Expertos (MoE) son el estándar para escalar los Modelos de Lenguaje Grandes (LLM) debido a su capacidad para mantener conteos masivos de parámetros mientras mantienen los costos de inferencia manejables mediante activación dispersa. Sin embargo, el comportamiento interno de enrutamiento de los modelos MoE en entornos multilingües permanece poco explorado. Si bien se sabe que los modelos multilingües densos dependen del inglés como un "pivote" interno en las capas intermedias, con neuronas específicas de la lengua en las primeras y últimas capas, no está claro cómo los MoE desarrollan estrategias de enrutamiento especializadas para diferentes idiomas. Además, adaptar MoE grandes a nuevas lenguas de bajos recursos es computacionalmente costoso. Aunque su estructura modular permite teóricamente una adaptación eficiente en parámetros actualizando solo un subconjunto de expertos, actualmente se desconoce qué expertos actualizar sin una comprensión previa de las dinámicas de enrutamiento multilingüe.

Metodología
Los autores realizan un estudio controlado utilizando el modelo OLMoE-Base (un transformador solo de decodificador con 64 expertos por capa, seleccionando los 8 principales) para investigar las dinámicas de enrutamiento durante el pre-entrenamiento continuo.

1. Configuración de Pre-entrenamiento Continuo: El modelo OLMoE-Base centrado en inglés se entrena continuamente en un corpus equilibrado de 35 mil millones de tokens que abarca siete idiomas de altos recursos (inglés, árabe, checo, español, finés, hindi, ruso) muestreados del conjunto de datos CulturaX. El modelo resultante se denomina OLMoE-M7.
2. Métricas de Análisis de Enrutamiento: Para caracterizar cómo se distribuye la masa de enrutamiento, los autores analizan:
   • Entropía del Enrutador: Mide qué tan concentrada está la activación de expertos para un idioma dado. Una entropía más baja implica que los tokens se enrutan a un subconjunto pequeño de expertos.
   • Divergencia de Enrutamiento Interlingüístico (JSD): Divergencia de Jensen-Shannon entre las distribuciones de uso de expertos a nivel de idioma para cuantificar qué tan distintos son los patrones de enrutamiento entre pares de idiomas.
   • Superposición de Vocabulario: Se analiza la superposición de vocabulario a nivel de token entre pares de idiomas para ver si impulsa la similitud de enrutamiento más que la similitud tipológica o basada en familias lingüísticas.
3. Estrategia de Adaptación (SSFT): Motivados por el análisis de enrutamiento, los autores proponen Ajuste Fino Selectivo y Compartido de Expertos (SSFT) para la adaptación a lenguas de bajos recursos.
   • Selección de Expertos: Definen una "brecha de activación" (la diferencia en la frecuencia de activación entre los dos idiomas principales de un experto) para identificar expertos específicos de la lengua.
   • Actualización Híbrida: SSFT actualiza solo las dos últimas capas del modelo. Selecciona un pequeño conjunto de expertos específicos de la lengua (aquellos con una brecha de activación alta para el idioma objetivo) y los complementa con un pequeño conjunto de expertos "compartidos" (altamente activos en todos los idiomas).
   • Líneas Base: El método se compara frente al Ajuste Fino Selectivo de Expertos (SEFT, solo específico de la lengua), el Ajuste Fino de Expertos Aleatorio, el Ajuste Fino de Todos los Expertos (AEFT) y el Ajuste Fino del Modelo Completo (Full-FT).

Hallazgos Clave sobre las Dinámicas de Enrutamiento

• Especialización por Capas: Contrario a la hipótesis de que el entrenamiento multilingüe equilibrado induce una separación de idiomas en todo el modelo, el estudio encuentra que el enrutamiento permanece difuso y agnóstico al idioma en las capas iniciales y medias. La especialización de idioma distinta emerge principalmente en las capas finales.
• Superposición de Vocabulario vs. Familia de Idiomas: En las capas finales, la similitud de enrutamiento se correlaciona más fuertemente con la superposición de vocabulario a nivel de token que con la familia lingüística, la sintaxis o la similitud geográfica. Por ejemplo, el hindi y el maratí (alta superposición de vocabulario) muestran patrones de enrutamiento similares, mientras que el inglés y el neerlandés (familia compartida pero baja superposición) muestran patrones divergentes.
• Dominio del Inglés: El modelo base exhibe patrones de enrutamiento dominados por el inglés. El pre-entrenamiento continuo reduce este dominio pero no lo elimina; los tokens en inglés aún mantienen patrones de enrutamiento distintos en comparación con los idiomas no ingleses en las capas finales.

Resultados sobre la Adaptación a Bajos Recursos
Los autores evalúan SSFT en seis lenguas de bajos recursos (catalán, estonio, maratí, eslovaco, ucraniano, urdu) emparejadas con anclas de altos recursos.

• Rendimiento: SSFT logra un fuerte equilibrio entre rendimiento y eficiencia. En la prueba MultiBLiMP, SSFT alcanza una precisión promedio del 83,6%, superando a SEFT (78,7%) y a Random-SEFT (73,8%). Se acerca al rendimiento de Full-FT (90,5%) mientras actualiza significativamente menos parámetros.
• Eficiencia: SSFT actualiza menos del 2% de los parámetros del modelo (aproximadamente 75–138 millones de parámetros). En términos de costo computacional, SSFT requiere aproximadamente 10 veces menos horas de GPU y 100 veces menos FLOPs en comparación con Full-FT.
• Expertos Compartidos: La inclusión de expertos compartidos en SSFT es crítica; actualizar solo expertos específicos de la lengua (SEFT) produce un rendimiento inferior, y simplemente aumentar el número de expertos específicos de la lengua (SEFT-Top20) no iguala el rendimiento del enfoque híbrido SSFT.
• Robustez: Los autores señalan que, aunque Full-FT conduce al olvido catastrófico de los idiomas aprendidos previamente al entrenar con conjuntos de datos más grandes, SSFT demuestra menos olvido catastrófico.

Significado y Afirmaciones
El artículo afirma proporcionar conocimientos prácticos para la adaptación multilingüe de bajos recursos en modelos MoE. Al demostrar que la especialización de idioma en los MoE se concentra en las capas finales y está impulsada por la superposición de vocabulario, los autores muestran que la adaptación eficiente no requiere un ajuste fino completo del modelo. La estrategia propuesta SSFT aprovecha estas dinámicas para lograr un rendimiento competitivo con actualizaciones mínimas de parámetros. El trabajo sugiere que la adaptación efectiva depende de un enfoque híbrido: dirigirse a expertos especializados para el nuevo idioma mientras se preservan los expertos compartidos para mantener la estabilidad interlingüística. Los autores concluyen que estos hallazgos ofrecen una vía para una adaptación de idioma escalable y eficiente sin la carga computacional del ajuste fino completo.

Limitaciones
Los autores reconocen que sus experimentos se limitan a la arquitectura OLMoE-Base (1B activos / 7B parámetros totales) debido a restricciones computacionales. También señalan que su estrategia depende de la existencia de un idioma "ancla" de altos recursos con una superposición de vocabulario significativa, lo que puede limitar la aplicabilidad a aislados lingüísticos o lenguas de bajos recursos sin parientes cercanos en los datos de pre-entrenamiento. Finalmente, los hallazgos son específicos del pre-entrenamiento continuo en corpus equilibrados y pueden diferir bajo otros regímenes de entrenamiento.