Resumen Técnico: Ajuste Fino Alineado con Enrutamiento para Tareas de Dominio Multilingüe en Modelos de Mezcla de Expertos

Enunciado del Problema

Los modelos de Mezcla de Expertos (MoE) se han convertido en el paradigma dominante para escalar los Modelos de Lenguaje Grande (LLM) de manera eficiente. Sin embargo, adaptar estos modelos MoE preentrenados a tareas de dominio en idiomas distintos al inglés sigue siendo un desafío. Los enfoques de ajuste fino existentes suelen tratar a los modelos MoE como aprendices monolíticos, aplicando el Ajuste Fino Supervisado (SFT) estándar a datos en el idioma objetivo. Este enfoque ignora la estructura heterogénea de enrutamiento que se desarrolla durante el preentrenamiento.

Estudios recientes indican un patrón en forma de "U" en la divergencia de enrutamiento cross-lingüístico: las capas tempranas y tardías son altamente específicas del idioma, mientras que las capas intermedias exhiben una fuerte alineación cross-lingüística. A pesar de esta alineación, el rendimiento en idiomas distintos al inglés a menudo se degrada porque el modelo no logra activar los expertos específicos relevantes para la tarea en entradas en el idioma objetivo. El problema central es cómo aprovechar esta estructura de enrutamiento cross-lingüística para mejorar el ajuste fino de tareas en idiomas distintos al inglés, sin reentrenar todo el modelo ni ignorar la dinámica de enrutamiento disperso.

Metodología: RA-MoE

Los autores proponen RA-MoE (Ajuste Fino de MoE Alineado con Enrutamiento), un marco de tres etapas diseñado para alinear los patrones de enrutamiento del idioma objetivo con los patrones de activación de expertos para tareas en inglés en las capas intermedias del modelo.

Etapa 1: Construcción y Categorización de Datos Paralelos

El método comienza construyendo un conjunto de datos paralelo donde los ejemplos de tareas en inglés $(x_{en}, y_{en})$ se traducen a un idioma objetivo $(x_{tgt}, y_{tgt})$. El modelo MoE realiza inferencia en ambas versiones, y los ejemplos se categorizan en una taxonomía de cuatro vías basada en la corrección:

• cc: Correcto tanto en inglés como en el idioma objetivo.
• ci: Correcto en inglés, incorrecto en el idioma objetivo.
• ic: Incorrecto en inglés, correcto en el idioma objetivo.
• ii: Incorrecto en ambos.

Los autores hipotetizan que la categoría ci representa una brecha de rendimiento "impulsada por el idioma" donde el modelo posee el conocimiento de la tarea requerido (demostrado en inglés) pero falla al aplicarlo en el idioma objetivo debido a una desalineación de enrutamiento.

Etapa 2: Identificación de Capas Intermedias y Expertos de Tarea

Esta etapa analiza el comportamiento de enrutamiento del modelo para identificar los objetivos óptimos para la alineación:

1. Identificación de Capas Intermedias: Los autores calculan la divergencia de Jensen-Shannon (JS) entre las distribuciones de enrutamiento en inglés y en el idioma objetivo a través de las capas. Confirman el patrón en forma de U, identificando un rango contiguo de capas intermedias ($L_{mid}$) donde la divergencia es mínima. Estas capas sirven como la "zona de alineación universal del idioma".
2. Identificación de Expertos de Tarea: Dentro de estas capas intermedias, los autores identifican "expertos de tarea" contrastando los pesos de enrutamiento en datos de tareas en inglés (restringidos a ejemplos respondidos correctamente) frente a un corpus general en inglés. Los expertos que se activan preferentemente para la tarea (puntuación de especificidad alta) se seleccionan como el conjunto objetivo ($E_{task}$).

Etapa 3: SFT Alineado con Enrutamiento

La etapa final implica el ajuste fino del modelo en los datos del idioma objetivo con una función de objetivo modificada:
$$\mathcal{L} = \mathcal{L}_{CE} + \lambda \cdot \mathcal{L}_{align}$$

• $\mathcal{L}_{CE}$: Pérdida estándar de entropía cruzada aplicada a todos los ejemplos.
• $\mathcal{L}_{align}$: Una pérdida de alineación de enrutamiento aplicada selectivamente a ejemplos de tipo ci. Para estos ejemplos, se alienta al modelo a enrutar las entradas en el idioma objetivo a través de los mismos expertos de tarea en las capas intermedias que la referencia en inglés. La pérdida se calcula como la divergencia KL entre la distribución de enrutamiento renormalizada del idioma objetivo (restringida a $E_{task}$) y la distribución de referencia en inglés.

Esta aplicación selectiva asegura que la señal de alineación esté fundamentada en casos donde el patrón de enrutamiento en inglés es una referencia válida y confiable para la tarea.

Contribuciones Clave

1. Validación de la Divergencia en Forma de U en Configuraciones de Tarea: El artículo valida empíricamente que el patrón de divergencia de enrutamiento cross-lingüístico en forma de U se mantiene en configuraciones específicas de tareas, demostrando que la divergencia de enrutamiento en capas intermedias predice de manera confiable las brechas de rendimiento de tareas por idioma.
2. Taxonomía de Cuatro Categorías y Predictor: Los autores introducen la taxonomía cc/ci/ic/ii para diagnosticar brechas cross-lingüísticas. Proporcionan evidencia empírica de que la proporción de ejemplos ci en un par tarea-idioma es un predictor fuerte (correlación $r=0.70$) del beneficio potencial de la alineación de enrutamiento.
3. Identificación de Expertos de Tarea y Objetivo de Alineación: Se propone un procedimiento para localizar expertos relevantes para la tarea en capas intermedias utilizando datos en inglés, junto con un objetivo de ajuste fino que cierra la brecha de activación de expertos cross-lingüística sin requerir una reidentificación de expertos específica del idioma.
4. Transferibilidad Cross-Lingüística: El estudio demuestra que los expertos de tarea identificados en un idioma (por ejemplo, chino) pueden transferirse para ajustar fino el modelo en idiomas lingüísticamente distantes (por ejemplo, árabe, bengalí) sin volver a ejecutar la etapa de identificación, lo que sugiere que la experiencia de tarea en capas intermedias es en gran medida agnóstica al idioma.

Resultados Experimentales

Los autores evaluaron RA-MoE en tres modelos MoE (OLMoE-1B-7B, Qwen1.5-MoE, DeepSeek-V2-Lite), tres tareas de dominio (GSM8K, IFEval, MMLU) y seis idiomas objetivo (árabe, bengalí, chino, francés, japonés, español).

• Ganancias de Rendimiento: RA-MoE superó consistentemente al SFT estándar y a líneas base fuertes, incluyendo Dirección de Enrutamiento (intervención en tiempo de inferencia) y RISE (ajuste fino selectivo de subredes específicas del idioma).
• Correlación con la Proporción de CI: Las ganancias de rendimiento fueron más pronunciadas en pares tarea-idioma con una mayor proporción de ejemplos ci, confirmando la hipótesis de que el método aborda brechas impulsadas por el idioma en lugar de brechas de conocimiento.
• Cambios Mecanísticos: El análisis mostró que RA-MoE redujo sustancialmente la divergencia de enrutamiento en capas intermedias en comparación con el SFT estándar, acercando el enrutamiento en el idioma objetivo a la referencia en inglés. Además, la tasa de selección de expertos de tarea para idiomas objetivo aumentó más abruptamente y convergió a un plateau más alto bajo RA-MoE.
• Eficiencia: El método incurre en una sobrecarga computacional negligible. La pérdida de alineación añade menos del $10^{-3}\%$ a los FLOPs totales, y las etapas preparatorias (anotación de datos y perfilado de enrutamiento) añaden como máximo un 15% al tiempo total de reloj, reducible a menos del 10% si los expertos de tarea se comparten entre idiomas.

Significancia y Limitaciones

El artículo afirma que RA-MoE cierra la brecha entre la alineación cross-lingüística teórica de las capas intermedias de MoE y el rendimiento práctico en tareas de dominio. Al alinear explícitamente los patrones de enrutamiento en lugar de solo las probabilidades de salida, el método aprovecha la estructura dispersa de los MoE para mejorar las capacidades multilingües.

Los autores señalan limitaciones específicas:

• Dependencia del Rendimiento en Inglés: El método presupone que el modelo base tiene un fuerte rendimiento en tareas en inglés; si el patrón de enrutamiento en inglés carece de información relevante para la tarea, la señal de alineación es poco fiable.
• Cobertura de Preentrenamiento: Para idiomas severamente subrepresentados en el corpus de preentrenamiento, RA-MoE ofrece ganancias limitadas porque el cuello de botella es la falta de capacidad lingüística fundamental, no la desalineación de enrutamiento.
• Modalidad: Los experimentos se limitan a modelos de solo texto; la generalización a LLM multimodales sigue siendo una pregunta abierta.

El trabajo sugiere que para los modelos MoE, las capas intermedias sirven como una zona estable y universal del idioma donde la experiencia de tarea puede transferirse eficazmente entre idiomas mediante la alineación de enrutamiento.