Resumen Técnico: El alineamiento de parámetros mitiga el olvido catastrófico en modelos de lenguaje de expertos multilingües

1. Planteamiento del problema

El Preentrenamiento Continuo (CPT, por sus siglas en inglés) es un método práctico para extender los Modelos de Lenguaje Extensos (LLMs) a nuevos idiomas sin los costos prohibitivos de un preentrenamiento desde cero. Sin embargo, un CPT denso ingenuo suele provocar un olvido catastrófico, donde el modelo pierde su conocimiento general original (por ejemplo, razonamiento, comprensión lectora) mientras adquiere nuevas capacidades lingüísticas. Este problema se ve exacerbado en entornos multilingües debido a la "maldición de la multilingüidad", que impone compensaciones entre la cobertura lingüística y la preservación de la capacidad.

Si bien paradigmas recientes como X-ELM proponen entrenar expertos bilingües independientes para evitar la interferencia entre lenguas, este enfoque no ha sido explorado plenamente para expertos de familias lingüísticas (agrupando lenguas relacionadas). Además, incluso dentro de entornos de expertos de familia, el entrenamiento sin restricciones provoca una deriva de parámetros que se aleja de la inicialización compartida, degradando la robustez en lenguas y tareas relacionadas no incluidas en el entrenamiento. El desafío central es cómo mitigar este olvido en un entorno de CPT de expertos de familia distribuido sin sacrificar la adquisición de la lengua o la eficiencia del entrenamiento paralelo.

2. Metodología

2.1 Paradigma de CPT de Expertos de Familia

Los autores proponen organizar el entrenamiento en torno a familias lingüísticas en lugar de idiomas individuales o un único modelo denso.

• Configuración: Se entrenan cinco expertos independientes en paralelo, cada uno dedicado a una familia lingüística específica: eslava, germánica, índica, austronesia y romance.
• Datos: El entrenamiento utiliza el corpus MADLAD-400, con un presupuesto fijo de 5 mil millones de tokens por familia (25 mil millones en total).
• Inicialización: Todos los expertos parten de un modelo base compartido (Gemma-3-4B).
• Objetivo: Este enfoque busca reducir la interferencia intra-experto permitiendo, al mismo tiempo, un escalado distribuido y flexible.

2.2 Estrategias de Alineamiento de Parámetros Conscientes de las Capas

Para abordar la deriva de parámetros que causa el olvido, los autores introducen cinco estrategias que restringen las actualizaciones o corrigen los pesos, dirigidas específicamente a las capas medias del transformador. Este diseño está motivado por la evidencia de que las capas medias codifican conocimiento lingüísticamente neutro (razonamiento, conocimiento del mundo), mientras que las capas externas gestionan el procesamiento específico del idioma.

Las cinco estrategias son:

1. Congelación de Capas (Layer Freezing): Una restricción dura durante el entrenamiento donde las 19 capas medias se congelan, y solo las primeras 9 y las últimas 6 reciben actualizaciones de gradiente.
2. Regularización L2 por Rango de Capas (L2-SP): Una restricción suave que añade una penalización L2 a la función de pérdida, ponderando fuertemente las capas medias ($\lambda_{mid} = 0.05$) y ponderando ligeramente las capas externas ($\lambda = 0.001$) para anclarlas a los pesos base.
3. Reversión Densa (Entrenar-luego-Revertir): Se entrena un modelo CPT denso y, posteriormente, se revierten los pesos de las capas medias a los pesos preentrenados del modelo base, manteniendo las capas externas actualizadas.
4. Reversión de Experto: Similar a la Reversión Densa, pero aplicada a un experto de familia entrenado.
5. Sopa de Expertos (Expert Soup): Tras entrenar cinco expertos de familia vanilla, sus pesos se promedian uniformemente para crear un único modelo unificado ($\theta_{soup} = \frac{1}{5}\sum \theta_f$).

2.3 Baselines (Líneas de Base)

Las estrategias de alineamiento se comparan con dos baselines no regularizados:

• CPT Denso: Un único modelo entrenado conjuntamente en los 32 idiomas sin mitigación del olvido.
• Experto de Familia: Expertos de familia vanilla entrenados sin ninguna regularización o corrección post-hoc.

2.4 Evaluación

La evaluación abarca 32 idiomas de entrenamiento y parientes no incluidos (held-out) a través de cinco familias, medida en cuatro ejes:

• Adquisición de Lengua: Perplejidad en texto MADLAD no incluido.
• Comprensión Lectora: Benchmark Belebele (2-shot).
• Razonamiento Físico: Global-PIQA (2-shot).
• Traducción: Puntuaciones de FLORES-200 (ChrF).

3. Resultados Clave

3.1 Compromiso entre Olvido y Adquisición

Las estrategias de alineamiento de parámetros reducen sustancialmente el olvido con un costo mínimo para la adquisición de la lengua:

• Comprensión y Razonamiento: La Congelación de Capas y la Regularización L2 por Rango de Capas son las que mejor preservan el rendimiento descendente. La Congelación de Capas mejoró la precisión de Belebele en un promedio de +1.7 puntos porcentuales (pp) sobre el modelo base, mientras que el CPT denso ingenuo causó caídas de 6.6 a 12.3 pp.
• Traducción: La Reversión Densa produjo las mayores ganancias en traducción, con un promedio de +20.6 ChrF sobre el modelo base. Superó a todas las demás estrategias en las familias eslava, germánica, índica y romance.
• Perplejidad: La Regularización L2 por Rango de Capas y la Sopa de Expertos mantuvieron o mejoraron consistentemente la perplejidad de los textos no incluidos, mientras que los Expertos de Familia ingenuos se degradaron significamente en las lenguas no incluidas (por ejemplo, la perplejidad austronesia saltó de 14.04 a 28.35).

3.2 Rendimiento por Tarea

Ninguna estrategia única dominó en todos los ejes:

• La Congelación de Capas fue óptima para tareas de comprensión y razonamiento.
• La Reversión Post-hoc (Densa/de Experto) fue óptima para la calidad de la traducción.
• La Sopa de Expertos proporcionó una fuerte retención de la comprensión (la segunda mejor después de la Congelación de Capas) y demostró que el promedio uniforme de los expertos de familia supera a los checkpoints individuales de cada familia en las tareas incluidas.

3.3 Análisis Causal de la Deriva de Capas

A través de experimentos de interpolación dirigidos (barriendo $\alpha$ desde el peso base hasta los pesos entrenados), los autores identificaron los impulsores causales del olvido:

• Comprensión: La degradación en la precisión de Belebele es impulsada principalmente por la deriva de las capas medias. Restaurar las capas medias a los pesos base recuperó una precisión significativa, mientras que la deriva de las capas externas tuvo un impacto insignificante.
• Traducción: La calidad de traducción de FLORES sigue un perfil diferente. La deriva en las capas finales fue el principal impulsor de las ganancias de traducción; restaurar las capas medias tuvo poco efecto en las puntuaciones de ChrF. Esto sugiere que la calidad de la traducción depende más del comportamiento de salida y la compatibilidad de generación que de la preservación del conocimiento de la capa media requerida para la comprensión.

4. Contribuciones y Significado

El artículo realiza tres contribuciones principales:

1. CPT de Expertos de Familia: Introduce un paradigma para el entrenamiento multilingüe distribuido centrado en familias de lenguas, generalizando el enfoque X-ELM a grupos de lenguas más amplios.
2. Estrategias de Alineamiento Conscientes de las Capas: Propone y evalúa cinco estrategias específicas (incluyendo congelación dura, regularización suave y reversión post-hoc) adaptadas al entorno de expertos de familia.
3. Guías Empíricas: Proporciona guías prácticas de despliegue que vinculan estrategias específicas con tareas objetivo. Los autores demuestran que la "frontera de adquisición-olvido" no es uniforme; la selección de la estrategia debe ser consciente de las capas y orientada a la tarea.

Significancia:
El trabajo desafía la noción de una métrica agregada única para evaluar el CPT. Establece que:

• La preservación de las capas medias es crítica para mantener el conocimiento general (comprensión/razonamiento).
• La flexibilidad de las capas externas es crítica para la adquisición de la lengua y la traducción.
• La mitigación del olvido de "talla única" es subóptima; los profesionales deben seleccionar estrategias de alineamiento basadas en si su prioridad es la traducción, la comprensión o la cobertura lingüística amplia.

Los autores mantienen la modestia, señalando que sus guías se derivan de la comparación empírica en una escala de modelo específica (Gemma-3-4B) y un corpus determinado, y que un método principista para seleccionar automáticamente las estrategias para tareas arbitrarias sigue siendo una pregunta abierta.