Merge and Conquer: Instructing Multilingual Models by Adding Target Language Weights

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLMs) actuales presentan un fuerte sesgo hacia el inglés y tienen un rendimiento limitado en lenguas de recursos bajos (low-resource languages). Las estrategias de adaptación existentes, como el pre-entrenamiento continuo y el ajuste fino (fine-tuning) con instrucciones, requieren:

• Grandes cantidades de datos de instrucción de alta calidad en el idioma objetivo (a menudo inexistente).
• Recursos computacionales masivos que son inaccesibles para muchas comunidades lingüísticas.
• Un proceso repetitivo: cada vez que se lanza una nueva variante instruida más potente, la comunidad debe volver a adaptar el modelo desde cero, lo cual es ineficiente.

El objetivo de este trabajo es encontrar una alternativa ligera y eficiente para dotar a modelos instruidos generales de capacidades en idiomas específicos sin necesidad de re-entrenamiento costoso.

2. Metodología

Los autores proponen utilizar la fusión de modelos (model merging) como mecanismo para transferir conocimientos lingüísticos a un modelo instruido. El proceso se divide en dos etapas principales:

1. Pre-entrenamiento Continuo (Continued Pre-training):

   • Se entrenan modelos base adaptados a cuatro lenguas ibéricas: Euskera, Gallego, Catalán y Español.
   • Se utilizan corpus específicos (Latxa para Euskera, CorpusNÓS para Gallego, CulturaX para Español/Catalán) limitando el tamaño a un número de tokens comparable para garantizar equidad en la comparación.
   • Se incluye un pequeño corpus en inglés para evitar el "olvido catastrófico" de las capacidades generales del modelo.

2. Fusión de Modelos (Model Merging):

   • Se fusionan los modelos base adaptados al idioma con modelos base instruidos generales (que ya saben seguir instrucciones pero no dominan el idioma objetivo).
   • Técnicas evaluadas: Se comparan cuatro métodos de fusión:
     • Linear Merging: Interpolación lineal ponderada de los parámetros.
     • Task Arithmetic: Suma de vectores de tarea (diferencia entre modelo adaptado y base) al modelo base.
     • DARE (Drop And REscale): Esparcimiento de los vectores de tarea para reducir interferencias.
     • Breadcrumbs: Filtrado de actualizaciones de parámetros insignificantes o extremas.
   • Escenarios: Se evalúa la fusión monolingüe (un idioma por vez) y multilingüe (combinar múltiples modelos expertos en un solo modelo).

3. Contribuciones Clave

• Viabilidad de la Fusión: Demuestran que es posible "enseñar" un nuevo idioma a un LLM instruido simplemente fusionando sus pesos con un modelo base específico de ese idioma, eliminando la necesidad de datos de instrucción específicos para ese idioma.
• Análisis Exhaustivo: Realizan una caracterización experimental profunda sobre cuatro lenguas, dos familias de modelos (Llama 3.1 y Qwen 3) y múltiples estrategias de fusión e hiperparámetros.
• Recursos Abiertos:
  • Liberan los modelos base y las variantes instruidas fusionadas para Euskera, Gallego, Catalán y Español.
  • Extienden el benchmark IFEval (evaluación de seguimiento de instrucciones) a Euskera y Gallego, adaptando y validando las instrucciones manualmente.

4. Resultados Principales

Las experimentaciones se realizaron con modelos de 8B y 14B parámetros (Llama 3.1 y Qwen 3).

• Rendimiento en Idioma (Benchmarks y Traducción):

  • Los modelos fusionados superan consistentemente a los modelos instruidos originales en sus idiomas objetivo, especialmente en lenguas de recursos bajos (Euskera, Gallego, Catalán).
  • En tareas de traducción automática, la fusión mejora significativamente la calidad gramatical y la fluidez en comparación con el modelo base no adaptado.
  • El rendimiento es comparable o superior al método de estado del arte (pre-entrenamiento continuo + ajuste fino conjunto) en el idioma objetivo, pero con una degradación mucho menor en otros idiomas.

• Seguimiento de Instrucciones (Instruction Following):

  • Los modelos fusionados mantienen la capacidad de seguir instrucciones del modelo original, aunque no siempre la superan.
  • Existe una compensación (trade-off): aumentar el peso del modelo adaptado al idioma mejora el rendimiento lingüístico pero puede degradar ligeramente la adherencia estricta a las instrucciones.
  • La técnica Linear y Task Arithmetic mostraron el mejor equilibrio general.

• Fusión Multilingüe:

  • Es posible crear un único modelo multilingüe fusionando varios expertos monolingües. Aunque el rendimiento por idioma es ligeramente inferior al de un modelo monolingüe dedicado, ofrece un rendimiento equilibrado y superior al modelo base no adaptado en todas las lenguas.

• Eficiencia:

  • La fusión es computacionalmente mucho más barata que el re-entrenamiento o el ajuste fino, ya que solo requiere una operación de fusión de pesos una vez que el modelo base instruido está disponible.

5. Significado e Impacto

Este trabajo demuestra que la fusión de modelos es una alternativa viable y eficiente para la adaptación de LLMs a lenguas minoritarias o de recursos bajos.

• Accesibilidad: Permite a grupos de investigación más pequeños y comunidades lingüísticas adaptar modelos de vanguardia a sus idiomas sin necesidad de infraestructuras de supercomputación masivas.
• Sostenibilidad: Reduce la huella de carbono y el coste económico asociado al entrenamiento de modelos lingüísticos.
• Futuro: Sugiere que la fusión puede ser el estándar para la expansión multilingüe de modelos instruidos, aunque se necesita más investigación para mejorar la retención de la alineación (instruction following) durante el proceso de transferencia lingüística.

En resumen, el artículo propone un cambio de paradigma: en lugar de re-entrenar modelos para cada nuevo idioma, se pueden "conquistar" nuevos idiomas fusionando pesos, democratizando así el acceso a LLMs de alta calidad para lenguas como el Euskero, Gallego y Catalán.