One Model to Translate Them All? A Journey to Mount Doom for Multilingual Model Merging

Resumen Técnico: Un Modelo para Traducirlos a Todos? Un Viaje al Monte Doom para la Fusión de Modelos Multilingües

1. Planteamiento del Problema

El entrenamiento de modelos de lenguaje grandes (LLMs) multilingües que funcionen bien en pares de idiomas diversos es computacionalmente costoso y requiere grandes volúmenes de datos. Una alternativa común es afinar (fine-tuning) modelos monolingües o específicos de tarea de forma independiente. Sin embargo, mantener y desplegar múltiples modelos especializados es ineficiente.

La fusión de modelos (model merging) en el espacio de pesos se ha presentado como una solución para combinar estos modelos sin acceder a los datos originales de entrenamiento. Aunque esta técnica ha tenido éxito en escenarios de multitarea (en inglés o visión por computadora), su comportamiento en contextos de traducción automática multilingüe (especialmente con afinamiento completo de parámetros) permanece poco entendido. El problema central de este trabajo es investigar por qué la fusión de modelos de traducción independientes falla drásticamente, degradando el rendimiento, especialmente cuando los idiomas objetivo difieren.

2. Metodología

Los autores diseñaron un estudio sistemático utilizando el corpus Samanantar y el modelo base Qwen-2.5-3B-Instruct.

• Afinamiento (Fine-tuning): Se afinaron modelos de forma independiente en ocho tareas de traducción bilingüe de gran escala (millones de pares de oraciones) entre inglés y cuatro idiomas indios: Hindi, Bengali, Tamil y Telugu. Se utilizaron actualizaciones de parámetros completos (full-parameter fine-tuning).
• Estrategias de Fusión: Se evaluaron varias técnicas de fusión en el espacio de pesos:
  • Task Arithmetic (promedio lineal de vectores de tarea).
  • TIES (poda de actualizaciones de baja magnitud y resolución de conflictos de signo).
  • DARE (eliminación aleatoria de parámetros delta y reescalado).
  • SCE-Merging (selección de cambios de peso significativos).
• Configuraciones de Evaluación:
  1. Muchos a Uno (Many→One): Fusión de modelos con diferentes idiomas fuente pero un mismo idioma objetivo (ej. Hindi→En, Bengali→En fusionados).
  2. Uno a Muchos (One→Many): Fusión de modelos con un mismo idioma fuente pero diferentes objetivos (ej. En→Hindi, En→Bengali fusionados).
  3. Bidireccional: Fusión de modelos en direcciones opuestas para crear sistemas bidireccionales.
• Análisis Interno: Para entender el fallo, se emplearon tres técnicas de análisis a nivel de neuronas y representaciones:
  • Selectividad de Neuronas Condicionada por Span: Análisis de qué neuronas se activan para el texto fuente vs. el texto objetivo.
  • Alineación de Uso de Neuronas (NUA): Medición de la similitud en los patrones de activación entre modelos.
  • Alineación de Kernel Centrado (CKA): Evaluación de la similitud geométrica de las representaciones internas capa por capa.

3. Contribuciones Clave

1. Estudio Sistemático: Es uno de los primeros estudios que examina la fusión en el espacio de pesos para traducción multilingüe con afinamiento completo en corpus de gran escala, liberando checkpoints para benchmarking.
2. Descubrimiento de Asimetría Direccional: Se demuestra que la fusión en traducción presenta una degradación mucho mayor y una asimetría direccional más fuerte que en la fusión multitarea estándar.
3. Análisis de la Causa Raíz: Se identifica que el afinamiento redistribuye la especialización lingüística hacia las capas superiores del modelo, creando una desalineación geométrica que rompe los supuestos de compatibilidad de la fusión.

4. Resultados Experimentales

• Rendimiento de Fusión:

  • En la configuración Muchos a Uno (Indic→En), la fusión mejora la cobertura multilingüe y la estabilidad en comparación con el modelo base, pero falla en mantener el rendimiento máximo de los modelos afinados individualmente.
  • En la configuración Uno a Muchos (En→Indic), la fusión falla catastróficamente. El rendimiento cae por debajo del modelo base preentrenado. Por ejemplo, al fusionar modelos para En→Hindi, En→Bengali, etc., el modelo fusionado retiene solo ~22% del BLEU del modelo afinado específico.
  • En la configuración Bidireccional, la degradación es aún más severa y dependiente de la dirección. La generación en el idioma objetivo (En→Indic) colapsa casi por completo, mientras que la generación en inglés (Indic→En) se preserva parcialmente.

• Hallazgos del Análisis Interno:

  • Especialización de Neuronas: El afinamiento no crea neuronas completamente nuevas y aisladas, sino que redistribuye la selectividad.
    • Las neuronas específicas del idioma se concentran en las capas de embedding (para la entrada) y, crucialmente, en los bloques superiores del transformador (para la generación).
    • Las capas intermedias permanecen mayormente compartidas entre idiomas.
  • Desalineación Geométrica (CKA y Ángulos Principales):
    • Las representaciones en las primeras y medias capas son altamente compatibles entre modelos afinados.
    • Sin embargo, en las capas finales (superiores), las representaciones de generación se reorganizan de manera específica para cada idioma objetivo. La alineación geométrica (CKA) entre modelos con diferentes idiomas objetivo colapsa en las últimas capas (valores tan bajos como 0.15-0.27).
  • Uso de Neuronas (NUA): A pesar de que los modelos afinados activan conjuntos de neuronas muy similares (alta superposición), la geometría de la activación (la dirección en el espacio vectorial) es diferente. La fusión lineal combina subespacios geométricamente desalineados dentro de las mismas unidades computacionales.

5. Significado y Conclusiones

El trabajo concluye que la fusión de modelos en el espacio de pesos falla en escenarios de traducción multilingüe debido a una reorganización estructural asimétrica inducida por el afinamiento:

1. Redistribución de la Especialización: El afinamiento no solo ajusta pesos, sino que desplaza la especialización lingüística hacia las capas superiores que gobiernan la generación.
2. Incompatibilidad Geométrica: Cuando se fusionan modelos con diferentes idiomas objetivo, las capas finales (donde se decide la salida) tienen geometrías incompatibles. La interpolación lineal (fusión) mezcla estas geometrías desalineadas, suprimiendo las características generativas específicas del idioma y causando el colapso del rendimiento.
3. Implicación Teórica: Esto sugiere que los modelos de traducción independientes no ocupan el mismo "valle" (basin) en el espacio de parámetros en las capas superiores, violando los supuestos de simetría de permutación necesarios para una fusión exitosa (como sugiere la teoría de Git Re-Basin).

En resumen, el artículo demuestra que, a diferencia de la fusión multitarea, la fusión de modelos de traducción totalmente afinados es frágil porque la especialización del idioma objetivo altera profundamente la geometría de las capas de generación, haciendo que la combinación directa de pesos sea destructiva.