Can you map it to English? The Role of Cross-Lingual Alignment in Multilingual Performance of LLMs

Resumen Técnico: El Papel de la Alineación Translingüe en el Rendimiento Multilingüe de los LLM

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLM) demuestran capacidades multilingües impresionantes, realizando con éxito tareas de Comprensión del Lenguaje Natural (NLU) en idiomas distintos al inglés, a pesar de haber sido entrenados predominantemente con texto en inglés. Si bien las arquitecturas de solo codificador (encoder-only) han demostrado que el conocimiento se transfiere de lenguas de altos recursos a lenguas de bajos recursos, los mecanismos que impulsan esta generalización en los LLM de solo decodificador (decoder-only) siguen sin comprenderse bien. Específicamente, no está claro si la capacidad de un LLM para alinear las representaciones de entradas no inglesas con sus contrapartes paralelas en inglés influye causalmente en el rendimiento de instancias de tareas individuales. Trabajos previos han establecido correlaciones entre la alineación translingüe y la precisión multilingüe a nivel de lenguaje utilizando métricas agregadas, pero estos estudios no explican cómo la alineación de representaciones afecta el comportamiento del modelo en instancias específicas de NLU.

Metodología
Los autores proponen un marco para investigar la alineación translingüe a nivel de instancia y establecer un vínculo causal entre la alineación y el éxito de la tarea.

1. Métricas de Alineación a Nivel de Instancia:
   El artículo introduce tres métricas para cuantificar la alineación en tareas de NLU discriminativas (Preguntas de Opción Múltiple):

   • DALI (Índice de Alineación Discriminativa): Una puntuación binaria que indica si la similitud de coseno de los pares de premisa-final emparejados translingüemente supera la de los pares no emparejados dentro de una instancia específica.
   • DALIst: Una variante más estricta de DALI que requiere que los pares emparejados translingüemente también superen la similitud de los pares no emparejados dentro del mismo idioma, mitigando los falsos positivos causados por la anisotropía en las representaciones de los transformers.
   • MEXAT: Una variante de la métrica MEXA existente específica para la tarea, computada utilizando premisas de la tarea en lugar de corpus paralelos genéricos.

2. Diseño Experimental:

   • Conjuntos de Datos: El estudio utiliza tres evaluaciones comparativas de NLU multilingües (Belebele, Xstorycloze, Xcopa) que contienen pares de premisa-opción paralelos en 24 idiomas.
   • Categorización de Instancias: Las instancias se categorizan en Éxito de Transferencia (TS) (correcto tanto en inglés como en el idioma no inglés) y Fallo de Transferencia (TF) (correcto en inglés, incorrecto en el idioma no inglés).
   • Análisis Asociativo: Los autores comparan las puntuaciones de alineación (DALI, DALIst, MEXAT) de las muestras TS y TF a través de las capas del transformer para determinar si las transferencias exitosas exhiben una mayor alineación.
   • Parcheo de Activaciones (Activation Patching): Para establecer la causalidad, los autores realizan un parcheo de activaciones en las instancias TF. Reemplazan los estados ocultos ($h^\lambda$) de una pasada hacia adelante (forward pass) fallida en el idioma no inglés con los estados correspondientes de una pasada exitosa en inglés en capas específicas ($\lambda$).
   • Experimentos de Control: Para asegurar que los parches corrigen basándose en la alineación semántica y no simplemente inyectando el token objetivo (por ejemplo, la opción de respuesta 'A' o 'B'), los autores realizan un parcheo de control utilizando muestras en inglés no relacionadas que comparten el mismo token objetivo pero diferentes semánticas.

Resultos Clave

• Asociación con el Éxito: A través de 33 combinaciones de lenguaje-evaluación-métrica, las instancias de Éxito de Transferencia (TS) exhiben consistentemente puntuaciones de alineación translingüe más altas que las instancias de Fallo de Transferencia (TF). Esta asociación es estadísticamente significativa en 8 casos y positiva en 30, lo que sugiere que una mejor alineación se correlaciona con una generalización exitosa.
• Efectos Específicos de la Capa: El análisis revela que la alineación translingüe alcanza su punto máximo en las capas medias del transformer (aproximadamente las capas 14–25).
• Evidencia Causal mediante Parcheo:
  • El parcheo de activaciones en inglés hacia las capas medias de las instancias no inglesas fallidas aumenta significamente la probabilidad de que el modelo cambie a la respuesta correcta.
  • La "tasa de cambio" (porcentaje de predicciones corregidas) es más alta cuando el parcheo ocurre en estas capas medias.
  • Especificidad Semántica: Los experimentos de control demuestran que los parches en inglés semánticamente equivalentes son significativamente más efectivos para corregir las predicciones que los parches de control (muestras en inglés no relacionadas con el mismo token de respuesta). Esto confirma que la corrección es impulsada por la alineación semántica, no meramente por la inyección del token objetivo.
• Análisis de Entropía: Las correcciones logradas mediante parches semánticamente equivalentes resultan en una menor entropía de salida (mayor confianza) en comparación con los parches de control, lo que sugiere que la alineación estabiliza el proceso de toma de decisiones del modelo.

Contribuciones Clave

1. Métricas a Nivel de Instancia: La introducción de DALI y DALIst, que van más allá del análisis agregado a nivel de lenguaje para cuantificar la alineación en una base por instancia para tareas discriminativas.
2. Validación Causal: Proporcionar evidencia causal a través del parcheo de activaciones de que la desalineación en las capas medias es un motor primario de los fallos translingües. El estudio demuestra que "forzar" la alineación mediante la inyección de representaciones en inglés puede rectificar errores en el idioma no inglés.
3. Clarificación del Mecanismo: El trabajo respalda la hipótesis de que los LLM de solo decodificador procesan el texto en un idioma no inglés pivotando implícitamente a través de representaciones en inglés en las capas medias, donde ocurre el razonamiento agnóstico al lenguaje.

Significancia y Reivindicaciones
El artículo afirma cerrar la brecha entre los estudios correlacionales de la alineación multilingüe y los mecanismos causales del comportamiento del modelo. Al demostrar que la alineación semántica translingüe en capas medias localizadas contribuye causalmente a la corrección, los autores argumentan que el "pivote a través del inglés" no es solo un artefacto estadístico, sino un mecanismo funcional para el razonamiento.

Los autores enmarcan sus hallazgos de manera modesta como evidencia de que la alineación es un componente necesario para la transferencia exitosa en tareas discriminativas. Señalan que, aunque el parcheo puede corregir errores, no corrige todas las instancias, lo que implica que otros factores también pueden contribuir al fallo. El artículo concluye que estos hallazgos motivan trabajos futuros sobre el direccionamiento en el tiempo de inferencia (inference-time steering) para aprovechar las activaciones en inglés de alta fidelidad para mejorar el rendimiento en otros idiomas, mientras que también advierten sobre posibles desventajas como la inflación de la confianza o la erradicación del conocimiento local del idioma no inglés. El estudio se limita a tareas de NLU discriminativas y a la alineación bilingüe (idioma no inglés a inglés), excluyendo la alineación entre otros pares de idiomas.