When English Isn't the Best Teacher: Source Language Effects in Cross-Lingual In-Context Learning

Resumen Técnico: Cuando el inglés no es el mejor maestro

Planteamiento del problema
Si bien la transferencia translingüística en el procesamiento de lenguaje natural (PLN) multilingüe ha sido ampliamente estudiada en contextos de ajuste fino supervisado, su dinámica en el paradigma emergente del Aprendizaje en Contexto (ICL, por sus siglas en inglés) sigue sin explorarse suficientemente. En el ajuste fino, se sabe que factores como la similitud lingüística, el solapamiento léxico y los sistemas de escritura dictan la calidad de la transferencia. Sin embargo, a medida que el campo se desplaza hacia modelos de lenguaje de gran tamaño (LLM) ajustados por instrucciones que dependen del ICL de pocos disparos (few-shot) en lugar de actualizaciones de parámetros, no está claro si estos heurísticos establecidos se mantienen. Específicamente, existe una falta de evaluación rigurosa sobre cómo seleccionar lenguajes fuente efectivos para el ICL translingüístico, particularmente para lenguas de bajos recursos. Una suposición prevalente es que las lenguas de altos recursos (como el inglés) o las lenguas lingüísticamente similares sirven como las mejores fuentes, pero esto no ha sido validado en el régimen de ICL.

Metodología
Los autores llevaron a cabo un amplio estudio empírico para investigar las relaciones entre lengua fuente y lengua objetivo en el ICL translingüístico.

• Alcance: El estudio abarcó siete evaluaciones comparativas multilingües (que cubren tareas como identificación de paráfrasis, razonamiento de sentido común, comprensión de conocimiento y razonamiento matemático) y seis LLM (que van desde 1B hasta 4B de parámetros, incluyendo Llama 3.2, Gemma 3, Qwen3 y Phi-4-Mini).
• Lenguas: Se seleccionaron dieciocho lenguas tipológicamente diversas para maximizar el solapamiento de las evaluaciones.
• Dise Diseño Experimental: Los investigadores evaluaron todas las combinaciones posibles de lengua fuente-objetivo. Para asegurar la consistencia del contenido y aislar la dinámica de transferencia, utilizaron conjuntos de datos totalmente paralelos con ejemplos de prueba y de contexto alineados. Se adoptó una configuración de 4 disparos (4-shot) basada en hallazgos previos de que los demostrativos adicionales producen rendimientos decrecientes en escenarios multilingües.
• Métricas y Análisis:
  • Rendimiento de la Transferencia: Medido mediante puntuaciones z medias a través de tareas y modelos.
  • Análisis de Donante/Receptor: Definición de puntuaciones de donante (rendimiento promedio que una lengua proporciona a otras) y puntuaciones de receptor (rendimiento promedio que una lengua recibe).
  • Estudios de Correlación: Investigaron la correlación entre el rendimiento de la transferencia y (1) la similitud lingüística (usando URIEL y lang2vec para características sintácticas, genéticas, fonológicas y de rasgos), (2) la alineación translingüística dentro de las representaciones del modelo (medida mediante CKA - Centered Kernel Alignment en datos de FLORES-200) y (3) el tipo de escritura y la disponibilidad de recursos.
  • Confusión Lingüística: Extendieron el análisis a tareas generativas utilizando el Language Confusion Benchmark para medir la frecuencia con la que los modelos fallan al generar la salida en el idioma solicitado.

Contribuciones Clave y Resultados
El estudio desafía varias suposiciones heredadas de la era del ajuste fino:

1. La lengua objetivo no siempre es la mejor fuente: Contrario a la creencia común, la propia lengua objetivo sirve como la fuente más efectiva en aproximadamente el 24% de los casos.
2. El inglés es a menudo una fuente deficiente: A pesar de su dominio en los corpora de preentrenamiento, el inglés surgió como la peor lengua fuente en aproximadamente el 16% de los experimentos.
3. La similitud lingüística no es un predictor: A diferencia del ajuste fino supervisado, la similitud lingüística (genética, sintáctica, etc.) no muestra una correlación fuerte con la efectividad de la transferencia en ICL.
4. La alineación interna impulsa la transferencia: La alineación translingüística dentro del espacio de representación interna del modelo (aprendida durante el preentrenamiento) es un indicador significativamente más fuerte del éxito de la transferencia que las características lingüísticas superficiales.
5. La paradoja de "Bajos Recursos, No-Latín": Las lenguas fuente más efectivas son a menudo lenguas de bajos recursos y de escritura no latina (por ejemplo, tailandés, telugu, bengalí). Por el contrario, las lenguas de altos recursos y de escritura latina (como el inglés, español, alemán) están entre las fuentes menos efectivas.
6. Asimetría Donante-Receptor: Existe una fuerte correlación negativa (Pearson $r = -0.932$) entre la capacidad de una lengua como donante y su capacidad como receptora. Las lenguas que funcionan bien como objetivos suelen funcionar mal como fuentes, y viceversa.
7. Confusión Lingüística: En tareas generativas, la confusión lingüística (generar la salida en el idioma incorrecto) es un desafío distinto que no está directamente vinculado al rendimiento de la transferencia de la tarea. Las lenguas de escritura no latina tienden a sufrir más de confusión cuando se usan como objetivos, pero crean menos confusión cuando se usan como fuentes en comparación con las lenguas de escritura latina.

Significancia y Reivindicaciones
El artículo argumenta que el ICL translingüístico depende de mecanismos distintos a los del ajuste fino. Mientras que el ajuste fino aprovecha el solapamiento estructural y las actualizaciones de parámetros guiadas por la similitud lingüística, el ICL parece depender de las propiedades de representación aprendidas durante el preentrenamiento. Los autores sugieren que las lenguas de altos recursos pueden ser "altamente entrópicas", activando patrones de preentrenamiento superpuestos que fomentan la dependencia de heurísticos específicos del idioma en lugar de la estructura de la tarea. En contraste, las lenguas de bajos recursos o tipológicamente atípicas pueden actuar como regularizadores implícitos, obligando al modelo a centrarse en mapeos abstractos de entrada-salida.

La importancia de estos hallazgos radica en repensar las estrategias de selección de la lengua fuente. Los autores postulan que las lenguas menos apoyadas en los LLM actuales —particularmente las lenguas de bajos recursos y de escritura no latina— pueden servir como fuentes inesperadamente fuertes para el ICL translingüístico. Esto desafía la práctica estándar de recurrir por defecto al inglés o a lenguas lingüísticamente similares para el prompting. El trabajo subraya que un fuerte rendimiento como lengua objetivo no implica efectividad como lengua fuente, lo que sugiere que las prácticas de evaluación actuales centradas únicamente en el rendimiento del lado del objetivo pueden pasar por alto aspectos críticos de la selección de la lengua fuente.

Limitaciones y Consideraciones Éticas
Los autores señalan que su análisis se limita a 18 lenguas y modelos con $\le$ 4B de parámetros para la tratabilidad computacional, aunque la alta estabilidad a través de las ejecuciones sugiere que estas tendencias son robustas. Éticamente, los autores declaran explícitamente que sus hallazgos no deben interpretarse como una recomendación para reducir la presencia de ciertas lenguas en el preentrenamiento; más bien, los resultados reflejan las propiedades actuales de los modelos y las distribuciones de entrenamiento. Advierten que, a medida que mejore la disponibilidad de datos para las lenguas de bajos recursos, su papel como fuentes efectivas podría cambiar.