💬 NLP

No Optimal Language Set Exists for Multilingual Instruction Tuning: Insights from a Linguistically-Informed Study

Este artículo evalúa sistemáticamente estrategias de selección de lenguas informadas lingüísticamente para el ajuste de instrucción multilingüe y encuentra que no existe un conjunto de lenguas óptimo universal, ya que el rendimiento depende altamente de tareas y modelos específicos, siendo que añadir más lenguas a menudo desencadena la maldición de la multilingüidad.

Autores originales: Gürkan Soykan, Gözde Gül Şahin

Publicado 2026-07-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Gürkan Soykan, Gözde Gül Şahin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el mundo de la inteligencia artificial como una biblioteca masiva y hambrienta. En años recientes, los científicos han estado enseñando a estos cerebros digitales a seguir instrucciones, no solo en un idioma como el inglés, sino en docenas o incluso cientos. Esto se llama "ajuste de instrucciones multilingüe". Piensa en ello como entrenar a un nuevo empleado que necesita hablar con clientes de todos los países de la Tierra. El objetivo es hacer que el empleado sea lo suficientemente inteligente como para entender una petición en francés, responder en suajili y explicar un chiste en japonés, todo sin confundirse.

Sin embargo, hay un inconveniente. La biblioteca tiene un espacio limitado en los estantes (potencia de cómputo) y una cantidad limitada de tiempo para entrenar al empleado. Si intentas meter cada uno de los idiomas en el horario de entrenamiento, el empleado podría abrumarse y empezar a olvidar cómo hablar bien cualquiera de ellos. Esto se conoce como la "maldición de la multilingüidad". Debido a esto, muchos investigadores se han preguntado: ¿Existe una "receta mágica" para elegir el grupo perfecto de idiomas? Tal vez si elegimos idiomas que estén distribuidos geográficamente, o que suenen muy diferentes entre sí, podríamos crear un empleado súper inteligente que trabaje perfectamente para todos, en todas partes. Es una idea esperanzadora: encuentra la mezcla perfecta y obtienes la mejor IA posible.

Este artículo, titulado "No existe un conjunto de idiomas óptimo para el ajuste de instrucciones multilingüe", entra al laboratorio para probar esa misma esperanza. Los investigadores, Gürkan Soykan y Gözde Gül Şahin, establecieron una serie de experimentos para ver si podían encontrar esa receta mágica. Tomaron tres tipos diferentes de modelos de IA (piensa en ellos como tres aprendices diferentes con distintos estilos de aprendizaje) e intentaron enseñarles usando varias estrategias "lingüísticamente informadas". Estas estrategias eran como diferentes formas de elegir un equipo: un equipo fue elegido basándose en dónde se hablan los idiomas en un mapa (Geografía), otro basándose en cómo se construyen gramaticalmente los idiomas (Tipología), y otros basados en qué tan similares son sus significados o cómo fueron aprendidos por las computadoras. Compararon estas elecciones inteligentes contra una elección "aleatoria" simple, como sacar nombres de un sombrero.

Los resultados fueron un giro en la trama. Los autores descubrieron que no existe un único "mejor" equipo de idiomas que gane siempre. No es como encontrar una llave universal que abre todas las puertas. En cambio, la mejor elección dependía enteramente de qué modelo de IA específico estabas entrenando y qué tarea específica le pedías que hiciera. Para un modelo, elegir idiomas basados en la geografía funcionó de maravilla; para otro, elegir basándose en la gramática fue mejor. ¡A veces, las elecciones "inteligentes" resultaron ser peores que simplemente elegir idiomas al azar!

El estudio también descubrió un límite estricto. Cuando seguían añadiendo más idiomas a la mezcla de entrenamiento, el rendimiento de la IA no seguía mejorando indefinidamente. Una vez que llegaban a cierto punto, alrededor de 13 o 14 idiomas, el rendimiento en realidad empezaba a caer. Es como intentar comer en un buffet: los primeros platos son deliciosos, pero si sigues amontonando más comida en tu plato, eventualmente te llenas demasiado como para disfrutar de nada. Esto confirmó la "maldición de la multilingüidad": con una cantidad fija de tiempo de entrenamiento, añadir demasiados idiomas perjudica la capacidad de la IA para aprenderlos todos bien.

Además, los investigadores descubrieron que lo que funciona para un modelo de IA puede ser terrible para otro. Una estrategia que hacía a un modelo más inteligente podía hacer a un modelo diferente más tonto. También notaron que, a veces, enseñar a la IA en un solo idioma (como el vietnamita) era tan bueno como, o incluso mejor que, enseñarle en una mezcla de muchos idiomas, dependiendo del modelo.

Al final, el artículo sugiere que la búsqueda de un único y perfecto "conjunto de idiomas óptimo" es un callejón sin salida. No existe una solución única para todos. El mejor enfoque parece ser un poco más cauteloso: elegir un grupo diverso de unos 10 a 15 idiomas suele ser una apuesta segura, pero hay que estar preparado para probar diferentes combinaciones para cada nuevo modelo y cada nueva tarea. Los autores advierten que simplemente promediar las puntuaciones a través de diferentes pruebas puede ser engañoso, ocultando el hecho de que una estrategia puede ser genial para un trabajo pero terrible para otro. Así que, aunque no podemos encontrar una receta mágica, sí sabemos que ser reflexivos sobre cómo elegimos nuestros idiomas —y saber cuándo dejar de añadir más— es la clave para construir una IA multilingüe mejor y más útil.

Resumen Técnico: No existe un conjunto de lenguajes óptimo para el ajuste de instrucciones multilingüe

Declaración del Problema

El ajuste de instrucciones multilingüe (MIT, por sus siglas en inglés) tiene como objetivo mejorar el rendimiento translingüístico de los modelos de lenguaje extensos (LLMs), pero enfrenta tres desafíos principales: la maldición de la multilingüidad (donde el rendimiento por idioma se degrina a medida que la capacidad del modelo se divide entre más idiomas), la escasez de datos y los altos costos computacionales. Una hipótesis prevalente sugiere que la selección cuidadosa de un subconjunto de lenguajes lingüísticamente diversos debería producir modelos universalmente superiores que generalicen mejor a través de tareas e idiomas que la selección aleatoria o el ajuste monolingüe. Sin embargo, trabajos previos no han investigado sistemáticamente si las estrategias de selección informadas lingüísticamente producen una estrategia de MIT universalmente óptima bajo presupuestos computacionales fijos.

Metodología

Los autores llevan a cabo una evaluación sistemática de varias estrategias de selección de lenguajes frente a un punto de referencia aleatorio a través de tres familias de modelos y cinco evaluaciones multilingües.

Conjunto de Datos: El estudio utiliza Bactrian-X, un conjunto de datos de instrucciones paralelas multilingües que contiene 3.4 millones de pares de instrucción-respuesta en 52 idiomas.
Configuración Experimental:
- Control de Presupuesto: Siguiendo a Chen et al. (2023a), el presupuesto total de entrenamiento se fija en 67,000 instancias por experimento. Para subconjuntos de 14 idiomas, esto equivale a aproximadamente 4,786 instancias por idioma.
- Estrategias de Selección: Los autores seleccionan subconjuntos de 14 idiomas utilizando $k$ $k$ -means clustering ( $k=14$ $k = 14$ ) sobre diferentes espacios de características:
  - GEO: Vectores geográficos.
  - TYPO: Vectores tipológicos.
  - SEM: Embeddings de tipología semántica.
  - LEARN: Vectores de lenguaje aprendidos.
  - FAM: Un idioma por familia lingüística.
  - RND: Selección aleatoria (punto de referencia).
  - ALL: Los 52 idiomas (utilizado para probar los límites del presupuesto).
- Modelos: Tres familias de modelos son ajustadas para instrucciones utilizando LoRA:
  - mGPT-1.3B
  - mT5-XL-3.7B
  - BLOOM (variantes de 1.7B, 3B y 7B)
- Evaluación: Los modelos son evaluados zero-shot en cinco evaluaciones: XNLI, PAWS-X, XCOPA, XStoryCloze y XWinograd.
- Rigor Estadístico: Cada configuración se ejecuta con tres semillas aleatorias. La significancia se evalúa mediante pruebas t pareadas, con tamaños de efecto medidos mediante la $d_z$ de Cohen.

Resultados Clave

1. No existe una estrategia óptima universal

El hallazgo central es que ninguna estrategia de selección de lenguajes consiste de manera constante en superar a otras en todos los modelos y tareas.

El rendimiento es altamente dependiente de la tarea y del modelo. Por ejemplo, la estrategia GEO lidera para BLOOM-7B en XStoryCloze, mientras que TYPO logra el mejor promedio para BLOOM-7B en general, y FAM funciona mejor en promedio para mT5-xl, y GEO o TYPO lideran para mGPT en tareas de NLU.
Las mejoras sobre el punto de referencia aleatorio (RND) a menudo no son estadísticamente significativas. Se observaron ganancias significativas solo en combinaciones específicas de modelo-tarea (por ejemplo, GEO vs. RND para mGPT en XNLI), pero estas no se generalizaron.
En algunas configuraciones, los subconjuntos informados lingüísticamente funcionaron significativamente peor que el punto de referencia aleatorio, lo que indica que la selección informada puede ser contraproducente.

2. La Maldición de la Multilingüidad Reaparece

Aumentar el número de idiomas más allá de un umbral modesto desencadena una degradación del rendimiento.

Para BLOOM-7B, el rendimiento alcanza su punto máximo en 13–14 idiomas y declina consistentemente a medida que el recuento de idiomas aumenta a 52 (la configuración "ALL").
La configuración "ALL" nunca logró el mejor rendimiento promedio para ninguno de los modelos probados, confirmando que, bajo un presupuesto computacional fijo, maximizar el recuento de idiomas es perjudicial.

3. Generalización Dependiente del Modelo

La generalización translingüística a idiomas no vistos (idiomas presentes en las evaluaciones pero no en el subconjunto de entrenamiento) varía significativamente según la arquitectura del modelo.

Mientras que los subconjuntos informados lingüísticamente generalmente mejoraron respecto al modelo base para mGPT, mT5-xl y BLOOM-3B, los resultados divergieron para los modelos BLOOM más grandes (7B), donde solo dos de cinco subconjuntos mejoraron respecto al modelo base.
Esto sugiere una interacción no trivial entre la composición del corpus de preentrenamiento y la selección de subconjuntos; una estrategia efectiva para la distribución de preentrenamiento de un modelo puede ser perjudicial para otra.

4. Tamaño del Modelo y Competencia Monolingüe

Efectos de Escala: Las clasificaciones de las estrategias cambian a medida que aumenta la escala del modelo. Por ejemplo, GEO sobresale en las escalas de 3B y 7B, mientras que FAM comienza fuerte en 1.7B pero disminuye. Ninguna estrategia permanece uniformemente como la mejor a medida que la escala aumenta.
Monolingüe vs. Multilingüe: En un estudio de caso sobre el vietnamita, el ajuste monolingüe (67k ejemplos) ocupó el primer lugar para mT5 y el segundo para mGPT, desempeñándose competitivamente con los mejores subconjuntos multilingües. Esto desafía la suposición de que los subconjuntos multilingües son siempre preferibles.

5. El Papel del Solapamiento

El estudio analiza el solapamiento entre los corpus de preentrenamiento, los subconjuntos de entrenamiento y los idiomas de evaluación.

BLOOM tiene un pequeño solapamiento entre su corpus de preentrenamiento y los idiomas de evaluación de XNLI (8/15), y la mayoría de los subconjuntos informados puntuaron significativamente por debajo del punto de referencia aleatorio en XNLI para BLOOM-7B.
mGPT cubre 14/15 idiomas de XNLI en su preentrenamiento, y los subconjuntos informados puntuaron significativamente más alto allí.
Sin embargo, el solapamiento por sí solo no dicta los resultados; GEO mejoró significativamente XStoryCloze en ambos modelos a pesar de compartir pocos idiomas de evaluación, lo que sugiere que los conjuntos de idiomas de las evaluaciones apenas se intersectan, haciendo que la optimalidad universal sea estructuralmente imposible.

Significancia e Implicaciones

El artículo argumenta que el campo debe alejarse de la búsqueda de un conjunto de lenguajes "talla única" óptimo para el ajuste de instrucciones multilingüe.

Advertencia Metodológica: Reportar puntuaciones agregadas únicas a través de tareas y modelos es profundamente engañoso. Una estrategia que parece superior en agregado puede tener un rendimiento significativamente inferior en tareas específicas (por ejemplo, FAM tuvo el mejor promedio para mT5-xl pero la peor puntuación en XNLI). Los autores instan a la comunidad a reportar desgloses por tarea y por modelo con intervalos de confianza y a evitar la generalización excesiva a partir de evaluaciones limitadas.
Lección Práctica: Aunque no existe un óptimo universal, la selección informada lingüísticamente (particularmente GEO y TYPO) tiende a ser un valor por defecto más seguro que la selección aleatoria, especialmente en las escalas de modelos más grandes. Para los profesionales, la clave es apuntar a 10–15 idiomas lingüísticamente diversos en lugar de maximizar el recuento de idiomas, ya que añadir más idiomas más allá de este umbral desencadena la maldición de la multilingüidad bajo presupuestos fijos.
Hallazgos Negativos como Guía: La ausencia de un ganador universal se atribuye a tres factores compuestos: el desajuste del corpus de preentrenamiento, las restricciones de alineación tarea-idioma y la sensibilidad a la semilla. Estos hallazgos advierten contra las prescripciones universales simples para la curación de datos de MIT y resaltan la necesidad de una evaluación específica para cada tarea y modelo con un reporte estadístico adecuado.

Los autores concluyen que, si bien la selección informada lingüísticamente generalmente supera a la selección aleatoria en promedio, la complejidad de las interacciones entre la arquitectura del modelo, los datos de preentrenamiento y los requisitos de la tarea impide la existencia de un único conjunto de lenguajes óptimo para todos los escenarios.