Skill Issue: Are Skills Language-Invariant in LLMs?

Los modelos de lenguaje de gran tamaño son los motores detrás de muchas de las herramientas de inteligencia artificial que utilizamos hoy en día, capaces de escribir historias, resolver problemas y responder preguntas en docenas de idiomas. Durante años, los investigadores han sabido que estos sistemas no funcionan con la misma eficacia en todas las lenguas; un modelo puede ser brillante respondiendo a una pregunta de historia en inglés, pero tener dificultades para encontrar el mismo dato cuando se le pregunta en árabe o chino. Esta inconsistencia generalmente se ha atribuido a los datos con los que se entrenaron los modelos, asumiendo que algunos idiomas simplemente tienen menos información disponible para enseñar a la máquina. Sin embargo, una nueva línea de investigación plantea una pregunta más profunda: ¿es el problema solo lo que el modelo sabe, o es sobre lo que el modelo realmente puede hacer? ¿Podría ser que la misma mente artificial posea diferentes conjuntos de habilidades dependiendo de qué idioma esté hablando, incluso cuando la tarea en sí permanece exactamente igual?

Un equipo de investigadores se propuso responder a esto tratando el lenguaje no como un objeto de estudio, sino como una variable en un experimento controlado. Recurrieron a un concepto familiar: el juego. Al colocar dos copias idénticas del mismo modelo de inteligencia artificial en una arena digital para jugar entre sí, crearon una prueba perfecta de habilidad. En esta configuración, las reglas del juego, el tablero, las cartas y los movimientos posibles permanecieron congelados e idénticos para ambos jugadores. Lo único que cambiaba era el idioma utilizado para describir la situación. Un jugador recibía instrucciones y veía el estado del juego en inglés, mientras que su oponente veía exactamente el mismo tablero y las mismas reglas traducidas al alemán, hebreo, chino o uno de varios otros idiomas. Debido a que los modelos eran idénticos y las mecánicas del juego estaban fijas, cualquier diferencia en quién ganaba tenía que provenir de la interfaz lingüística en sí, no de una diferencia en el conocimiento o la inteligencia.

Los investigadores construyeron un enorme campo de pruebas llamado una extensión multilingüe de una plataforma de juegos conocida como TextArena, que les permitió realizar miles de partidas a través de seis tipos diferentes de juegos. Estos juegos variaban desde rompecabezas espaciales simples como el Tres en Raya, donde los jugadores deben visualizar una cuadrícula, hasta complejos juegos estratégicos que involucran la asignación de recursos y el faroleo. Probaron tres modelos de código abierto diferentes, cada uno con un tamaño similar, enfrentándolos contra sí mismos en ocho idiomas distintos. Los resultados revelaron una realidad sorprendente: el mismo modelo podía ser un maestro estratega en un idioma y un novato torpe en otro. En algunos casos, el modelo que jugaba en inglés derrotaba consistentemente a su propia versión que jugaba en hebreo o árabe, no porque supiera más sobre el juego, sino porque el idioma mismo parecía desbloquear o bloquear su capacidad para pensar con claridad.

La naturaleza de estos fallos fue específica y reveladora. En juegos que requerían razonamiento espacial, como conectar líneas en una cuadrícula, los modelos que jugaban en idiomas que utilizan escrituras no latinas, como el árabe o el hebreo, cometían con frecuencia errores que parecían un malentendido fundamental del tablero. A menudo fallaban al ver una línea ganadora que corría diagonal o verticalmente, tratando la cuadrícula como si las filas fueran lo único que importaba. En juegos de azar y estrategia, como una forma simplificada de póker, los modelos cambiaban de personalidad por completo según el idioma. Un modelo podía jugar de forma cautelosa y honesta en un idioma, pero volverse agresivo y propenso a faroleos arriesgados en otro, a pesar de que las cartas en su mano eran idénticas. Los investigadores descubrieron que estos no eran errores aleatorios; eran cambios sistemáticos en el comportamiento que dependían enteramente de las palabras utilizadas para enmarcar el problema.

Quizás el descubrimiento más sorprendente fue que el problema no siempre se trataba del idioma que el modelo estaba leyendo, sino del idioma que utilizaba para pensar. En algunos experimentos, los investigadores mantuvieron las instrucciones del juego en un idioma más débil, como el alemán, pero instruyeron al modelo para que realizara su razonamiento interno en inglés. Este simple cambio permitió al modelo recuperar gran parte de su rendimiento perdido, sugiriendo que la barrera lingüística no era solo un problema de traducción, sino uno cognitivo. El modelo podía acceder a todo su potencial estratégico si se le permitía "pensar" en un idioma más fuerte, incluso mientras jugaba en uno más débil. Esto indica que la interfaz lingüística afecta las etapas mismas de la toma de decisiones, desde la comprensión del estado actual del juego hasta la selección del mejor movimiento.

El estudio también analizó si estas diferencias podían explicarse por la cantidad de texto que existe en internet para cada idioma. Si bien es cierto que los idiomas con más datos disponibles generalmente funcionaban mejor, este factor no contaba toda la historia. Algunos idiomas con relativamente pocos datos en la web permitieron que los modelos jugaran muy bien, mientras que otros con abundantes datos resultaron en un desempeño deficiente. Esto sugiere que el problema no es solo la cantidad de material de entrenamiento, sino cómo el modelo ha aprendido a conectar habilidades a través de diferentes sistemas lingüísticos. Los hallazgos implican que, para que la inteligencia artificial sea verdaderamente fiable y justa, los desarrolladores no pueden simplemente asumir que las capacidades de un modelo son consistentes en todos los idiomas. El idioma que un modelo habla no es solo una ventana a su conocimiento; es una lente que puede distorsionar sus habilidades, cambiando cómo ve el mundo y cómo juega el juego.