Hidden Language Consistency Phenomena in Reasoning LLMs

Imagina que estás en un salón de clases donde el profesor le pide a un estudiante que resuelva un problema matemático difícil, pero con una regla muy específica: "Debes pensar en voz alta y escribir tu respuesta enteramente en español". En el mundo de la inteligencia artificial, estos "estudiantes" son Modelos de Lenguaje Extensos (LLM), por sus siglas en inglés—programas informáticos superinteligentes que han leído casi todo lo que hay en internet. Cuando les pedimos que resuelvan problemas difíciles, a menudo utilizan una técnica llamada "Cadena de Pensamiento" (Chain-of-Thought), que es como un estudiante que escribe paso a paso su proceso de pensamiento antes de dar la respuesta final. Durante mucho tiempo, a los científicos solo les importaba si la respuesta final era correcta. Trataban el proceso de pensamiento como una caja negra, asumiendo que si la respuesta era correcta, el estudiante estaba haciendo todo correctamente. Pero, al igual igual que un estudiante humano podría empezar a hablar francés o inglés por accidente mientras intenta resolver un problema en español, estos modelos de IA a veces pueden tener un "desliz" y cambiar de idioma a mitad de su pensamiento, incluso cuando les pedimos explícitamente que no lo hicieran. Este artículo investiga exactamente eso: qué sucede cuando les pedimos a estos estudiantes de IA que resuelvan problemas matemáticos cada vez más difíciles, y si mantienen su promesa lingüística, o si se confunden tanto que comienzan a hablar un idioma diferente por completo.

Los investigadores detrás de este estudio decidieron poner a prueba a estos "estudiantes" de IA utilizando un examen matemático especial llamado PolyMath, que cubre ocho idiomas diferentes y cuatro niveles de dificultad, que van desde la matemática escolar simple hasta los acertijos más difíciles de nivel olímpico. Examinaron cinco modelos de "razonamiento" diferentes (IA diseñadas para pensar profundamente) y tres modelos "no de razonamiento" (IA estándar) para ver cómo manejaban la tarea. Lo que descubrieron es algo parecido a observar a un estudiante entrar en pánico bajo presión. Descubrieron que a medida que los problemas matemáticos se volvían más difíciles, los modelos no solo empeoraban en matemáticas; a menudo también empeoraban en el cumplimiento del idioma que debían usar.

El estudio reveló cuatro formas distintas en las que ocurre este "desliz" lingüístico. A veces, un modelo es una estrella y se mantiene en el idioma correcto sin importar qué tan difícil sea el problema. Otras veces, es un total rebelde y se niega a usar el idioma solicitado desde el principio, aferrándose a su idioma interno favorito (generalmente el inglés) sin importar qué pase. Un tercer grupo comienza con fuerza pero pierde el enfoque poco a poco, derivando hacia otro idioma a medida que los problemas se vuelven más complicados. Pero el hallazgo más sorprendente es el cuarto grupo: estos modelos funcionan perfectamente bien con problemas fáciles y medianos, pero en el momento en que alcanzan un nivel de dificultad "medio", colapsan repentinamente y por completo, cambiando de idioma de forma abrupta. Los autores llaman a esto el "efecto de ruptura de la consistencia del lenguaje".

Aquí está el giro que hace que esto sea realmente interesante: el artículo encontró que este cambio de idioma no siempre es malo para la puntuación. En algunos casos, cuando un modelo dejaba de intentar pensar en el idioma solicitado (como el telugu o el suajili) y cambiaba a su "zona de confort" (como el inglés), en realidad acertaba más preguntas, a pesar de que el problema era más difícil. Es como si el estudiante dejara de intentar resolver el problema en español, cambiara al inglés y, de repente, obtuviera la respuesta correcta. Esto significa que si solo miras la puntuación final, podrías pensar que la IA se está volviendo más inteligente, cuando en realidad, simplemente dejó de seguir tus instrucciones de idioma.

Los investigadores también probaron qué sucede cuando "comprimen" estos modelos para que funcionen más rápido en dispositivos más pequeños (un proceso llamado cuantización). Descubrieron que esta compresión es una apuesta. A veces ayuda al modelo a mantener el idioma correcto, y otras veces hace que cambie de idioma aún más rápido, y esto sucede independientemente de si las respuestas matemáticas mejoran o empeoran. Por ejemplo, un método llamado GPTQ a menudo ayudó a los modelos a mantener mejor su consistencia de idioma que otro método llamado AutoRound, a pesar de que AutoRound era mejor manteniendo las respuestas matemáticas correctas.

En resumen, este artículo sostiene que no podemos limitarnos a mirar si una IA obtiene la respuesta correcta para juzgar si es buena siendo multilingüe. Tenemos que observar cómo piensa y qué idioma utiliza mientras piensa. Si no lo hacemos, podríamos pasar por alto el hecho de que la IA está hablando secretamente un idioma diferente para resolver el problema, o que de repente está abandonando tu idioma por completo cuando las cosas se ponen difíciles. El estudio sugiere que, para que la IA sea verdaderamente confiable en un mundo multilingüe, necesitamos medir no solo la calificación final, sino también si el estudiante realmente siguió las reglas de idioma del examen.