Discovering Cross-Language Reasoning Invariance in LLMs with Geometry-Invariant Sparse Autoencoders

Los modelos de lenguaje de gran tamaño son los motores detrás de muchas de las herramientas de inteligencia artificial más avanzadas de la actualidad, capaces de leer, escribir y resolver problemas en docenas de idiomas. Durante años, los investigadores se han preguntado cómo estos sistemas gestionan la complejidad de ser multilingües. Cuando un modelo resuelve un problema matemático en inglés y luego resuelve exactamente el mismo problema en chino, ¿utiliza la misma maquinaria mental interna para ambos o cambia a un conjunto de reglas completamente diferente para cada idioma? Esta cuestión es importante porque si el modelo utiliza un lenguaje interno compartido para el razonamiento, podríamos comprender su lógica una sola vez y aplicarla a cada idioma que habla. Si, por el contrario, depende de vías distintas y específicas de cada idioma, entonces comprender una versión del modelo nos dice muy poco sobre las demás. El campo de la interpretabilidad mecánica intenta mirar dentro de estos modelos para ver cómo funcionan, tratando sus estados internos como un complejo circuito impreso que puede ser mapeado y comprendido.

Un equipo de investigadores se propuso responder a esta pregunta observando el funcionamiento interno de cinco modelos de lenguaje de gran tamaño diferentes. Se centraron en una tarea específica: resolver problemas matemáticos de primaria. Tomaron un conjunto de datos de 250 problemas matemáticos y pidieron a cada modelo que los resolviera en seis idiomas diferentes: inglés, alemán, francés, español, ruso y chino. Para asegurar que estaban comparando manzanas con manzanas, solo conservaron los problemas donde el modelo obtuvo la respuesta correcta y produjo un camino de razonamiento claro y paso a paso en cada uno de los idiomas. Los investigadores grabaron entonces la actividad interna del modelo en varias etapas del proceso, capturando los patrones específicos de señales similares a la electricidad que se disparaban dentro de la computadora mientras este procesaba la solución.

Para dar sentido a estas complejas señales, los investigadores utilizaron una herramienta llamada autocodificador disperso (sparse autoencoder). Puede pensar en esto como una forma de traducir el ruido interno caótico del modelo en una lista de conceptos distintos y comprensibles. Así como un humano podría describir una escena enumerando sus elementos clave —cielo, árbol, perro, coche—, el autocodificador descompone la actividad del modelo en un conjunto de características activas. Los investigadores entrenaron dos versiones de esta herramienta para cada capa de los modelos. La primera versión simplemente aprendía a describir lo que veía en un solo idioma. La segunda versión fue entrenada con una instrucción especial: tenía que aprender a describir el mismo problema matemático utilizando el mismo conjunto de características, independientemente de si el problema se presentaba en inglés o en chino. Esta segunda versión fue diseñada para forzar al modelo a encontrar un terreno común, un lenguaje interno compartido para el razonamiento.

Los resultados revelaron una realidad sorprendente sobre cómo piensan estos modelos. Los investigadores descubrieron que el simple hecho de hacer que las descripciones internas se parecieran más geométricamente no garantizaba que el modelo estuviera utilizando realmente la misma lógica. En algunos modelos, forzar la alineación de las características internas entre idiomas hizo que el razonamiento del modelo fuera más robusto e intercambiable. En otros, no hubo diferencia alguna, y en un caso, incluso empeoró el rendimiento del modelo cuando intentaron intercambiar partes del razonamiento de un idioma a otro. Esto sucedió porque los modelos ya se habían asentado en hábitos muy diferentes. Una familia de modelos desarrolló naturalmente una forma de pensar compartida a medida que profundizaba en el problema, por lo que el nuevo entrenamiento ayudó a refinar ese camino compartido. Otra familia ya había construido una estructura compartida tan fuerte que el nuevo entrenamiento no tenía nada que aportar. Una tercera familia mantuvo sus idiomas estrictamente separados, y el intento de unirlos creó confusión en lugar de claridad.

El estudio examinó cinco modelos específicos de cuatro familias diferentes, con tamaños que oscilaban entre los 1.700 y los 4.000 millones de parámetros. Descubrieron que el éxito de la creación de un lenguaje de razonamiento compartido dependía enteramente de la arquitectura existente del modelo. En los modelos que mostraron un patrón "convergente", donde las características compartidas se fortalecían a medida que el modelo procesaba más partes del problema, el nuevo método de entrenamiento funcionó perfectamente, mejorando la capacidad del modelo para razonar a través de los idiomas en cada una de las capas probadas. En los modelos que ya estaban "saturados" de características compartidas, el nuevo entrenamiento no aportó ningún beneficio y, en ocasiones, perturbó el flujo natural del modelo. En los modelos que permanecieron en un estado de "bajo intercambio" (low-sharing), donde los idiomas se mantenían mayormente separados, el nuevo entrenamiento no logró crear un puente funcional, a pesar de que hizo que las señales internas se vieran más similares sobre el papel.

Este trabajo desafía un supuesto común en el campo: que si dos cosas se ven similares en un gráfico, deben funcionar de la misma manera. Los investigadores demostraron que un modelo puede tener características que parecen alineadas geométricamente entre idiomas pero que, aun así, fallan al intentar intercambiarse. Mostraron que el camino para comprender los modelos multilingües no es una solución única para todos. En cambio, la lógica interna de un modelo está profundamente ligada a su diseño específico. Algunos modelos construyen naturalmente un motor de razonamiento universal, mientras que otros mantienen sus idiomas en habitaciones separadas. Los investigadores concluyeron que, para comprender verdaderamente cómo piensa una inteligencia artificial a través de los idiomas, debemos observar la arquitectura específica de cada modelo, en lugar de asumir que todos siguen las mismas reglas ocultas.