Beyond Fixed Directions: Adaptive Representation Analysis of Reasoning and Memorization in LLMs
Este artículo demuestra que, si bien las tareas de razonamiento y memorización en los LLM son decodificables mediante una única dirección de representación, esta dirección no es fija, sino que experimenta una reorganización geométrica sustancial durante el aprendizaje por refuerzo, aun cuando la información subyacente permanece accesible.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo de la inteligencia artificial, que evoluciona rápidamente, los modelos de lenguaje de gran tamaño se han vuelto capaces de resolver acertijos complejos y de recordar vastas cantidades de información. Los científicos se han preguntado durante mucho tiempo cómo funcionan realmente estos cerebros digitales. Una idea prevaleciente sugiere que comportamientos específicos, como el razonamiento lógico o la recuperación simple de hechos, están ligados a vías distintas y fijas dentro de la memoria interna del modelo. Imagine la mente del modelo como un vasto espacio multidimensional donde cada pensamiento deja un rastro. Si esta idea es cierta, entonces la diferencia entre un modelo que razona un problema matemático y uno que simplemente recuerda un dato debería ser visible como una única línea recta que apunta en una dirección específica. Este concepto es tan atractivo que algunos investigadores han intentado utilizar estas líneas fijas como guías para entrenar a los modelos para que piensen mejor, asumiendo que el camino que encontraron se mantendría constante y fiable.
Sin embargo, un nuevo estudio desafía la suposición de que estos caminos permanecen en su lugar. Los investigadores examinaron de cerca un modelo de lenguaje pequeño, específicamente una versión conocida como Qwen3-0.6B, para ver si esta idea de dirección fija se sostiene cuando el modelo es sometido a un entrenamiento riguroso. Reunieron un conjunto cuidadosamente equilibrado de 400 ejemplos, la mitad de los cuales requerían razonamiento lógico y la otra mitad recuperación de hechos. Al eliminar distracciones como la longitud de las frases o el vocabulario específico, se aseguraron de que cualquier diferencia encontrada fuera verdaderamente sobre el tipo de pensamiento involucrado. Su primer descubrimiento fue tranquilizador: confirmaron que, en cualquier momento dado, la diferencia entre razonar y recordar es, de hecho, tan clara que una sola línea puede separar perfectamente ambos grupos. De hecho, esta línea simple funcionó tan bien como un análisis complejo de alta dimensionalidad que examinaba todos los ángulos posibles de los datos.
La historia da un giro cuando los investigadores entrenaron al modelo utilizando una técnica poderosa llamada optimización de política relativa de grupo, un método diseñado para potenciar las habilidades de razonamiento. Esperaban que, si la idea de la dirección fija fuera cierta, la línea que separa el razonamiento de la memoria se mantendría en el mismo lugar, incluso a medida que el modelo aprendiera. En cambio, descubrieron que, aunque el modelo todavía distinguía perfectamente entre las dos tareas, la dirección real de ese conocimiento se había desplazado drásticamente. Después del entrenamiento, la línea que antes apuntaba claramente hacia el "razonamiento" había rotado tanto que ya no estaba alineada con su posición original. En promedio, la nueva dirección era solo un 45 por ciento similar a la anterior, y en las capas más profundas del modelo, el cambio fue aún más pronunciado, con la representación interna desviándose en más de la mitad.
Este hallazgo revela una distinción crucial entre lo que un modelo sabe y cómo almacena ese conocimiento. La información en sí no desapareció; el modelo aún podía distinguir entre un problema matemático y una pregunta de cultura general con una precisión perfecta después del entrenamiento. Pero las coordenadas geométricas que utilizaba para expresar esa distinción habían sido completamente reorganizadas. Es como si el mapa de una ciudad siguiera siendo perfectamente preciso para decirle dónde está la biblioteca, pero las direcciones de la brújula en el mapa hubieran sido rotadas de modo que el "norte" ahora apuntara hacia donde antes apuntaba el "este". Los investigadores midieron este cambio comparando el estado interno del modelo antes y después del entrenamiento, encontrando que el cambio no fue solo un ajuste menor, sino una reorganización sustancial del paisaje interno del modelo.
El estudio concluye que, si bien la capacidad de separar el razonamiento de la memoria es robusta, la idea de que esta capacidad depende de una única dirección inalterable es incorrecta. La información persiste, pero el camino específico que toma a través de la mente del modelo es fluido y cambia con el aprendizaje. Esto sugiere que para los esfuerzos futuros de guiar la inteligencia artificial utilizando estas direcciones internas, los científicos no pueden simplemente encontrar un camino una vez y asumir que seguirá siendo válido. En cambio, deben aceptar que el mapa mismo está siendo redibujado constantemente, incluso mientras los puntos de referencia permanecen en su lugar. La estabilidad del conocimiento no garantiza la estabilidad del camino utilizado para acceder a él.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.