Dentro de las vastas mentes digitales de la inteligencia artificial moderna, existe una capa oculta de actividad que los investigadores apenas están comenzando a mapear. Estos sistemas, conocidos como modelos de lenguaje de gran tamaño, no piensan en frases o párrafos de la misma manera que los humanos. En su lugar, procesan la información a través de miles de millones de diminutos interruptores interconectados llamados neuronas. Cuando le pides a una computadora que escriba un poema, resuelva un problema matemático o depure una línea de código, grupos específicos de estas neuronas se iluminan para realizar el trabajo. Durante años, los científicos han luchado por comprender qué neuronas son responsables de qué tareas. La dificultad radica en la escala masiva de la operación; estos modelos son tan complejos que observarlos trabajar a menudo se siente como intentar comprender una ciudad mirando un solo farol. Los métodos anteriores para encontrar los interruptores adecuados eran demasiado lentos para ser prácticos o estaban tan enfocados en momentos individuales que perdían la visión general de cómo se comporta el sistema a lo largo del tiempo.

Un equipo de investigadores ha introducido ahora una nueva forma de escuchar estas mentes digitales, un método que llaman RACE. En lugar de intentar realizar ingeniería inversa de todo el sistema o calcular la influencia de cada conexión individual, este enfoque trata la actividad interna del modelo como un patrón estadístico. Los investigadores se dieron cuenta de que las neuronas que sirven a un propósito específico, como escribir código Python o resolver álgebra, no se activan simplemente de forma aleatoria. En cambio, contribuyen al estado interno del modelo de una manera consistente y estable cada vez que se realiza ese tipo específico de tarea. Al rastrear estas contribuciones consistentes a través de miles de ejemplos, el equipo puede identificar qué neuronas son los verdaderos especialistas para un trabajo determinado. No se trata de encontrar una neurona que se activa una vez y luego lo olvida; se trata de encontrar aquellas que se presentan de manera confiable cada vez que se le pide al modelo que haga algo específico.

El núcleo de este descubrimiento es un cambio en la forma en que los científicos miden la importancia. Las técnicas más antiguas a menudo dependían de cálculos complejos que requerían que la computadora funcionara hacia atrás a través de su propia lógica, un proceso que era increíblemente lento y computacionalmente costoso. El nuevo método, RACE, funciona en una sola pasada hacia adelante, observando cómo el modelo procesa la información mientras esta fluye naturalmente desde el principio hasta el fin. Observa las diminutas actualizaciones que cada neurona realiza en el flujo de memoria interna del modelo. Si una neurona empuja consistentemente el pensamiento del modelo en la dirección correcta para una tarea específica, recibe una puntuación alta. Si su comportamiento es errático o si solo ayuda en algunas ocasiones raras, es ignorada. Esto permite a los investigadores construir un mapa confiable de las capacidades del modelo sin necesidad de detenerse y calcular cada resultado posible.

Para probar si este mapa era preciso, los investigadores realizaron una serie de experimentos controlados en varios modelos de lenguaje de gran tamaño diferentes, que iban desde modelos más pequeños de 4 mil millones de parámetros hasta masivos de 32 mil millones de parámetros. Se centraron en tres áreas distintas: escribir código de computadora, resolver problemas matemáticos y controlar comportamientos específicos como el uso de un estilo particular de estructura de oraciones. En cada caso, utilizaron el método RACE para identificar las neuronas principales responsables de esa tarea. Luego, realizaron una operación delicada: silenciaron temporalmente esas neuronas específicas mientras el modelo trabajaba.

Los resultados fueron sorprendentes. Cuando los investigadores silenciaron las neuronas identificadas por RACE para las tareas de codificación, la capacidad del modelo para escribir código correcto disminuyó significamente, mientras que su capacidad para responder preguntas generales o resolver problemas matemáticos permaneció prácticamente intacta. Lo mismo ocurrió con las matemáticas; silenciar las neuronas de matemáticas paralizó sus habilidades de razonamiento sin afectar sus capacidades lingüísticas generales. Esto confirmó que el método había aislado con éxito los componentes específicos responsables de estas habilidades. En contraste, cuando utilizaron métodos más antiguos y menos precisos para seleccionar las neuronas a silenciar, el daño fue a menudo generalizado, afectando el rendimiento del modelo en todos los ámbitos en lugar de dirigirse solo a una habilidad.

Uno de los hallazgos más importantes fue la diferencia entre los dos tipos principales de neuronas dentro de estos modelos. Los investigadores descubrieron que las neuronas responsables del razonamiento matemático y la codificación eran altamente especializadas y rara vez se compartían entre tareas. Sin embargo, las neuronas involucradas en la atención —la parte del modelo que decide en qué palabras enfocarse— eran mucho más generales. Estas neuronas de atención parecían ser herramientas reutilizables que ayudaban al modelo con casi todo, desde escribir poesía hasta resolver ecuaciones. Esta distincción explica por qué algunas partes del modelo son más fáciles de podar o modificar que otras; las partes especializadas son como herramientas dedicadas en un taller, mientras que las partes de atención son como las manos que las sostienen.

Los investigadores también descubrieron que su método era increíblemente eficiente. Mientras que las técnicas anteriores requerían que la computadora realizara cálculos equivalentes a ejecutar el modelo ciento cuarenta y cuatro veces solo para calificar las neuronas, el nuevo método requería menos de una ejecución completa. Esta velocidad hace posible analizar y auditar modelos mucho más grandes que nunca. También significa que, en el futuro, los desarrolladores podrían potencialmente usar esta técnica para ajustar los modelos, eliminando comportamientos no deseados o mejorando habilidades específicas sin tener que reentrenar todo el sistema desde cero.

El estudio también analizó cómo se comportan estas neuronas especializadas cuando se le pide al modelo que haga algo ligeramente diferente de lo que fue entrenado. Cuando los investigadores probaron el modelo con problemas matemáticos nuevos y no vistos, las neuronas identificadas por RACE todavía causaron una caída significativa en el rendimiento cuando fueron silenciadas. Esto sugiere que el método encuentra la maquinaria fundamental de la habilidad, no solo un patrón memorizado para un conjunto específico de preguntas. La capacidad del modelo para generalizar su conocimiento depende de estas mismas neuronas estables.

Quizás el descubrimiento más sutil involucró la capacidad del modelo para usar elecciones estilísticas específicas, como escribir código Python que utiliza un tipo particular de estructura de lista. Los investigadores entrenaron al sistema para reconocer este estilo específico y luego silenciaron las neuronas correspondientes. El resultado fue un modelo que aún podía escribir código, pero que casi por completo dejó de usar ese estilo específico, aunque todavía podía escribir código correcto de otras maneras. Este nivel de precisión sugiere que el método puede aislar comportamientos muy estrechos, ofreciendo una forma de dirigir la salida del modelo con precisión quirúrgica.

Los investigadores reconocen que su método no es una solución perfecta para todos los problemas. Encontraron que funciona mejor para las partes del modelo que procesan la información de una manera directa y aditiva, pero es menos efectivo para mapear las interacciones más complejas y superpuestas que ocurren en los mecanismos de atención. También señalan que el método depende de patrones lineales, lo que significa que podría pasar por alto algunas de las formas más intrincadas y no lineales en que las neuronas trabajan juntas. Sin embargo, para la gran mayoría de las tareas que probaron, el enfoque proporcionó una forma clara, confiable y rápida de entender qué está haciendo el modelo.

Este trabajo representa un paso significativo hacia adelante en el campo de la interpretabilidad mecánica, que tiene como objetivo abrir la "caja negra" de la inteligencia artificial. Al proporcionar una forma de identificar e aislar componentes funcionales específicos dentro de estos masivos sistemas, los investigadores nos han dado un nuevo conjunto de herramientas para comprender, depurar y mejorar la tecnología que cada vez más moldea nuestro mundo. La capacidad de señalar exactamente qué partes de un modelo son responsables de una habilidad específica significa que podemos ir más allá de las conjeturas y comenzar a tomar decisiones informadas sobre cómo se construyen estos sistemas y cómo deben utilizarse. El camino a seguir ya no consiste en intentar comprender toda la ciudad a la vez, sino en ser capaces de caminar por una calle específica y saber exactamente qué está sucediendo allí.