Can Language Model Agents be Helpful Circuit Explainers in Mechanistic Interpretability?

Imagina una máquina masiva y compleja (como un modelo de lenguaje gigante) que puede escribir historias, resolver problemas matemáticos o responder preguntas. Los científicos han descubierto cómo encontrar los "engranajes y palancas" específicos dentro de esta máquina que hacen que realice una tarea determinada. Esto se llama localizar el circuito.

Sin embargo, encontrar los engranajes no es suficiente. Todavía no sabemos exactamente qué hace cada engranaje o cómo trabajan juntos. Por lo general, un experto humano tiene que pasar horas observando la máquina, adivinando qué hace una pieza, probando su suposición e intentándolo de nuevo. Esto es lento, aburrido y difícil de escalar.

Este artículo plantea: ¿Podemos contratar a un detective robot (un Agente de Modelo de Lenguaje) para que haga este trabajo de detective por nosotros?

Aquí está el desglose de su experimento, utilizando analogías sencillas:

1. El Problema: El misterio de la "Caja Negra"

Piensa en el modelo de lenguaje como una caja fuerte gigante y cerrada. Los científicos ya han utilizado herramientas especiales para encontrar los tumblers específicos (el "circuito") que abren la caja fuerte. Pero no saben qué hace cada tumbler.

• La forma antigua: Un detective humano intenta adivinar: "¿Tal vez este tumbler gira la cerradura?". Lo prueba. Si falla, vuelve a adivinar. Toma mucho tiempo.
• La nueva idea: ¿Podemos darle el trabajo a un detective de IA que pueda pensar, escribir código para probar sus propias teorías y corregir sus errores?

2. El Campo de Entrenamiento: Una caja fuerte "de juguete"

Para probar si su detective de IA funciona, los investigadores no podían usar una caja fuerte real y desordenada (un modelo de lenguaje del mundo real) porque no sabrían la respuesta "correcta" para contrastar.

En su lugar, construyeron 84 "Cajas Fuertes de Juguete" (llamadas AGENTICINTERPBENCH).

• Estas son máquinas pequeñas y artificiales construidas desde cero.
• Los investigadores saben exactamente cómo funcionan porque las construyeron a partir de un conjunto simple de instrucciones (como una receta).
• Saben exactamente qué se supone que hace cada uno de sus engranajes. Esto les permite calificar al detective de IA: "¿Adivinaste correctamente?".

3. El Detective: HYVE (El bucle "Hipótesis, Validación, Explicación")

Los investigadores crearon un agente de IA llamado HYVE. HYVE no solo adivina; sigue una rutina estricta de detective para cada uno de los engranajes de la máquina:

1. Observar: HYVE observa el engranaje. "Hmm, cuando la entrada es 'x', este engranaje se ilumina de color rojo brillante. Cuando es 'y', permanece oscuro".
2. Hipotetizar: HYVE hace una suposición. "Apuesto a que este engranaje es un 'Detector de Luz Roja' que solo se enciende para 'x'".
3. Validar (La Prueba): Esta es la parte más importante. HYVE escribe un programa informático para probar su suposición. Podría decir: "Vamos a forzar a este engranaje a permanecer oscuro incluso cuando la entrada sea 'x' y veremos si la máquina se rompe".
   • Si la máquina se rompe exactamente como se predijo, la suposición es confirmada.
   • Si la máquina sigue funcionando, la suposición es incorrecta. HYVE tiene que volver al paso 2 y probar una nueva suposición.
4. Explicar: Una vez probados todos los engranajes, HYVE escribe un resumen: "Esta máquina es una 'Calculadora de Fracciones' que cuenta cuántas 'x' aparecen en la oración".

4. Los Resultados: El detective es bueno, pero no perfecto

Los investigadores probaron HYVE utilizando cuatro "cerebros" diferentes (diferentes modelos de lenguaje grandes) para ver cuál era el mejor detective.

• Éxito: ¡Los agentes de IA fueron sorprendentemente buenos! Pudieron identificar correctamente qué hacían los engranajes aproximadamente el 79% de las veces y describir la tarea general aproximadamente el 83% de las veces.
• El cuello de botella: La IA fue excelente haciendo la suposición inicial (la hipótesis). El problema ocurrió en la fase de prueba.
  • A veces, la IA escribía un plan de prueba demasiado vago.
  • A veces, la IA escribía código para ejecutar la prueba, pero el código tenía errores (bugs) (como un detective que escribe un plan de prueba pero olvida traer la linterna).
  • Analogía: Es como un detective que tiene una teoría brillante sobre quién es el asesino, pero cuando intenta ir a la escena del crimen para comprobar la coartada, se pierde o se queda fuera de la puerta con las llaves puestas.

¿Quién fue el mejor?

• Claude-Sonnet fue el mejor ejecutando las pruebas sin colapsar (escribiendo código sin errores).
• Gemini fue el mejor escribiendo la explicación final, fácil de entender.
• GPT-5.4 fue muy bueno planificando las pruebas, pero su código a menudo fallaba al ejecutarse.

5. La Prueba del Mundo Real: El caso de estudio "Llama"

Para ver si esto funcionaba fuera de sus "Cajas Fuertes de Juguete", probaron HYVE en un modelo de lenguaje real, entrenado naturalmente (Llama-3-8B) que realiza operaciones matemáticas.

• Le dieron a la IA un circuito encontrado por otros humanos que ayuda al modelo a sumar tres números.
• Resultado: El detective de IA logró identificar que algunos engranajes eran "cabezas de transferencia" (moviendo números de un lado a otro) e identificó correctamente que otros engranajes eran simplemente "redundantes" (parecían importantes pero no eran realmente necesarios).
• Esto demostró que el método funciona incluso en máquinas reales y desordenadas, no solo en las limpias cajas de juguete.

La Conclusión Final

El artículo concluye que los agentes de IA son herramientas prometedoras para explicar cómo funciona la IA. Pueden realizar el trabajo pesado de adivinar y probar. Sin embargo, aún no son perfectos. El principal obstáculo es la fiabilidad: la IA necesita mejorar en la escritura del código que realmente pone a prueba sus propias teorías sin cometer errores.

Hasta que la IA mejore en el "hacer el experimento" (el bucle de validación), los expertos humanos todavía tendrán que supervisar el trabajo. Pero este es un gran paso hacia la automatización de la comprensión de los complejos cerebros de la IA.