Resumen Técnico: Los LLM pueden anotar grafos de atribución

Planteamiento del problema

La interpretabilidad mecánica ha avanzado en técnicas para revelar los grafos de computación internos de los modelos de lenguaje, conocidos como rastreo de circuitos (circuit tracing). Estas técnicas producen grafos de atribución donde los nodos representan componentes individuales del modelo, tales como neuronas MLP o características de Autoencoders Dispersos (SAE). Aunque estos nodos pueden interpretarse mediante sus ejemplos de texto de mayor activación, el proceso requiere actualmente un paso manual laborioso: agrupar características individuales en "supernodos" (conjuntos de neurones o características que corresponden a conceptos similares). Anotar completamente un solo grafo de atribución puede tomar de una a dos horas de investigador, lo que crea un cuello de botella para escalar la investigación en interpretabilidad. Los intentos automatizados existentes para abordar esto, como el agrupamiento de perfiles de atribución o el uso de prompts de sondeo (probe prompts), aún no han proporcionado una solución general y de bajo costo para la exploración abierta.

Metodología

Los autores presentan un pipeline automatizado y sencillo que utiliza un Modelo de Lenguaje Grande (LLM) para reemplazar a los anotadores humanos en el paso de agrupación de supernodos. El pipeline opera en tres fases:

1. Generación de descripción de características: Para cada característica en un grafo de atribución podado, el sistema genera una descripción en lenguaje natural. Esto sigue el protocolo estándar de "autointerp": un LLM recibe los ejemplos de texto de mayor activación de la característica (de Neuronpedia) e información de logits sobre los tokens que la característica promueve o suprime. El LLM genera una etiqueta concisa y una descripción breve (por ejemplo, "decir capital" o "Texas (estado)").
2. Agrupación de supernodos: El pipeline utiliza un segundo LLM (específicamente GPT-5 mini) para agrupar estas descripciones en supernodos a través de un proceso de tres etapas:
   • Descubrimiento: El LLM se le presenta con las 50 características de mayor influencia y se le pide que identifique y nombre grupos semánticos significativos.
   • Asignación iterativa: Las características restantes se procesan en lotes de 50. El LLM asigna cada una a un grupo existente, crea un nuevo grupo (si el concepto es distinto y relevante) o la deja sin agrupar.
   • Refinamiento: Una pasada final elimina grupos irrelevantes, fusiona los equivalentes y reasigna características mal ubicadas basándose en heurísticas estrictas (por ejemplo, separar las características de promoción de "decir X" de las características del concepto "X mismo", y evitar tokens gramaticales).
3. Costo y Escala: El pipeline es de bajo costo, oscilando aproximadamente entre 3 y 6 centavos por grafo para grafos fuertemente podados (80 nodos) hasta 61 centavos para grafos más densos (585 nodos).

Contribuciones Clave

1. Pipeline Automatizado: Un método sencillo y de bajo costo para anotar grafos de atribución utilizando un LLM, eliminando la necesidad de la agrupación manual de supernodos.
2. Validación de la Interpretabilidad: Demostración de que los supernodos generados por este pipeline son tan interpretables como los creados por expertos humanos, según métricas automatizadas.
3. Alta Recuperación en Tareas de 2 Pasos (2-Hop): Aplicación a la tarea de "Capitales" (Capitals task) ampliamente estudiada, donde el pipeline recuperó con éxito el supernodo del paso intermedio (por ejemplo, identificar "Texas" en la consulta "La capital del estado que contiene Dallas es") en 97 de 100 prompts.
4. Prueba de Concepto para la Exploración Abierta: Una demostración de la escalabilidad del pipeline para anotar 1,000 completaciones de prompts de Wikipedia, utilizando un juez LLM para filtrar grafos que exhiben comportamientos internos interesantes o sorprendentes (por ejemplo, planificación oculta o hipótesis paralelas en competencia).

Resultados

El artículo evalúa el pipeline contra líneas de base anotadas por humanos y agrupamientos aleatorios utilizando dos métricas de interpretabilidad automatizadas:

• Puntuación de Detección de Características: ¿Puede un LLM identificar qué característica pertenece a un supernodo específico dada la descripción del supernodo?
• Puntuación de Detección de Texto: ¿Puede un LLM identificar qué muestras de texto activan un supernodo dada la descripción del supernodo?

Hallazgos Cuantitativos:

• En 15 grafos de referencia, el pipeline automatizado (usando el conjunto completo de características) logró una puntuación de Detección de Características del 93.4% y una puntuación de Detección de Texto del 83.2%, superando ligeramente la línea de base anotada por humanos (66.6% y 81.8%, respectivamente).
• El rendimiento del pipeline es robusto a través de diferentes tamaños de grupo y pasos de refinamiento.
• En la tarea de Capitales, el pipeline recuperó el supernodo del paso intermedio en 97/100 casos. La intervención causal (parcheo restringido/constrained patching) confirmó que la supresión de estos supernodos reducía la probabilidad de la respuesta correcta, mientras que su amplificación la aumentaba.
• Generalización: Al aplicarse a neuronas MLP puras (en lugar de características de transcodificadores), el pipeline agrupó menos características (21.6% frente al 60.2% para transcodificadores), lo que sugiere que las neuronas MLP son menos limpiamente separables en conceptos, pero el pipeline aun así funcionó.

Hallazgos Cualitativos:

• El pipeline identificó con éxito estructuras complejas, como hipótesis paralelas en competencia (por ejemplo, múltiples categorías de los premios Oscar activas simultáneamente) y conceptos intermedios ocultos (por ejemplo, características relacionadas con ríos activándose en un prompt sobre una carretera, revelando planificación interna).
• Limitaciones: En tareas aritméticas, el pipeline produjo supernodos demasiado gruesos (por ejemplo, "TOKENS DE DÍGITOS" o "CONTEXTO NUMÉRICO") para revelar mecanismos conocidos de grano fino como la estimación de magnitud frente a la búsqueda exacta. Esto sugiere que, si bien el agrupamiento es internamente coherente, puede no capturar siempre la estructura mecánica profunda sin un mayor refinamiento.

Significado y Reivindicaciones

Los autores afirman que este trabajo demuestra que la automatización simple puede producir anotaciones de grafos de atribución significativas, eliminando efectivamente un importante cuello de botella de trabajo en la interpretabilidad mecánica.

El artículo argumenta que esta automatización permite:

• Escalabilidad: Pasar de anotar un solo grafo a explorar miles, facilitando la búsqueda no supervisada de comportos interesantes del modelo.
• Generación de Hipótesis: Servir como una herramienta para sacar a la luz posibles circuitos (como la planificación o el razonamiento de múltiples pasos) para una mayor investigación humana.
• Accesibilidad: Reducir el costo y el tiempo requeridos para interpretar los componentes internos de los modelos, acelerando potencialmente el campo de la interpretabilidad en general.

Los autores mantienen la modestia, reconociendo que su pipeline actual es simplificado (ignorando la información espacial, el flujo de atribución y las estrategias de búsqueda hacia atrás) y que la interpretación humana a menudo depende de más contexto del que el pipeline utiliza actualmente. Sin embargo, postulan que el "fruto más bajo" (low-hanging fruit) de automatizar el paso de anotación es lo suficientemente significativo como para motivar más trabajo en el rastreo de circuitos automatizado.