ADAG: Automatically Describing Attribution Graphs

Resumen Técnico: ADAG (Automatically Describing Attribution Graphs)

1. El Problema

En la investigación de interpretabilidad de modelos de lenguaje (LLMs), la trazabilidad de circuitos (circuit tracing) busca identificar qué características internas (neuronas, características de SAE, etc.) contribuyen causalmente a una salida específica y cómo interactúan entre sí. Aunque existen técnicas para encontrar estos circuitos (gráficos de atribución), el paso final de interpretación sigue siendo un cuello de botella manual.

• Limitación actual: Los investigadores deben inspeccionar manualmente artefactos de datos (ejemplos del conjunto de datos donde una característica se activa, intervenciones causales) para inferir qué hace cada nodo del circuito. Este proceso es ad-hoc, no escalable y requiere mucho esfuerzo humano.
• Necesidad: Se requiere un sistema automatizado que no solo encuentre el circuito, sino que también genere descripciones en lenguaje natural legibles para humanos sobre la función de cada componente y su agrupación.

2. Metodología: El Pipeline ADAG

ADAG es una tubería (pipeline) de extremo a extremo totalmente automatizada que transforma un gráfico de atribución en una interpretación humana. Se compone de cuatro etapas principales:

A. Trazabilidad del Circuito (Circuit Tracing)

• Utiliza un algoritmo basado en atribución por gradientes (específicamente la variante de neuronas MLP descrita en trabajos previos como Arora et al., 2026).
• Construye un modelo de reemplazo localmente lineal que congela las no linealidades (como SiLU o softmax) y detiene los gradientes en ciertas rutas de atención para calcular la relevancia.
• Genera un gráfico $G=(V, E)$ donde los nodos son tokens de entrada, neuronas MLP y logits de salida, conectados por pesos de atribución. Se filtran las neuronas con atribución por encima de un umbral $\tau$.

B. Perfiles de Atribución (Attribution Profiles)
Para superar el "sesgo de localidad" (la idea de que solo el contexto inmediato define la función de una neurona), ADAG introduce perfiles de atribución que cuantifican el rol funcional de una característica en dos vectores:

1. Atribución de Entrada: Mide qué tokens de entrada contribuyen a la activación de la neurona (dependencia de tokens anteriores).
2. Contribución de Salida: Mide cómo la activación de la neurona afecta a los logits de salida futuros (influencia en tokens posteriores).
   Estos perfiles capturan la no-localidad de las neuronas MLP, demostrando que las neuronas en capas profundas dependen de contextos lejanos y afectan salidas futuras.

C. Agrupamiento en Supernodos (Clustering)
En lugar de agrupar manualmente, ADAG agrupa características funcionalmente similares en "supernodos" mediante un algoritmo de agrupamiento espectral multivista:

• Calcula similitudes basadas en la similitud del coseno de los perfiles de atribución y contribución.
• Utiliza la media armónica de las similitudes de entrada y salida para penalizar la correlación negativa (evitando agrupar neuronas que tienen efectos opuestos en la salida).
• Aplica agrupamiento espectral sobre una matriz de similitud agregada para obtener clusters cohesivos y equilibrados.

D. Descripción Automática (LLM Explainer-Simulator)
Para etiquetar los supernodos en lenguaje natural, se extiende el marco Explainer-Simulator (Bills et al., 2023):

1. Explainer (Explicador): Un LLM recibe los perfiles de atribución y contribución promediados del supernodo y genera candidatos de descripciones (etiquetas).
2. Simulator (Simulador): Otro LLM toma la descripción candidata y los contextos de datos, y predice las puntuaciones de atribución/contribución que tendría esa descripción.
3. Puntuación: Se calcula el coeficiente de correlación de Pearson entre las puntuaciones reales y las predichas. Se selecciona la descripción con la puntuación más alta.
4. Resumen: Un LLM final combina las mejores descripciones de entrada y salida en una etiqueta concisa.

3. Contribuciones Clave

• Automatización Total: ADAG es el primer pipeline que automatiza completamente la trazabilidad, el agrupamiento y la descripción de circuitos en LLMs sin intervención humana en el bucle de interpretación.
• Perfiles de Atribución: Introduce una nueva representación que captura tanto la dependencia de entrada como la influencia de salida, superando las limitaciones de los métodos basados solo en ejemplos de máxima activación o lentes de logits.
• Algoritmo de Agrupamiento Robusto: Propone un método de agrupamiento multivista que evita mezclar neuronas con efectos opuestos, asegurando que los clusters sean funcionalmente coherentes.
• Validación de No-Localidad: Demuestra empíricamente que las neuronas MLP en LLMs modernos tienen perfiles de atribución altamente no locales, lo que justifica el uso de gradientes en lugar de solo activaciones locales.

4. Resultados

El sistema se evaluó en dos escenarios principales:

• Tarea de Capitales (Capitals):

  • ADAG replicó exitosamente un estudio previo liderado por humanos sobre el circuito de razonamiento multi-hop (ej. "¿Cuál es la capital del estado que contiene a Dallas?").
  • Recuperó clusters interpretables como "Dallas Texas", "capital city first token" y "not[southern capitals]".
  • Comparación: Las descripciones generadas por LLM para los atributos de entrada fueron comparables a las humanas, y superaron significativamente a las humanas en la descripción de contribuciones de salida.
  • Control (Steering): Al anular (steering) clusters específicos, se observaron cambios predecibles en las salidas (ej. eliminar el cluster "Dallas Texas" redujo la probabilidad de "Austin" y aumentó la de "Oklahoma"), validando la causalidad de los clusters encontrados.

• Jailbreak de Consejos Médicos (Pills):

  • Se aplicó a un jailbreak conocido en Llama 3.1 8B Instruct que induce al modelo a dar consejos médicos peligrosos.
  • ADAG identificó clusters responsables de la vulnerabilidad, como "pills safety redirect" (que, al suprimirse, aumentó la tasa de éxito del ataque al 88%) y "ridiculous-to-introductory" (que, al potenciarse, aumentó la tasa al 90%).
  • Se encontró una fuerte correlación entre la atribución de estos clusters y la tasa de éxito del ataque (ASR), demostrando que el sistema puede localizar mecanismos de fallo de seguridad de manera automatizada.

5. Significado e Impacto

• Escalabilidad: La automatización permite escalar la interpretación de circuitos a modelos más grandes y conjuntos de datos masivos, algo imposible con métodos manuales.
• Seguridad y Auditoría: ADAG proporciona una herramienta práctica para auditar modelos en busca de comportamientos peligrosos (como jailbreaks) identificando los mecanismos neuronales subyacentes de forma rápida y reproducible.
• Puente hacia la Comprensión Humana: Refuerza la idea de que, incluso si se logra "reverse-engineer" la arquitectura interna de un modelo, los LLMs siguen siendo esenciales para traducir esas representaciones formales en conceptos comprensibles para los humanos.
• Reproducibilidad: Al eliminar la subjetividad de la interpretación manual, ADAG ofrece un estándar más consistente para la investigación en interpretabilidad mecánica.

En conclusión, ADAG representa un paso crucial hacia la interpretabilidad práctica y escalable de los LLMs, transformando la trazabilidad de circuitos de un ejercicio artesanal en un proceso sistemático y automatizado.