Resumen Técnico: Medición de la Consistencia y la Especificidad de los Circuitos de Modelos de Lenguaje

Declaración del Problema

El campo de la interpretabilidad mecánica busca reverse-engineer las redes neuronales identificando "circuitos": subgrafos dispersos de componentes del modelo (típicamente cabezas de atención y capas MLP) que son causalmente responsables de comportamientos específicos. Si bien el trabajo existente ha establecido métodos para extraer estos circuitos y evaluar su necesidad (eliminar el circuito degrada el rendimiento) y su suficiencia (el circuito por sí solo reproduce el comportamiento), dos propiedades críticas permanecen poco exploradas: consistencia y especificidad.

• Consistencia: Si un circuito captura verdaderamente el algoritmo de un modelo para una tarea, los mismos componentes deberían recurrir a través de diferentes instancias de entrada de dicha tarea. Sin consistencia, un circuito puede ser un artefacto de una entrada específica en lugar de un mecanismo generalizable.
• Especificidad: El circuito de una tarea debería ser significativamente distinto de los circuitos de tareas no relacionadas. Sin especificidad, un circuito no puede utilizarse para comprender o intervenir en el comportamiento específico de una tarea, ya que podría reflejar meramente la infraestructura de propósito general del modelo.

Este artículo investiga si los circuitos descubiertos a nivel de cabezas de atención y capas MLP exhiben estas propiedades a través de diversas tareas y familias de modelos.

Metodología

Configuración Experimental

Los autores evaluaron seis tareas que abarcan razonamiento algorítmico (Adición, Lógica Booleana), recuperación de información (Identificación de Objeto Indirecto [IOI], CopyColors MCQA) y benchmarks intensivos en conocimiento (ARC Easy, ARC Challenge). Estas se probaron en siete modelos de cuatro familias de arquitecturas: Gemma 2 (2B, 2B IT), Llama 3.2 (3B, 3B Instruct), Qwen3 (4B, 8B) y OLMo-2 (1B, utilizado para dinámicas de preentrenamiento).

Extracción de Circuitos

El estudio utilizó Parcheo de Atribución de Bordes (EAP) para extraer circuitos por ejemplo. EAP aproxima efectos causales utilizando información de gradiente, clasificando los componentes por sus puntuaciones de atribución absolutas. Para cada tarea, se extrajeron circuitos para $n=1000$ ejemplos, barriendo tamaños de circuito ($K$) desde el 1% hasta el 30% de los componentes principales.

Métricas de Evaluación

1. Consistencia (Reutilización): Los autores definieron un "conjunto de componentes compartidos" ($S_P$) que contiene componentes que aparecen en al menos una fracción $P$ de los circuitos por ejemplo. midieron reutilización@P, la proporción de un circuito por ejemplo cubierta por este conjunto compartido.
2. Necesidad: Para confirmar que los componentes compartidos son causalmente importantes, los autores realizaron ablaciones (poniendo a cero las activaciones) en el conjunto compartido $S_P$. Compararon la caída de precisión contra un control conservador de capacidad (C3), donde se ablacionó un subconjunto aleatorio de componentes de tamaño igual. Una puntuación de necesidad positiva indica que el conjunto compartido es funcionalmente crítico más allá de la mera reducción de capacidad.
3. Especificidad (Superposición entre Tareas):
   • Ablación entre Tareas: Los autores ablacionaron el circuito compartido de la Tarea A y midieron el rendimiento en la Tarea B. Si los circuitos son específicos, ablacionar el circuito de la Tarea A debería perjudicar a la Tarea A significativamente más que a la Tarea B.
   • Descomposición: Para pares de tareas, los circuitos se dividieron en tres conjuntos disjuntos: el núcleo compartido ($C_A \cap C_B$), específico de la tarea ($C_A \setminus C_B$) y complementario ($C_B \setminus C_A$). Cada conjunto se ablacionó independientemente para medir su impacto causal en la tarea objetivo frente a otras tareas.

Resultados Clave

1. Los Circuitos son Consistentes Dentro de una Tarea

A través de todos los modelos y tareas, una fracción sustancial de los circuitos por ejemplo se extrae de un conjunto compartido de componentes.

• Alta Reutilización: En $K=10\%$, las tasas de reutilización oscilaron entre el 40% y el 70% en la mayoría de las combinaciones tarea-modelo. Por ejemplo, en los modelos Llama y Qwen, aproximadamente la mitad o más del circuito de cualquier ejemplo individual consistía en componentes compartidos por casi todos los ejemplos.
• Importancia Causal: Ablacionar estos componentes compartidos causó caídas de precisión significativamente mayores que ablacionar un conjunto aleatorio con capacidad igual. Por ejemplo, en tareas de Adición, eliminar el conjunto compartido causó caídas de precisión excesivas de 0.8–1.0 en comparación con controles aleatorios, confirmando que estos componentes son funcionalmente necesarios.
• Dinámicas de Entrenamiento: En OLMo-2-1B, la consistencia surgió temprano en el preentrenamiento (alcanzando un pico alrededor de 76B de tokens) pero se degradó en etapas posteriores. Sin embargo, la necesidad (importancia causal) se volvió claramente medible solo durante la fase de recocido cuando la precisión de línea base mejoró.

2. Los Circuitos No son Específicos entre Tareas

Contrario a la expectativa de que diferentes tareas dependen de mecanismos distintos, el estudio encontró una superposición extensa entre circuitos para tareas no relacionadas.

• Caídas de Rendimiento Indistinguibles: Al ablacionar el circuito de la Tarea A y evaluar en la Tarea B, la caída de rendimiento fue comparable a ablacionar el propio circuito de la Tarea B. Por ejemplo, en Llama-3.2-3B, eliminar el circuito de Adición causó una caída del 99% en Adición, y eliminar los circuitos de otras tareas causó una caída media del 99% en Adición también.
• Alta Superposición: En $K=10\%$, la superposición Jaccard entre los circuitos de pares de tareas osciló entre 0.46 y 0.89, superando ampliamente el ~5% esperado para circuitos aleatorios. Esta superposición fue impulsada principalmente por capas MLP, que dominaban los circuitos pequeños ($K \le 10\%$) y constituían la gran mayoría del núcleo compartido.
• Existen Componentes Específicos de la Tarea pero son Menores: Si bien se identificó un pequeño conjunto de componentes específicos de la tarea (que representaban el 15–30% del circuito en $K=10\%$), su eliminación causó solo daños adicionales modestos en comparación con el impacto masivo de eliminar el núcleo compartido. El núcleo compartido representó la mayor parte del impacto en el rendimiento.

3. Composición y Granularidad

• Dominio de MLP: En tamaños de circuito pequeños, los circuitos están compuestos casi enteramente por capas MLP (por ejemplo, 95–100% en Gemma 2 2B-IT en $K \le 10\%$). Las cabezas de atención se vuelven más prevalentes solo a medida que aumenta el tamaño del circuito ($K \ge 20\%$).
• Distribución de Capas: En las familias Llama y Qwen, los circuitos pequeños se concentran en las primeras capas, mientras que los modelos Gemma mostraron una variación más dependiente de la tarea.

Significado y Afirmaciones

El artículo argumenta que, a la granularidad de cabezas de atención y capas MLP, el descubrimiento de circuitos es efectivo para identificar qué componentes son importantes (consistencia) pero falla en aislar cómo un modelo realiza una tarea específica distinta de otras (especificidad).

• Infraestructura General vs. Mecanismos de Tarea: Los hallazgos sugieren que los circuitos descubiertos identifican principalmente infraestructura de propósito general del modelo (específicamente capas MLP compartidas) en lugar de algoritmos específicos de la tarea. La alta superposición se explica por el hecho de que estas capas realizan operaciones fundamentales (por ejemplo, almacenar conocimiento paramétrico, mapear tokens) de las que dependen todas las tareas posteriores.
• Implicaciones para la Interpretabilidad: La falta de especificidad plantea preguntas sobre la utilidad de los métodos actuales de descubrimiento de circuitos para la comprensión o intervención dirigida. Si un "circuito" para la Tarea A es en gran medida idéntico al circuito para la Tarea B, identificarlo revela más sobre el funcionamiento general del modelo que sobre su comportamiento específico en la Tarea A.
• Direcciones Futuras: Los autores sugieren que recuperar la estructura específica de la tarea podría requerir:
  1. Unidades de análisis de mayor granularidad: Avanzar más allá de las capas MLP hacia circuitos de características dispersas (por ejemplo, utilizando autoencoders dispersos) para desentrañar componentes polisémicos.
  2. Atribución contrastiva: Identificar componentes con alta atribución para una tarea relativa a otras, en lugar de en términos absolutos.

El artículo concluye que, si bien el núcleo compartido de los circuitos es un objeto de estudio significativo (potencialmente impulsando la generalización y el aprendizaje en contexto), la suposición de modularidad a nivel de tarea a nivel de componente no está respaldada en gran medida por la evidencia actual.