Resumen Técnico: Héroes Ocultos e Hinchazones de Gradiente

Declaración del Problema

La atribución basada en gradientes es una herramienta fundamental en la interpretabilidad mecánica, ampliamente utilizada para el recorte, el descubrimiento de circuitos y la auditoría de modelos Transformer. La suposición predominante es que la magnitud del gradiente de un componente indica de manera fiable su importancia causal en la conducción del comportamiento del modelo, particularmente para la generalización fuera de distribución (OOD). Sin embargo, este artículo argumenta que dicha suposición permanece en gran medida sin probar frente a intervenciones causales. Si la magnitud del gradiente falla sistemáticamente al identificar los componentes arquitectónicos que impulsan el cálculo real, las pipelines que dependen de ella corren el riesgo de recortar componentes críticos o identificar "circuitos" que son meramente artefactos del método de atribución en lugar de estructuras computacionales genuinas.

Metodología

Los autores evalúan la fiabilidad de la atribución de gradientes utilizando una configuración experimental controlada diseñada para aislar estructuras causales:

• Tareas y Modelos: El estudio utiliza dos benchmarks algorítmicos —Reversión de Secuencia y Ordenación de Secuencia— usando enteros $x \in \{1, \dots, 99\}$. Los modelos son Transformers solo-decodificador con $L=4$ capas y $H=4$ cabezas (20 componentes en total: 16 cabezas de atención y 4 MLP). Estas tareas fueron elegidas porque sus estructuras causales son totalmente medibles y los circuitos son relativamente simples, representando un escenario de "mejor caso" para la atribución de gradientes.
• Magnitud del Gradiente ($G$): Para cada componente, los autores calculan la norma de Frobenius promedio normalizada del gradiente a través de 50 lotes OOD. Para garantizar una comparación justa entre subcapas heterogéneas (por ejemplo, matrices de atención vs. matrices MLP), los gradientes se normalizan por la raíz cuadrada de la cantidad de parámetros. La medida aísla $W_V$ y $W_{out}$ para acotar la contribución al flujo residual.
• Importancia Causal ($C$): La necesidad funcional se mide mediante experimentos de ablación en longitudes de secuencia OOD ($N \in \{8, 9, 10, 11\}$). Se utilizan dos líneas base:
  • Ablación Media: Reemplazar la salida de un componente con su activación media.
  • Ablación Cero: Reemplazar la salida con un vector cero.
  • La precisión se mide como la coincidencia exacta de la secuencia.
• Cuantificación de la Brecha: La desalineación se cuantifica utilizando la correlación de Spearman ($\rho$) entre la magnitud del gradiente y la importancia causal. Los componentes se clasifican según la diferencia de rango ($\Delta_i$):
  • Héroes Ocultos: Bajo gradiente pero causalmente esenciales ($\Delta_i \le -6$).
  • Hinchazones de Gradiente: Alto gradiente pero impacto causal negligible ($\Delta_i \ge 6$).
  • Alineados: Acuerdo entre las medidas ($|\Delta_i| < 6$).
• Validación: El estudio abarca hasta 10 semillas aleatorias e incluye experimentos de ablación conjunta para probar la redundancia.

Resultados Clave

1. Fallo Sistemático de la Atribución de Gradientes

La correlación entre la magnitud del gradiente y la importancia causal es altamente dependiente de la tarea y a menudo colapsa:

• Reversión de Secuencia: Muestra una correlación moderada ($\rho = 0.72$).
• Ordenación de Secuencia: Muestra un colapso severo ($\rho = 0.27$).
• Semillas Individuales: En semillas específicas, la correlación cae a cerca de cero ($\rho \approx 0.00$) o se vuelve predictivamente negativa ($\rho = -0.18$), lo que indica que los gradientes altos pueden inducir activamente a error respecto a la necesidad funcional.

2. Inversión Estructural por Capas

El fallo no es ruido aleatorio, sino que exhibe una estructura estable por capas:

• Hinchazones de Gradiente: Se concentran en las primeras capas (específicamente Capa 1). Estos componentes reciben señales de gradiente altas pero son individualmente prescindibles.
• Héroes Ocultos: Se concentran en las últimas capas (específicamente Capa 3). Estos componentes tienen señales de gradiente bajas pero son causalmente indispensables.
• Estabilidad: Cabezas específicas ocupan roles consistentes a través de las semillas (por ejemplo, L3 H3 es un Héroe Oculto en 7/10 semillas de ordenación; L1 H1 y L1 H3 son Hinchazones en 6/10 semillas).

3. La Paradoja de la Redundancia y la Superaditividad

El mecanismo que impulsa el fallo se identifica como redundancia colectiva:

• Ablación Individual vs. Conjunta: Cuando los Hinchazones de Gradiente se ablan individualmente, la caída en la precisión es negligible (3.1% por componente). Sin embargo, cuando se ablan conjuntamente, la precisión colapsa un 43.8%.
• Superaditividad: El daño conjunto es 14 veces mayor que la suma de las predicciones individuales. Esto revela que los Hinchazones forman un circuito distribuido y redundante donde los componentes se compensan entre sí.
• Limitación de los Métodos de Primer Orden: La atribución de gradientes, que mide solo la sensibilidad local de la pérdida, asigna una señal alta a todos los componentes activos en un circuito redundante, fallando en distinguir entre unidades individualmente redundantes y unidades individualmente críticas.

4. Impacto en la Generalización

• Héroes Ocultos: Ablar estos componentes causa una caída devastadora en la precisión OOD (cambio medio de $-36.4\% \pm 22.8\%$ en reversión), a pesar de sus bajos rangos de gradiente.
• Hinchazones de Gradiente: Aunque individualmente menos críticos, su eliminación colectiva revela la redundancia oculta, causando una varianza significativa en los resultados del recorte dependiendo de la topología específica del circuito de la semilla.

Significado y Afirmaciones

El artículo afirma que la magnitud del gradiente es un proxy sistemáticamente invertido para la importancia causal en tareas algorítmicas, impulsado por una división del trabajo donde las primeras capas aprenden extractores de características amplios y de alto gradiente, y las últimas capas implementan lógica esparsa e causalmente indispensable.

• Insight Mecánico: Los hallazgos sugieren que los "circuitos" identificados mediante métodos basados en gradientes pueden ser artefactos del método de atribución, pasando por alto los verdaderos impulsores de la generalización (Héroes Ocultos) mientras sobrevaloran características redundantes de capas tempranas (Hinchazones de Gradiente).
• Requisito Previo para Afirmaciones: Los autores argumentan que la validación causal (mediante ablación o parcheo) debe ser un requisito previo para cualquier afirmación a nivel de circuito o estrategias de recorte, ya que las heurísticas basadas en gradientes por sí solas son insuficientes y potencialmente destructivas para la generalización OOD.
• Alcance: El estudio posiciona estos hallazgos como un límite inferior en el fallo de atribución; los autores sugieren que la brecha puede verse exacerbada en entornos naturalistas con mayor redundancia y complejidad.

El artículo concluye llamando a una reevaluación de los métodos de atribución a la luz de las topologías de circuitos redundantes y destaca la necesidad de rastrear la dinámica temporal del "grokking" para comprender cómo surgen estas estructuras por capas durante el entrenamiento.