Resumen Técnico: Cuando el Parcheo de Atribución Miente

Planteamiento del Problema

La interpretabilidad mecanicista depende de la localización causal para identificar qué componentes internos (neuronas, cabezales de atención) impulsan comportos específicos del modelo. El estándar de oro para esto es el parcheo de activación (activation patching), que mide el efecto causal de reemplazar la activación de un componente bajo una entrada corrupta por su valor proveniente de una entrada limpia. Sin embargo, el parcheo de activación es computacionalmente prohibitivo a gran escala porque su coste escala linealmente con el número de componentes.

En consecuencia, los profesionales recurren al parcheo de atribución (attribution patching), una aproximación de primer orden basada en gradientes que linealiza el efecto de una intervención alrededor de una activación corrupta. Aunque es eficiente, la fiabilidad del parcheo de atribución se desconoce poco. Errores sistemáticos en estas estimaciones pueden conducir a la identificación errónea de circuitos subyacentes. Trabajos previos han identificado modos de fallo específicos (p. ej., desajuste de la región de activación, redistribución de softmax) y han propuesto remedios parciales, pero una pregunta fundamental permanece: ¿Cuándo es fiable el parcheo de atribución, qué tan grande puede ser su error y cómo debe corregirse?

Metodología e Insight Central

Los autores analizan la estructura del error del parcheo de atribución utilizando una expansión de Taylor de segundo orden. Descomponen el error $E$ entre el efecto causal real ($\Delta$) y la estimación de primer orden ($\hat{\Delta}$) en dos componentes:
$$E = \underbrace{\frac{1}{2} \delta^\top H \delta}_{\text{Término Cuadrático Dominante}} + \underbrace{\Phi(\delta)}_{\text{Remanente Cúbico}}$$
donde $\delta$ es la dirección de la perturbación y $H$ es el Hessiano de la métrica de salida escalar con respecto a la activación.

Insight Clave: Curvatura Global vs. Local

Un hallazgo crítico es que el término de error dominante proviene de la respuesta a nivel de red ante la intervención (cómo la perturbación se propaga a través del resto del modelo), en lugar de la curvatura local en el componente parcheado en sí.

• Fallo de Correcciones Previas: Métodos anteriores (p. ej., AtP*, GIM) intentan corregir errores utilizando la curvatura de la activación local (p. ej., la segunda derivada de la función de activación). Los autores demuestran que la curvatura local es un mal predictor del error real, mostrando una correlación casi nula ($r=0.04$) y subestimando la fuente del error real por factores de 2 a 66$\times$.
• Corrección a Nivel de Red: El error real depende del producto Hessiano-Vector (HVP) de todo el grafo computacional.

La Solución Propuesta: Screen–Flag–Fix (Filtrar–Marcar–Corregir)

Basándose en esta descomposición, los autores proponen un flujo de trabajo escalable:

1. Screen (Filtrar): Calcular el parcheo de atribución estándar para todos los componentes (una pasada hacia atrás).
2. Flag (Marcar): Calcular una Puntuación de Fiabilidad ($\tilde{R}$) definida como la magnitud del término cuadrático relativo a la estimación de primer orden:
   $$\tilde{R} = \frac{|\delta^\top H \delta|}{2 |\hat{\Delta}|}$$
   Un $\tilde{R}$ alto indica que el término cuadrático omitido es significativo, marcando la estimación como no fiable.
3. Fix (Corregir): Aplicar una corrección de segundo orden basada en HVP solo a los componentes marcados.
   • HVP Estándar: Añade el término $\frac{1}{2} \delta^\top H \delta$ a la estimación. Esto requiere dos pasadas hacia atrás (una para calcular el gradiente, otra para calcular el HVP).
   • MS-HVP (Multi-Step HVP): Para perturbaciones grandes donde un solo paso de Taylor podría sobrepasar el objetivo (violando la suposición de suavidad local), la corrección se divide en $K$ sub-pasos. Esto reduce el error residual de $O(\|\delta\|^2)$ a $O(\|\delta\|^3/K^2)$.

Contribuciones Clave

1. Reencuadre de la Fiabilidad de la Atribución: Los autores rastrean la fuente dominante del error hasta la respuesta de la red descendente en lugar de la no linealidad local, explicando por qué las correcciones locales previas son estructuralmente incompletas.
2. Corrección de Segundo Orden Escalable: Introducen HVP y MS-HVP como las primeras correcciones de segundo orden demostradas como factibles a gran escala (hasta 9B de parámetros). A diferencia de los Gradientes Integrados (IG), que resultan computacionalmente inviables a esta escala (requiriendo $\sim$25 días de GPU por tarea), el HVP sigue siendo tratable.
3. Espacio de Diseño y Flujo de Trabajo: Organizan los métodos de refinamiento previos según sus objetivos y proponen un flujo de trabajo "Screen-Flag-Fix" que dirige el esfuerzo computacional únicamente hacia los componentes no fiables, equilibrando precisión y eficiencia.

Resultados Experimentales

Los autores evaluaron su método a través de cinco familias de modelos (124M–9B de parámetros) y múltiples tareas (IOI, Greater-Than, Factual Completion).

• Reducción del Error: La corrección HVP estándar reduce el error relativo del top-5 entre un 72–90% en cabezales de atención y un 56–67% en neuronas MLP de pre-activación en regímenes de curvatura baja a moderada. En regímenes patológicos de alta curvatura (p. ej., Pythia-410M IOI), el HVP de un solo paso puede sobrepasar el objetivo, pero MS-HVP (K=5) recupera la estabilidad, reduciendo el error hasta en un 82%.
• Comparación con Baselines:
  • vs. Gradientes Integrados (IG): Con costes computacionales iguales, MS-HVP iguala o supera la precisión de IG. En GPT-2 IOI, MS-HVP (coste 10) supera significativamente a IG (coste 35) con una ganancia de eficiencia de 3.5$\times$.
  • vs. Hessianos Integrados (IH): IH rinde consistentemente por debajo de MS-HVP porque su esquema de ponderación (diseñado para interacciones de características) subestima sistemáticamente el término de error específico relevante para el parcheo de atribución.
  • vs. GIM/AtP:* Estos métodos proporcionan ganancias modestas o degradan el rendimiento, particularmente en modelos más grandes donde la curvatura de la red de orden superior domina.
• Recuperación de Circuitos: Las ganancias de precisión por componente se traducen en una mejor recuperación de circuitos. En el benchmark GPT-2 Greater-Than, MS-HVP (K=5) mejoró el solapamiento del top-5 de cabezales con la verdad fundamental del 70.1% al 83.2%, superando tanto a IG como a GIM.
• Escalabilidad: A 8B+ de parámetros, IG es inviable, mientras que HVP sigue siendo práctico. MS-HVP es la única corrección de segundo orden demostrada a esta escala.

Significado y Reivindicaciones

El artículo sostiene que el parcheo de atribución no es inherentemente poco fiable, sino que sufre de una fuente de error específica y corregible: la negligencia de la curvatura de la red descendente. Al desplazar el enfoque de las propiedades de activación local hacia los productos Hessiano-Vector de la red a nivel global, los autores proporcionan una explicación general de cuándo falla el parcheo de atribución y cómo corregirlo.

La importancia radica en permitir la recuperación de circuitos de alta fidelidad en escalas previamente inaccesibles para las pruebas causales rigurosas. El flujo de trabajo propuesto Screen-Flag-Fix permite a los profesionales mantener la velocidad de las aproximaciones de primer orden para los componentes fiables, aplicando correcciones de segundo orden computacionalmente eficientes y dirigidas solo donde sea necesario. Este enfoque apoya el descubrimiento de circuitos mecanicistas en los modelos de lenguaje de gran tamaño modernos sin el coste prohibitivo del parcheo de activación completo o los métodos de integración de caminos como los Gradientes Integrados.