Resumen Técnico: La Maldición de los Múltiples Mediadores: Efectos de Interacción Ocultos en el Parcheo de Activaciones

1. Planteamiento del Problema

El parcheo de activaciones es el estándar de facto en la interpretabilidad mecanística para atribuir la responsabilidad causal a componentes individuales de una red neuronal. Operacionaliza el Efecto Indirecto Natural (NIE) del análisis de mediación causal mediante la sustitución de las activaciones de un componente por valores contrafácticos (típicamente de una entrada "limpia") y la medición del cambio resultante en la salida.

Sin embargo, el artículo identifica un fallo fundamental en este enfoque cuando se aplica a los transformers: el NIE no captura únicamente el efecto causal que fluye a través de un componente específico. Debido a la arquitectura de la corriente residual (residual stream) del transformer, que proporciona rutas de derivación (bypass paths/skip connections) alrededor de cada componente, el NIE confunde la contribución directa del componente con los efectos de interacción (INT). Estas interacciones miden cómo el efecto causal de un componente depende del estado de otros componentes (el bypass). En consecuencia, las clasificaciones estándar de parcheo de activaciones pueden ser engañosas, haciendo que mecanismos de "respaldo" funcionalmente importantes parezcan invisibles (falsos negativos) o inflando artificialmente la importancia de otros.

2. Metodología

Los autores re-derivan el estimando del parcheo de activaciones desde la perspectiva del análisis de mediación causal, abordando específicamente la condición estructural de "testigos que se retractan" (recanting witnesses) inherente a las conexiones de derivación de los transformers.

• Descomposición Teórica: El artículo descompone matemáticamente el estimador de "ruido" (noising) estándar (el método por defecto de parcheo de activaciones) en dos cantidades causales distintas:

  1. Efecto Indirecto Puro (PIE): El efecto específico de la ruta que fluye exclusivamente a través del componente objetivo, bloqueando efectivamente todas las rutas de derivación.
  2. Efecto de Interacción (INT): La interacción mediada entre el componente y su derivación (bypass).
     La relación se define como: $NIE = PIE + INT$.
     El artículo también define un estimador de "denoising" (eliminación de ruido), el cual los autores demuestran que computa directamente el PIE, contrastándolo con el NIE computado mediante noising.

• Análisis Teórico:

  • Aproximación de Segundo Orden: Los autores demuestran que el INT escala con la distancia entre las activaciones limpias y las parcheadas. Específicamente, el INT se aproxima mediante la derivada direccional mixta de segundo orden (forma bilineal de la Hessiana) de la función descendente con respecto a las perturbaciones en el componente y su derivación. El INT desaparece si el mapa descendente es localmente afín o si las perturbaciones son cero.
  • Descomposición de Múltiples Componentes: Utilizando principios de inclusión-exclusión, los autores extienden la descomposición a conjuntos de componentes. Demuestran que el efecto total de parchear un conjunto de nodos se descompone en la suma de los PIEs individuales, los INTs individuales y las interacciones entre componentes ($xINT$) entre subconjuntos de nodos.

• Validación Empírica:

  • Datasets: Los experimentos utilizan el circuito IOI (Identificación de Objeto Indirecto) de GPT-2, así como tareas de Sesgo de Género, Greater Than y SVA.
  • Modelos: GPT-2 Small, Pythia-70M y Qwen2.5-0.5B.
  • Métricas: El estudio compara las clasificaciones basadas en NIE frente a PIE, analiza la varianza de las puntuaciones de fidelidad (faithfulness scores) y examina la magnitud de los efectos de interacción (INT) a través de diferentes grupos de cabezales funcionales (ej. Name Movers, Induction heads).

3. Contribuciones Clave y Resultados

A. Divergencia de las Clasificaciones NIE y PIE

El artículo demuestra que el NIE y el PIE inducen clasificaciones sustancialmente diferentes de la importancia de los componentes.

• Correlación de Rango: En la tarea IOI de GPT-2, la correlación de rango de Spearman entre NIE y PIE es tan baja como $\rho = 0.51$.
• Dependencia del Prompt: La divergencia es impulsada por la distancia semántica entre los prompts limpios y los contrafácticos. Las tareas con prompts semánticamente cercanos (ej. Sesgo de Género) muestran una alta correlación ($\rho \approx 0.99$), mientras que las tareas con perturbaciones mayores (ej. IOI con corrupción pABC) muestran una baja correlación.

B. El Rol de los Efectos de Interacción (INT)

• Mecanismos de Respaldo: En el circuito IOI, los "Backup Name Mover Heads" (BNMH) tienen puntuaciones PIE altas, pero son suprimidos en las clasificaciones de NIE debido a un INT negativo. Su contribución es condicional a la ablación de los cabezales Name Mover primarios; cuando los cabezales primarios están activos (entrada limpia), la contribución marginal de los cabezales de respaldo se reduce, resultando en un término de interacción negativo que disminuye su puntuación NIE.
• Mecanismos Dependientes del Contexto: Cabezales como Duplicate Token (DTH), Induction y Previous Token (PTH) tienen puntuaciones PIE cercanas a cero porque su contribución depende enteramente de la presencia de otros componentes activos. Consecuentamente, son invisibles para la clasificación basada en PIE, pero son capturados por el NIE (que incluye el INT positivo).
• Mecanismos Perjudicialos: Los Negative Name Mover Heads (NNMH) exhiben un PIE negativo (perjudicando el rendimiento) pero un INT positivo (parcialmente opuesto por otros cabezales), ilustrando cómo el INT puede enmascarar componentes dañinos.

C. Explicación de la Inestabilidad de la Fidelidad

El artículo proporciona una explicación mecanística para la alta variabilidad de las "puntuaciones de fidelidad" (métricas que evalúan qué tan bien un circuito recupera el rendimiento del modelo).

• Varianza de la Interacción Cruzada: Las puntuaciones de fidelidad se descomponen en PIE, INT individual e INT de componentes cruzados ($xINT$). Los autores encuentran que los términos $xINT$ exhiben una varianza significativamente mayor a través de diferentes plantillas de prompts (ej. ABBA vs. BABA) que los términos PIE.
• Magnitud: En la tarea IOI, la suma de los PIEs individuales predice un efecto mucho mayor que el rendimiento real del circuito. La discrepancia se explica por grandes interacciones cruzadas negativas ($xINT$), lo que indica que los cabezales producen colectivamente menos de la suma de sus partes individuales debido al acoplamiento no lineal.

D. Limitaciones de los Remedios

Los autores argumentan que eliminar simplemente el INT para clasificar por PIE introduce nuevos modos de fallo. Si bien el PIE identifica correctamente los mecanismos de respaldo, falla en identificar mecanismos dependientes del contexto (como los Induction heads) que son esenciales para que el circuito funcione pero tienen un efecto de ruta específica nulo. Por lo tanto, ni el NIE ni el PIE por sí solos proporcionan una imagen completa.

4. Significado y Reivindicaciones

El artículo sostiene que los efectos de interacción no son una molestia que deba eliminarse, sino un rasgo diagnóstico de la mediación causal en los transformers.

• Teoría Unificadora: La presencia de INT ofrece una explicación unificadora para varias patologías conocidas en la interpretabilidad mecanística, incluyendo el fallo del ranking codicioso (greedy ranking) de componentes, la inestabilidad de las puntuaciones de fidelidad entre prompts y la dificultad de descubrir mecanismos de respaldo sin una búsqueda combinatoria.
• Reencuadre de la Interpretabilidad: Los autores argumentan que el INT es una declaración verificable de los supuestos del parcheo de activaciones. Señala cuándo las conclusiones causales dependen del prompt y cuándo el ranking codicioso omitirá mecanismos descubribles solo mediante la búsqueda combinatoria.
• Utilidad Práctica: Aunque el INT no elimina la necesidad de la búsqueda combinatoria para resolver todas las patologías, es mensurable a varios niveles de granularidad. Los profesionales pueden usar la magnitud y el signo del INT para identificar cuándo sus conclusiones son confiables, o cuándo es probable que estén pasando por alto mecanismos críticos dependientes del contexto o de respaldo.

El artículo concluye que la "Maldición de los Múltiples Mediadores" es una propiedad inherente de la arquitectura de los transformers y de la mediación causal, lo que requiere un cambio de visión: de ver los componentes de forma aislada a comprender sus roles interactivos y dependientes del estado.