Beyond Importance: Interchange-Sobol Sensitivity Reveals Task-Specific Content Channels in Transformer Components

Resumen Técnico: Más allá de la importancia: La sensibilidad de Interchange-Sobol revela canales de contenido específicos de la tarea en los componentes de los Transformers

Planteamiento del problema
Los métodos actuales de interpretabilidad mecánica suelen resumir los componentes de los transformers utilizando una única puntuación de importancia escalar (por ejemplo, mediante la Atribución de Logit Directa, ablación de cero o atribución basada en gradientes). Los autores argumentan que este enfoque confunde dos roles funcionales distintos:

1. Transporte de Contenido: Un componente es importante porque transporta información relevante para la tarea; reemplazar su activación con contenido alternativo interrumpe la salida del modelo.
2. Sustrato Computacional: Un componente es importante porque su presencia es necesaria para que la computación hacia adelante (forward computation) funcione; eliminarlo (por ejemplo, mediante ablación de cero) degrada el rendimiento.

Las métricas de importancia estándar suelen fallar al distinguir estos roles. Por ejemplo, en tareas de recuperación de hechos, los métodos estándar pueden calificar bajo a los componentes de las capas iniciales, pero el intercambio de sus activaciones con activaciones de donantes emparejados provoca el colapso de la respuesta correcta, lo que indica que son canales de contenido críticos que las métías basadas en la eliminación subestiman.

Metodología: Descomposición de Sobol de Intercambio de Grupos (IGSD)
El artículo introduce el IGSD, un marco de intervención pareada diseñado para separar el transporte de contenido de la sensibilidad a la eliminación.

• Intervenciones Pareadas: Para un grupo local de capa específico $g$ (atención o MLP) y un prompt base $x_A$, el IGSD realiza dos intervenciones utilizando un prompt donante emparejado $x_B$:
  1. Intervención de Intercambio (Swap): Reemplaza la activación $h_g(x_A, t)$ con la activación del donante emparejado $h_g(x_B, t)$.
  2. Intervención de Cero (Zero): Reemplaza la misma activación con un vector de ceros.
• Índices de Varianza: El método estima dos índices de varianza de estilo Sobol normalizados por la varianza de la salida:
  • $ST_{swap}(g)$: Sensibilidad al reemplazo de contenido emparejado.
  • $ST_{zero}(g)$: Sensibilidad a la eliminación (poner a cero).
• Descomposición de Roles: La métrica central es la diferencia con signo $\delta(g) = ST_{swap}(g) - ST_{zero}(g)$.
  • $\delta(g) > 0$: El componente actúa como un canal de transporte de contenido. El contenido incorrecto es más disruptivo que la ausencia.
  • $\delta(g) < 0$: El componente actúa como un sustrato sensible a la eliminación. La ausencia es más disruptiva que el contenido alternativo.
• Diagnósticos de Validez: Para asegurar que las intervenciones permanezcan en el manifold de los datos, el artículo monitorea $\hat{ST} > 1$. Si una estimación excede 1, marca la intervención como fuera del manifold (violando el supuesto de medida de producto de los índices de Sobol ideales) y excluye el grupo de la interpretación.
• Garantías Teóricas: El artículo proporciona:
  • Un límite de especificación errónea que relaciona el índice de par emparejado con un índice de Sobol idealizado (Proposición 1).
  • Normalidad asintótica y consistencia de la inferencia de bootstrap pareado para $\delta(g)$ (Proposición 2).
  • Resultados de identificación que vinculan el signo de los contrastes de cubetas factoriales con los factores de contenido dominantes (sujeto vs. relación) (Proposición 3).
  • Una descomposición latente de contenido-sustrato que muestra cómo $\delta(g)$ aísla la dominancia de la masa de contenido ($C_g$) frente a la masa de sustrato ($N_g$) (Proposición 4).

Contribuciones Clave

1. Formulación del Marco: El IGSD se formula como un marco de intervención pareada con inferencia de pares emparejados y un diseño de donante factorial, respaldado por límites teóricos sobre la fidelidad del intercambio y los errores de dependencia.
2. Descubrimiento de Canales Específicos de la Tarea: A través de diversas tareas, el IGSD identifica perfiles de transporte de contenido localizados y específicos de la tarea en la posición del último token alineado con la respuesta.
   • Recuperación de Hechos: Tanto en GPT-2 small como en Qwen2.5-1.5B, el IGSD identifica un canal de contenido de capa temprana (específicamente $MLP_{L0}$ en GPT-2 small) que los métodos de importancia estándar califican bajo (por ejemplo, #11–#13), pero que el IGSD califica como #1.
   • Granularidad: El método se refina al nivel de cabeza, recuperando la cabeza de recuperación de hechos conocida $Attn_{L9H8}$.
   • Disociación de Contenido: Los diseños de donantes controlados revelan que el canal temprano ($MLP_{L0}$) transporta contenido de marco de relación (por ejemplo, la plantilla "X es ciudadano de"), mientras que la atención tardía ($Attn_{L9}$) transporta contenido de recuperación de sujeto.
3. Validación de Aguas Abajo (Downstream):
   • Clamping de Capas Tardías: Los experimentos confirman que la señal temprana no es simplemente pasada a través de los residuales, sino que es transformada funcionalmente por los cálculos de las capas tardías (específicamente los MLPs tardíos).
   • Utilidad de la Poda (Pruning): Los componentes identificados como canales de transporte de contenido son objetivos naturales para la edición de conocimiento, mientras que los componentes que no son ni portadores de contenido ni sensibles a la eliminación son candidatos para la poda estructurada. Los experimentos muestran que la poda basada en las clasificaciones de IGSD retiene una precisión significativamente mayor (70.0%) en comparación con la poda basada en las clasificaciones de ablación de cero (57.4%).

Resultados

• Recuperación de Hechos: En GPT-2 small, el intercambio de $MLP_{L0}$ hace que la respuesta correcta caiga del rango #1 al #95, mientras que la ablación de cero tiene un efecto mucho menor. El IGSD identifica correctamente esto como un canal sensible al contenido ($\hat{\delta} = 0.103$), mientras que las métricas estándar (DLA, AtP*) no logran priorizarlo.
• Especificidad de la Tarea: El rol de un componente no es fijo. En la Identificación de Objeto Indirecto (IOI), el contraste positivo dominante se desplaza a las capas de atención tardía ($Attn_{L9}, Attn_{L10}$), mientras que $MLP_{L0}$ se vuelve negativo (sensible a la eliminación).
• Robustez: Los hallazgos son estables a través de semillas aleatorias y arquitecturas (GPT-2 small y Qwen2.5-1.5B). El perfil de contraste "intercambio vs. cero" es distinto para cada tarea (Factual, IOI, Inducción).

Significado y Reivindicaciones
El artículo afirma que el reemplazo y la eliminación no son controles intercambiables. Su divergencia proporciona un diagnóstico estadístico práctico para identificar el transporte de contenido en los componentes de los transformers.

• Perspectiva Mecánica: El IGSD revela que las capas tempranas en la recuperación de hechos son críticas para establecer el "marco de relación" (la plantilla de la consulta), un rol previamente subestimado por las métricas basadas en la eliminación.
• Cambio Metodológico: El trabajo va más allá de las puntuaciones de importancia estáticas hacia una clasificación de roles dinámica a nivel de intervención determinada por la tarea, la distribución del donante y el funcional de salida.
• Aplicación Práctica: La descomposición de los roles de contenido vs. sustrato ofrece una base fundamentada para la edición de modelos (apuntando a canales de contenido) y la inferencia eficiente (podando componentes de sustrato).

Los autores mantienen la modestia respecto a las limitaciones, señalando que la validez de la intervención depende de la fidelidad del emparejamiento del donante, que la ablación de cero es solo un operador de eliminación, y que los resultados actuales se limitan a tareas de un solo token y validación de aguas abajo a nivel de bloque. Sin embargo, argumentan que el marco es extensible a salidas de múltiples tokens y clases de equivalencia semántica.