Resumen Técnico: Las cabezas reversibles por ablación no se transfieren

Declaración del Problema

En la interpretabilidad mecánica (MI), un flujo de trabajo común para asignar roles funcionales a las cabezas de atención implica combinar tres líneas de evidencia:

1. Necesidad Selectiva: La ablación de la cabeza daña una capacidad específica mientras preserva otras.
2. Decodificabilidad Lineal: Las activaciones de la cabeza codifican linealmente la computación solicitada.
3. Reversibilidad de la Ablación: Restaurar las activaciones limpias de la cabeza tras la ablación recupera el rendimiento.

El artículo argumenta que este conjunto de evidencia es insuficiente para afirmar que una cabeza implementa una computación específica (por ejemplo, "esta cabeza realiza una suma"). Los autores postulan que estas cuatro propiedades —necesidad selectiva, decodificabilidad lineal, reversibilidad de la ablación e intervención generalizable— son distintas y se disocian rutinariamente. Específicamente, una cabeza puede ser necesaria y reversible dentro de un único contexto de prompt sin portar un estado semántico transferible que pueda redirigir el comportamiento en un nuevo contexto. Confluir estas propiedades conduce a afirmaciones de rol excesivamente confiadas y a interpretaciones erróneas de los circuitos de los transformers.

Metodología

Los autores introducen KID (Knowing / Intent / Doing — Saber / Intención / Hacer), un vocabulario de asignación de roles, y lo combinan con un proceso empírico de tres etapas para probar la generalizabilidad intervencional.

El Marco KID

• Knowing (Saber): El proceso de reconocer lo que un prompt solicita. Una cabeza llena este rol si sus activaciones en las posiciones del prompt portan información de computación decodificable y si su ablación daña el reconocimiento a nivel de prompt.
• Intent (Intención): Un estado de selección de computación que ocurre después del reconocimiento pero antes de la ejecución. Una cabeza llena este rol si satisface los criterios de "Knowing" y es intervencionablemente generalizable (su estado, al ser parcheado en un prompt diferente, redirige el comportamiento hacia la computación de origen).
• Doing (Hacer): Ejecución de la respuesta y generación. Una cabeza llena este rol si sus activaciones en las posiciones de la respuesta son necesarias y la reversibilidad de la ablación se logra restaurando las activaciones del lado de la respuesta.

El Proceso de Tres Etapas

1. Tamizaje de Capacidad Selectiva (CSS): Identifica conjuntos pequeños de cabezas de atención cuya ablación dirigida daña selectivamente una capacidad medida. Esto establece la importancia conductual, pero no las afirmaciones representacionales.
2. Descomposición en Valores Singulares (SVD): Inspecciona la información lineal presente dentro de las cabezas seleccionadas por CSS utilizando controles de prompt contrapesados (por ejemplo, misma cadena de respuesta, diferente computación) para separar la estructura semántica de los artefactos superficiales.
3. Ensayos de Transducción de Activación: La prueba crítica para la generalizabilidad intervencional. Las activaciones limpias de un prompt de origen (Computación A) se parchean en un prompt de destino (Computación B) bajo controles emparejados.
   • Controles: El proceso emplea controles de misma computación (variando la forma superficial) y controles de misma respuesta (compartiendo la cadena de respuesta pero difiriendo en la computación) para asegurar que los efectos observados se deban a la selección de la computación y no al contexto o la familiaridad con la respuesta.
   • Restauración de Trayectoria Completa: Para distinguir "Knowing/Intent" de "Doing", los autores restauran por separado las activaciones en las posiciones del prompt frente a las posiciones de la respuesta tras la ablación.

Resultados Clave

El estudio se aplicó a tres modelos de 7–8B con ajuste de instrucciones (Qwen2.5, Llama-3, Mistral) a través de cinco familias de computación (aritmética, comparación, propiedades de dígitos, fechas, tiempos).

1. Disociación Sistemática de Propiedades

El hallazgo principal es que la reversibilidad de la ablación no implica la generalizabilidad intervencional.

• Las cabezas que pasan la verificación de reversibilidad de ablación en el lado del prompt (restaurar el rendimiento cuando las activaciones se parchean de nuevo en el mismo prompt) fallan rutinariamente al transferir la computación cuando sus activaciones se parchean en un prompt diferente.
• A través de todas las combinaciones de familias de modelos y rangos probados, ninguna cabeza satisfizo las cuatro propiedades de evidencia requeridas para un rol de "Intención".

2. Taxonomía de Roles

Los autores proponen una taxonomía preliminar de roles para las cabezas seleccionadas por CSS, ninguna de las cuales satisface actualmente los criterios completos para un estado de selección de computación intervencionablemente generalizable:

• Cabezas de Sesgo de Logit del Lado de la Respuesta: Selectivamente necesarias y reversibles, pero solo cuando se restauran las activaciones en las posiciones de la respuesta. Estas cabezas sesgan la distribución de salida hacia respuestas incorrectas plausibles o hacia la respuesta de referencia, pero no almacenan la selección de la computación.
• Estabilizadores del Lado del Prompt: Necesarios para mantener la trayectoria de la computación a través del prompt (evitando la deriva). Son reversibles en las posiciones del prompt, pero resultan inertes o negativos bajo la transducción de activación. Mantienen el contexto en lugar de seleccionar una computación específica.
• Portadores de Contexto Amplio, Primarios del Prompt: Reversibles en las posiciones del prompt, pero la transducción de activación transfiere un contexto de origen amplio (evidenciado por el movimiento en los controles de misma respuesta) en lugar de una etiqueta de computación específica.
• Portadores de Patrones de Computación Suaves: Identificados mediante SVD (por ejemplo, en una cabeza de comparación de Qwen), estos subespacios portan información de selección ordenada abstracta a través de familias relacionadas. Aunque muestran un "manejo" causal suave, no logran producir cambios en el orden de la respuesta en filas adversarias de bajo margen, quedando cortos de un cambio de computación limpio.

3. Implicaciones Metodológicas

• Controles de Misma Respuesta: El artículo destaca el "control de misma respuesta" como un cheque crítico y subutilizado. Expone casos donde los parches mueven la salida del modelo al transferir la familiaridad de la cadena de la respuesta en lugar de un estado de selección de la computación.
• La Asignación de Roles Requiere Transducción: El cribado conductual (CSS) y la decodificabilidad lineal son precondiciones necesarias para las afirmaciones de interpretabilidad, pero son insuficientes para la asignación de roles. Solo la transducción de activación bajo controles emparejados proporciona evidencia de un estado de selección de computación transferible.

Significado y Reivindicaciones

El artículo afirma proporcionar una prueba de estrés rigurosa para las afirmaciones de roles mecánicos, demostando que el conjunto estándar de evidencia (necesidad + decodificabilidad + reversibilidad) es propenso a "ilusiones de interpretabilidad".

• Refutación de Supuestos Comunes: Los autores demuestran que las cabezas a menudo funcionan como estabilizadores de la trayectoria del prompt o cabezas de sesgo de logit del lado de la respuesta, en lugar de como unidades dedicadas de selección de computación ("Intención").
• Operacionalización del Rigor: El trabajo operacionaliza un camino hacia una MI auditable al condicionar las afirmaciones de rol a pruebas de generalizabilidad intervencional. Sugiere que si existe un estado de selección de computación en las cabezas de atención, es probable que sea raro o distribuido, ya que ninguna cabeza localizada por CSS en los experimentos actuales cumplió con los criterios completos.
• Dirección Futura: La metodología clarifica que encontrar un estado de selección de computación requiere la localización de roles de trayectoria completa para identificar candidatos en el lado del prompt, seguido de la transducción de activación bajo controles de misma respuesta. Si tales cabezas no se encuentran, el estado de selección de computación puede residir en componentes que no sean de atención (MLPs, flujo residual) o estar distribuido entre muchas cabezas.

El artículo concluye que, si bien el CSS identifica cabezas reales, compactas y a menudo decodificables, la disociación de la necesidad, la decodificabilidad y la reversibilidad de la generalizabilidad exige un enfoque más cauteloso al asignar roles semánticos a los componentes del transformer.