Resumen Técnico: Co-Ablación Condicional (COAX)

1. Planteamiento del Problema

La interpretabilidad mecanística se basa en asignar puntuaciones de importancia a componentes individuales del modelo (por ejemplo, cabezales de atención) para comprender cómo un modelo produce comportamientos específicos. El enfoque estándar utiliza la puntuación de primer orden: ablacionar una unidad de forma aislada, medir el cambio en la salida y agregar estos efectos. Esto asume que la importancia de los componentes es aditiva.

Sin embargo, este supuesto falla ante la presencia de autorreparación (el "efecto Hydra"), donde un modelo posee componentes de respaldo latentes que se activan solo cuando un componente primario es eliminado.

• El punto ciego: En un modelo intacto, un componente de respaldo parece irrelevante (baja importancia) porque está silenciado. Cuando se ablaciona un componente primario, el respaldo toma el control, reparando el daño y mitigando el efecto medido del primario.
• Consecuencia: Las puntuaciones de primer orden leen mal ambos lados de la redundancia: subestiman al primario (porque el respaldo corrige el error) y pasan por alto por completo al respaldo (porque está latente). Esto conduce a una atribución incorrecta, fallos en la eliminación de capacidades y una poda de modelos subóptima.

2. Metodología: Co-Ablación Condicional (COAX)

Los autores replantean el problema como una completitud de circuito condicional: dado un conjunto $S$ de componentes primarios, identificar las unidades restantes cuya importancia crece significativamente una vez que $S$ es removido.

La Puntuación COAX

COAX es una puntuación sin etiquetas (label-free) y basada en la salida que mide el crecimiento condicional del efecto de ablación de una unidad.

1. Geometría de Fisher: El método mide los efectos de ablación en la métrica inducida por la distribución de salida (información de Fisher). Para una unidad $u$, el efecto de ablación es la perturbación del logit $\delta z_u = z_0 - z_{\{u\}}$. La energía de este efecto es el costo medio de KL, aproximado por la norma ponderada por la información de Fisher de la característica centrada $\tilde{\delta z}_u$.
2. Crecimiento Condicional:
   • Sea $S$ un conjunto semilla de componentes primarios (identificados, por ejemplo, mediante un método de primer orden).
   • Se calcula la energía de la ablación de una unidad candidata $u$ de forma aislada: $E(\delta z_u | \emptyset)$.
   • Se calcula la energía de la ablación de $u$ después de que $S$ ha sido ablacionado: $E(\delta z_u | S)$.
   • La puntuación COAX es la diferencia:
     $$\text{comp}_u(S) = E(\delta z_u | S) - E(\delta z_u | \emptyset)$$
3. Base Teórica:
   • Proposición 1: Establece la identidad de Fisher, vinculando el producto interno de las características centradas con la matriz de Gram de Fisher.
   • Proposición 2 (Punto Ciego de la Aditividad): Demuestra que cualquier puntuación basada únicamente en estadísticas del estado limpio (por ejemplo, activación limpia o gradientes limpios) no puede distinguir un respaldo puro (latente en el modelo limpio) de una unidad inerte.
   • Proposición 3 (Crecimiento Condicional como Sinergia): Muestra que para una unidad latente, la puntuación de crecimiento condicional aproxima la energía de su sinergia por pares con el conjunto semilla $S$. Así, COAX recupera la interacción de segundo orden que las puntuaciones de primer orden descartan.

Eficiencia

A diferencia de los cálculos explícitos de sinergia por pares que requieren $O(|U|^2)$ pasadas hacia adelante, COAX requiere solo $O(|U|)$ pasadas (un único escaneo de ablación individual y un escaneo condicional por semilla). Es un método de solo paso hacia adelante (forward-only) y no requiere pasadas hacia atrás (backward passes) ni etiquetas de tarea.

3. Contribuciones Clave

1. Formalización de la Autorreparación: El artículo formaliza la autorreparación como un fallo de la aditividad en la importancia de los componentes e introduce la "completitud de circuito condicional" como la tarea de recuperar compensadores latentes.
2. Puntuación COAX: Introduce una puntuación sin etiquetas, fundamentada en la información de Fisher, que expone respaldos latentes midiendo el crecimiento en la energía de ablación tras condicionar en un conjunto primario.
3. Validación Causal: Demuestra que los cabezales recuperados son respaldos genuinos mediante comprobaciones mecanísticas (curvas de despertar, transferencia de atribución de logit directo) y parcheo contrafáctico (congelar los respaldos elimina la autorreparación).
4. Utilidad en Aplicaciones: Muestra que recuperar estos respaldos corrige la atribución enmascarada, permite la eliminación completa de capacidades y mejora la poda estructurada.

4. Resultados Experimentales

Descubrimiento de Respaldos (Circuito IOI de GPT-2-small)

• Tarea: Identificar 8 cabezales de movimiento de nombres (name-mover) documentados dados los 3 movimientos de nombres primarios.
• Rendimiento:
  • Baselines de primer orden: Saliencia de ablación única (0.33 AUC), AtP (0.60), EAP-IG (0.70) y el método AtP*GradDrop, que es consciente de la autorreparación (0.82).
  • COAX: Logra un 0.91 ROC-AUC.
  • Significancia: COAX coloca 6 de los 8 respaldos documentados en sus 20 mejores candidatos. La mejora sobre el mejor baseline basado en gradientes (AtP*) es estadísticamente significativa ($p < 0.05$) al controlar el conjunto semilla.
• Benchmark Sintético: En un benchmark sintético con 100 respaldos plantados, las puntuaciones de estado limpio rinden al azar o por debajo (0.42–0.51), mientras que COAX alcanza 0.90, confirmando el punto ciego teórico de los métodos de primer orden.

Generalización

• Escala: El fenómeno de "despertar" (aumento de la norma de salida tras la ablación del primario) se observa en modelos GPT-2-small, medium y large.
• Arquitectura: Aplicado al circuito de inducción en 8 modelos (Pythia, GPT-Neo, Gemma, Llama, Qwen, OLMo). COAX recupera conjuntos compensadores que reducen significativamente la log-probabilidad de inducción (de 2.1x a 12x más que al azar), demostrando la transferibilidad sin etiquetas.

Aplicaciones de la Tarea

1. Recuperación de Atribución: Ablacionar los primarios por sí solos reduce la diferencia de logit de IOI en solo 0.22 (enmascarada por la autorreparación). Añadir los respaldos recuperados por COAX restaura la caída a 1.76, revelando el verdadero efecto causal.
2. Eliminación de Capacidades (Knockout): Para deshabilitar el comportamiento IOI, se deben eliminar los respaldos.
   • Eliminar solo los primarios: La precisión permanece en ~0.97 (autorreparación activa).
   • Eliminar primarios + respaldos de COAX: La precisión cae a 0.70, coincidiendo con el oráculo documentado (0.72).
   • Eliminar primarios + "propios" cabezales de siguiente rango (top-up de primer orden): La precisión cae a 0.24, indicando una sobre-ablación hacia componentes centrales.
3. Poda Estructurada: Una estrategia de poda secuencial que vuelve a medir las puntuaciones COAX después de cada eliminación (para tener en cuenta los respaldos recién expuestos) supera a todos los baselines (Random, Magnitude, Wanda, Taylor) en diversas escalas desde 124M hasta 7B de parámetros. Con un 50% de dispersión, COAX mantiene la perplejidad significativamente más cerca del modelo denso que cualquier competidor.

5. Significancia y Reivindicaciones

El artículo argumenta que la importancia de un componente no es una propiedad intrínseca de una unidad, sino que es condicional al estado del resto del circuito.

• Motivación: En circuitos robustos, los componentes que más importan son a menudo aquellos que permanecen silenciosos hasta que su primario falla. Los métodos de primer orden, que puntúan las unidades de forma aislada, omiten sistemáticamente estos "héroes ocultos".
• Cambio Operativo: COAX cambia el paradigma de "puntuar unidades en aislamiento" a "puntuar unidades en relación con lo que ha sido removido".
• Limitaciones y Alcance:
  • COAX es una herramienta de completitud, no una herramienta de descubrimiento independiente; requiere un conjunto semilla primario (que puede hallarse mediante métodos de primer orden).
  • Es más efectivo en regímenes de sustitución latente (como los respaldos de IOI). En regímenes donde la redundancia se comparte entre cabezales homogéneos que se activan simultáneamente (como la inducción), COAX encuentra conjuntos de carga, pero no identifica de forma única una clase de "respaldo" distinta.
  • El método está actualmente instanciado a la granularidad de cabezal de atención; no recupera señales fuertes en circuitos dominados por MLP (por ejemplo, el circuito "mayor que"), lo que sugiere que el mecanismo del circuito (MLP vs. Atención) dicta la recuperabilidad de la autorreparación.

El artículo conclifica que la interpretabilidad fiel de los modelos robustos debe ser condicional: la redundancia no es ruido que deba promediarse, sino una estructura que debe condicionarse para revelar el circuito completo.