Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning

Resumen Técnico: Las cabezas de vector-función son dos poblaciones: Escritoras y Canceladoras en el aprendizaje en contexto

1. Planteamiento del problema

En el campo de la interpretabilidad mecánica, las cabezas de vector-función (FV) se identifican típicamente como un conjunto disperso de cabezas de atención con grandes contribuciones causales a las tareas de reglas de aprendizaje en contexto (ICL). El flujo de identificación estándar (p. ej., Todd et al., 2024) clasifica estas cabezas por la magnitud de su contribución causal (p. ej., Atribución de Logit Directa o AIE) y trata al conjunto de los primeros puestos como una clase funcional homogénea.

Este artículo desafía la suposición implícita de que las cabezas de alta magnitud empujan uniformemente al modelo hacia la regla demostrada. Los autores postulan que el ranking basado únicamente en la magnitud oscurece una heterogeneidad estructural crítica: el conjunto superior puede contener cabezas con efectos causales opuestos. Si esta suposición falla, los métodos de agregación estándar (como los vectores de dirección o steering vectors) pueden mezclar inadvertidamente fuerzas opuestas, lo que conduce a intervenciones subóptimas o contradictorias.

2. Metodología

Los autores proponen un flujo de identificación que preserva el signo y un marco de validación riguroso a través de tres familias de modelos (Pythia, Qwen2.5, GPT-2) y seis escalas (410M–12B).

• Atribución de Logit Directa (DLA) refinada: En lugar de clasificar por magnitud absoluta, los autores computan la contribución con signo de cada cabeza a la diferencia de logit entre el correcto y el incorrecto ($\Delta \ell$). Aplican un control de Tasa de Falsos Descubrimientos (FDR) basado en permutaciones ($q=0.10$) para identificar un conjunto de cabezas FV candidatas que incluye tanto contribuyentes positivos como negativos.
• Validación mediante Path Patching: Las candidatas se validan mediante path patching para aislar efectos directos. Las cabezas se particionan en dos poblaciones basadas en la magnitud de su efecto directo relativo al cambio del prompt (swing):
  • Escritoras ($W$): Cabezas con un efecto directo positivo ($\ge +5\%$ del swing), que empujan hacia arriba el logit del token correcto.
  • Canceladoras ($C$): Cabezas con un efecto directo negativo ($\le -5\%$ del swing), que empujan hacia abajo el logit del correcto.
• El Veredicto Canónico: La existencia de dos poblaciones opuestas se verifica mediante una prueba de cuatro condiciones sobre ablaciones de grupo (anulación a cero o media-ablación):
  1. La ablación de $W$ reduce significativamente el logit correcto ($\Delta \ell_W < 0$).
  2. La ablación de $C$ aumenta significativamente el logit correcto ($\Delta \ell_C > 0$).
  3. Los signos son opuestos.
  4. La ablación conjunta ($W \cup C$) muestra atenuación (el efecto es menor que la suma de los efectos individuales), lo que indica que operan sobre la misma lectura (readout) pero en direcciones opuestas.
• Rechazo de Artefactos: Los autores descartan seis explicaciones alternativas para la señal de la "canceladora":
  1. Solapamiento de Inducción: Las cabezas canceladoras no son simplemente cabezas de inducción.
  2. Sumideros de Atención (Attention Sinks): El efecto no es un artefacto de atender a prefijos de formato o tokens BOS (verificado mediante segmentación de DLA por fuente).
  3. Importancia Genérica: Las canceladoras no son simplemente cabezas de alta atención con signos aleatorios.
  4. Supresión de Copia de Rango-1: El mecanismo no es una simple supresión de rango-1 de los tokens copiados (a diferencia de GPT-2 L10.H7).
  5. Cascada V: El efecto no es resultado de inhibir una cabeza escritora aguas arriba mediante una cascada específica de composición V.
  6. Controles de Rango-Cercano: Cabezas aleatorias con magnitud similar no exhiben el mismo comportamiento de cancelación.

3. Resultados Clave

• División de Población: A través de 15 celdas (6 celdas principales de Pythia + 9 extensiones), el conjunto de cabezas FV se divide claramente en escritoras y canceladoras. El veredicto canónico se cumple en 13/15 celdas.
• Solapamiento Asimétrico con el Trabajo Previo: El ranking basado solo en magnitud (Todd et al., 2024) está sesgado hacia la subpoblación localmente dominante.
  • En la tarea Jerárquica, el top-20 de Todd captura el 64% de las canceladoras pero solo el 4% de las escritoras.
  • En la tarea Modular, el top-20 de Todd captura el 59% de las escritoras pero solo el 8% de las canceladoras.
• Impacto Causal de las Canceladoras: La ablación a cero de la población canceladora produce una ganancia de logit consistente de +0.13 a +0.29 nats y una mejora en la precisión de +2 a +7 puntos porcentuales en 6/6 celdas principales.
• Distinción Estructural:
  • Fuentes QK: Las escritoras concentran la atención en las etiquetas de demostración; las canceladoras desplazan la masa de atención hacia los tokens de prefijo de formato y lejos de las etiquetas.
  • Geometría OV: Las direcciones de escritura (OV) de las escritoras y las canceladoras son casi ortogonales (fracción perpendicular media de 0.96), lo que permite que coexistan en la misma lectura sin cancelarse totalmente en el flujo residual (residual stream).
  • Distribución de Capas: Las canceladoras se agrupan en capas tempranas-medias, situadas a menudo aguas abajo de una escritora en la misma celda, lo que descarta una supresión de etapa tardía.
• Estudio de Caso (L11.H4): La canceladora dominante en Pythia-410M se identifica como un "lector de contenido de sesgo distribuido". Su rol cambia según la plantilla de la tarea (canceladora en tareas de reglas, escritora en tareas de antónimos), lo que respalda la hipótesis de que suprime "lo que fue demostrado" en lugar de realizar una supresión de logit incondicional. No encaja en los modelos de supresión de copia de rango-1 o cascada V.

4. Significación y Reivindicaciones

El artículo afirma que la población de cabezas FV no es una clase homogénea, sino una propiedad estructural que comprende dos subcircuitos opuestos.

• Corrección Metodológica: El ranking estándar basado solo en la magnitud es insuficiente para identificar el paisaje funcional completo de las cabezas FV. Omite sistemáticamente la subpoblación que se opone a la señal dominante, lo que conduce a modelos de circuitos incompletos.
• Implicaciones de Intervención: El artículo distingue entre ablación, trasplante y dirección aditiva (additive steering).
  • Ablación: Eliminar las canceladoras mejora el rendimiento.
  • Trasplante: Reemplazar las cabezas con su media de la tarea (lo que efectivamente neutraliza el comportamiento específico por prompt de las canceladoras) mejora el rendimiento en comparación con los trasplantes de solo escritoras.
  • Dirección (Steering): Los autores declaran explícitamente que no afirman que un vector de dirección agregado (combinando $W$ y $C$) sea la operación correcta para la dirección práctica. Debido a que $W$ y $C$ tienen signos opuestos, agregar ambos en un solo vector puede diluir el efecto de dirección. La identificación a nivel de población sirve para definir en qué cabezas intervenir, no necesariamente cómo agregar las señales.
• Generalidad: El fenómeno se observa en diferentes arquitecturas de modelos (GPT-NeoX, estilo Llama, Conv1D) y escalas, lo que sugiere que es una propiedad fundamental de cómo los transformadores implementan el seguimiento de reglas en contexto, más que un artefacto de un modelo o tarea específica.

5. Limitaciones

Los autores mantienen la modestia respecto al alcance de sus hallazgos:

• Alcance de la Tarea: El análisis principal se limita a tareas de ICL sintéticas, cortas y de etiquetas cerradas (reglas jerárquicas y modulares) y dos plantillas de ICL de vocabulario (antónimos, capital-país). No cubre la generación de texto largo o el seguimiento de instrucciones abiertas.
• Generalización del Mecanismo: Si bien la existencia de las dos poblaciones es un hallazgo a nivel de población, la caracterización mecánica específica de la canceladora dominante (L11.H4) como un "lector de contenido de sesgo distribuido" no se extrapola a toda la población de canceladoras.
• Reivindicaciones de Dirección (Steering): El artículo no hace ninguna afirmación positiva de que la dirección basada en vectores utilizando las poblaciones identificadas mejore el control práctico del modelo más allá de los cambios de logit observados. Las ganancias de precisión mediante la ablación no se traducen automáticamente en una ventaja probada para los vectores de dirección aditiva sin un ajuste adicional.