Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning

Resumo Técnico: Cabeças de Vetor-Função são Duas Populações: Escritoras e Canceladoras no Aprendizado em Contexto (In-Context Learning)

1. Declaração do Problema

No campo da interpretabilidade mecanística, as cabeças de Vetor-Função (FV - Function-Vector) são tipicamente identificadas como um conjunto esparso de cabeças de atenção com grandes contribuições causais para tarefas de regras de aprendizado em contexto (ICL). O pipeline de identificação padrão (ex: Todd et al., 2024) classifica essas cabeças pelo magnitude de sua contribuição causal (ex: Atribuição Direta de Logit ou AIE) e trata o conjunto de maior ranking como uma classe funcional homogênea.

Este artigo desafia a suposição implícita de que cabeças de alta magnitude empurram uniformemente o modelo em direção à regra demonstrada. Os autores postulam que o ranking baseado apenas em magnitude obscurece uma heterogeneidade estrutural crítica: o conjunto superior pode conter cabeças com efeitos causais opostos. Se essa suposição falhar, os métodos de agregação padrão (como vetores de direção/steering vectors) podem inadvertidamente misturar forças opostas, levando a intervenções subótimas ou contraditórias.

2. Metodologia

Os autores propõem um pipeline de identificação que preserva o sinal e um framework de validação rigoroso através de três famílias de modelos (Pythia, Qwen2.5, GPT-2) e seis escalas (410M–12B).

• Atribuição Direta de Logit Refinada (DLA): Em vez de classificar pelo magnitude absoluto, os autores computam a contribuição com sinal de cada cabeça para a diferença de logit entre o correto menos o incorreto ($\Delta \ell$). Eles aplicam um controle de Taxa de Falsa Descoberta (FDR) baseado em permutação ($q=0.10$) para identificar um conjunto candidato de cabeças FV que inclui tanto contribuintes positivos quanto negativos.
• Validação por Path Patching: Os candidatos são validados usando path patching para isolar efeitos diretos. As cabeças são particionadas em duas populações baseadas no magnitude de seu efeito direto relativo ao balanço (swing) do prompt:
  • Escritoras (W - Writers): Cabeças com um efeito direto positivo ($\ge +5\%$ do balanço), empurrando o logit do token correto para cima.
  • Canceladoras (C - Cancellers): Cabeças com um efeito direto negativo ($\le -5\%$ do balanço), empurrando o logit do token correto para baixo.
• O Veredito Canônico: A existência de duas populações opostas é verificada via um teste de quatro condições em ablações de grupo (zeramento ou ablação pela média):
  1. Ablação de $W$ reduz significativamente o logit correto ($\Delta \ell_W < 0$).
  2. Ablação de $C$ aumenta significativamente o logit correto ($\Delta \ell_C > 0$).
  3. Os sinais são opostos.
  4. A ablação conjunta ($W \cup C$) mostra atenuação (o efeito é menor do que a soma dos efeitos individuais), indicando que elas operam no mesmo readout, mas em direções opostas.
• Rejeição de Artefatos: Os autores descartam seis explicações alternativas para o sinal da "canceladora":
  1. Sobreposição de Indução: Cabeças canceladoras não são simplesmente cabeças de indução.
  2. Sinks de Atenção: O efeito não é um artefato de atender a prefixos de formato ou tokens BOS (verificado via bucketing de DLA por fonte).
  3. Importância Genérica: Canceladoras não são apenas cabeças de alta atenção com sinais aleatórios.
  4. Supressão de Cópia Rank-1: O mecanismo não é uma simples supressão de rank-1 de tokens copiados (ao contrário de GPT-2 L10.H7).
  5. V-Cascade: O efeito não é resultado da inibição de uma escritora upstream via uma cascata específica de composição V.
  6. Controles de Rank-Próximo: Cabeças aleatórias com magnitude semelhante não exibem o mesmo comportamento de cancelamento.

3. Principais Resultados

• Divisão de População: Através de 15 células (6 células principais Pythia + 9 extensões), o conjunto de cabeças FV se divide claramente em escritoras e canceladoras. O veredito canônico se mantém em 13/15 células.
• Sobreposição Assimétrica com Trabalhos Anteriores: O ranking baseado apenas em magnitude (Todd et al., 2024) é enviesado para a subpopulação localmente dominante.
  • Na tarefa Hierárquica, o top-20 de Todd captura 64% das canceladoras, mas apenas 4% das escritoras.
  • Na tarefa Modular, o top-20 de Todd captura 59% das escritoras, mas apenas 8% das canceladoras.
• Impacto Causal das Canceladoras: O zeramento de ablação da população canceladora produz um ganho de logit consistente de +0.13 a +0.29 nats e uma melhoria na acurácia de +2 a +7 pontos percentuais em 6/6 células principais.
• Distinção Estrutural:
  • Fontes QK: Escritoras concentram a atenção nos rótulos de demonstração; canceladoras deslocam a massa de atenção para tokens de prefixo de formato e para longe dos rótulos.
  • Geometria OV: As direções de escrita (OV) de escritoras e canceladoras são quase ortogonais (fração perpendicular média de 0.96), permitindo que coexistam no mesmo readout sem se cancelarem totalmente no fluxo residual (residual stream).
  • Distribuição de Camadas: As canceladoras se agrupam em camadas iniciais a médias, frequentemente situadas downstream de uma escritora na mesma célula, descartando a supressão de estágio tardio.
• Estudo de Caso (L11.H4): A principal canceladora em Pythia-410M é identificada como um "leitor de conteúdo de viés distribuído". Seu papel muda dependendo do template da tarefa (canceladora em tarefas de regra, escritora em tarefas de antônimos), apoiando a hipótese de que ela suprime "o que foi demonstrado" em vez de realizar uma supressão de logit incondicional. Ela não se encaixa nos templates de supressão de cópia rank-1 ou V-cascade.

4. Significância e Alegações

O artigo afirma que a população de cabeças FV não é uma classe homogênea, mas uma propriedade estrutural composta por dois subcircuitos opostos.

• Correção Metodológica: O ranking padrão baseado apenas em magnitude é insuficiente para identificar o panorama funcional completo das cabeças FV. Ele sistematicamente perde a subpopulação que se opõe ao sinal dominante, levando a modelos de circuito incompletos.
• Implicações de Intervenção: O artigo distingue entre ablação, transplante e direcionamento aditivo (steering).
  • Ablação: Remover canceladoras melhora o desempenho.
  • Transplante: Substituir cabeças por sua média da tarefa (o que efetivamente neutraliza o comportamento específico por prompt das canceladoras) melhora o desempenho em comparação com transplantes apenas de escritoras.
  • Direcionamento (Steering): Os autores declaram explicitamente que não alegam que um vetor de direcionamento agregado (combinando $W$ e $C$) seja a operação correta para o direcionamento prático. Como $W$ e $C$ possuem sinais opostos, agregar em um único vetor pode diluir o efeito de direcionamento. A identificação ao nível de população serve para definir em quais cabeças intervir, não necessariamente como agregá-las.
• Generalidade: O fenômeno é observado em diferentes arquiteturas de modelos (GPT-NeoX, estilo Llama, Conv1D) e escalas, sugerindo que é uma propriedade fundamental de como os transformers implementam o seguimento de regras em contexto, e não um artefato de um modelo ou tarefa específica.

5. Limitações

Os autores mantêm a modéstia quanto ao escopo de suas descobertas:

• Escopo da Tarefa: A análise primária é limitada a tarefas de ICL sintéticas curtas e de rótulo fechado (regras hierárquicas e modulares) e dois templates de ICL de vocabulário (antônimos, capital-país). Não cobre geração de longo formato ou seguimento de instruções abertas.
• Generalização do Mecanismo: Embora a existência das duas populações seja um achado ao nível de população, a caracterização mecanística específica da principal canceladora (L11.H4) como um "leitor de conteúdo de viés distribuído" não é extrapolada para toda a população de canceladoras.
• Alegações de Direcionamento (Steering): O artigo não faz nenhuma alegação positiva de que o direcionamento baseado em vetor usando as populações identificadas melhore o controle prático do modelo além dos deslocamentos de logit observados. Os ganhos de acurácia da ablação não se traduzem automaticamente em uma vantagem comprovada para vetores de direcionamento aditivos sem mais ajustes.