Resumo Técnico: Fixação em Contexto

Declaração do Problema

Embora pesquisas anteriores (Min et al., 2022) tenham estabelecido que rótulos de demonstração aleatórios têm impacto mínimo no desempenho da Aprendizagem em Contexto (ICL), este artigo identifica um modo de falha crítico denominado Fixação em Contexto. Os autores demonstram que, quando as demonstrações compartilham rótulos homogêneos (mesmo que semanticamente válidos), a precisão do modelo colapsa para $\le$12% em diversas arquiteturas e tarefas.

Crucialmente, o artigo argumenta que o gatilho não é a correção dos rótulos, mas sim o conteúdo do slot do rótulo em si. O modelo parece tratar os tokens que ocupam a posição do rótulo nas demonstrações como um vocabulário de respostas exaustivo. Esse comportamento contradiz as contas bayesianas de conceitos latentes (Xie et al., 2022), que preveriam que rótulos nonsense diversos resultariam em uma posterior difusa permitindo que a inferência semântica se recuperasse. Em vez disso, o modelo vincula sua saída estritamente ao inventário de tokens demonstrado, sobrepondo a plausibilidade semântica.

Metodologia

O estudo emprega uma abordagem multifacetada combinando análise comportamental, interpretabilidade mecânica causal e validação entre arquiteturas:

1. Configuração Experimental:

   • Tarefas: Quatro tarefas de classificação binária de token único (Categoria, Sentimento, Temperatura, Tamanho) e classificação multiclasse de 4 vias.
   • Modelos: Seis modelos base de três famílias (Pythia, Llama, Qwen) variando de 0,8B a 8B parâmetros.
   • Condições:
     • Caminho de Jardim (GP): Todas as 8 demonstrações compartilham um rótulo oposto à resposta de teste.
     • Nonsense Variado: As demonstrações usam tokens nonsense diversos de um conjunto $\{foo, bar, vex, nit, orb\}$.
     • Multi-token: Uso de verbalizadores como "muito positivo" para decompor fixação de formato versus conteúdo.
   • Métricas: Precisão, massa de probabilidade em conjuntos demonstrados versus respostas corretas e taxas de recuperação via correção (patching).

2. Análise Mecânica:

   • Correção de Ativação Pareada por Item: Utilizada no Pythia-1B para trocar ativações de camadas de atenção de prompts de controle (rótulos corretos) para prompts de caminho de jardim, a fim de identificar circuitos causais.
   • Logit Lens: Aplicado ao Llama-3.2-1B para rastrear a evolução dos logits através das camadas, observando a trajetória "codificar-então-sobrepor".
   • Atribuição Direta de Logit (DLA): Para identificar cabeças de atenção específicas que contribuem para a fixação.

Contribuições Principais

1. Fenômeno Geral de Tarefa: O efeito de fixação é robusto em quatro tarefas, seis modelos e três famílias de modelos (0,8B–8B). Em todas as 12 combinações de tarefa $\times$ modelo, a precisão do GP cai abaixo de 15%, com lacunas de 64–100 pontos percentuais em comparação com controles balanceados.
2. Fixação em Nível de Conjunto (Recuperação de Vocabulário Constrained): O artigo demonstra que a fixação opera sobre o conjunto completo de rótulos demonstrados, não apenas um único token. Mesmo com rótulos nonsense variados, o modelo concentra 42–67% da probabilidade no conjunto demonstrado enquanto suprime a resposta semanticamente correta ($P(dog) < 0,2\%$). Isso prova que o modelo recupera do inventário demonstrado em vez de inferir a partir de conceitos latentes.
3. Generalização para Multiclasse e Multi-token:
   • A fixação estende-se à classificação de 4 vias, reduzindo a precisão para 0% quando os rótulos são homogêneos.
   • Em verbalizadores multi-token, a fixação se decompõe em componentes de nível de formato (adoção do modelo "muito X") e nível de conteúdo (sobreposição de polaridade), que são experimentalmente dissociáveis.
4. Primeiro Circuito Causal para um Modo de Falha de ICL:
   • No Pythia-1B, a correção pareada por item recupera 98,4% da lacuna de precisão.
   • O circuito está localizado em um circuito centrado na camada 7 (envolvendo especificamente as camadas 7, 10 e 11).
   • Uma coalizão esparsa de apenas 4 cabeças (através de 3 camadas) alcança 87,6% de recuperação, embora o circuito seja distribuído (existem caminhos redundantes).
5. Replicação entre Arquiteturas: A análise de Logit Lens no Llama-3.2-1B confirma a trajetória codificar-então-sobrepor: camadas intermediárias (L9–L11) codificam a resposta correta, mas camadas superiores (L12–L15) a sobrepõem sob condições de caminho de jardim. A correção por item no Llama confirma a suficiência causal (89% de recuperação com as top-5 camadas).

Resultados

• Resposta à Dose: A precisão cai monotonicamente à medida que o número de demonstrações enganosas aumenta. No Qwen3-8B, uma única demonstração enganosa adicional (mudando de $k=7$ para $k=8$) causa um colapso quase descontínuo de 42% para 0% de precisão.
• Limites em Nível de Conjunto: Quando um rótulo correto (por exemplo, "dog") é excluído do conjunto demonstrado, sua probabilidade é suprimida por 1,6–9,4$\times$ em relação aos controles balanceados, independentemente da validade semântica dos rótulos de demonstração.
• Viés de Recência: Uma única demonstração corretiva na posição final (posição 8) pode reverter completamente a fixação (0% $\to$ 100% de precisão), sobrepondo sete demonstrações opostas.
• Falha de Calibração: Métodos de calibração contextual falham em resolver a fixação, deixando uma lacuna residual de 40pp.
• Ajuste por Instrução: Modelos ajustados por instrução exibem fixação sob promptagem bruta, embora modelos de chat possam reduzir a lacuna em alguns modelos (por exemplo, Llama-3.2-3B-Instruct), sugerindo que o efeito interage com a formatação do prompt.

Significado e Alegações

O artigo afirma revelar que a saída de ICL é recuperação de vocabulário restrito em vez de inferência semântica ou atualização bayesiana de conceitos latentes. O modelo vincula sua saída ao inventário de tokens demonstrado, independentemente da plausibilidade semântica.

• Insight Mecânico: A trajetória "codificar-então-sobrepor" fornece uma explicação mecânica para falhas de ICL: o modelo calcula corretamente a resposta nas camadas médias, mas descarta-a nas camadas superiores em favor do conjunto de rótulos demonstrado.
• Implicações Teóricas: Essa descoberta desafia a visão da ICL como inferência bayesiana puramente implícita. Sugere um mecanismo de "recuperação de conjunto condicionado a slot", onde o slot do rótulo define o suporte da distribuição de saída.
• Implicações Práticas: Os autores identificam isso como um modo de falha de confiabilidade concreto para sistemas implantados (por exemplo, pipelines RAG, andaimes de agentes). Eles propõem que a diversidade de demonstrações é crítica; especificamente, anexar uma única demonstração diversa e corretamente rotulada no final de um prompt pode mitigar o efeito.
• Segurança: O mecanismo constitui uma superfície de ataque de injeção de prompt onde um adversário que controla a seleção de demonstrações pode sobrepor deterministicamente as previsões do modelo garantindo a homogeneidade dos rótulos.

O artigo conclui que, embora o efeito persista em 8B parâmetros, a arquitetura específica do circuito varia por modelo (por exemplo, Pythia vs. Llama), e o fenômeno merece investigação adicional em modelos maiores e tarefas de raciocínio.