Single-Position Intervention Fails: Distributed Output Templates Drive In-Context Learning

Este artigo demonstra que a identidade da tarefa no aprendizado em contexto não está localizada em camadas ou tokens específicos, conforme sugerido pela sondagem linear, mas é causalmente codificada como modelos de formato de saída distribuídos entre os tokens de demonstração, com uma janela de intervenção crítica em torno de 30% da profundidade da rede.

O essencial

Imagine um modelo de linguagem grande (como os que alimentam chatbots) como uma fábrica massiva de vários andares. Quando você lhe dá alguns exemplos de uma tarefa (como "transforme esta palavra em maiúsculas"), ele tenta descobrir a regra e aplicá-la à sua nova pergunta. Isso é chamado de Aprendizado em Contexto (ICL).

Por muito tempo, cientistas pensaram que sabiam onde nesta fábrica a "regra" estava armazenada. Eles usavam uma ferramenta chamada "sonda" (como um detector de metais) que podia apitar alto e dizer: "Sim, a regra para 'maiúsculas' está bem aqui!" Eles encontravam esses apitos em locais específicos em andares específicos da fábrica.

A Grande Surpresa: O Detector de Metais é um Mentiroso
Os autores deste artigo decidiram testar se esses apitos realmente significavam algo importante. Eles tentaram um experimento de "cirurgia": foram até o local exato onde o detector de metais dizia que a regra estava, removeram a informação e a substituíram por outra coisa.

• O Resultado: Nada aconteceu. A fábrica continuou funcionando perfeitamente, ignorando completamente a cirurgia.
• A Analogia: Imagine que você acha que o motor de um carro é controlado por um único fio vermelho. Você corta esse fio, esperando que o carro pare. Em vez disso, o carro continua dirigindo. Acontece que o motor não é controlado por um fio; o sinal está distribuído por milhares de fios. Se você cortar apenas um, o carro não se importa.

A Descoberta Real: O "Modelo Distribuído"
Os pesquisadores perceberam que a "regra" não está armazenada em um só lugar. É como um quebra-cabeça espalhado por todo o conjunto de exemplos que você deu ao modelo.

1. A Falha de Posição Única: Se você tentar trocar apenas uma peça do quebra-cabeça (uma palavra no exemplo), o modelo não percebe. Ele tem muitas outras peças para montar a imagem.
2. O Avanço de Múltiplas Posições: Mas, se você trocar todas as peças do quebra-cabeça ao mesmo tempo (todas as palavras de saída nos exemplos), o modelo muda de ideia. Ele começa a seguir a nova regra que você lhe deu.

O "Ponto Ideal" na Fábrica
Os pesquisadores descobriram que essa "troca de quebra-cabeça" só funciona se você fizer isso em um andar específico da fábrica.

• Muito cedo (Andares 1–7): As peças do quebra-cabeça ainda não foram montadas; o padrão não está claro.
• Muito tarde (Andares 15+): A fábrica já terminou de construir o carro e está indo embora; mudar o projeto agora é tarde demais.
• Exatamente certo (Andar 8): Esta é a "janela de compromisso". É onde a fábrica está finalizando o projeto, mas ainda não começou a construir. Se você trocar os projetos aqui, a fábrica constrói o novo carro.

O Que Realmente é Transferido?
O artigo descobriu que o modelo não está aprendendo o significado da tarefa (como "isso é sobre sentimentos"). Em vez disso, está aprendendo a forma da resposta.

• A Analogia: Imagine que você ensina um modelo a escrever um poema. Se você mudar os exemplos para mostrar um tipo diferente de poema (por exemplo, de versos rimados para haicais), o modelo não mudará, mesmo que o tema seja o mesmo.
• A Descoberta: O modelo apenas copia o "modelo". Se os exemplos mostram "Palavra, Palavra, Palavra", o modelo só mudará para uma nova tarefa se essa nova tarefa também parecer "Palavra, Palavra, Palavra". Ele não se importa se as palavras são sobre gatos ou números; ele se importa que a estrutura corresponda.

A Consulta vs. Os Exemplos
O artigo também encontrou uma assimetria engraçada:

• Os Exemplos (A Demonstração): Estes são como os "ingredientes". Você precisa de todos eles para fazer o prato. Se você perder um, a receita ainda funciona porque os outros cobrem por ele. Mas se você trocar todos eles, o prato muda completamente.
• A Pergunta (A Consulta): Este é o "chef" que lê a receita. Se você estragar as instruções do chef (a parte da pergunta), tudo falha. O chef é essencial, mas o chef não segura a receita; os ingredientes é que a têm.

Resumo em Português Simples

1. Não confie no detector de metais: Apenas porque um modelo pode encontrar uma regra em um lugar não significa que esse lugar é importante.
2. A regra está em todo lugar: A "identidade da tarefa" está espalhada por todas as respostas dos exemplos, não presa em um só lugar.
3. O timing importa: Você só pode mudar a ideia do modelo no meio do seu processo de pensamento, não no início nem no fim.
4. É sobre a forma, não o significado: O modelo copia o formato da resposta (como um modelo) em vez de entender a lógica profunda da tarefa.

Este artigo essencialmente reescreveu o mapa de como esses modelos de IA aprendem a partir de exemplos, mostrando-nos que o "cérebro" da tarefa é uma rede distribuída e tolerante a falhas, não um único interruptor.

Resumo técnico

Resumo Técnico: Modelos de Saída Distribuídos Impulsionam a Aprendizagem em Contexto

Declaração do Problema

Compreender como os Modelos de Linguagem de Grande Escala (LLMs) codificam a identidade da tarefa a partir de demonstrações com poucos exemplos permanece um problema aberto central na interpretabilidade mecânica. Pesquisas anteriores dependeram predominantemente de sondagem linear para localizar representações de tarefas, relatando alta precisão de classificação em camadas e posições específicas. No entanto, existe uma lacuna crítica entre a decodabilidade (a capacidade de uma sonda extrair informações) e a relevância causal (se essas informações impulsionam o comportamento do modelo). Este artigo investiga se a alta precisão de sondagem observada em trabalhos anteriores se traduz em controle causal sobre a identidade da tarefa na aprendizagem em contexto (ICL).

Metodologia

Os autores empregam experimentos de intervenção em ativação no Llama-3.2-3B-Instruct e replicam as descobertas em três outros modelos (Llama-3.2-1B, Qwen2.5-1.5B, Gemma-2-2B). O estudo distingue entre três tipos de posições em um prompt de ICL: entradas de demonstração, saídas de demonstração e a consulta.

1. Sondagem: Classificadores de centróide mais próximo são treinados em cada par (camada, posição) para medir a decodabilidade da identidade da tarefa.
2. Intervenção de Posição Única: O vetor de ativação em um único par (camada, posição) em um prompt alvo é substituído pela ativação média de uma tarefa fonte. Isso testa se a identidade da tarefa está localizada.
3. Intervenção de Múltiplas Posições: As ativações em todos os tokens de saída de demonstração são substituídas simultaneamente. Isso testa se a identidade da tarefa está distribuída.
4. Rastreamento Causal: Ruído gaussiano é injetado em posições específicas para medir a necessidade (taxa de perturbação), enquanto o transplante mede a suficiência (taxa de transferência).
5. Análise de Compatibilidade de Formato: O estudo cria variantes de tarefa com operações idênticas, mas formatos de saída diferentes (por exemplo, "PALAVRA" vs. "PALAVRA.") para determinar se a transferência depende de regras abstratas ou modelos de superfície.

Principais Contribuições e Resultados

1. A Falha da Intervenção de Posição Única

Apesar de alcançar 100% de precisão de sondagem nas posições de demonstração e 83% na posição de consulta em todas as 28 camadas, a intervenção de posição única alcança 0% de transferência de tarefa em cada camada. Experimentos de controle (ablação zero e aleatória) confirmam que nenhuma posição única é causalmente necessária; o modelo ignora completamente perturbações de posição única. Isso demonstra que a codificação da tarefa é fundamentalmente distribuída e tolerante a falhas.

2. A Avanço da Intervenção de Múltiplas Posições

Os autores revelam que a identidade da tarefa pode ser causalmente transferida apenas através de intervenção simultânea de múltiplas posições.

• Janela Ótima: A transferência atinge o pico na Camada 8 (aproximadamente 30% da profundidade da rede) para modelos de 28 camadas, alcançando 96% de transferência (IC 95%: [87%, 99%]) para pares compatíveis em formato.
• Especificidade de Posição: Substituir os tokens de saída das demonstrações produz 94% de transferência, enquanto substituir tokens de entrada produz 0%. Substituir todos os tokens de demonstração (entradas + saídas) produz 96%, indicando que os tokens de saída carregam o sinal primário.
• Efeitos de Limiar: A transferência não é gradual. Substituir 1–3 posições produz 0% de transferência; substituir ~10 posições produz 10%; substituir todas as posições produz ~90%. Da mesma forma, 1–3 demonstrações fonte produzem 0% de transferência, enquanto 5 produzem 93%.

3. Assimetria Causal: Consulta vs. Demonstrações

O rastreamento causal via injeção de ruído revela uma assimetria striking:

• Posição de Consulta: Estritamente necessária (53–100% de perturbação quando com ruído nas camadas 0–14), mas não suficiente (0% de transferência quando transplantada).
• Posições de Demonstração: Individualmente não necessárias (0% de perturbação quando com ruído), mas coletivamente suficientes (96% de transferência quando todas são substituídas).
  Isso sugere um pipeline em etapas: camadas iniciais codificam modelos distribuídos, camadas intermediárias agregam essas informações à consulta e camadas tardias comprometem-se com a geração de saída.

4. A Hipótese do Modelo Distribuído

A transferência depende da compatibilidade de representação interna, não da similaridade de superfície.

• Sensibilidade ao Formato: Tarefas com operações idênticas, mas formatos de saída diferentes (por exemplo, "PALAVRA" vs. "PALAVRA."), mostram 0% de transferência. Por outro lado, tarefas com modelos estruturalmente semelhantes (por exemplo, "palavra palavra" vs. "palavra, palavra") mostram 90% de transferência.
• Compatibilidade de Contagem de Tokens: A transferência é impulsionada pela compatibilidade das contagens de tokens de saída. Por exemplo, MAIÚSCULAS (1 token) transfere para linear 2x (1 token) em 100%, mas repetir palavra (2 tokens) falha em transferir para repetir n (3 tokens).
• Previsibilidade: Apenas 7 de 56 pares de tarefas (13%) alcançam ≥50% de transferência. Estes formam um cluster de tarefas procedimentais com estruturas de saída rígidas, de token único ou repetido. Tarefas semânticas mostram transferência entre tarefas próxima de zero.

Significado e Alegações

O artigo estabelece a Hipótese do Modelo Distribuído: a identidade da tarefa na ICL não é codificada como um vetor localizado ou regra abstrata, mas como modelos de formato de saída distribuídos entre os tokens de demonstração.

• Insight Mecânico: As descobertas resolvem a ambiguidade entre decodabilidade e relevância causal, mostrando que alta precisão de sondagem não implica controle causal.
• Especificidade de Arquitetura: A janela de intervenção ótima em ~30% de profundidade parece ser uma característica universal nas arquiteturas LLaMA, Qwen e Gemma, sugerindo uma etapa geral de processamento de transformador onde os modelos são codificados antes da agregação.
• Implicações para Direcionamento: O direcionamento eficaz de ativação para ICL requer substituição coordenada de múltiplas posições em camadas iniciais e intermediárias, em vez de edição de vetor único.
• Natureza da ICL: Os resultados sugerem que, para muitas tarefas, o modelo opera correspondendo modelos de saída em vez de inferir relações abstratas entrada-saída, particularmente para tarefas procedimentais.

Os autores concluem que, embora o mecanismo seja geral, a transferência bem-sucedida é restringida por uma compatibilidade estrutural estrita entre os formatos de saída de origem e destino, descartando explicações triviais baseadas em similaridade de superfície ou artefatos de injeção aleatória.