When Correct Demonstrations Hurt: Rethinking the Role of Exemplars in In-Context Learning

Resumo Técnico: Quando Demonstrações Corretas Prejudicam: Reavaliando o Papel dos Exemplares no Aprendizado em Contexto

Declaração do Problema
O aprendizado em contexto (ICL) permite que modelos de linguagem de grande porte (LLMs) se adaptem a novas tarefas condicionando-se a um pequeno conjunto de demonstrações de entrada–saída sem atualizar parâmetros. Uma intuição predominante sugere que as demonstrações são benéficas porque fornecem exemplos corretos do mapeamento da tarefa-alvo. No entanto, este trabalho identifica um fenômeno contra-intuitivo: a correção do exemplar não garante a utilidade do exemplar. Os autores demonstram que as demonstrações podem ser individualmente válidas sob a definição da tarefa (ou seja, o par entrada–saída satisfaz o mapeamento da tarefa) e, ainda assim, degradar o desempenho do ICL quando usadas como evidência contextual. Essa "lacuna entre correção e utilidade" surge porque o modelo não aprende meramente um mapeamento a partir de pares individuais, mas infere uma tarefa latente, um regime de entrada e uma regra de decisão a partir da mistura de todos os exemplares fornecidos.

Metodologia: Perturbações que Preservam a Tarefa
Para isolar a distinção entre correção e utilidade, os autores introduzem perturbações que preservam a tarefa. Este framework envolve modificar o lado da entrada dos exemplares em contexto, mantendo estritamente a definição da tarefa, o formato do prompt e a ordem das demonstrações. Crucialmente, cada exemplar perturbado é emparelhado com o alvo induzido pelo mesmo mapeamento de tarefa $g_T$, garantindo que a demonstração permaneça "correta" em isolamento.

O framework abrange dois regimes:

1. Perturbações de Atualização de Rótulo: Semânticas relevantes para a tarefa são alteradas e o alvo é recalculado de acordo com o mapeamento da tarefa (por exemplo, alterar uma frase de sentimento de positiva para negativa e atualizar o rótulo).
2. Perturbações de Preservação Estrita do Alvo: O alvo original permanece válido, mas a entrada é modificada para incluir distrações ou reordenação (por exemplo, adicionar fatos numéricos irrelevantes a um problema de matemática ou inserir premissas distrativas no raciocínio lógico).

Os autores definem a razão de perturbação $\rho$ como a proporção de exemplares substituídos por essas variantes que preservam a tarefa. Eles formalizam o modo de falha resultante como deslocamento de evidência contextual: as perturbações alteram a mistura efetiva de evidências que o modelo utiliza para inferência, deslocando o contexto de decisão inferido pelo modelo, mesmo que o mapeamento subjacente da tarefa permaneça inalterado.

Principais Contribuições

1. Identificação da Lacuna entre Correção e Utilidade: O artigo estabelece que uma demonstração pode satisfazer a condição de correção ($y_i = g_T(x_i)$) enquanto possui utilidade negativa (aumentando o risco em consultas limpas) devido à sua interação com o contexto mais amplo.
2. Framework Metodológico: A introdução de perturbações que preservam a tarefa como uma intervenção controlada. Diferentemente de estudos adversariais anteriores que alteram rótulos ou semânticas da tarefa, este método preserva o mapeamento da tarefa para testar especificamente como deslocamentos na distribuição de entrada afetam o ICL.
3. Formalização Teórica: O conceito de deslocamento de evidência contextual é formalizado, mostrando como as perturbações alteram a mistura efetiva de evidências ($m_\theta$) usada para inferência contextual, separando assim a razão de perturbação nominal do peso efetivo que o modelo atribui à evidência perturbada.

Resultados Experimentais
Os autores avaliaram modelos instruídos de pesos abertos (Llama-2, Llama-3.1, Qwen2.5/3.5, Gemma-4) em três domínios: classificação de sentimento (SST-2), raciocínio lógico (ProverQA) e problemas de palavras matemáticas (PROBLEMATHIC).

• Degradação de Desempenho: Em todas as tarefas, o aumento da razão de perturbação $\rho$ degradou substancialmente o desempenho do ICL. Em alguns casos (por exemplo, SST-2 com modelos menores), o desempenho caiu abaixo das linhas de base de zero-shot.
• Sensibilidade à Escala do Modelo: A degradação foi fortemente dependente da escala. Modelos menores (por exemplo, 7B–14B) exibiram vulnerabilidade significativa, enquanto modelos maiores (por exemplo, 70B+) permaneceram relativamente estáveis. Por exemplo, no SST-2, a precisão do Llama-2-7B caiu de 96,4% para 56,9% com 100% de perturbação, enquanto o Llama-3.1-70B permaneceu próximo de 100%.
• Dificuldade da Tarefa: Tarefas mais difíceis (por exemplo, raciocínio lógico complexo ou problemas matemáticos) mostraram maior sensibilidade às perturbações, particularmente para modelos menores.
• Efeitos Posicionais: Perturbações colocadas próximas à consulta (perturbações na cauda) foram desproporcionalmente prejudiciais para modelos menores, que exibiram forte sensibilidade à recência. A análise dos mapas de atenção revelou que modelos maiores foram capazes de realocar a atenção para exemplares iniciais e limpos, mitigando o deslocamento na evidência.
• Experimentos de Controle: Substituir exemplares por declarações factuais irrelevantes para a tarefa causou apenas uma degradação leve, confirmando que o dano decorre de evidências válidas para a tarefa, mas deslocadas distribucionalmente, e não de interrupção genérica do prompt ou falha no reconhecimento da tarefa.

Significado e Alegações
O artigo argumenta que um ICL robusto requer avaliar não apenas se as demonstrações são corretas, mas também como elas influenciam a inferência contextual. Os autores afirmam que a eficácia de um conjunto de demonstrações depende de sua composição global e da mistura de evidências resultante, e não apenas da qualidade individual dos exemplos.

O estudo conclui que a "correção" de um exemplar é uma propriedade local, enquanto a "utilidade" é dependente do contexto. Consequentemente, pipelines padrão de ICL que selecionam exemplares baseados apenas na correção ou similaridade podem inadvertidamente introduzir evidência contextual prejudicial. Os autores posicionam seu trabalho como uma abstração explicativa (deslocamento de evidência contextual) em vez de uma conta mecânica completa, notando limitações como o foco no ICL apenas de texto e perturbações controladas. Eles sugerem que trabalhos futuros devem explorar mecanismos de defesa que selecionam ou ponderam demonstrações por utilidade em vez de correção apenas.