In-Context Examples Suppress Scientific Knowledge Recall in LLMs

1. Declaração do Problema

O artigo investiga um fenômeno contra-intuitivo em Modelos de Linguagem de Grande Escala (LLMs) aplicados ao raciocínio científico: A Aprendizagem em Contexto (ICL) pode suprimir, em vez de reforçar, o conhecimento científico pré-treinado de um modelo.

Embora a ICL seja amplamente utilizada para melhorar o desempenho fornecendo exemplos, os autores hipotetizam que, para tarefas que exigem recuperação de estrutura latente (inferir parâmetros ocultos a partir de dados antes de aplicar uma lei de domínio), a adição de exemplos desloca a estratégia de raciocínio do modelo. Em vez de recuperar e aplicar a fórmula científica correta a partir de seus pesos pré-treinados (Derivação Orientada a Conhecimento), o modelo desloca-se para Ajuste Orientado a Exemplos (aproximação de mapeamentos entrada-saída via reconhecimento de padrões).

Crucialmente, essa supressão ocorre mesmo quando os exemplos em contexto são gerados pela mesma fórmula científica exata que o modelo já conhece, o que significa que não há conflito entre os exemplos e o conhecimento prévio do modelo.

2. Metodologia

Construção do Benchmark

Os autores construíram um benchmark equilibrado em dificuldade consistindo de 60 tarefas de recuperação de estrutura latente em cinco domínios científicos:

• Domínios: Biologia, Química, Economia, Física e Geociências (12 tarefas por domínio).
• Estrutura da Tarefa: Cada tarefa segue uma arquitetura específica: $X \to \Theta \to Y$.
  • $X$ (Observáveis): Dados brutos fornecidos ao modelo.
  • $\Theta$ (Variáveis Latentes): Parâmetros ocultos (por exemplo, constantes de reação, módulos elásticos) que devem ser inferidos usando leis de domínio.
  • $Y$ (Alvo): A quantidade final a ser computada usando os parâmetros inferidos.
• Complexidade: As tarefas variam no número de observáveis, variáveis latentes e formatos de equação (lineares, não lineares, fracionárias, etc.) para garantir que as descobertas não sejam artefatos de tipos específicos de equações.

Configuração Experimental

• Modelos: Os experimentos foram conduzidos em quatro modelos: GPT-5.2 (principal), Claude Sonnet 4.6, Llama 4 Maverick e DeepSeek V3.2.
• Condições:
  • Zero-Shot: O modelo resolve a tarefa usando apenas raciocínio de Cadeia de Pensamento (CoT) sem exemplos.
  • 10-Shot: O modelo recebe 10 pares de entrada-saída gerados pela mesma fórmula subjacente do caso de teste (sem derivações intermediárias fornecidas).
• Classificação de Estratégia: Um classificador automatizado (validado por anotadores humanos com 98% de concordância) categoriza a trajetória de CoT do modelo em três modos:
  1. Paramétrica ($S_{know}$): Recupera uma fórmula nomeada e deriva a resposta algebricamente.
  2. Empírica ($S_{emp}$): Ajusta um padrão aos exemplos sem invocar leis de domínio.
  3. Híbrida: Usa uma fórmula, mas calibra coeficientes com base nos exemplos.

Análises Adicionais

• Isca Semântica: Substituição de vocabulário específico de domínio (por exemplo, "Excedente do Consumidor" $\to$ "Rádio Gama") para testar se a recuperação de conhecimento depende de pistas superficiais.
• Representações Internas: Análise dos estados ocultos de modelos de código aberto (Qwen, Mistral, Llama) para observar deslocamentos no espaço de representação.
• Intervenções: Teste de técnicas de prompting estrutural (por exemplo, forçar declaração de fórmula, prompting negativo) para ver se o deslocamento pode ser mitigado.

3. Principais Contribuições

1. Descoberta de Deslocamento de Conhecimento: Os autores demonstram que adicionar exemplos consistentes em contexto desloca consistentemente o cálculo da derivação orientada a conhecimento ($S_{know}$) para o ajuste orientado a exemplos ($S_{emp}$) em todos os domínios.
2. Framework de Competição de Estratégias: Eles propõem um framework explicando por que os efeitos na precisão variam. O deslocamento é uniforme, mas a consequência depende da lacuna de qualidade entre a estratégia deslocada (conhecimento pré-treinado) e a estratégia de substituição (ajuste empírico).
3. Benchmark Abrangente: Um novo benchmark de 60 tarefas projetado especificamente para tornar observável a competição entre raciocínio científico e ajuste de padrões, cobrindo diversas complexidades estruturais.

4. Principais Resultados

A. Deslocamento Uniforme de Estratégia, Precisão Divergente

A adição de 10 exemplos reduziu a parcela de trajetórias Paramétricas ($S_{know}$) em 6–20 pontos percentuais em todos os domínios. No entanto, o impacto na precisão final variou significativamente:

• Economia: A precisão caiu significativamente (−15,7pp). Aqui, $S_{know}$ era a estratégia superior (88,3% de precisão). O deslocamento para o ajuste empírico (41,7% de precisão) causou uma perda massiva de desempenho.
• Geociências: A precisão pareceu melhorar (+13,3pp). Aqui, $S_{know}$ era fraca (49,2% de precisão) porque o modelo frequentemente recuperava a fórmula correta, mas usava parâmetros padrão incorretos. O deslocamento para o ajuste empírico permitiu que o modelo interpolasse corretamente a partir dos exemplos, mascarando a perda de raciocínio científico.
• Física e Biologia: A precisão permaneceu relativamente plana. Na Física, o deslocamento foi pequeno; na Biologia, a estratégia empírica acabou por performar de forma semelhante à paramétrica.

Conclusão: O modelo não abandona seletivamente o conhecimento onde ele está errado; ele o abandona em todos os lugares, independentemente de a nova estratégia ser melhor ou pior.

B. Mecanismo: Recuperação Acionada por Vocabulário

O experimento de Isca Semântica revelou que $S_{know}$ é acionado por vocabulário superficial (palavras-chave de domínio) e não por análise matemática profunda.

• Quando os termos de domínio foram substituídos por pseudônimos, a precisão Zero-Shot colapsou (para 3–14%).
• No entanto, o desempenho 10-Shot recuperou-se parcialmente (para 22–40%), provando que $S_{emp}$ opera em padrões numéricos independentes do vocabulário.
• Implicação: A mera presença de exemplos numéricos ativa o caminho empírico, sobrepondo o caminho de conhecimento acionado por vocabulário.

C. Convergência de Representações Internas

A análise dos estados ocultos mostrou que, sob condições 10-shot, os espaços de representação de diferentes domínios convergiram.

• No Zero-Shot, os domínios ocupavam regiões distintas (ativando circuitos específicos de domínio).
• No 10-Shot, os domínios aproximaram-se uns dos outros, particularmente as Geociências, que mostraram o deslocamento mais forte. Isso sugere que o modelo muda para um circuito de ajuste de padrões agnóstico ao domínio quando exemplos estão presentes.

D. Falha de Mitigação

Intervenções padrão de prompting (por exemplo, nomear explicitamente a fórmula, prompts negativos contra ajuste) falharam em prevenir universalmente o deslocamento. Quando o conhecimento pré-treinado era a estratégia ótima (Economia), nenhuma quantidade de exemplos consistentes pôde recuperar o desempenho perdido pela mera presença desses exemplos.

5. Significado e Implicações

• Cautela para Praticantes: O artigo alerta que, em aplicações científicas, fornecer exemplos em contexto pode deslocar o próprio conhecimento que pretendem apoiar. Confiar exclusivamente na precisão final é perigoso, pois pode mascarar a perda de raciocínio científico (por exemplo, nas Geociências, o modelo obteve a resposta certa pela razão errada).
• Natureza do Raciocínio Científico em LLMs: O estudo sugere que o raciocínio científico dos LLMs é frequentemente baseado em reconhecimento (acionado por palavras-chave) e não baseado em raciocínio (derivação matemática). Isso o torna frágil e facilmente sobreposto pela atalho computacional de correspondência de padrões.
• Aprendizado de Atalho Mais Amplo: Este fenômeno é enquadrado como um exemplo de "aprendizado de atalho", onde os modelos recorrem à estratégia computacionalmente mais fácil disponível (ajustar exemplos) em vez da mais fundamentada (derivar de leis), mesmo quando o atalho é subótimo.
• Direções Futuras: Os autores pedem estudos mecânicos (por exemplo, patching de ativação) para identificar os circuitos específicos responsáveis por essa competição e por novas métricas de avaliação que possam distinguir entre sucesso "orientado a conhecimento" e "orientado a exemplos".