Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs

Resumo Técnico: Evidência Causal para Preempção Estatística em LLMs

Declaração do Problema
O artigo aborda o "Paradoxo de Baker", um enigma fundamental na aquisição da linguagem: como os aprendizes adquirem conhecimento sobre o que é inaceitável (evidência negativa) sem nunca receberem instruções explícitas de que certas sentenças estão erradas. No contexto da Gramática de Construções, duas hipóteses concorrentes tentam explicar esse "recuo da generalização excessiva":

1. Preempção Estatística: Os aprendizes adquirem conhecimento negativo ao rastrear a frequência de formas concorrentes específicas e convencionais (por exemplo, ouvir frequentemente "doou os livros para a biblioteca" preempta a não atestada "*doou a biblioteca os livros").
2. Enraizamento (Entrenchment): Os aprendizes resistem a construções novas simplesmente porque o verbo é encontrado frequentemente em qualquer construção, reduzindo a disposição de usá-lo em novos quadros.

Enquanto estudos comportamentais debateram esses mecanismos, o artigo postula que Modelos de Linguagem de Grande Escala (LLMs), treinados puramente em estatísticas distribucionais sem instrução gramatical explícita, oferecem um ambiente controlado para testar se a aprendizagem distribucional por si só é suficiente para adquirir esse conhecimento negativo.

Metodologia
Os autores conduziram quatro experimentos abrangendo 120 pares verbo-construção em inglês em três tipos de alternância: dativa, causativa e locativa. Eles avaliaram 14 modelos de quatro famílias (GPT-2, Pythia, LLaMA-2, OLMo) variando de 124M a 70B parâmetros.

• Hipótese de Ligação: O estudo utiliza o surprisal em nível de palavra ($S(w_t) = -\log_2 P(w_t | w_{<t})$) como um proxy para a aceitabilidade humana. A métrica chave é o diferencial de surprisal ($\Delta S$) entre uma forma "não convencional" (preemptada) e uma forma "convencional".
• Experimento 1 (Correlacional): Testou se os padrões de $\Delta S$ dos LLMs correlacionam-se com julgamentos de aceitabilidade humana de três conjuntos de dados independentes (DAIS, Robenalt & Goldberg, Tachihara & Goldberg).
• Experimento 2 (Dissociação): Utilizou um desenho +Competitivo/−Competitivo (adaptado de Winkler et al., 2015) para dissociar preempção de enraizamento. Os verbos foram pareados quanto à frequência geral, mas diferiram quanto à existência de uma forma convencional concorrente específica. O estudo empregou correlações parciais não circulares contra dados humanos para garantir que os resultados não fossem artefatos de estatísticas compartilhadas do corpus.
• Experimento 3 (Escalonamento): Analisou a sensibilidade à preempção através de tamanhos de modelo (160M a 12B parâmetros no Pythia) para determinar se o efeito escala como uma lei de potência.
• Experimento 4 (Intervenção Causal): Realizou ajuste fino controlado no GPT-2 124M com frequências manipuladas. Três condições foram testadas:
  • Amplificada: Aumentou a frequência da forma convencional.
  • Atenuada: Igualou as frequências de ambas as formas.
  • Invertida: Aumentou a frequência da forma não convencional (um controle para descartar sensibilidade simples à frequência).
  • O experimento foi replicado em cinco sementes aleatórias.

Principais Resultados

1. Alinhamento Humano-LLM: Os padrões de surprisal dos LLMs correlacionam-se fortemente com julgamentos de aceitabilidade humana ($r = 0,79$ para LLaMA-2 7B contra o benchmark DAIS), validados em três conjuntos de dados comportamentais independentes.
2. Preempção vs. Enraizamento: Os efeitos observados são impulsionados pela frequência da forma concorrente, não pela frequência geral do verbo. No desenho +Competitivo/−Competitivo, verbos com uma forma convencional concorrente mostraram $\Delta S$ significativamente maior do que verbos pareados em frequência sem tal concorrente. Correlações parciais confirmaram que a preempção explica a variância nos dados humanos ($r_{parcial} = 0,58$), enquanto o enraizamento não o faz.
3. Escalonamento: A sensibilidade à preempção escala como uma lei de potência com o tamanho do modelo ($r(N) = a \cdot N^b + c$), com um expoente $b \approx 0,092$, indicando retornos decrescentes, mas nenhuma transição de fase súbita.
4. Evidência Causal: Intervenções de ajuste fino deslocaram causalmente o comportamento de preempção. Aumentar a frequência da forma convencional fortaleceu a preempção ($\Delta \Delta S = +0,73$), enquanto aumentar a frequência da forma não convencional teve um efeito significativamente mais fraco ($\Delta \Delta S = -0,29$). Essa assimetria apoia a teoria de que a preempção opera através da força inibitória de alternativas estabelecidas, e não de uma simples sensibilidade à frequência.

Significância e Afirmações
O artigo afirma fornecer o primeiro estudo computacional a dissociar diretamente a preempção estatística do enraizamento dentro de um único desenho convergente usando LLMs. Suas principais contribuições são:

• Validação Mecanística: Demonstra que modelos de linguagem neurais adquirem conhecimento linguístico negativo através de competição distribucional, apoiando o mecanismo central da Gramática de Construções.
• Prova Causal: Através de ajuste fino controlado e controles de direção invertida, oferece evidência causal de que manipular frequências de formas concorrentes desloca o comportamento do modelo na direção prevista pela teoria da preempção.
• Rigor Metodológico: Aborda preocupações de circularidade em trabalhos anteriores ao usar correlações parciais não circulares contra dados humanos e empregar um controle de direção invertida para descartar explicações tautológicas de sensibilidade à frequência.
• Generalizabilidade: As descobertas mantêm-se através de múltiplos tipos de construção (dativa, causativa, locativa) e arquiteturas de modelo.

Os autores posicionam seu trabalho como um complemento a estudos causais existentes (por exemplo, Yao et al., 2025; Misra e Mahowald, 2024), observando que, embora não reivindiquem prioridade única para evidência "causal", sua combinação específica de dissociação preempção-enraizamento, validação não circular e controles de assimetria de direção invertida fornece uma linha robusta e convergente de evidências. O estudo conclui que, para o inglês, o Paradoxo de Baker tem uma resposta na aprendizagem distribucional: os modelos desenvolvem sensibilidade à preempção moldada pela frequência de concorrentes convencionais, espelhando a aquisição humana.