Resumo Técnico: Quando o Contexto Engana: Surpresa, Energia e Entropia de Atenção como Métricas de Ilusões de Coerência em LLMs

Declaração do Problema

A pesquisa psicolinguística estabeleceu que leitores humanos são suscetíveis a "ilusões de coerência", onde um discurso incoerente parece coerente devido a um distrator no contexto anterior que coincide semanticamente com a palavra crítica que segue um gatilho de pressuposição (por exemplo, "novamente" ou "também"). Este fenômeno é explicado por teorias de recuperação baseadas em pistas, onde a interferência impulsionada pela similaridade causa a recuperação de itens incorretos, mas correspondentes, da memória.

Embora o "aprisionamento contextual" ou "sequestro de contexto" em Grandes Modelos de Linguagem (LLMs) — onde os modelos atribuem probabilidades mais altas a tokens mencionados no prompt, independentemente da correção factual — tenha sido observado, ainda não está claro se os LLMs exibem as ilusões de coerência específicas encontradas no processamento de discurso humano. Este artigo investiga se os LLMs holandeses (tanto monolíngues quanto multilíngues) replicam ilusões de coerência semelhantes às humanas ao processar textos contendo gatilhos de pressuposição como "novamente" (opnieuw) e "também" (ook).

Metodologia

O estudo utiliza estímulos de três experimentos psicolinguísticos existentes envolvendo textos em holandês (Schmitz et al., 2025; Kloostra et al., 2026). O design experimental envolve discursos curtos (tipicamente três frases) onde:

1. Contexto: Estabelece um cenário com um alvo e um distrator.
2. Gatilho: Um gatilho de pressuposição ("novamente" ou "também") aparece na frase final.
3. Palavra Crítica: A palavra que segue o gatilho determina a coerência.

Os autores definem quatro condições baseadas no ajuste/desajuste do alvo e do distrator em relação à palavra crítica:

• MAMA: O alvo combina, o distrator combina (Coerente).
• MAMI: O alvo combina, o distrator não combina (Coerente).
• MIMA: O alvo não combina, o distrator combina (Incoerente, mas cria uma ilusão de coerência).
• MIMI: O alvo não combina, o distrator não combina (Incoerente).

O estudo utiliza 10 modelos: 6 modelos apenas para holandês (baseados em arquiteturas GPT-2 e GPT-Neo, incluindo o GEITje-7B-ultra) e 4 modelos multilíngues (EuroLLM, Aya Expanse, Qwen3, LLaMA-3.1).

Os autores analisam três métricas primárias:

1. Surpresa (Surprisal): A log-probabilidade negativa da palavra crítica, comparada com dados de rastreamento ocular humano (durações de fixação) e julgamentos de aceitabilidade.
2. Entropia de Atenção: Calculada por cabeça e camada na posição crítica para medir a difusão da atenção. Uma alta entropia sugere interferência ou a recuperação de múltiplos candidatos concorrentes.
3. Energia: Uma métrica inovadora adaptada da literatura de memória associativa (Redes de Hopfield) para quantificar o "ajuste" entre a consulta (gatilho/palavra crítica) e as chaves (contexto). Uma energia menor indica um ajuste forte; uma energia maior indica um ajuste ruim ou atenção difusa.

Adicionalmente, os autores realizam experimentos de ablação de cabeça (zerando valores de cabeças específicas) e treinam sondas lineares nas representações ocultas para determinar se a informação de coerência é explicitamente codificada.

Resultados Principais

1. Surpresa e Alinhamento Humano

• Padrão Comportamental: Tanto os modelos apenas para holandês quanto os multilíngues exibem uma ordenação de surpresa de $MAMA < MAMI < MIMA < MIMI$.
• Ilusão de Coerência: Crucialmente, a condição MIMA (incoerente, mas com um distrator correspondente) gera significativamente menor surpresa do que a condição MIMI (totalmente incoerente). Isso reflete o comportamento humano, onde o distrator correspondente facilita o processamento, criando uma ilusão de coerência.
• Correlação Humana: Os valores de surpresa dos modelos (especificamente GEITje e GPT-Neo-125M) predizem significativamente as métricas de rastreamento ocular humano (Primeira Fixação, Olhar Total, Fixação Total) na região crítica. Isso confirma que a surpresa do modelo serve como um proxy confiável para a dificuldade de leitura humana no nível do discurso.

2. Entropia de Atenção

• Diferenciação: A entropia de atenção distingue entre as condições MIMA (ilusão) e MIMI (incoerência real).
• Especificidade de Camada: As cabeças nas camadas intermediárias a tardias dos modelos mostram as diferenças mais significativas de entropia entre as condições. Na condição MIMA, a atenção é menos difusa em comparação com a MIMI, sugerindo que o modelo recupera com sucesso o distrator correspondente, reforçando a ilusão.

3. Métrica de Energia

• Quantificação: A métrica de energia quantifica com sucesso a coerência do discurso.
• Descobertas: A condição MIMA exibe pontuações de energia mais baixas (indicando um ajuste percebido como bom) em comparação com a MIMI, apesar de ambas serem incoerentes em relação ao alvo. Isso se alinha à hipótese de que a memória associativa do modelo recupera o distrator, reduzindo a "energia" do estado.

4. Ablação e Sondagem

• Ablação de Cabeça: A ablação das 25 principais cabeças identificadas pelas diferenças de entropia afeta a surpresa das condições de não-ilusão (MAMI, MAMA) mais do que a condição de linha de base incoerente (MIMI). Isso sugere que essas cabeças são críticas para codificar a coerência, embora o efeito varie conforme o tipo de gatilho.
• Sondas Lineares: Um classificador linear treinado nos estados ocultos alcança 71,88% de precisão na predição das condições de coerência (acaso: 25%). O classificador frequentemente confunde MAMA (coerente) com MIMA (ilusão), fornecendo evidência interna de que o modelo representa a ilusão incoerente como mais próxima do estado coerente do que do estado totalmente incoerente.

Contribuições e Significância

Este artigo apresenta as seguintes contribuições:

1. Evidência Empírica: Demonstra que as ilusões de coerência, anteriormente documentadas na psicolinguística humana, emergem em LLMs holandeses em arquiteturas tanto monolíngues quanto multilíngues.
2. Integração de Métricas: Valida a surpresa como um preditor do nível de discurso para tempos de leitura humana e introduz a entropia de atenção e a energia como métricas internas para quantificar e explicar essas ilusões.
3. Unificação Teórica: Os autores enquadram tanto as ilusões de coerência humana quanto o aprisionamento contextual de LLMs sob a lente unificada da recuperação baseada em pistas e interferência impulsionada por similaridade. Isso faz a ponte entre a ciência cognitiva e a interpretabilidade de LLMs.
4. Insight Mecanístico: Ao identificar cabeças de atenção específicas e representações ocultas que diferenciam (ou falham em diferenciar) estados coerentes e ilusórios, o estudo revela os mecanismos internos que os LLMs usam para resolver a coerência do discurso.

Limitações e Escopo

Os autores observam que o estudo é limitado à língua holandesa e depende de modelos treinados em dados holandeses, que podem ter características de desempenho diferentes em comparação com modelos centrados no inglês. Os estímulos foram desenhados para experimentos psicolinguísticos humanos, o que pode não mapear perfeitamente para a tokenização ou distribuições de treinamento de LLMs. Os autores não afirmam que os LLMs "alucinam" da mesma forma que os humanos interpretam erroneamente, mas sim que exibem padrões de processamento semelhantes impulsionados por mecanismos de recuperação associativa. O estudo foca na presença dessas ilusões e nas métricas para detectá-las, em vez de propor correções arquiteturais específicas para eliminá-las.