Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects

1. Problema e Contexto

As arquiteturas Transformer são a base dos modelos de linguagem de última geração (LLMs) e dominam a linguística computacional. No entanto, sua adequação cognitiva como modelos do processamento de sentenças humano permanece controversa. Embora existam estudos que correlacionem previsões de modelos com tempos de leitura humana, muitas investigações anteriores apresentam limitações críticas:

• Escopo restrito: Testaram apenas construções de modificadores preposicionais (ex: "A chave do armário..."), ignorando outras estruturas sintáticas complexas.
• Viés de configuração: Focaram apenas em configurações onde o efeito de atração ocorre, ignorando casos onde a teoria prevê sua ausência (ex: sujeitos plurais ou sentenças gramaticais).
• Generalização insuficiente: Basearam-se frequentemente em um único modelo (geralmente GPT-2) ou em modelos bidirecionais (BERT) que são cognitivamente implausíveis para processamento incremental.

O objetivo deste trabalho é avaliar sistematicamente se os Transformers autoregressivos conseguem replicar os padrões de atração de concordância (agreement attraction) observados em humanos, expandindo o escopo para múltiplas arquiteturas, tamanhos e construções sintáticas.

2. Metodologia

Design Experimental

Os autores realizaram dois experimentos comparando dados de leitura humana com previsões de modelos de linguagem (LLMs):

1. Experimento 1 (Modificadores Preposicionais): Utilizou 192 sentenças baseadas no Experimento 4 de Wagers et al. (2009). Estrutura: O slogan no(s) cartaz(es) [verbo]...
2. Experimento 2 (Cláusulas Relativas Extraídas de Objeto): Utilizou 384 sentenças baseadas no Experimento 3 de Wagers et al. (2009). Estrutura: O marinheiro(s) que o oficial [verbo]...

Ambos os experimentos seguiram um design fatorial $2 \times 2 \times 2$:

• Número do sujeito (Singular vs. Plural).
• Gramaticalidade (Gramatical vs. Agramatical).
• Atração (Presença vs. Ausência de um substantivo distrator com número diferente do sujeito).

Modelos Avaliados

Foram testados 11 modelos autoregressivos de quatro famílias diferentes (GPT, GPT-2, Bloom, XGLM, Gemma-3), variando de 124M a 4B de parâmetros. Os modelos incluem tanto monolíngues quanto multilíngues e são foundation models sem ajuste de instrução (instruction tuning), para maior validade ecológica.

Mecanismo de Ligação (Surprisal)

A ligação entre o modelo e o comportamento humano baseia-se na Teoria do Surprisal (Levy, 2008).

• O tempo de leitura humano é linearmente relacionado ao surprisal (sobra de informação) do token.
• O surprisal é calculado como o logaritmo negativo da probabilidade condicional do verbo dado o contexto anterior: $-\log_2 P(w_i | w_{0}...w_{i-1})$.
• As previsões foram feitas em modo estritamente da esquerda para a direita (left-to-right), simulando a leitura passo a passo.

Análise Estatística

Foram realizadas três camadas de análise:

1. Testes t pareados: Para verificar a presença de efeitos de atração em cada modelo individualmente.
2. Regressão Linear: Para testar assimetrias críticas observadas em humanos (Assimetria Singular-Plural e Assimetria Gramatical-Agramatical) em nível populacional (across modelos).
3. Regressão Global: Para analisar o efeito do tamanho do modelo (número de parâmetros) e interações com as condições.

3. Resultados Principais

Experimento 1: Modificadores Preposicionais

• Alinhamento: As previsões dos Transformers foram consistentes e alinharam-se bem com os dados humanos.
• Padrão de Atração: Todos os modelos replicaram corretamente o efeito de atração apenas na configuração agramatical com sujeito singular (onde o verbo plural é facilitado pela presença de um substantivo plural distrator).
• Assimetrias: Os modelos observaram a assimetria singular-plural (atração apenas com sujeito singular) e a assimetria gramatical-agramatical.
• Exceção: A maioria dos modelos previu um efeito de facilitação em sentenças agramaticais com sujeito plural, um efeito não atestado em humanos, mas que é raro na literatura de produção de sentenças.

Experimento 2: Cláusulas Relativas Extraídas de Objeto

• Divergência Crítica: Os resultados foram "caóticos". As previsões dos modelos divergiram significativamente umas das outras e dos dados humanos.
• Falha na Replicação: Nenhum modelo replicou fielmente o padrão assimétrico observado em humanos.
• Efeitos Espúrios:
  • A maioria dos modelos previu um efeito de facilitação (redução de surprisal) em sentenças gramaticais com sujeito plural, o que é teoricamente inexplicável e oposto ao esperado.
  • Os modelos falharam em capturar a ausência de atração em contextos onde ela não deveria ocorrer.
• Inconsistência entre Modelos: Diferenças marcantes foram observadas entre famílias de modelos (ex: Gemma-3 desviou-se drasticamente, enquanto GPT foi mais próximo, mas ainda falhou no padrão geral).

4. Contribuições Chave

1. Avaliação Abrangente: É o primeiro estudo a testar sistematicamente múltiplos modelos Transformer em múltiplas construções sintáticas de atração de concordância, superando a limitação de estudos anteriores focados apenas em modificadores preposicionais.
2. Descoberta de Limites Estruturais: Demonstra que o sucesso dos Transformers em tarefas de processamento linguístico não é uniforme; eles funcionam bem em estruturas simples (modificadores preposicionais) mas falham em estruturas complexas (cláusulas relativas extraídas de objeto).
3. Metodologia Rigorosa: Estabelece que a avaliação de modelos cognitivos deve incluir:
   • Um conjunto completo de realizações sintáticas (não apenas casos onde o efeito ocorre).
   • Uma variedade de arquiteturas e tamanhos de modelos.
   • Análise estatística em múltiplos níveis (individual e populacional).
4. Questionamento da Adequação Cognitiva: Conclui que os Transformers atuais não explicam o processamento morfossintático humano, sugerindo que seus "erros" podem ser apenas imitações de padrões superficiais de treinamento e não reflexos de mecanismos cognitivos reais de memória de trabalho.

5. Significado e Conclusão

O estudo conclui que, embora os Transformers sejam poderosos para tarefas de NLP, eles não são modelos cognitivos adequados para o processamento de sentenças humanas em sua totalidade. A incapacidade de replicar os padrões de atração de concordância em cláusulas relativas sugere que a arquitetura Transformer carece dos mecanismos específicos de armazenamento e recuperação em memória de trabalho que caracterizam o processamento humano.

Implicações Futuras:

• A avaliação de modelos de linguagem como modelos cognitivos deve evitar generalizações espúrias baseadas em configurações sintáticas isoladas.
• É necessário investigar se essa falha é inerente ao objetivo de previsão da próxima palavra ou se é um artefato de escolhas arquitetônicas específicas.
• Estudos futuros devem expandir-se para línguas além do inglês e testar modelos com diferentes objetivos de treinamento.

Em suma, o trabalho serve como um alerta metodológico: o sucesso em tarefas de superfície não garante a adequação cognitiva, e a complexidade estrutural da linguagem humana expõe limitações fundamentais nos modelos Transformer atuais.