To model human linguistic prediction, make LLMs less superhuman

Resumo Técnico: "Para modelar a predição linguística humana, torne os LLMs menos superhumanos"

Enunciado do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) têm sido historicamente utilizados como modelos computacionais da predição linguística humana, operando sob a premissa de que sua capacidade de prever palavras subsequentes espelha os processos cognitivos humanos. No entanto, surgiu um paradoxo: à medida que a precisão na predição da próxima palavra dos LLMs convencionais melhorou, sua capacidade de explicar o comportamento de leitura humana (especificamente tempos de leitura e dados de rastreamento ocular) diminuiu. O artigo argumenta que essa divergência ocorre porque os LLMs atuais possuem capacidades preditivas "superhumanas" impulsionadas por capacidades de memória que superam em muito as dos leitores humanos. Especificamente, os LLMs exibem memória de longo prazo superior (retenção de vastos conhecimentos factuais e exemplos de treinamento) e memória de curto prazo quase perfeita (recordação fiel de palavras de contextos distantes sem decaimento temporal), levando a predições que a média dos humanos não consegue fazer.

Metodologia e Análise
O artigo sintetiza a literatura empírica existente e reanalisa a relação entre o desempenho do modelo e o alinhamento com dados humanos.

• Síntese da Literatura: Os autores revisam a trajetória de estudos que utilizam LLMs para estimar a previsibilidade de palavras. Eles contrastam descobertas iniciais (onde maior precisão preditiva correlacionava-se com melhor alinhamento aos tempos de leitura humana) com descobertas recentes (pós-2022) usando modelos poderosos baseados em Transformer treinados em conjuntos de dados massivos.
• Reavaliação de Dados: Os autores examinam resultados de corpora padrão, incluindo o Natural Stories Corpus (leitura em ritmo próprio) e o Dundee Corpus (rastreamento ocular). Eles observam que, embora melhorias iniciais na precisão do modelo tenham aprimorado o alinhamento, ganhos adicionais na precisão preditiva — impulsionados pelo aumento da escala do modelo e dos dados de treinamento — resultaram em um crescente desalinhamento com os tempos de leitura humana.
• Análise Mecanística: O artigo dissecou as diferenças arquitetônicas e de treinamento entre humanos e LLMs:
  • Memória de Longo Prazo: Os LLMs são treinados em ordens de magnitude mais dados (por exemplo, 15 trilhões de palavras para o Llama 3 versus ~100 milhões para uma criança aos 12 anos) e retêm conhecimento factual (por exemplo, locais de nascimento de celebridades) e expressões de múltiplas palavras que os humanos não possuem ou esqueceram.
  • Memória de Curto Prazo: Diferentemente da memória de trabalho humana, que decai com o tempo e está sujeita a interferências, as arquiteturas Transformer mantêm um armazenamento "livre de decaimento" de palavras anteriores por meio de mecanismos de atenção. Isso permite que os LLMs recordem perfeitamente entidades mencionadas milhares de palavras antes, uma capacidade que leva a uma predição quase perfeita de textos repetidos onde os humanos demonstram dificuldade de processamento.

Principais Contribuições

1. Identificação da "Superhumanidade" como Barreira: O artigo postula que o principal obstáculo para o uso de LLMs como modelos cognitivos não é a falta de capacidade, mas seu excesso de capacidade. Sua memória "superhumana" permite que resolvam tarefas de predição que são inerentemente difíceis para humanos devido a lacunas de conhecimento ou decaimento de memória.
2. Diagnóstico de Discrepâncias de Memória: Os autores atribuem explicitamente o desalinhamento a duas falhas específicas de memória:
   • Incompatibilidade de Familiaridade: Os LLMs possuem conhecimento factual e exposição a textos específicos (por exemplo, a Declaração de Independência) que o leitor humano médio não possui.
   • Incompatibilidade de Recordação: Os LLMs carecem do decaimento temporal e dos efeitos de interferência inerentes à memória de curto prazo humana, permitindo-lhes resolver ambiguidades sintáticas e recordar entidades repetidas com precisão perfeita, enquanto os humanos lutam.
3. Proposta para Modelagem Semelhante à Humana: O artigo defende uma mudança nos objetivos de modelagem, de maximizar a precisão preditiva para maximizar a semelhança humana. Isso envolve desenvolver LLMs com restrições de memória em escala humana.

Resultados e Evidências

• Tendências de Divergência: A análise de modelos de regressão ajustando probabilidades de LLMs a tempos de leitura humana mostra uma relação não monotônica. Aumentos iniciais na precisão do modelo melhoram o ajuste, mas além de um certo limiar, ganhos adicionais de precisão degradam o ajuste.
• Estudos de Manipulação de Memória: O artigo cita evidências de que limitar o acesso dos LLMs ao contexto melhora o alinhamento. Por exemplo, reduzir o peso de palavras de alta frequência em sentenças profundamente embutidas ou restringir a janela de atenção a palavras recentes reduz a discrepância entre as probabilidades do modelo e os tempos de leitura humana.
• Efeitos dos Dados de Treinamento: Modelos treinados em conjuntos de dados menores e curados (por exemplo, o Desafio BabyLM) ou domínios especializados mostram melhor alinhamento com o comportamento de leitura humana do que aqueles treinados em corpora gerais massivos, sugerindo que limitar a exposição aos dados impede a aquisição de expertise "superhumana".

Significância e Direções Futuras
O artigo conclui que, para que os LLMs sirvam como modelos válidos da compreensão da linguagem humana, eles devem ser "tornados menos superhumanos". Os autores delineiam várias direções para alcançar isso:

• Curadoria de Dados de Treinamento: Limitar os dados de treinamento a quantidades em escala humana (por exemplo, ~100 milhões de palavras) para prevenir a memorização de fatos obscuros e reduzir o desenvolvimento de mecanismos de memória de curto prazo perfeitos.
• Mudanças Arquitetônicas: Explorar arquiteturas de redes neurais recorrentes que forcem a compressão de entrada e implementem decaimento semelhante ao humano, ou modificar os mecanismos de atenção Transformer para introduzir gargalos e funções de decaimento.
• Objetivos de Treinamento: Mudar de objetivos que recompensam predições "lexicalmente nítidas" (atribuir alta probabilidade à única palavra correta) para objetivos que encorajam predições "difusas" (atribuir massa de probabilidade a palavras semanticamente similares), refletindo melhor a incerteza humana.
• Intervenções Post-hoc: Usar técnicas de edição de modelos para "desaprender" conhecimento factual específico que os humanos tipicamente não possuem.
• Novos Paradigmas Experimentais: Os autores convocam experimentos humanos direcionados para avaliar o progresso. Esses experimentos devem manipular sistematicamente o conhecimento de longo prazo (via questionários) e as cargas de memória de curto prazo (via recordação de listas e textos intervenientes) para estabelecer um vínculo causal entre restrições de memória e comportamento de leitura.

O artigo enfatiza que fechar a lacuna entre LLMs e humanos requer não apenas modelos melhores, mas modelos que sejam constrangidos pelas limitações humanas em memória e conhecimento.