Human-like fleeting memory improves language learning but impairs reading time prediction in transformer language models

Resumo Técnico: Memória Efêmera Semelhante à Humana Melhora a Aprendizagem de Linguagem, mas Prejudica a Previsão de Tempo de Leitura em Modelos de Linguagem Transformer

Declaração do Problema
A ciência cognitiva há muito tempo hipotetizou que a natureza efêmera da memória de trabalho humana — especificamente a perda rápida de formas exatas de palavras — paradoxalmente auxilia a aquisição de linguagem. Essa hipótese "menos é mais" sugere que as limitações de memória forçam os aprendizes a focar em regularidades locais e desenvolver representações abstratas (por exemplo, agrupamento, estrutura sintática) em vez de dependerem da memorização estatística superficial. Trabalhos connectionistas clássicos de Elman (1993) apoiaram essa visão, mostrando que a limitação das janelas de entrada melhorou a aprendizagem em redes neurais recorrentes. No entanto, o surgimento de modelos Transformer, que possuem memória perfeita dentro de suas janelas de contexto e carecem de vieses de recência inerentes, desafia essa perspectiva. Os Transformers aprendem linguagem efetivamente apesar dessas capacidades de memória "super-humanas". Este artigo investiga se a reintrodução de limitações de memória semelhantes às humanas (memória efêmera) realmente beneficia a aprendizagem de linguagem em Transformers modernos e se tais restrições arquitetônicas melhoram a capacidade dos modelos de prever o comportamento de leitura humana.

Metodologia
Os autores conduziram experimentos rigorosamente controlados usando modelos de linguagem Transformer (arquitetura GPT-2) treinados no conjunto de dados BabyLM, que simula regimes de dados realisticamente desenvolvimentais (10 milhões e 100 milhões de tokens).

• Modificação Arquitetural: Os autores implementaram "memória efêmera" modificando o mecanismo de autoatenção. Em vez de pesos de atenção uniformes, aplicaram um viés de recência fixo e não treinável (uma função de decaimento de lei de potência) aos escores de atenção após a operação softmax. Esse viés reduz a retenção de tokens com base em sua distância da palavra atual.
• Buffer de Memória Ecoica: Reconhecendo que um decaimento ingênuo (perda imediata a partir do primeiro token) perturbava dependências locais, os autores introduziram um "buffer de memória ecoica". Isso garante retenção perfeita para as 3–7 palavras iniciais (aproximadamente 5–10 tokens) antes que o decaimento de lei de potência comece, imitando a memória sensorial humana.
• Desenho Experimental: Para isolar o efeito da arquitetura de memória, os autores treinaram modelos com sementes aleatórias idênticas (controlando a inicialização de pesos e a ordem de amostragem de dados) sob duas condições: Memória Perfeita (Transformer padrão) e Memória Efêmera (com diferentes intensidades de decaimento e tamanhos de buffer).
• Métricas de Avaliação:
  1. Aprendizagem de Linguagem: Medida por perda de validação (entropia cruzada) e avaliação sintática direcionada usando o benchmark BLiMP (pares mínimos linguísticos).
  2. Alinhamento Comportamental: Medido pela capacidade do modelo de prever tempos de leitura humana (previsão baseada em surpresa) usando regressão linear de efeitos mistos nos corpora Natural Stories e Dundee.
  3. Rigor Estatístico: As análises utilizaram testes t bootstrap entre 10–12 sementes por condição para garantir que os resultados não fossem artefatos da estocasticidade.

Resultados Principais

1. Decaimento Ingênuo Prejudica a Aprendizagem: Uma implementação "ingênua" de memória efêmera (decaimento imediato sem buffer) consistentemente degradou o desempenho de modelagem de linguagem, aumentando a perda de validação.
2. Memória Efêmera + Buffer Melhora a Aprendizagem: Quando combinada com um buffer de memória ecoica, a memória efêmera melhorou consistentemente a aprendizagem de linguagem. Modelos com essa arquitetura alcançaram perda de validação menor e pontuações BLiMP mais altas em comparação com controles de memória perfeita em ambos os conjuntos de treinamento de 10M e 100M tokens. As melhorias foram estatisticamente significativas e robustas em diferentes configurações de hiperparâmetros.
3. Ganhos de Conhecimento Sintático: As melhorias estenderam-se a fenômenos sintáticos abstratos, particularmente aqueles que dependem de dependências locais (por exemplo, Concordância Sujeito-Verbo, Concordância Anafórica).
4. Previsão de Tempo de Leitura Prejudicada: Contrariamente à expectativa de que modelos de linguagem melhores preveem melhor o comportamento humano, os modelos de memória efêmera performaram pior na previsão de tempos de leitura humana. Esse prejuízo foi observado em ambos os tamanhos de conjunto de treinamento e conjuntos de dados (Natural Stories e Dundee).
5. Mecanismo de Dissociação: Os autores descartaram explicações padrão para o paradoxo "modelo melhor, comportamento pior". O prejuízo não foi devido a escalas de treinamento super-humanas (já que os dados eram em escala humana) nem exclusivamente à memorização de palavras de baixa frequência (embora o erro se concentrasse em palavras raras, a assinatura específica de subprevisão associada à memorização estava ausente).

Significado e Afirmações
O artigo afirma fornecer suporte empírico à hipótese cognitiva de que limitações de memória servem como um viés indutivo benéfico para a aprendizagem de linguagem em redes neurais, mesmo dentro da arquitetura Transformer. Ao codificar o prior estatístico de que dependências linguísticas são frequentemente locais, a memória efêmera melhora a eficiência de amostragem e a aquisição de estrutura sintática.

No entanto, os autores destacam uma dissociação crítica: restrições arquitetônicas que tornam um modelo mais "semelhante ao humano" em seu processo de aprendizagem não necessariamente o tornam mais "semelhante ao humano" em sua previsão de comportamento humano (tempos de leitura). Os resultados sugerem que múltiplos mecanismos distintos podem causar uma divergência entre a competência de modelagem de linguagem e o alinhamento comportamental. Os autores observam modestamente que essas descobertas são específicas para regimes de dados em escala humana; em escalas de pré-treinamento contemporâneas (bilhões de tokens), os benefícios de tais restrições podem diminuir à medida que os modelos podem aprender vieses locais diretamente dos dados. O trabalho sublinha que melhorar a eficiência de aprendizagem interna de um modelo não garante um melhor ajuste aos dados de processamento humano.