Clozing the Gap: Exploring Why Language Model Surprisal Outperforms Cloze Surprisal

Resumo Técnico: Fechando a Lacuna: Explorando Por Que o Surprisal de Modelos de Linguagem Supera o Surprisal de Cloze

Declaração do Problema
A previsibilidade de uma palavra em contexto é uma métrica fundamental para compreender a compreensão linguística e o esforço de processamento. Tradicionalmente, isso tem sido quantificado usando a tarefa de cloze, na qual participantes humanos completam frases incompletas. Mais recentemente, as probabilidades de Modelos de Linguagem (LM) (especificamente o surprisal, definido como o logaritmo negativo da probabilidade) emergiram como uma alternativa. Embora estudos recentes indiquem que o surprisal de LM geralmente supera o surprisal de cloze como preditor de tempos de leitura (RTs), simplesmente substituir a tarefa de cloze por LMs com base em métricas de ajuste é cientificamente prematuro. Diferentes preditores podem levar a conclusões divergentes sobre os mecanismos cognitivos da previsão (por exemplo, se os efeitos são facilitadores ou custosos). O problema central abordado é identificar por que as probabilidades de LM fornecem um melhor ajuste aos dados humanos: é porque os LMs capturam mecanismos genuínos de previsão semelhantes aos humanos, ou porque eles possuem vantagens técnicas (por exemplo, maior resolução, granularidade semântica) que a tarefa de cloze carece?

Metodologia
Os autores conduziram um estudo experimental em três partes utilizando quatro conjuntos de dados de tempos de leitura em inglês (BK21 SPR, Provo ET, UCL SPR/ET) com normas de resposta de cloze disponíveis.

1. Experimento 1: Comparação de Linha de Base e Otimização

   • Objetivo: Reestabelecer a superioridade do surprisal de LM sobre o surprisal de cloze e determinar a transformação matemática ótima para as probabilidades de cloze.
   • Método: Os autores ajustaram modelos de regressão de Efeitos Mistos Lineares (LME) para prever tempos de leitura palavra por palavra. Eles compararam modelos usando:
     • Surprisal de LM: Calculado usando GPT-2 (pequeno).
     • Surprisal de Cloze: Derivado de respostas humanas, sujeito a várias técnicas de suavização (suavização aditiva com $V$ variável) e transformações funcionais (probabilidade bruta, surprisal bruto e transformações de potência do surprisal).
   • Análise: Os modelos foram avaliados usando a verossimilhança logarítmica de validação cruzada de 10 dobras. Os autores testaram se o surprisal de LM subsume o poder preditivo do surprisal de cloze e vice-versa.

2. Experimento 2: Manipulações Orientadas por Hipóteses

   • Objetivo: Isolar os fatores específicos que contribuem para a superioridade do LM manipulando as probabilidades do GPT-2 para corresponder às limitações da tarefa de cloze.
   • Hipótese 1 (Resolução): Os LMs sofrem menos com baixa resolução (dados esparsos) do que as tarefas de cloze.
     • Manipulação: As probabilidades do GPT-2 foram reamostradas para corresponder ao número exato de amostras ($N$) disponível nas normas de cloze para cada contexto, efetivamente reduzindo a resolução do LM à dos dados humanos.
   • Hipótese 2 (Semântica): Os LMs distinguem entre palavras semanticamente semelhantes (por exemplo, sofá vs. divã), enquanto as previsões humanas podem agrupá-las.
     • Manipulação: O vocabulário do GPT-2 foi agrupado usando k-means em embeddings de tokens. A probabilidade de uma palavra foi substituída pela soma das probabilidades de todas as palavras em seu cluster semântico, forçando palavras semanticamente semelhantes a compartilhar a mesma massa de probabilidade.
   • Hipótese 3 (Frequência): Os LMs atribuem probabilidades a continuações de baixa frequência que os humanos raramente produzem.
     • Manipulação: O vocabulário do GPT-2 foi restrito apenas a tokens de alta frequência; as probabilidades para tokens de baixa frequência foram zeradas e a distribuição renormalizada.

3. Experimento 3: Combinando Probabilidades de Cloze e LM

   • Objetivo: Explorar se integrar informações de similaridade aos dados de cloze (Surprisal Ajustado por Similaridade ou SA) pode fechar a lacuna de desempenho.
   • Método: Os autores calcularam o surprisal SA tanto para respostas de cloze quanto para amostras do GPT-2. Essa métrica pondera a probabilidade de continuações alternativas pela sua distância semântica em relação à palavra observada. Isso foi comparado ao surprisal de cloze padrão "contar-e-dividir".

Principais Resultados

• Experimento 1: O surprisal de LM (GPT-2) superou consistentemente o surprisal de cloze na maioria das medidas de tempo de leitura (4 de 6), subsumindo o poder preditivo dos dados de cloze. A transformação ótima para dados de cloze foi encontrada como o surprisal ao quadrado ($S(w_t)^2$) com um fator de suavização de $V=200$, desafiando a suposição de linearidade nos efeitos de cloze.
• Experimento 2: Todas as três hipóteses foram apoiadas. Quando as probabilidades do GPT-2 foram manipuladas para corresponder às limitações da tarefa de cloze:
  • Resolução: Reduzir a resolução do GPT-2 para corresponder aos tamanhos de amostra de cloze diminuiu significativamente seu ajuste preditivo.
  • Semântica: Agrupar palavras semanticamente semelhantes (removendo distinções de alta granularidade) diminuiu significativamente o ajuste.
  • Frequência: Restringir as probabilidades a palavras de alta frequência diminuiu significativamente o ajuste.
  • Conclusão: A vantagem do surprisal de LM decorre de sua capacidade de fornecer estimativas de alta resolução, distinguir entre palavras semanticamente semelhantes e modelar com precisão continuação de baixa frequência.
• Experimento 3: O surprisal Ajustado por Similaridade (SA), seja derivado de respostas de cloze ou amostras do GPT-2, performou mal em comparação com as medidas padrão de surprisal. Isso sugere que simplesmente ponderar alternativas pela distância semântica não resolve a lacuna, e que o método "contar-e-dividir" permanece uma linha de base razoável para dados de cloze.

Significado e Alegações
O artigo argumenta que o desempenho superior do surprisal de LM não é necessariamente evidência de que os LMs modelam perfeitamente os mecanismos humanos de previsão. Em vez disso, a vantagem surge porque os LMs possuem capacidades técnicas (alta resolução, granularidade semântica e cobertura de itens de baixa frequência) que a tarefa tradicional de cloze carece devido à sua natureza offline, baseada em produção e tamanhos de amostra limitados.

Os autores afirmam que:

1. Estudos de cloze precisam de maior resolução: Simplesmente coletar mais respostas humanas (além das típicas ~40-90 por frase) pode melhorar o poder preditivo dos dados de cloze, potencialmente estreitando a lacuna com os LMs.
2. A sensibilidade da previsão humana é uma questão em aberto: Resta determinar se os leitores humanos realmente fazem as distinções de alta granularidade entre palavras semanticamente semelhantes ou de baixa frequência que os LMs fazem. Experimentos futuros devem testar se as expectativas humanas são tão sensíveis a essas distinções.
3. Cautela metodológica: Os pesquisadores não devem substituir a tarefa de cloze por LMs apenas com base em métricas de ajuste. Compreender a fonte da diferença de ajuste é crucial para tirar conclusões científicas válidas sobre o papel da previsão na compreensão linguística. Os autores defendem o desenvolvimento de tarefas alternativas (por exemplo, cloze cronometrado ou tarefas de labirinto) que capturem melhor intuições probabilísticas em tempo real em vez de produção offline.