Why are language models less surprised than humans? Testing the Parse Multiplicity Mismatch Hypothesis

Resumo Técnico: Testando a Hipótese do Descompasso na Multiplicidade de Análise

Declaração do Problema
A teoria da surpresa (surprisal) postula que a dificuldade de processamento de uma palavra é determinada pela sua previsibilidade no contexto (sua probabilidade logarítmica negativa), oferecendo um elo potencial entre o processamento de sentenças humanas e as previsões da próxima palavra provenientes de modelos de linguagem (MLs). Embora as surpresas dos MLs prevejam com sucesso os tempos de leitura em textos naturalistas, elas subestimam sistematicamente a magnitude da dificuldade observada em estudos controlados de ambiguidade sintática, particularmente em sentenças de "caminho de jardim" (garden path). Nessas sentenças, uma ambiguidade temporária favorece inicialmente uma interpretação, que é posteriormente desambiguada em favor de uma interpretação não preferida, causando custos significativos de processamento (por exemplo, aumentos de tempo de leitura superiores a 300 ms).

Pesquisas anteriores indicam que, embora os MLs prevejam a direção dos efeitos de caminho de jardim, a magnitude é ordens de grandeza menor do que os dados humanos. Por exemplo, o GPT-2 prevê um efeito de caminho de jardim de aproximadamente 8 ms, enquanto dados humanos mostram efeitos superiores a 300 ms. Este artigo investiga se esse desalinhamento surge de diferenças nas restrições computacionais entre humanos e MLs. Especificamente, testa-se a Hipótese do Descompasso na Multiplicidade de Análise: a proposta de que os MLs podem manter simultaneamente um número maior de interpretações sintáticas distintas (análises) na memória do que os humanos. Se os humanos forem mais restritos em seu paralelismo, eles podem comprometer-se com uma única interpretação incorreta mais cedo, levando a uma surpresa maior durante a desambiguação em comparação com MLs que marginalizam sobre muitas análises concorrentes.

Metodologia
Para testar essa hipótese, os autores utilizaram Gramáticas de Redes Neurais Recorrentes (RNNGs) (Dyer et al., 2016). Diferentemente dos MLs autoregressivos padrão (por exemplo, GPT-2), que aprendem sintaxe implicitamente, as RNNGs condicionam as previsões da próxima palavra a uma análise sintática explícita do contexto. Essa arquitetura permite a manipulação direta da multiplicidade de análise via busca em feixe sincronizada por palavra.

1. Configuração do Modelo: Os autores treinaram RNNGs nos corpora BabyLM e BLLIP usando duas estratégias de análise: top-down (de cima para baixo) e left-corner (canto esquerdo).
2. Manipulação da Multiplicidade: O parâmetro chave variado foi a largura do feixe de palavra ($k_w$), que determina o número de análises distintas retidas em cada etapa de palavra.
   • $k_w = 1$: Representa um analisador totalmente serial (mantendo apenas uma análise).
   • $k_w \to \infty$: Representa um analisador totalmente paralelo (aproximando a marginalização completa sobre todas as análises).
   • O estudo testou valores de $k_w$ variando de 1 a 1000.
3. Cálculo da Surpresa: A surpresa da próxima palavra foi calculada marginalizando a distribuição de probabilidade da próxima palavra sobre as principais $k_w$ análises.
4. Condições Contrafactuais: Para estabelecer limites, os autores introduziram duas condições específicas:
   • CAMINHO DE JARDIM FORÇADO: Poda manual do feixe para incluir apenas análises consistentes com a interpretação inicialmente preferida (incorreta), criando um limite superior para a surpresa prevista.
   • PARALELO TOTAL: Garantia manual de que o feixe sempre contém pelo menos uma análise consistente com a interpretação globalmente correta, criando um limite inferior.
5. Dados e Avaliação: Os modelos foram avaliados no Benchmark SAP (Huang et al., 2024), especificamente em três construções de caminho de jardim (MV/RR, NP/S, NP/Z). O estudo comparou os tempos de leitura previstos (derivados da surpresa via regressão de efeitos mistos lineares em sentenças de preenchimento) com os tempos de leitura empíricos humanos.

Principais Resultados

1. Texto Naturalista: Consistente com trabalhos anteriores, as estimativas de surpresa derivadas de larguras de feixe maiores ($k_w$) forneceram um ajuste melhor aos tempos de leitura em sentenças de preenchimento naturalistas. Isso sugere que, para texto geral, maior paralelismo (mais análises) produz previsões mais precisas e semelhantes às humanas.
2. Efeitos de Caminho de Jardim: Reduzir a multiplicidade de análise (diminuindo $k_w$) aumentou a magnitude dos efeitos de caminho de jardim previstos, apoiando a intuição de que limitar o paralelismo aumenta os custos de desambiguação. Os maiores efeitos foram observados em larguras de feixe intermediárias ($2 \le k_w \le 10$), onde o feixe era pequeno o suficiente para podar a análise correta, mas grande o suficiente para manter análises de alta qualidade.
3. A Lacuna Persiste: Apesar de aumentar o tamanho do efeito previsto restringindo o paralelismo, os resultados não conseguiram fechar a lacuna com os dados humanos.
   • Mesmo nas condições mais restritivas (por exemplo, $k_w=1$ ou a condição de CAMINHO DE JARDIM FORÇADO onde apenas a análise incorreta foi considerada), os aumentos previstos no tempo de leitura foram ordens de grandeza menores do que os efeitos empíricos humanos.
   • A condição de PARALELO TOTAL (garantindo que a análise correta esteja presente) não reduziu significativamente a subprevisão em comparação com o feixe não modificado, indicando que o problema não é meramente a presença da análise correta no feixe.

Significado e Alegações
O artigo conclui que a Hipótese do Descompasso na Multiplicidade de Análise não pode reconciliar totalmente a surpresa baseada em ML com o processamento de sentenças humanas. Embora limitar o número de análises simultâneas em MLs aumente a dificuldade prevista de sentenças de caminho de jardim, isso é insuficiente para explicar a magnitude total dos custos de processamento humanos.

Os autores argumentam que essa descoberta sugere:

• O desalinhamento não é impulsionado apenas pelo número de interpretações consideradas (multiplicidade de análise).
• Mesmo quando um ML é forçado a considerar apenas a interpretação inicialmente preferida (incorreta), a surpresa resultante para a palavra desambiguadora permanece muito baixa para explicar os tempos de leitura humanos.
• Portanto, explicar a magnitude total dos efeitos de caminho de jardim provavelmente requer mecanismos além da previsibilidade de palavra de estágio único. Os autores sugerem que a reanálise sintática (um processo de reparo de segundo estágio) ou outros mecanismos não capturados pela teoria padrão da surpresa são necessários para modelar a dificuldade de desambiguação humana.

O trabalho implica que, embora os MLs possam paralelizar mecanismos de previsão humanos, as restrições computacionais específicas da memória humana (em termos de paralelismo) não são o fator primário que causa a discrepância nos efeitos de caminho de jardim. Em vez disso, a natureza do custo de processamento em si pode envolver processos (como reanálise) que não são redutíveis à surpresa ao nível da palavra.