Surprisal from Larger Transformer-based Language Models Predicts fMRI Data More Poorly

Resumo Técnico: A Surpresa de Modelos de Linguagem Baseados em Transformers de Maior Porte Prediz Dados de fMRI de Forma Mais Pobre

Definição do Problema
Teorias de compreensão sintática baseadas na expectativa postulam que a dificuldade de processamento é proporcional à surpresa informacional (o logaritmo negativo da probabilidade de uma palavra dado o seu contexto). Embora modelos de linguagem (LMs) baseados em Transformers tenham sido amplamente adotados para estimar a surpresa, estudos recentes identificaram um fenômeno de "escala inversa" em dados baseados em latência (tempos de leitura): à medida que os LMs aumentam em tamanho (contagem de parâmetros) e dados de treinamento, suas estimativas de surpresa tornam-se menos preditivas dos tempos de leitura humanos. Modelos maiores, que alcançam menor perplexidade e melhor predizem tokens raros, atribuem valores de surpresa menores que divergem dos dados comportamentais humanos.

No entanto, investigações anteriores sobre este fenômeno utilizando dados de imagem cerebral (fMRI) produziram resultados inconclusivos. Um estudo por Oh et al. (2022), utilizando um conjunto relativamente pequeno de LMs, não encontrou uma tendência clara de escala nos dados de fMRI, deixando aberta a possibilidade de que a escala inversa seja específica para medidas baseadas em latência. Além disso, outras pesquisas usando representações vetoriais brutas de LMs (em vez de surpresa) em dados de fMRI mostraram uma escala positiva, sugerindo que os dados de imagem cerebral podem se comportar de forma diferente. Este estudo aborda se a relação de escala inversa se mantém para dados de fMRI quando avaliada com um conjunto abrangente de modelos.

Metodologia
Os autores conduziram uma avaliação abrangente utilizando estimativas de surpresa de 17 LMs pré-treinados e autorregressivos baseados em Transformer através de três famílias de modelos: GPT-2, GPT-Neo e OPT. Estes modelos variam significativamente em contagem de parâmetros. O estudo utilizou dois conjuntos distintos de dados de ressonância magnética funcional (fMRI):

1. Histórias Naturais fMRI (Shain et al., 2020): Sinais de série temporal de Nível de Oxigenação do Sangue Dependente de Oxigênio (BOLD) registrados de 78 sujeitos ouvindo histórias naturais em inglês.
2. Pereira fMRI (Pereira et al., 2018): Sinais BOLD por sentença agregados através de regiões da rede de linguagem de sujeitos lendo passagens em inglês.

Procedimento Experimental:

• Cálculo de Surpresa: Os textos foram tokenizados usando codificação de par de bytes (byte-pair encoding) específica do modelo. A surpresa ao nível da palavra foi calculada agregando as estimativas ao nível do token. Para abordar artefatos de tokenização onde as probabilidades de espaços em branco iniciais somam mais do que um, o estudo incorporou a decodificação de espaço em branco subsequente (whitespace-trailing decoding), realocando a probabilidade do espaço em branco inicial para a palavra precedente.
• Alinhamento de Sinal:
  • Para o Natural Stories fMRI, as estimativas de surpresa ao nível da palavra foram convoluídas com uma função de resposta hemodinâmica (HRF) canônica para alinhar com a série temporal contínua do BOLD.
  • Para o Pereira fMRI, onde as respostas são por sentença, a estimativa de surpresa da palavra final da sentença foi utilizada como o preditor, uma vez que o contexto precedente é totalmente contabilizado nessa estimativa.
• Modelagem de Regressão: Modelos Lineares de Efeitos Mistos (LME) foram ajustados para prever os sinais BOLD.
  • Os preditores incluíram a estimativa de surpresa, posição da palavra e comprimento da palavra (ou comprimento da sentença para o Pereira).
  • Os modelos incluíram efeitos aleatórios para sujeitos e histórias/sentenças.
  • O ajuste do modelo foi avaliado usando log-verossimilhança em conjuntos de teste mantidos fora (held-out).

Principais Resultados
O estudo encontrou uma relação de escala inversa estatisticamente significativa entre o tamanho do modelo e o poder preditivo em ambos os conjuntos de dados de fMRI:

• Natural Stories fMRI: À medida que a contagem de parâmetros dos LMs aumentava, a log-verossimilhança dos modelos de regressão prevendo sinais BOLD diminuía significativamente ($p < 0,01$). Isso resolve os achados inconclusivos de Oh et al. (2022) ao utilizar uma gama mais ampla de tamanhos de modelos.
• Pereira fMRI: Uma diminuição semelhante e significativa no poder preditivo foi observada conforme o tamanho do modelo aumentava ($p < 0,05$).

Os resultados indicam que LMs maiores, apesar de possuírem maiores probabilidades por palavra (menor perplexidade), fornecem um ajuste mais pobre aos dados neurais humanos do que LMs menores.

Significância e Alegações
A principal contribuição deste trabalho é a demonstração de que o fenômeno de escala inversa das estimativas de surpresa não é específico para medidas baseadas em latência (como tempos de leitura), mas também se aplica a dados neurais (fMRI).

• Resolução de Dados Inconclusivos: O estudo esclarece a ambiguidade anterior em relação aos dados de fMRI, mostrando que a tendência observada em dados comportamentais generaliza-se para a imagem cerebral quando um conjunto de modelos suficientemente diverso é avaliado.
• Natureza da Tendência: Os autores observam que, embora a relação inversa exista nos dados de fMRI, ela "não é tão estrita" quanto nos dados baseados em latência. Eles especulam que isso se deve aos níveis de ruído mais elevados inerentes às medições de fMRI em comparação com os dados comportamentais de latência.
• Implicações para a Pesquisa: Os achados sugerem que os dados de imagem cerebral não se comportam substancialmente de forma diferente dos dados de latência neste contexto. Consequentemente, a divergência de LMs maiores dos padrões de processamento humano (provavelmente impulsionada pela sua melhoria na predição de tokens raros) é um fenômeno geral através de medidas psicométricas. Os autores sugerem que modelos menores podem ser mais apropriados para pesquisadores que buscam entender os mecanismos de processamento de sentenças humanas usando LMs, já que modelos maiores podem sofrer overfitting a regularidades estatísticas nos dados de treinamento que não se alinham com as restrições cognitivas humanas.

Limitações
Os autores reconhecem que os modelos e conjuntos de dados são centrados no inglês, e os achados podem não se replicar em outras línguas. Além disso, o estudo depende de conjuntos de dados de fMRI publicados, e a escala inversa no conjunto de dados Pereira foi menos robusta estatisticamente do que no Natural Stories, potencialmente devido à esparsidade dos dados ao agregar entre sujeitos.