Resumo Técnico: Modelagem de Associação Semântica em Leitura de Ritmo Autogerido com Embeddings de Modelos de Linguagem

Problema

Embora a previsibilidade da palavra (surpresa) seja um fator bem estabelecido para explicar a dificuldade de processamento durante a leitura, ela não explica totalmente a compreensão de leitura. A associação semântica — o grau de relação semântica entre uma palavra-alvo e seu contexto — representa um fator distinto que modula o processamento. No entanto, pesquisas anteriores basearam-se fortemente em estímulos criados manualmente ou em operacionalizações inconsistentes de associação semântica. Estudos recentes tentaram quantificar a associação semântica usando embeddings de modelos de linguagem (LM), mas essas implementações variam significativamente em termos de modelos de embedding (por exemplo, embeddings de palavra vs. de sentença), definições de contexto (por exemplo, nível de sentença vs. janela) e métricas de similaridade. Essa variabilidade levanta a questão de se a associação semântica derivada de LM captura aspectos do processamento além da previsibilidade e como as escolhas metodológicas influenciam os efeitos observados em medidas neurais (N400) e comportamentais (tempo de leitura).

Metodologia

O estudo utilizou um corpus de dados de eletroencefalografia (EEG) conjunta e leitura de ritmo autogerido (SPR) de 71 participantes lendo textos naturais em holandês (corpus TiNT). A análise focou apenas em palavras de conteúdo e em 56 participantes.

Operacionalização da Associação Semântica:
Os autores definiram a associação semântica como a similaridade entre o embedding de uma palavra crítica e o embedding de seu contexto precedente. Para testar a robustez desta medida, eles implementaram dez variações distintas variando dois fatores primários:

1. Modelo de Embedding:
   • Embeddings de Palavra Não Contextualizados: Usando word2vec (treinado em Wikipedia em holandês). As representações de contexto foram criadas via:
     • Média de todas as palavras (WE).
     • Média apenas de palavras de conteúdo (CWE).
     • Média ponderada baseada em uma curva de esquecimento exponencial (WE, Weighted; CWE, Weighted).
   • Embeddings de Sentença Contextualizados: Usando e5-large-trm-nl (um modelo baseado em transformer treinado para similaridade semântica). Este modelo produz um único embedding agregado para o contexto, denotado como SE.
2. Comprimento do Contexto:
   • Todos (All): Todas as palavras precedentes.
   • Sentença (N=1): A sentença precedente e a sentença que contém o alvo.
   • Janela (N=1, N=2): Um número fixo de palavras de conteúdo precedentes (aplicado apenas às implementações de embedding de palavra).
   • Ponderado (Weighted): Todas as palavras precedentes com decaimento baseado na distância.

Análise Estatística:
Modelos hierárquicos Bayesianos foram ajustados usando brms em R para prever duas variáveis dependentes:

• Tempos de Leitura de Ritmo Autogerido (RT): Modelado com uma verossimilhança log-normal.
• Amplitude N400: Definida como a amplitude média nos eletrodos centroparietais (300–500ms pós-início), modelada com uma verossimilhança Gaussiana.

Os modelos incluíram dois preditores: log-probabilidade (estimada via quatro modelos GPT para controlar a previsibilidade) e associação semântica (sem). A comparação de modelos foi realizada usando Fatores de Bayes (BF) via razão de densidade de Savage-Dickey para avaliar a evidência do efeito da associação semântica sobre a hipótese nula (ausência de efeito), controlando os priors através de análise de sensibilidade.

Resultados Principais

O estudo descobriu que a escolha do modelo de embedding e da definição de contexto altera criticamente os efeitos estimados da associação semântica:

1. Discrepância de Modelo de Embedding:

   • Embeddings de Sentença (SE): Implementações usando embeddings de sentença mostraram a evidência mais confiável de efeitos de associação semântica. Especificamente, o modelo SE, Sentence(N=1) mostrou evidência anedótica (BF > 1/3) para um efeito no N400, e o SE, All mostrou evidência de um efeito nos tempos de leitura. A direção do efeito no N400 foi positiva (palavras menos associadas elicitaram amplitudes mais negativas), consistente com a literatura estabelecida.
   • Embeddings de Palavra (WE/CWE): Implementações usando embeddings de palavra geralmente mostraram coeficientes próximos de zero ou estimativas negativas para o N400, sem evidência forte para um efeito tanto nos tempos de leitura quanto no N400. Notavelmente, a direção do efeito para os embeddings de palavra frequentemente inverteu-se em comparação aos embeddings de sentença.

2. Comprimento do Contexto:

   • Para embeddings de palavra, o comprimento do contexto (All, Sentence, Windowed, Weighted) não alterou significativamente os resultados nulos.
   • Para embeddings de sentença, o comprimento do contexto importou. O efeito no N400 foi mais forte com o contexto Sentence(N=1), enquanto o efeito nos tempos de leitura foi mais forte com o contexto All.

3. Controle de Previsibilidade:

   • Os efeitos da associação semântica foram examinados controlando a previsibilidade da palavra (log-probabilidade). Os resultados sugerem que os embeddings de sentença capturam variância na dificuldade de processamento que é distinta de e não é totalmente explicada pela previsibilidade da palavra.

Significância e Alegações

O artigo conclui que as escolhas metodológicas na quantificação da associação semântica não são meramente detalhes técnicos, mas alteram fundamentalmente as conclusções extraídas dos dados neurais e comportamentais.

• Superioridade dos Embeddings de Sentença: Os autores afirmam que os embeddings de sentença oferecem uma abordagem promissora para capturar a associação semântica no processamento de texto naturalista. Ao contrário da média ingênua de embeddings de palavra, que pode perder a coerência temática em contextos mais longos, os embeddings de sentença parecem capturar os temas gerais do texto, levando a associações confiáveis tanto com a amplitude do N400 quanto com os tempos de leitura.
• Limitações dos Embeddings de Palavra: O estudo sugere que os embeddings de palavra não contextualizados, quando aplicados via média ingênua sobre contextos longos, podem falhar em capturar as relações semânticas necessárias para explicar a dificuldade de processamento além da previsibilidade.
• Replicabilidade e Generalização: Os autores observam modestamente que estes achados baseiam-se em um único corpus de holandês. Eles enfatizam que a operacionalização específica da associação semântica deve ser validada através de diferentes línguas e corpora para determinar se estes resultados se generalizam. Eles não afirmam que os embeddings de palavra são universalmente inúteis, mas que, neste contexto específico de processamento de texto natural, os embeddings de sentença forneceram resultados mais robustos.

O estudo ressalta a importância de selecionar cuidadosamente os modelos de embedding e as definições de contexto ao investigar o papel da associação semântica na compreensão da linguagem, particularmente ao tentar dissociá-la da previsibilidade da palavra.