Information-Theoretic Storage Cost in Sentence Comprehension

Título: Custo de Armazenamento Teórico da Informação na Compreensão de Frases

Autores: Kohei Kajikawa, Shinnosuke Isono, Ethan Gotlieb Wilcox (Georgetown University e NINJAL).

1. O Problema

A compreensão de frases em tempo real impõe uma carga significativa na memória de trabalho, pois os compreendedores devem manter informações contextuais para antecipar entradas futuras. Embora medidas dessa carga (conhecidas como storage cost ou custo de armazenamento) sejam fundamentais em teorias psicolinguísticas, a maioria das formalizações existentes baseia-se em gramáticas simbólicas.

Essas abordagens tradicionais (como a Teoria de Localidade de Dependência - DLT) apresentam limitações:

• Assunções Discretas e Uniformes: Atribuem custos fixos e discretos a previsões sintáticas, ignorando a natureza probabilística e contínua da linguagem.
• Dependência Teórica: Requerem teorias sintáticas específicas e anotações manuais precisas (como rastos de extração), o que dificulta sua aplicação em grandes corpora naturais.
• Falta de Generalidade: Não capturam nuances semânticas ou estatísticas que influenciam a dificuldade de processamento além da estrutura sintática pura.

O objetivo deste estudo é propor uma medida de custo de armazenamento baseada na teoria da informação, que seja contínua, neutra em relação à teoria gramatical e estimável a partir de modelos de linguagem neural pré-treinados.

2. Metodologia

Definição Formal: Custo de Armazenamento de Informação

Os autores redefinem o custo de armazenamento não como a contagem de elementos sintáticos pendentes, mas como a quantidade de informação que as palavras anteriores carregam sobre o contexto futuro, sob incerteza.

• Potencial Preditivo ($P_{pred}$): É definido como a quantidade de informação que uma palavra $w_i$ reduz a "surpresa" (surprisal) da sequência futura $w_{[k:N]}$, condicionada ao restante do contexto.
• Formalização: A medida é operacionalizada como a Informação Mútua Pontual (PMI) contextualizada (ou meia-PMI contextualizada). Matematicamente, é equivalente à Divergência de Kullback-Leibler (KL) entre a distribuição preditiva do futuro com e sem a presença da palavra $w_i$.
  $$InfoStor_k = \sum_{i=1}^{k-1} P_{pred}(w_i; W_{[k:N]})$$
  Onde o custo total em uma posição $k$ é a soma dos potenciais preditivos de todas as palavras anteriores.

Estimação com Modelos Neurais

Para calcular essa métrica, os autores utilizam o modelo BERT (Bidirectional Encoder Representations from Transformers):

1. Para cada par de posições $(i, k)$, o modelo é alimentado com o contexto onde $w_i$ está visível e onde está mascarado.
2. A diferença nas distribuições de probabilidade das tokens futuras (mascaradas) é calculada usando a Divergência KL.
3. Assume-se independência condicional entre as posições mascaradas para facilitar o cálculo, embora os autores reconheçam isso como uma aproximação.

3. Contribuições Principais

1. Novo Formalismo: Introdução de uma métrica de custo de armazenamento contínua e baseada em bits, eliminando a necessidade de gramáticas simbólicas explícitas.
2. Validação Teórica: Demonstração de que a métrica recupera assimetrias de processamento clássicas (como center-embedding vs. ramificação direita) apenas a partir de estatísticas distribucionais.
3. Análise de Dados Naturais: Avaliação do poder preditivo da métrica em grandes conjuntos de dados de leitura natural (eye-tracking e leitura auto-ritmada), comparando-a com medidas baseadas em DLT.
4. Descoberta de Complementaridade: Evidência de que o custo de armazenamento baseado em informação e o baseado em gramática capturam fontes distintas, mas complementares, da variância no tempo de leitura.

4. Resultados Experimentais

Os autores realizaram três análises principais:

A. Recuperação de Assimetrias Sintáticas

• Center-Embedding (CE) vs. Ramificação Direita (RB): A métrica mostrou um aumento acentuado no custo de armazenamento para estruturas de center-embedding (ex: "O repórter [que o senador [que Mary conheceu] atacou] ignorou o presidente"), enquanto estruturas RB permaneceram baixas.
• Relativas de Objeto (ORC) vs. Sujeito (SRC): A métrica previu corretamente que ORCs têm um custo de armazenamento significativamente maior do que SRCs, com um pico de informação acumulada no sintagma nominal embutido.
• Conclusão: A métrica recupera fenômenos psicolinguísticos bem documentados sem usar anotações sintáticas.

B. Correlação com DLT

• Ao analisar o corpus UD_English-GUM, houve uma correlação positiva moderada ($r \approx 0.34$ a $0.49$) entre o custo de armazenamento de informação e o custo baseado em DLT.
• Isso confirma que a nova métrica captura a intuição estrutural subjacente às gramáticas tradicionais, mas adiciona camadas de informação não estrutural.

C. Predição de Tempos de Leitura (Dados Naturais)

• Utilizando os conjuntos de dados Natural Stories e OneStop, os autores testaram se a métrica melhorava a previsão de tempos de leitura além de modelos de linha de base (que incluíam comprimento da palavra, surprisal unigrama e GPT-2).
• Resultados:
  • O custo de armazenamento de informação melhorou significativamente o ajuste do modelo em 4 de 5 conjuntos de dados.
  • Independência: Quando ambas as medidas (Info e DLT) foram incluídas no modelo, ambas permaneceram significativas. Isso indica que elas explicam variâncias parcialmente distintas.
  • Padrão Temporal: O custo baseado em DLT foi mais forte em medidas de fixação inicial (GPD), enquanto o custo baseado em informação foi mais forte em medidas de tempo total (TFD), sugerindo que a métrica de informação pode prever melhor as regressões oculares (releitura).

5. Significado e Implicações

• Mecanismos Cognitos Distintos: Os resultados sugerem que a compreensão da linguagem envolve dois mecanismos complementares para lidar com as limitações da memória de trabalho:
  1. Processamento Estrutural: Baseado em representações simbólicas e gramaticais (capturado pela DLT).
  2. Predição Estatística: Baseada em padrões probabilísticos e informação mútua (capturado pela nova métrica).
• Generalização Teórica: A abordagem proposta generaliza o conceito de storage cost, mostrando que manter uma previsão sintática é, fundamentalmente, reter informação sobre o futuro.
• Aplicabilidade: A métrica é mais fácil de aplicar em escala do que as baseadas em gramática, pois depende apenas de modelos de linguagem pré-treinados e não de anotações manuais complexas.

Limitações e Trabalhos Futuros

• A suposição de independência condicional no BERT é forte e pode não refletir totalmente as dependências locais da linguagem natural.
• A métrica foi definida ao nível de tokens (palavras), mas a cognição pode comprimir representações em granularidades diferentes (frases ou conceitos).
• Futuras pesquisas devem explorar variações cruzadas entre línguas, especialmente em línguas de ordem SOV (sujeito-objeto-verbo), onde as demandas de memória pré-verbal são estruturalmente maiores.

Em resumo, o artigo estabelece o Custo de Armazenamento de Informação como uma alternativa viável, teoricamente neutra e empiricamente robusta às métricas tradicionais de complexidade sintática, oferecendo uma nova lente para entender a interação entre memória, predição e estrutura na linguagem.