Timesteps of Mamba Align with Human Reading Times

Resumo Técnico: Os Timesteps de Mamba Alinham-se com os Tempos de Leitura Humanos

Problema
O processamento da linguagem humana desenrola-se ao longo do tempo, e uma questão central na psicolinguística computacional é como os modelos de linguagem (LMs) artificiais representam essa dimensão temporal e se a sua dinâmica interna se alinha com o processamento cognitivo humano. Embora estudos anteriores tenham vinculado modelos baseados em Transformers aos tempos de leitura humanos principalmente através da surpresa (o logaritmo negativo da probabilidade de uma palavra dado o contexto), esta abordagem depende do objetivo de previsão da próxima palavra. Este estudo investiga uma arquitetura alternativa, o Mamba (um Modelo de Espaço de Estados ou SSM), que possui uma noção intrínseca de timesteps internos que modulam dinamicamente as transições de estado em resposta ao input. Os autores questionam se estes timesteps dependentes do input, que conceitualmente representam a duração da evolução do estado, correlacionam-se com o tempo que os leitores humanos gastam a processar palavras.

Metodologia
O estudo emprega uma abordagem multifacetada combinando análise de regressão empírica com análise teórica formal da arquitetura do Mamba.

1. Datasets: Os autores utilizaram dois datasets de tempo de leitura naturalista:

   • Histórias Naturais: Dados de leitura auto-ritmada de 181 falantes nativos de inglês lendo 10 histórias.
   • OneStop: Dados de eye-tracking de 180 falantes nativos lendo 30 artigos (versões avançadas e elementares), analisando o tempo de primeira passagem (first-pass time) e a duração do caminho de regressão (regression-path duration).

2. Preditores e Modelos:

   • Preditor Primário: O timestep de discretização ($\Delta t$) dos modelos Mamba (Mamba-130M e Mamba-2.8B). No Mamba, $\Delta t$ é um escalar (ou vetor) determinado dinamicamente pelo token de input via uma função aprendida (Eq. 5). Os autores agregaram estes em uma métrica ao nível da palavra ($\bar{\Delta}t$) através da média entre dimensões e tomando o valor máximo para tokens de subpalavras.
   • Variáveis de Controle: Para isolar o poder preditivo de $\Delta t$, os autores controlaram características de baixo nível (comprimento da palavra, frequência no corpus, posição na sentença) e estabeleceram preditores de tempo de leitura: surprisal do Mamba e surprisal do GPT-2.
   • Análise de Regressão: Modelos de regressão linear foram ajustados para prever tempos de leitura transformados em logaritmo. O desempenho foi avaliado usando validação cruzada de 10 dobras (repetida 50 vezes) via Erro Quadrático Médio (MSE). A significância de $\Delta t$ foi testada comparando modelos com e sem a variável usando testes de permutação, com correção de Holm para múltiplas comparações entre camadas.

3. Análise Formal e Intervencionista:

   • Sensibilidade Linguística: Correlações foram computadas entre $\bar{\Delta}t$ e características linguísticas (posição na sentença, distância sintática).
   • Dependência de Longo Alcance: Uma tarefa de intervenção de "recuperação de passkey" foi utilizada para avaliar quais camadas são essenciais para manter a informação sobre contextos longos.
   • Derivação Teórica: Os autores analisaram o espectro de autovalores da matriz de transição do Mamba para caracterizar as capacidades de retenção de memória. Além disso, introduziram um termo de ruído nas equações de transição de estado para derivar teoricamente que a magnitude de $\Delta t$ corresponde à entropia condicional (incerteza) da transição do estado oculto.

Resultos Principais

• Poder Preditivo: O timestep de discretização $\bar{\Delta}t$ é um preditor significativo dos tempos de leitura palavra por palavra humanos. O poder preditivo da melhor camada de desempenho (ex: Camada 17 no Mamba-130M para Histórias Naturais) é comparável ao da surprisal do GPT-2 ($R^2 \approx 0.22$).
• Variância Única: Crucialmente, $\bar{\Delta}t$ permanece um preditor significativo mesmo quando controlando pela surprisal do GPT-2 e outras variáveis de baixo nível. Isto indica que o tempo de processamento interno do Mamba captura a variância no comportamento de leitura humana que não é explicada pelos modelos padrão baseados em surprisal.
• Especialização de Camadas:
  • A maioria das camadas mostra sensibilidade a características linguísticas locais (ex: limites de sentença, distância sintática).
  • As Camadas 16 e 17 exibem um comportamento distinto: são menos sensíveis à estrutura de sentença local, mas correlacionam-se fortemente com informações ao nível da história e posição na história. Estas camadas também mostraram o maior poder preditivo para Histórias Naturais.
  • Experimentos de intervenção confirmaram que desativar as Camadas 16 e 17 degrada significativamente o desempenho em tarefas de dependência de longo alcance (recuperação de passkey), sugerindo que estas camadas são críticas para manter o contexto de longo prazo.
• Alinhamento Teórico:
  • Retenção de Memória: A análise de autovalores da matriz de transição $exp(A)$ revela que as Camadas 16 e 17 possuem uma proporção maior de autovalores próximos de 0.5 (comparado com a distribuição geral que tem pico próximo a 0), suportando teoricamente o seu papel na retenção de memória de longo prazo.
  • Incerteza: A análise teórica sugere que valores maiores de $\Delta t$ correspondem a uma maior incerteza nas transições de estado. Os dados mostram que $\Delta t$ atinge o pico em limites de sentença, que são pontos de alta incerteza em relação ao contexto subsequente, alinhando-se com a necessidade do modelo de atualizar o seu estado de forma mais agressiva.

Significância e Alegações
O artigo afirma que o Mamba oferece uma "nova e valiosa lente" para estudar o processamento de linguagem em tempo real humano. Ao contrário dos Transformers, que processam sequências em paralelo (ou via mecanismos de atenção que não codificam inerentemente a duração do processamento), a arquitetura do Mamba modela explicitamente o tempo através de timesteps dinâmicos.

Os autores argumentam que:

1. Alinhamento: O "tempo de processamento" interno ($\Delta t$) de um modelo baseado em SSM alinha-se com a carga cognitiva humana, sugerindo que o mecanismo de ajustar dinamicamente as velocidades de transição de estado é um análogo computacional plausível para a dinâmica de leitura humana.
2. Memória e Ruído: O modelo permite que investigadores investiguem como diferentes camadas ponderam a retenção de informação de curto vs. longo prazo (via espectro de autovalores) e como o "ruído" (incerteza nas transições de estado) interage com representações de memória contínuas.
3. Além da Surprisal: As descobertas demonstram que fatores além da previsibilidade da palavra (surprisal) — especificamente, a duração dinâmica das atualizações de estado — são relevantes para o comportamento de leitura humana.

O estudo conclui que, embora a dinâmica exata de aprendizagem de por que o $\Delta t$ atinge o pico em limites linguísticos específicos permaneça uma questão aberta, o alinhamento empírico e teórico entre os timesteps do Mamba e os tempos de leitura humanos fornece um novo quadro para compreender o processamento de linguagem sob restrições de memória.