Probing for Reading Times

Título: Probing for Reading Times (Sondando Tempos de Leitura)

1. O Problema

Embora seja bem estabelecido que as representações internas de Modelos de Linguagem (LLMs) codificam informações linguísticas ricas (sintaxe, morfologia, semântica), permanece incerto se essas representações capturam sinais cognitivos sobre o processamento humano.

• Contexto: O tempo que os olhos de um leitor permanecem em uma unidade linguística (medido por rastreamento ocular ou eye-tracking) reflete o esforço cognitivo necessário para processá-la.
• Limitação Atual: O preditor mais bem-sucedido até hoje para esses tempos de leitura é o surprisal (sorpresa), uma métrica escalar baseada na probabilidade negativa logarítmica de uma palavra. No entanto, o surprisal comprime o estado interno do modelo em um único número, descartando potencialmente informações estruturais e lexicais finas contidas nas camadas intermediárias do modelo.
• Questão Central: As representações vetoriais brutas de todas as camadas de um LLM são melhores preditoras dos tempos de leitura humanos do que as métricas escalares tradicionais (como surprisal, valor de informação ou logit-lens)?

2. Metodologia

Os autores realizaram uma análise de sondagem (probing) usando regressão linear regularizada para prever tempos de leitura a partir das representações do modelo.

• Dados:
  • Dois corpora de rastreamento ocular: Provo (inglês) e MECO (Multilingual Eye Movement Corpus).
  • 5 Línguas: Inglês, Grego, Hebraico, Russo e Turco.
  • Métricas de Leitura:
    1. First Fixation Duration (Duração da Primeira Fixação) e Gaze Duration (Duração do Olhar): Medidas de "primeira passagem" (processamento inicial/lexical).
    2. Total Reading Time (Tempo Total de Leitura): Medida de "segunda passagem" (processamento tardio/integração).
• Modelos:
  • mGPT (multilíngue, 1.3B parâmetros) para todas as línguas.
  • GPT-2 (inglês) e cosmosGPT (turco) para validação em modelos monolíngues.
• Preditores Comparados:
  1. Representações: Vetores de ativação extraídos de cada camada do modelo (1 a 24 para mGPT).
  2. Baselines Escalares:
     • Surprisal padrão (baseado na camada final).
     • Information Value (Valor de Informação).
     • Logit-Lens Surprisal (projeção de camadas intermediárias no espaço de vocabulário).
• Protocolo:
  • Uso de regressão linear com regularização (Ridge/LASSO) para evitar overfitting.
  • Validação cruzada de 10 dobras.
  • Testes de permutação (aleatorização dos tempos de leitura) para garantir que os resultados não sejam ruído.
  • Modelos de Efeitos Mistos Lineares (LMM) para controlar variabilidade entre participantes e documentos.

3. Contribuições Chave

1. Desacoplamento entre Camadas e Medidas de Leitura: Demonstraram que a eficácia preditiva das representações do modelo depende fortemente da camada do modelo e do tipo de medida de leitura.
2. Alinhamento Funcional: Evidenciaram um alinhamento funcional entre a profundidade do modelo e as etapas temporais da leitura humana:
   • Camadas iniciais do modelo capturam melhor os processos de primeira passagem (acesso lexical, reconhecimento ortográfico).
   • Métricas escalares (como surprisal) ou camadas finais são mais eficazes para medidas de segunda passagem (integração sintática, resolução de ambiguidades).
3. Variação Cross-Linguística: Mostraram que a hierarquia de preditores varia significativamente entre línguas, desafiando a ideia de um preditor universal para todas as línguas.
4. Complementaridade: Demonstraram que combinar representações de camadas iniciais com surprisal frequentemente melhora o desempenho preditivo em relação ao uso isolado de qualquer um dos dois.

4. Resultados Principais

• Medidas de Primeira Passagem (First Fixation, Gaze Duration):
  • As representações das camadas iniciais (ex: camadas 1-10 no mGPT) superaram consistentemente o surprisal padrão, especialmente em inglês.
  • Isso sugere que as camadas baixas codificam informações estruturais e lexicais cruciais para o reconhecimento inicial de palavras, que o surprisal (uma métrica de probabilidade global) não captura totalmente.
• Medidas de Segunda Passagem (Total Reading Time):
  • Para o tempo total de leitura, o surprisal escalar (e o logit-lens das camadas finais) manteve-se competitivo ou superior às representações de alta dimensão.
  • Isso indica que o esforço cognitivo tardio está mais fortemente correlacionado com a previsibilidade global do texto do que com representações estruturais locais.
• Variação por Língua:
  • Em línguas como Grego, Hebraico e Russo, os preditores escalares foram frequentemente tão fortes ou mais fortes que as representações, dependendo da métrica.
  • O Russo e o Turco apresentaram padrões distintos, onde a combinação de representações e surprisal nem sempre foi a melhor para medidas de primeira passagem.
• Logit-Lens vs. Representações:
  • Enquanto as representações brutas são mais fortes nas camadas iniciais para medidas precoces, o logit-lens surprisal tende a performar melhor nas camadas finais, mostrando padrões opostos de eficácia ao longo da profundidade do modelo.

5. Significado e Implicações

• Validação Cognitiva: O trabalho fornece evidências de que os LLMs não apenas aprendem estatísticas de texto, mas suas representações internas refletem a arquitetura temporal do processamento de leitura humana (camadas baixas = reconhecimento inicial; camadas altas/escalares = integração tardia).
• Limitações do Surprisal: Sugere que o surprisal, embora útil, é uma compressão excessiva que perde informações relevantes para o processamento inicial de palavras, especialmente em contextos multilíngues.
• Direções Futuras: A pesquisa aponta para a necessidade de usar representações de camadas específicas (e não apenas a saída final) para modelar comportamentos cognitivos humanos com maior precisão. Além disso, destaca que a escolha do preditor ideal deve ser adaptada à língua e à métrica de leitura específica, em vez de buscar um modelo único universal.

Em resumo, o artigo demonstra que a "psicometria" dos modelos de linguagem é complexa e estratificada: diferentes camadas do modelo correspondem a diferentes estágios cognitivos da leitura humana, e a melhor maneira de prever o comportamento do leitor depende de como exploramos essas camadas.