💬 NLP

Eyettention II: A Dual-Sequence Architecture for Modeling Fixation Location, Within-Word Landing Position, and Fixation Duration in Reading

Para enfrentar a escassez de dados de rastreamento ocular, o artigo apresenta o Eyettention II, um modelo de aprendizado profundo leve e de ponta a ponta que gera trajetórias de leitura realistas e de múltiplos atributos ao alinhar-se com teorias cognitivas e superar modelos de última geração na previsão de comportamentos de olhar semelhantes aos humanos.

Autores originais: Shuwen Deng, Cui Ding, David R. Reich, Paul Prasse, Lena A. Jäger

Publicado 2026-06-02

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shuwen Deng, Cui Ding, David R. Reich, Paul Prasse, Lena A. Jäger

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está lendo um livro. Seus olhos não deslizam suavemente pela página como um carro em uma rodovia; em vez disso, eles saltam em pequenos surtos chamados "fixações", pousando em palavras específicas, às vezes avançando, às vezes voltando para reler. Esse padrão de saltos é chamado de scanpath (trajetória de varredura).

Por décadas, cientistas tentaram construir modelos de computador que pudessem prever exatamente onde seus olhos pousarão e quanto tempo eles permanecerão lá. O problema é que coletar dados reais de rastreamento ocular é caro e lento — é como tentar filmar um filme onde cada ator precisa usar uma câmera especial na cabeça. Como não há dados "reais" suficientes, é difícil treinar computadores para serem bons em prever esses saltos.

Apresentamos o Eyettention II. Pense neste novo modelo como um simulador altamente qualificado ou um rastreador ocular virtual. É um software que pode gerar dados de movimento ocular "falsos" e realistas para qualquer texto, completando onde o olho pousa, exatamente em que parte da palavra ele para e quanto tempo ele faz a pausa.

Aqui está uma análise de como ele funciona e o que o artigo descobriu, usando analogias simples:

1. O Quebra-Cabeça da "Sequência Dupla"

A maioria dos modelos de computador trata a leitura como uma lista simples: Palavra 1, Palavra 2, Palavra 3. Mas a leitura humana é bagunçada. Nós pulamos palavras, voltamos e encaramos palavras longas por mais tempo do que as curtas.

Os autores descrevem o Eyettention II como um arquiteto de sequência dupla. Imagine duas esteiras rolantes correndo lado a lado:

Esteira A (O Texto): As palavras na ordem em que aparecem na frase.
Esteira B (O Tempo): A ordem em que seus olhos realmente olham para as coisas.

Como seus olhos nem sempre seguem o texto perfeitamente (você pode voltar para o início), essas duas esteiras ficam fora de sincronia. O Eyettention II é especial porque possui um "controlador de tráfego" (um mecanismo de atenção cruzada) que observa ambas as esteiras simultaneamente. Ele sabe que, só porque o texto diz que a "Palavra 5" é a próxima, seus olhos podem estar saltando de volta para a "Palavra 2". Isso permite que ele imite a forma caótica e não linear como os humanos realmente leem.

2. O Que Ele Prediz?

Modelos antigos eram como um GPS que apenas dizia em qual cidade você estava. O Eyettention II é um GPS de alta definição que diz:

A Cidade (Índice da Palavra): Qual palavra está sendo observada?
O Endereço da Rua (Posição de Pouso): Exatamente onde o olho pousa naquela palavra? (ex: no início, no meio ou no fim).
O Tempo de Permanência (Duração): Quanto tempo o olho permanece lá?

Ele gera essas três coisas em uma cadeia, uma após a outra, exatamente como um humano lendo em tempo real.

3. O Modo "Personal Trainer"

O artigo também apresenta uma versão especial chamada Eyettention IIreader.
Imagine que você tem um treinador de fitness genérico que conhece a corrida média de uma pessoa. Mas e se você quiser um treinador que conheça o seu estilo específico de corrida? Esta versão do modelo pode ser "ajustada" para uma pessoa específica (ou um grupo de pessoas). Se você fornecer dados de um leitor específico, ele aprende os hábitos únicos dessa pessoa — talvez ela pule palavras curtas com mais frequência, ou encare palavras difíceis por mais tempo — e pode então simular os movimentos oculares daquele leitor específico.

4. Quão Bom Ele É?

Os pesquisadores testaram este modelo em textos em inglês e chinês (duas línguas muito diferentes). Eles o compararam com:

Modelos de IA mais antigos: O novo modelo venceu, prevendo os movimentos oculares com mais precisão.
Modelos "Cognitivos" Clássicos: Estes são modelos mais antigos, baseados em regras, construídos por psicólogos para imitar o pensamento humano. O Eyettention II também os venceu, mostrando que uma abordagem baseada em dados pode capturar padrões complexos que regras simples deixam passar.
Humanos Reais: Curiosamente, os movimentos oculares "falsos" do modelo eram às vezes mais semelhantes entre si do que os humanos reais eram entre si. Isso ocorre porque os humanos reais são desordenados e variam amplamente, enquanto o modelo encontra o padrão humano "médio".

5. Por Que Precisamos de um Rastreador Ocular Falso?

O artigo destaca três razões principais para usar este simulador, todas relacionadas a economizar tempo e dinheiro:

O "Teste Piloto" (Planejamento de Experimentos): Antes de um cientista realizar um experimento real com 50 pessoas, ele pode usar o simulador para "rodar" o experimento 1.000 vezes virtualmente. Isso o ajuda a descobrir se seus materiais de teste são bons e quantas pessoas ele realmente precisará recrutar. É como um simulador de voo para pesquisadores.
O "Aumentador de Dados" (Treinamento de IA): Se você deseja construir uma IA que entenda a leitura, precisa de toneladas de dados de rastreamento ocular. Como os dados reais são escassos, você pode usar o Eyettention II para gerar milhões de registros de rastreamento ocular "falsos" para treinar sua IA, tornando-a mais inteligente sem precisar prender câmeras em milhares de pessoas reais.
A Ferramenta "E Se": Pesquisadores podem usá-lo para ver como diferentes layouts de texto ou idiomas podem afetar a leitura, sem ter que configurar equipamentos de laboratório caros.

6. Uma Descoberta Surpreendente: "Maior não é Melhor"

Os pesquisadores testaram o modelo usando diferentes tamanhos de "cérebros" (Modelos de Linguagem) para entender o texto. Eles descobriram um resultado contraintuitivo: Modelos menores funcionaram melhor.

Eles tentaram usar modelos de IA massivos e complexos (como os que alimentam chatbots avançados) para entender o texto.
Eles também tentaram modelos menores e mais simples.
Resultado: Os modelos menores previram melhor os movimentos oculares humanos. Parece que, para a leitura, você não precisa de um cérebro supercomplexo que entenda filosofia profunda; você precisa de um modelo que entenda a estrutura imediata e superficial da frase.

Resumo

O Eyettention II é um programa de computador leve e eficiente que atua como um "olho virtual". Ele não apenas adivinha qual palavra você lerá a seguir; ele prevê exatamente onde seu olho pousará naquela palavra e quanto tempo você ficará olhando, imitando o comportamento humano com alta precisão. Ele resolve o problema da escassez de dados reais de rastreamento ocular ao gerar dados "falsos" de alta qualidade, o que ajuda cientistas a planejar melhores experimentos e a treinar sistemas de IA mais inteligentes.

Resumo Técnico: Eyettention II

Definição do Problema
Dados de rastreamento ocular durante a leitura oferecem insights críticos sobre processos cognitivos e propriedades textuais, impulsionando aplicações em processamento de linguagem natural (PLN), como o aprimoramento de modelos de linguagem (LMs) e a inferência de características do leitor. No entanto, a área enfrenta um gargalo significativo: a escassez de dados. A coleta de conjuntos de dados de rastreamento ocular em larga escala é intensiva em recursos, limitando o treinamento de modelos baseados em dados e dificultando a replicação de experimentos psicolinguísticos. Os modelos computacionais existentes frequentemente dependem de abordagens heurísticas e baseadas em regras com poucos parâmetros para garantir interpretabilidade, o que restringe sua capacidade de capturar padrões complexos e de se generalizar entre diferentes populações, idiomas e configurações experimentais. Além disso, abordagens anteriores de aprendizado de máquina frequentemente focavam em aspectos espaciais (localização da fixação) ou temporais (duração agregada da fixação) isoladamente, falhando em gerar trajetórias de varredura (scanpaths) completas e sequenciais que capturem a dinâmica total da leitura humana.

Metodologia
Os autores propõem o Eyettention II, um modelo de aprendizagem profunda leve, treinado de ponta a ponta, projetado para gerar scanpaths realistas consistindo em um conjunto completo de atributos de fixação em ordem cronológica.

Arquitetura de Sequência Dupla: A inovação central aborda a natureza de "sequência dupla" dos dados de leitura: a sequência linguística (palavras ordenadas pela gramática) e a sequência temporal (fixações ordenadas pelo tempo). Diferente de modelos de sequência padrão ou arquiteturas encoder-decoder que alinham um único input a um único output, o Eyettention II emprega uma estrutura de bi-encoder de sequência dupla. Ele utiliza um Encoder de Sequência de Palavras (processando o texto do estímulo) e um Encoder de Sequência de Fixação (processando o histórico de fixações).
Atenção entre Sequências (Cross-Sequence Attention): O modelo alinha essas duas sequências usando um mecanismo de atenção cruzada com uma janela local. Isso simula o campo visual humano ao atender apenas às palavras que circundam a palavra atualmente fixada, em vez de toda a sentença, preservando a autoregressividade na dimensão temporal enquanto aproveita um contexto linguístico rico.
Módulos de Predição: O modelo prevê três atributos sequencialmente para cada fixação:
1. Índice da Palavra ( $k$ ): Uma tarefa de classificação multiclasse que prevê qual palavra será fixada a seguir.
2. Posição de Pouso ( $l$ ): Uma tarefa de regressão que prevê o deslocamento horizontal normalizado dentro da palavra (0 a 1).
3. Duração da Fixação ( $d$ ): Uma tarefa de regressão que prevê o tempo gasto na fixação.
Variante Específica do Leitor: Os autores introduzem o Eyettention II $_{reader}$ , que incorpora um embedding de identificador de leitor treinável. Isso permite que o modelo aprenda e reproduza padrões de leitura característicos de indivíduos ou grupos específicos.
Treinamento: O modelo é otim-imizado usando uma função de perda combinada composta por log-verossimilhança negativa (NLL) para o índice da palavra e erro quadrático médio (MSE) para a posição de pouso e duração. Ele utiliza LLMs pré-treinados como BERT ou RoBERTa como o núcleo do Encoder de Sequência de Palavras, que permanecem congelados durante o treinamento, seguidos por uma camada BiLSTM.

Principais Contribuições

Geração de Scanpath Abrangente: O Eyettention II é o primeiro modelo a prever simultaneamente o local da fixação, a posição de pouso dentro da palavra e a duração da fixação em um único framework de ponta a ponta, indo além das limitações de prever apenas localizações de fixação ou durações agregadas.
Desempenho de Estado da Arte: O modelo atinge um desempenho superior tanto em avaliações dentro do mesmo dataset quanto em cross-dataset comparado a modelos cognitivos existentes (E-Z Reader, SWIFT) e baselines de aprendizado de máquina.
Validade Psicolinguística: O modelo reflete com sucesso o comportamento de olhar humano, reproduzindo fenômenos psicolinguísticos chave, como os efeitos de frequência lexical, comprimento da palavra e surprisal sobre as durações de fixação e regressões.
Adaptabilidade do Leitor: A introdução da variante específica do leitor demonstra que o modelo pode efetivamente simular estilos de leitura individuais, uma capacidade crucial para aplicações personalizadas.
Utilidade para Planejamento Experimental: Os autores demonstram a utilidade do modelo na realização de análises de poder estatístico e testes piloto de experimentos psicolinguísticos, mostrando que dados simulados podem fornecer estimativas realistas de tamanho de efeito, particularmente quando combinados com uma estratégia de pré-treinamento e ajuste fino (fine-tuning) para pequenos datasets.

Resultados

Desempenho Quantitativo: Em ambos os datasets, inglês (CELER) e chinês (BSC), o Eyettention II superou os modelos de referência (incluindo E-Z Reader, SWIFT e versões anteriores do Eyettention) em todas as métricas: predição de índice de palavra (NLL), posição de pouso (MAE), duração de fixação (MAE) e similaridade geral de scanpath (MultiMatch).
Generalização: Em avaliações de cross-dataset (treinado no CELER, testado no ZuCo), o modelo mostrou quedas significativas de desempenho quando treinado do zero nos dados alvo. No entanto, uma estratégia de pré-treinamento e ajuste fino (pré-treinar em um grande dataset de origem e ajustar em um pequeno dataset de destino) restaurou efetivamente o desempenho, permitindo a modelagem precisa mesmo com dados alvo limitados.
Alinhamento Psicolinguístico: Análises de efeitos mistos Bayesianos confirmaram que o Eyettention II captura a direção e a magnitude dos efeitos de comprimento de palavra, frequência e surprisal de forma semelhante aos leitores humanos, superando modelos cognitivos tradicionais em muitas medidas.
Insights da Arquitetura do Modelo:
- Tamanho do LM: Contrariando as leis de escala gerais, LMs menores (ex: BERT/RoBERTa 110M) forneceram melhores características linguísticas para a predição de scanpath do que modelos maiores (até 7B de parâmetros).
- Profundidade de Camada: Camadas inferiores do BERT foram mais preditivas para aspectos espaciais (índice da palavra, posição de pouso), enquanto camadas superiores foram mais influentes para aspectos temporais (duração da fixação).
Estratégias de Decodificação: A escolha da estratégia de decodificação (Greedy, Amostragem de Temperatura, Amostragem de Núcleo) permite um compromisso entre gerar scanpaths de alta probabilidade "médios" e scanpaths mais diversos e variáveis. A amostragem de núcleo ( $p=0.7$ ) e a amostragem de baixa temperatura ( $t=0.04$ ) produziram os melhores resultados para diferentes datasets.

Significância e Alegações
O artigo afirma que o Eyettention II representa um avanço significativo na modelagem do comportamento de leitura humana ao preencher a lacuna entre a teoria cognitiva e o aprendizado profundo baseado em dados. Sua principal significância reside na capacidade de gerar scanpaths completos e realistas com requisitos de dados limitados, tornando-o uma ferramenta versátil para:

Aplicações de PLN: Pré-treinamento ou ajuste fino de modelos de linguagem aumentados por gaze e inferência de características do leitor sem a necessidade de dados de rastreamento ocular em tempo real para cada entrada.
Pesquisa Psicolinguística: Facilitar o teste piloto de materiais experimentais e a realização de análises de poder estatístico para mitigar a crise de replicação causada por amostras pequenas.
Insight Teórico: Fornecer uma ferramenta baseada em dados para investigar quais características linguísticas e visuais guiam o comportamento de leitura humana, revelando padrões não explicitamente codificados em modelos cognitivos teóricos.

Os autores mantêm uma postura modesta, reconhecendo que, embora o modelo capture fenômenos chave, ele não é totalmente interpretável como os modelos cognitivos baseados em regras. Eles observam que refinamentos adicionais são necessários para melhor corresponder à variabilidade humana em medidas binárias (como probabilidades de regressão) e para melhorar o desempenho em datasets chineses em comparação aos ingleses. O trabalho enfatiza que o modelo é uma ferramenta para gerar hipóteses e simular dados, não um substituto completo para a experimentação humana.