Resumo Técnico: Avaliação Cognitiva Baseada em Rastreamento Ocular de Métodos de Avaliação Automática de Legibilidade

Definição do Problema

A Avaliação Automática de Legibilidade (ARA, na sigla em inglês) é um domínio de pesquisa há mais de um século, amplamente utilizado na educação, saúde e mídia. Historicamente, o desenvolvimento e a avaliação de métodos de ARA têm dependido de duas fontes primárias de dados comportamentais offline: o desempenho em testes de compreensão de leitura e as classificações humanas de níveis de legibilidade de texto. No entanto, essas abordagens capturam sinais offline que não medem diretamente um aspecto fundamental da legibilidade: a facilidade de leitura em tempo real. Embora a facilidade de leitura tenha sido proposta precocemente como um constructo chave (ex: Dale e Chall 1949; Kintsch e Vipond 1979), ela permaneceu subestudada em ARA devido à escassez de dados comportamentais do processo de leitura. Além disso, os métodos de avaliação existentes frequentemente sofrem com o emaranhamento da dificuldade textual decorrente da variação tópica versus a complexidade linguística.

Metodologia

Os autores introduzem um framework de avaliação cognitiva que utiliza dados de rastreamento ocular (eye-tracking) para quantificar a capacidade dos métodos de pontuação de legibilidade em considerar a facilidade de leitura, especificamente controlando a variação de conteúdo.

Coleta de Dados

O estudo utiliza um conjunto de dados combinado, OneStopL1&L2, compreendendo mais de 3,7 milhões de tokens de palavras de 638 participantes adultos (360 falantes nativos de inglês [L1] e 278 falantes de inglês como segunda língua [L2] com diversas origens nativas).

• Materiais Textuais: O conjunto de dados utiliza um corpus paralelo do dataset OneStopQA, consistindo em 30 artigos de notícias do Guardian. Cada artigo existe em uma versão original "Avançada" e uma versão "Elementar" simplificada por humanos, criada por professores de idiomas experientes utilizando um método de simplificação intuitivo.
• Design Experimental: Os participantes leram parágrafos em um regime de busca de informação ou de compreensão. O design garante que cada participante leia tanto as versões originais quanto as simplificadas do mesmo conteúdo, permitindo o isolamento dos efeitos de simplificação.
• Rastreamento Ocular: Os dados foram coletados usando um EyeLink 1000 Plus a 1000 Hz.

Framework de Avaliação

A métrica central é a facilitação de leitura, definida como a mudança nas medidas de facilidade de leitura entre as versões original e simplificada de um texto.

• Variáveis Alvo (Facilidade de Leitura): O estudo mede três métricas de movimento ocular online conhecidas por indexar a dificuldade de processamento:
  1. Duração Total de Fixação (TF): Soma das durações de fixação em uma palavra.
  2. Taxa de Salto (SR): Fração de palavras saltadas.
  3. Taxa de Regressão (RR): Número de sacadas para trás por palavra.
• Métrica de Avaliação: A qualidade de um método de pontuação de legibilidade ($M$) é avaliada pela correlação de Pearson ($r$) entre a diferença nas pontuações ($\Delta Score_M$) prevista pelo método para o texto original vs. simplificado, e a diferença na facilidade de leitura ($\Delta ReadingEase$) observada nos dados de rastreamento ocular para os mesmos pares de textos.
  $$Eval_M = \text{Pearson\_corr}(\Delta Score_{M,T}, \Delta ReadingEase_{E,T})$$

Sistemas Avaliados

O framework faz o benchmarking de 20 métodos proeminentes de pontuação de legibilidade contra medidas psicolinguísticas teoricamente motivadas:

1. Fórmulas Tradicionais: Flesch Reading Ease, Dale-Chall, Gunning Fog, ARI, Coleman-Liau, Flesch-Kincaid.
2. Métodos Modernos de NLP: Modelos supervisionados (CML2RI, CAREC, CARES, Sentence-BERT) e medidas não supervisionadas (Perplexidade, Razão de Log-Odds Sintática).
3. Sistemas Comerciais: Lexile Text Analyzer e TextEvaluator (ETS).
4. Grandes Modelos de Linguagem (LLMs): Seis modelos de fronteira (Llama 3.3, GPT-4o, GPT-5, Gemini 2.0/2.5, Claude Sonnet 4) com prompts para anotações baseadas em nível de escolaridade ou pontuação.
5. Baselines Psicolinguísticas: Medidas relacionadas à memória (Densidade de Ideias, Custo de Integração, Profundidade de Incorporação) e medidas de teoria da informação (Surprisal, Entropia, Densidade de Informação Uniforme, Pseudo Log Likelihood), juntamente com propriedades de palavras padrão (Comprimento da Palavra, Frequência da Palavra).

Resultados Principais

A avaliação revela uma lacuna significativa entre os métodos atuais de ARA e a realidade cognitiva da facilidade de leitura.

1. Baixo Desempenho dos Métodos de ARA: Fórmulas tradicionais, sistemas modernos de NLP, ferramentas comerciais e LLMs de fronteira demonstram correlações baixas ou não significativas com as medidas de facilidade de leitura em tempo real. Notavelmente, não se observa um padrão de melhoria de desempenho ao longo do tempo, apesar da crescente sofisticação dos LLMs. Sistemas comerciais (Lexile, TextEvaluator) mostraram predictividade particularmente baixa.
2. Superioridade das Propriedades de Palavras Psicofisiológicas: Propriedades de palavras padrão conhecidas por prever tempos de leitura em psicolinguística superaram todos os métodos de ARA. As "três grandes" preditoras — Comprimento da Palavra, Frequência da Palavra e Surprisal — produziram consistentemente correlações fortes.
3. Surprisal como o Melhor Preditor: O Surprisal (a log-probabilidade negativa de uma palavra no contexto) emergiu como o índice mais preditivo de facilidade de leitura no geral. Ele superou preditores baseados em memória (Densidade de Ideia, Custo de Integração) e outras medidas de teoria da informação.
4. Robustez: Esses achados sustentam-se através de:
   • Grupos de leitores (falantes L1 e L2).
   • Regimes de leitura (compreensão vs. busca de informação).
   • Unidades textuais (sentenças e passagens).
   • Medidas de eye-tracking (incluindo Primeira Fixação, Duração do Olhar e Velocidade de Leitura).
5. Controle de Conteúdo: O estudo demonstra que a falta de controle de conteúdo nas avaliações tradicionais (predição direta de tempos de leitura) infla o desempenho aparente de muitos métodos de ARA, pois eles frequentemente capturam a dificuldade tópica em vez da complexidade linguística. A abordagem com controle de conteúdo revela que métodos como Surprisal, Entropia e Comprimento de Palavra permanecem estáveis, enquanto outros degradam significativamente quando o tópico é controlado.

Significância e Alegações

O artigo afirma fornecer o primeiro panorama abrangente da capacidade limitada de quase um século de métodos de ARA em considerar como os humanos experienciam textos em tempo real.

• Limitação dos Métodos Atuais: Os resultados destacam uma limitação crítica nos métodos de pontuação de legibilidade amplamente utilizados, sugerindo que são preditores pobres da facilidade de leitura em adultos comparados a simples propriedades de palavras psicolinguísticas.
• Cautela na Aplicação: Os autores pedem maior cautela no uso de métodos de ARA existentes e LLMs para pontuação de legibilidade, particularmente em cenários de alto risco, pois eles podem não refletir com precisão a carga cognitiva da leitura.
• Necessidade de Novas Abordagens: Os achados defendem o desenvolvimento de novas abordagens de pontuação de legibilidade, orientadas cognitivamente, que considerem melhor as experiências de leitura em tempo real.
• Utilidade do Rastreamento Ocular: O estudo ressalta a utilidade de benchmarks comportamentais em tempo real (rastreamento ocular), oferecendo uma alternativa contínua e interpretável aos testes de compreensão offline e às classificações humanas discretas.
• Papel do Surprisal: O artigo sugere que o Surprisal, computável via modelos de linguagem prontamente disponíveis, serve como uma medida robusta, simples e geral de legibilidade que deve ser mais amplamente adotada.

Os autores mantêm a modéstia quanto à generalização de seus achados, observando que o estudo é restrito ao inglês, participantes adultos e à abordagem de simplificação humana "intuitiva". Eles identificam a necessidade de trabalhos futuros para estender essas avaliações para crianças, idosos, outras línguas e contextos de simplificação automatizada.