Controlling Reading Ease with Gaze-Guided Text Generation

Resumo Técnico: Controlando a Facilidade de Leitura com Geração de Texto Guiada pelo Olhar

Definição do Problema
Controlar a legibilidade do texto gerado é crítico para aplicações que variam desde a aquisição de segunda língua até a acessibilidade para indivíduos com deficiências de comunicação. Embora os Grandes Modelos de Linguagem (LLMs) tenham sido aplicados à adaptação de texto via prompting ou ajuste fino (fine-tuning), esses métodos frequentemente carecem de transparência e controle preciso, resultando frequentemente em saídas desalinhadas com os níveis de legibilidade desejados. As abordagens existentes têm dificuldade em fornecer um sinal direto e interpretável para direcionar a geração para cargas específicas de processamento cognitivo.

Metodologia
Os autores propõem um framework de geração de texto guiado pelo olhar que direciona as saídas de LLMs para elicitar comportamentos de leitura específicos (por exemplo, aumento ou diminuição do tempo de leitura) integrando dados de rastreamento ocular ao processo de decodificação. O sistema opera como um conjunto de dois modelos unidirecionais:

1. Modelo de Linguagem (LM): Um LLM pronto para uso e ajustado por instrução (Llama 3.2, 3 bilhões de parâmetros) que gera a distribuição de probabilidade para o próximo token com base no contexto precedente.
2. Modelo de Olhar (Gaze Model): Um modelo GPT-2 ajustado (124 milhões de parâmetros) treinado para prever medidas agregadas de rastreamento ocular (especificamente, o Tempo de Primeira Passagem na palavra, ou FPRT) para sequências de tokens candidatas.

O Mecanismo de Decodificação
O método modifica o processo padrão de decodificação beam search através de um mecanismo de reclassificação de pontuação (scoring re-ranking):

• O LM gera os $k$ tokens candidatos superiores (onde $k=8$).
• O Modelo de Olhar prevê o FPRT para cada sequência candidata.
• Um peso de olhar (gaze weight) definido pelo usuário ($w$) é aplicado à pontuação do olhar.
• A pontuação total final para um token é calculada como:
  $$\text{Pontuação Total} = \text{Log Probabilidade do Token} + (w \times \text{Pontuação de Olhar Normalizada})$$
• Um peso de olhar positivo favorece tokens previstos para induzir tempos de leitura mais longos (maior dificuldade), enquanto um peso negativo favorece tokens com tempos de leitura mais curtos (menor dificuldade). Um peso de 0 desabilita a orientação pelo olhar.

Para abordar as discrepâncias de tokenização entre o LM e o modelo de olhar (que opera em subpalavras), os autores utilizam o beam search. Isso permite que o sistema "revise" previsões parciais de palavras à medida que a tokenização do modelo de olhar se estabiliza, evitando a dependência de pontuações de subpalavras não confiáveis.

Principais Contribuições

1. Novo Mecanismo de Controle: A introdução de um método que utiliza dados de rastreamento ocular como um sinal direto para guiar a geração de texto de LLM durante a inferência, evitando a necessidade de um ajuste fino completo do modelo.
2. Lançamento de Dataset: A criação e o lançamento público de um novo conjunto de dados de rastreamento ocular durante a leitura contendo textos gerados via este método de geração guiada pelo olhar, juntamente com os dados de rastreamento ocular brutos e processados do estudo de avaliação.
3. Validação Empírica: Uma análise abrangente combinando extração de características linguísticas, métricas de rastreamento ocular e avaliações subjetivas humanas para demonstrar a eficácia do método.

Resultos Experimentais
Os autores conduziram um estudo de rastreamento ocular com 24 participantes (12 falantes nativos de inglês [L1] e 12 não nativos [L2]) lendo histórias geradas com pesos de olhar de $-2$, $0$e$+2$.

• Características do Texto: O aumento do peso de olhar resultou em textos com menos palavras, porém mais longas, menor frequência de palavras (escores Zipf mais altos), frases mais curtas e maior diversidade lexical. Pesos extremos ($\pm 5$) causaram modos de falha repetitivos.
• Comportamento de Leitura: O método alterou com sucesso os tempos de leitura. Pesos de olhar positivos aumentaram os Tempos de Primeira Passagem (FPRT), enquanto pesos negativos os diminuíram. O efeito foi estatisticamente significativo para leitores L1 e L2 ($p < 0.001$), embora a magnitude tenha sido maior para leitores L2.
• Impulsionadores Linguísticos: A análise estatística revelou que as mudanças no comportamento de leitura foram impulsionadas primariamente por características de processamento lexical, especificamente o comprimento da palavra e a prevalência da palavra (familiaridade). Ao controlar essas características, o efeito do peso de olhar tornou-se insignificante para leitores L1, mas permaneceu significativo para leitores L2, sugerindo que os leitores L2 enfrentaram desafios de processamento adicionais além da simples familiaridade lexical.
• Percepção Subjetiva: Os leitores perceberam os textos com pesos de olhar mais altos como mais difíceis. As classificações de naturalidade diminuíram para leitores L2 com pesos positivos, provavelmente devido à dificuldade percebida, e não à má fluência. As classificações de interesse permaneceram amplamente inalteradas.
• Desempenho do Modelo: As previsões do modelo de olhar correlacionaram-se moderadamente com os tempos de leitura observados ($r \approx 0.55–0.59$), performando ligeiramente melhor em palavras de baixa prevalência.

Significância e Alegações
O artigo afirma que a geração de texto guiada pelo olhar é uma abordagem eficaz, modular e eficiente para controlar a facilidade de leitura sem comprometer a qualidade do texto. Os autores enfatizam que o método consegue direcionar LLMs para textos que são objetivamente mais fáceis ou mais difíceis de ler, conforme medido pelo esforço cognitivo (FPRT) e dificuldade subjetiva.

Os autores mantêm um escopo modesto em relação às limitações de seus achados:

• Os efeitos observados são atribuídos majoritariamente a características lexicais de baixo nível (comprimento e frequência da palavra) em vez de estruturas sintáticas ou semânticas complexas. Isso é atribuído à escolha do FPRT como métrica alvo, que é conhecida por refletir o processamento cognitivo precoce.
• A abordagem está atualmente limitada ao Inglês, pois os dados de treinamento para o modelo de olhar são apenas em inglês.
• Embora o método mostre promessa para simplificação de texto e material educacional personalizado, os autores observam que sua implementação atual não aborda totalmente a simplificação sintática ou de discurso necessária para aplicações de acessibilidade mais amplas.
• O estudo não incluiu grupos de usuários primários para acessibilidade (ex: indivíduos com deficiências de comunicação específicas), limitando alegações diretas sobre a utilidade do método nesses contextos específicos.

O trabalho representa um passo fundamental em direção à geração de texto personalizada e adaptada a grupos de leitores específicos, utilizando o rastreamento ocular como um sinal de feedback para estratégias de decodificação.