Leveraging Human Reading Behavior for Keyphrase Extraction: A Webcam-based Eye-tracking Corpus

Resumo Técnico: Aproveitando o Comportamento de Leitura Humana para a Extração de Palavras-Chave

Definição do Problema
A extração de palavras-chave (KPE - Keyphrase Extraction) é uma tarefa fundamental na recuperação de informação, contudo, os métodos existentes baseiam-se predominantemente em pistas internas do texto, como frequência de termos, padrões sintáticos e semântica contextual. Essas abordagens negligenciam amplamente a conexão entre as palavras-chave e o comportamento de leitura humana, especificamente como os leitores alocam a atenção durante a compreensão. Embora estudos de rastreamento ocular (eye-tracking) tenham estabelecido que os padrões de fixação se correlacionam com o processamento cognitivo, a aplicação desses insights à KPE é dificultada por dois fatores principais: a escassez de dados de rastreamento ocular para textos acadêmicos em chinês e o alto custo dos equipamentos tradicionais de rastreamento ocular de nível laboratorial. Além disso, os corpora de código aberto existentes (ex: ZuCo, GECO) baseiam-se principalmente em conteúdos gerais, como notícias ou romances, carecendo da terminologia específica de domínio e das convenções estruturais da literatura acadêmica, particularmente na Ciência da Informação e da Biblioteca (LIS).

Metodologia
Para abordar essas lacunas, os autores desenvolveram um framework abrangente envolvendo coleta de dados, construção de corpus e integração de modelos:

1. Plataforma de Coleta de Dados de Baixo Custo: O estudo utilizou uma abordagem de baixo custo baseada em webcam, integrando a biblioteca JavaScript de código aberto SearchGazer com um backend baseado em Flask. Esta plataforma permite a inferência de olhar em tempo real usando webcams de consumo, eliminando a necessidade de hardware especializado.
2. Construção do Corpus (CLIS-ET): Os autores construíram o Corpus de Rastreamento Ocular de LIS Chinês (CLIS-ET). Os dados foram coletados de dez estudantes de pós-graduação e graduação sênior de LIS que leram 320 resumos de periódicos principais de LIS chineses. O experimento envolveu uma calibração de nove pontos antes de cada resumo e uma verificação de compreensão pós-leitura.
3. Extração de Características: O estudo focou em métricas de rastreamento ocular ao nível de caractere para evitar problemas de segmentação de palavras. Três características primárias foram extraídas e calculadas pela média entre os participantes:
   • Duração da Primeira Fixação (FFD - First Fixation Duration): A duração do olhar inicial em um caractere.
   • Número de Fixações (FN - Fixation Number): A contagem total de olhares em um caractere.
   • Duração Total da Fixação (TFD - Total Fixation Duration): O tempo cumulativo gasto olhando para um caractere.
     Os dados foram filtrados para reter fixações válidas (16,7ms a 1500ms), e dados de caracteres inválidos (onde >50% dos participantes não possuíam dados válidos) foram descartados.
4. Integração de Modelos: As características de rastreamento ocular foram incorporadas em duas categorias de modelos de KPE:
   • Redes Neurais Recorrentes: BiLSTM, BiLSTM+CRF, BiLSTM com Atenção (Att-BiLSTM) e Att-BiLSTM+CRF. As características foram usadas como entradas externas ou indicadores de atenção.
   • Modelos de Linguagem Pré-treinados: BERT, RoBERTa, MacBERT e Randeng-T5-784M.
5. Avaliação: Os experimentos foram conduzidos em dois conjuntos de dados: um conjunto menor de rastreamento ocular (Abstract-320) e um conjunto maior de KPE geral (Abstract-5190) derivado das mesmas fontes de periódicos. O desempenho foi avaliado usando pontuações F1 nas extrações de top-3, top-5 e top-10 palavras-chave.

Principais Contribuições

1. Método de Coleta de Dados Acessível: O artigo introduz uma plataforma leve e escalável para coletar dados de rastreamento ocular usando webcams padrão, reduzindo significativamente a barreira para a pesquisa de comportamento de leitura específica de domínio.
2. Corpus CLIS-ET: O lançamento do primeiro corpus de rastreamento ocular específico de domínio para resumos acadêmicos de LIS em chinês, fornecendo métricas ao nível de caractere (FFD, FN, TFD) para pesquisa cognitiva de KPE.
3. Validação Empírica de Sinais Cognitivos: O estudo avalia sistematicamente como as características individuais e combinadas de rastreamento ocular influenciam o desempenho da KPE em várias arquiteturas de modelos, demonstrando que o comportamento de leitura humana fornece sinais complementares às características textuais.

Resultos

• Eficácia das Características: A integração das características de rastreamento ocular melhorou consistentemente o desempenho da KPE em ambos os conjuntos de dados e tipos de modelos.
  • No conjunto de dados Abstract-320, a característica FFD gerou o aumento mais significativo para modelos baseados em BERT (até +2,83%).
  • No conjunto de dados maior Abstract-5190, a característica FN combinada com RoBERTa alcançou o maior desempenho (44,51% F1@5).
• Combinações de Características: A combinação de Número de Fixação e Duração Total da Fixação (FN+TFD) alcançou o melhor desempenho no modelo Att-BiLSTM+CRF. Geralmente, combinações de FFD+FN e FN+TFD proporcionaram melhorias mais estáveis do que o uso de características únicas ou do trio completo (FFD+FN+TFD).
• Significância Estatística: Testes t pareados no conjunto de dados Abstract-320 confirmaram que as características de rastreamento ocular exercem efeitos estatisticamente significativos em múltiplas arquiteturas. Especificamente, FN+TFD e FFD+TFD mostraram significância consistente, sugerindo que a frequência e a duração da fixação capturam aspectos complementares do comportamento de leitura.
• Efeitos de Escala do Conjunto de Dados: O estudo observou que características de processamento precoce (como FFD) oferecem maior ganho informacional quando os dados são limitados, enquanto características de processamento cumulativo (como TFD) apoiam melhor a modelagem semântica profunda em conjuntos de dados maiores.

Significância e Alegações
O artigo afirma que a incorporação do comportamento de leitura humana em modelos computacionais preenche a lacuna entre heurísticas estatísticas e processos cognitivos. Ao demonstrar que o rastreamento ocular leve via webcam pode efetivamente aprimorar a KPE, os autores defendem uma abordagem mais acessível e de baixo custo para a coleta de dados cognitivos para PLN (Natural Language Processing). Os achados sugerem que as características de rastreamento ocular servem como sinais auxiliares valiosos que refletem a profundidade do processamento semântico e a importância de itens lexicais, melhorando assim a interpretabilidade e o desempenho dos sistemas de extração de palavras-chave. O estudo posiciona este trabalho como um passo em direção à construção de ferramentas de recuperação de informação centradas no ser humano que se alinhem mais de perto com os padrões reais de atenção do leitor.