Utilizing Cognitive Signals Generated during Human Reading to Enhance Keyphrase Extraction from Microblogs

Resumo Técnico: Utilizando Sinais Cognitivos Gerados durante a Leitura Humana para Aperfeiçoar a Extração de Chave-palavras de Microblogs

Definição do Problema
As plataformas de microblogging geram vastas quantidades de conteúdo não estruturado gerado pelo usuário, tornando a extração eficiente de informações um desafio. Embora a Extração Automática de Chave-palavras (AKE, na sigla em inglês) seja uma tarefa padrão de Processamento de Linguagem Natural (PLN) usada para gerar hashtags e resumir conteúdo, os métodos existentes frequentemente enfrentam dificuldades com a brevidade e o ruído inerentes aos microblogs. Pesquisas anteriores tentaram melhorar a AKE incorporando sinais de rastreamento ocular (eye-tracking), que refletem a atenção do usuário. No entanto, depender exclusivamente do rastreamento ocular apresenta limitações: oferece uma inferência fraca da atividade cerebral cognitiva subjacente, sofre com restrições de aquisição de dados (ex.: altas taxas de omissão em dispositivos de baixo custo) e demonstrou apenas melhorias marginais de desempenho (aproximadamente 1%) em estudos anteriores. Além disso, modelos existentes muitas vezes carecem de granularidade de recursos suficiente e de testes arquiteturais diversos.

Metodologia
Os autores propõem um framework que integra sinais de Eletroencefalograma (EEG) juntamente com sinais de rastreamento ocular para aprimorar a AKE baseada em microblogs. A pesquisa utiliza o Corpus de Processamento de Linguagem Cognitiva de Zurique (ZUCO) para dados cognitivos e os conjuntos de dados General-Twitter e Election-Trec para tarefas de AKE.

1. Construção de Dados: Um "Corpus de AKE baseado em Sinais Cognitivos de Múltiplas Fontes" foi construído alinhando sinais de EEG de nível de palavra (8 recursos em 4 bandas de frequência: $\theta, \alpha, \beta, \gamma$) e de rastreamento ocular (17 recursos, incluindo duração e probabilidade de fixação) do ZUCO com textos de microblogs. Palavras fora do vocabulário (OOV) foram tratadas atribuindo valores médios de recursos do corpus ZUCO.
2. Arquitetura do Modelo: O estudo avaliou seis estruturas de modelos:
   • Baseline: BiLSTM e BiLSTM+CRF.
   • Baseados em Atenção: ATT-BiLSTM+CRF (incorporando Soft Attention) e SATT-BiLSTM+CRF (incorporando Self-Attention).
   • Modelos Pré-treinados (PLMs/LLMs): Versões melhoradas utilizando embeddings GloVe, BERT e T5 (Base e Large).
3. Estratégia de Integração de Sinais: Para evitar a distorção dos sinais cognitivos por estruturas de modelos específicas, os autores introduziram recursos de EEG e rastreamento ocular em pontos específicos: concatenados com os embeddings de palavras de entrada nas entradas da camada de Soft Attention, e anexados aos vetores de consulta (query vectors) da camada de Self-Attention.
4. Design Experimental: O estudo conduziu experimentos controlados variando:
   • Fontes de sinais (Nenhum, apenas EEG, apenas Rastreamento Ocular, Combinados).
   • Bandas de frequência de EEG (individuais e pares contíguos).
   • Arquiteturas de modelos (de BiLSTM a T5-Large).

Principais Contribuições

1. Primeira Integração de EEG em AKE de Microblogs: Este é o primeiro estudo a aplicar sinais de EEG, combinados com rastreamento ocular, à AKE de microblogs utilizando o corpus ZUCO.
2. Avaliação Abrangente de Modelos: Os autores verificaram o aprimoramento desses sinais através de seis diferentes modelos estruturados, variando de RNNs tradicionais a Transformers modernos (T5).
3. Análise de Bandas de Frequência: O estudo identificou que os sinais de EEG nas bandas de frequência $\beta$ (13–30 Hz) e $\gamma$ (30–100 Hz) proporcionam os melhorias de desempenho mais significativas, sendo que a banda de baixa frequência $\beta$ apresenta a correlação mais forte com as tarefas de AKE.
4. Sinergia de Sinais e Limitações: A pesquisa demonstrou que, embora a combinação de sinais de EEG e rastreamento ocular produza resultados intermediários entre os tipos de sinais individuais, a integração nem sempre produz um aumento sinérgico sobre o EEG sozinho, provavelmente devido às diferenças na relação sinal-ruído.
5. Otimização de Modelos: O artigo propõe modelos de AKE aprimorados baseados em PLMs, encontrando que o modelo T5-Large maximiza o desempenho sem diminuir o peso dos recursos cognitivos.

Resultos

• Aprimoramento de Desempenho: A integração de sinais cognitivos melhorou consistentemente o desempenho da AKE em todos os modelos. Os sinais de EEG sozinhos proporcionaram a melhoria mais significativa, superando os sinais de rastreamento ocular.
• Especificidade de Frequência: A combinação de sinais das bandas $\beta$ (EEG5 e EEG6) rendeu os melhores resultados, seguidos pelas bandas $\gamma$.
• Sinais Combinados: Quando os melhores sinais de EEG foram combinados com os melhores recursos de rastreamento ocular (Duração Média de Fixação e Duração Total de Fixação), o desempenho do modelo situou-se entre os níveis dos experimentos de sinais individuais. Isso sugere que, embora os sinais sejam complementares, sua combinação direta não necessariamente excede o desempenho do EEG sozinho neste contexto específico.
• Desempenho do Modelo: O modelo SATT-BiLSTM+CRF mostrou melhorias substanciais em relação aos baselines. Entre os modelos pré-treinados, o T5-Large alcançou os maiores escores F1, particularmente no conjunto de dados General-Twitter, aproveitando efetivamente os recursos cognitivos. O BERT e o T5-Base mostraram ganhos menos pronunciados em conjuntos de dados maiores, onde os recursos textuais aprendidos pareceram sobrepor os sinais cognitivos.
• Estudo de Caso: Uma análise qualitativa de tweets específicos confirmou que os modelos aumentados com sinais de EEG produziram chave-palavras mais próximas da verdade fundamental (ground truth) anotada por humanos em comparação com os modelos baseline ou apenas de rastreamento ocular.

Significância e Implicações
O artigo afirma que esta pesquisa faz a ponte entre a psicologia cognitiva e o PLN, oferecendo uma base teórica para compreender a compreensão de texto humano através de sinais biológicos.

• Teórica: Enriquece a teoria da AKE ao incorporar mecanismos cognitivos (atenção, memória, processamento) como recursos externos, fomentando a colaboração interdisciplinar entre ciência da computação, psicologia e neurociência.
• Prática: A abordagem oferece um método para otimizar a AKE para textos curtos não estruturados, potencialmente melhorando a geração de hashtags, recomendações personalizadas e mineração de opinião. Também aborda a escassez de corpora cognitivos ao demonstrar como integrar efetivamente esses sinais, mesmo com altas taxas de OOV, através da média de recursos e inserção estratégica de modelos.
• Direções Futuras: Os autores sugerem que, embora os resultados atuais sejam promissores, trabalhos futuros devem explorar sinais cognitivos de múltiplas fontes (ex.: MRI), aprendizagem multimodal e a aplicação desses sinais a outras tarefas de PLN, como tradução automática e geração de texto. Eles enfatizam a necessidade de conjuntos de dados maiores e mais diversos para compreender plenamente os mecanismos neurais da leitura e sua aplicação ao PLN.