Enhancing Unsupervised Keyword Extraction in Academic Papers through Integrating Highlights with Abstract

1. Problema e Motivação

A extração automática de palavras-chave (ou keyphrases) de artigos acadêmicos é fundamental para a recuperação de informação e análise cientométrica. Embora métodos não supervisionados sejam amplamente utilizados devido à sua generalidade, eles dependem fortemente da qualidade e riqueza do texto de entrada.

• Limitação Atual: A maioria das pesquisas foca em otimizar algoritmos de pontuação ou utiliza apenas o resumo (abstract) e referências como entrada. O resumo, embora conciso, pode conter ruído ou não cobrir todos os termos-chave de forma ideal.
• Oportunidade Ignorada: Os "Highlights" (destaques) são seções obrigatórias em muitas plataformas (como a Elsevier), consistindo em 3 a 5 frases que resumem as principais inovações e contribuições do artigo. A literatura existente pouco explorou o uso desses highlights para melhorar a extração de palavras-chave, tratando-os apenas como ferramentas de marketing ou leitura rápida.
• Hipótese: Integrar os highlights ao resumo pode enriquecer o pool de candidatos a palavras-chave e melhorar o desempenho dos modelos não supervisionados.

2. Metodologia

2.1 Construção do Conjunto de Dados

• Fontes: Dados coletados da base Scopus e do site da Elsevier.
• Domínios: Duas áreas principais foram analisadas: Ciência da Informação e Biblioteconomia (LIS) e Ciência da Computação (CS).
• Escala: O conjunto final continha 2.590 artigos (LIS) e 2.996 artigos (CS).
• Critérios de Seleção: Apenas artigos com resumo, palavras-chave atribuídas pelos autores (como ground truth) e highlights fornecidos pelos autores foram incluídos. Artigos com mais de 6 palavras-chave foram filtrados para evitar redundância.
• Extração: Um crawler automatizado em Python foi desenvolvido para extrair o conteúdo dos highlights das páginas web dos artigos.

2.2 Estratégias de Integração de Texto

O estudo propôs e testou sete cenários de entrada para os modelos de extração:

1. A (Abstract): Apenas o resumo (Linha de base).
2. H (Highlights): Apenas os destaques.
3. FA (Filtered Abstract): Resumo filtrado, mantendo apenas as sentenças com maior similaridade semântica com os highlights (usando o modelo sentence-transformer all-MiniLM-L6-v2).
4. A+H: Concatenação direta (Resumo + Destaques).
5. H+A: Concatenação inversa (Destaques + Resumo) – testando o viés de posição, já que modelos não supervisionados tendem a dar mais peso a termos no início do texto.
6. FA+H: Resumo filtrado + Destaques.
7. H+FA: Destaques + Resumo filtrado.

2.3 Modelos de Extração

Foram utilizados quatro modelos não supervisionados de diferentes categorias:

• Baseados em Grafos: TextRank e PositionRank (que incorporam informações de posição).
• Baseados em Embeddings/LLMs: MDERank (usa modelos pré-treinados e similaridade semântica com mascaramento) e PromptRank (usa aprendizado por prompt com arquitetura encoder-decoder).
• Validação com LLMs: Experimentos adicionais foram realizados com GPT-4o e LLaMA-3 para testar a generalização em modelos de linguagem grandes.

2.4 Métricas de Avaliação

O desempenho foi medido usando F1-score (F1@5, F1@10, F1@15), comparando as palavras-chave extraídas com as atribuídas pelos autores. Testes t pareados foram usados para verificar a significância estatística das melhorias.

3. Principais Contribuições

1. Pioneirismo na Integração: É o primeiro estudo a explorar sistematicamente a integração de highlights com resumos para extração não supervisionada de palavras-chave.
2. Análise de Estratégias de Fusão: Demonstra que a simples concatenação de textos (especialmente H+A ou A+H) supera o uso de fontes únicas, e que a ordem de concatenação tem impacto mínimo, embora H+A seja ligeiramente preferível em alguns casos.
3. Validação de Filtragem Semântica: Mostra que filtrar o resumo para reter apenas as sentenças semanticamente alinhadas aos highlights é eficaz, indicando que grande parte do resumo é "ruído" para a tarefa de extração de palavras-chave.
4. Análise de Cobertura e Conteúdo: Revela que os highlights contêm palavras-chave que não aparecem no resumo (aumentando a cobertura) e possuem uma distribuição diferente de tipos de sentenças (mais focadas em conclusões e contribuições).

4. Resultados Chave

• Desempenho Superior: A integração de highlights com resumos melhorou significativamente o desempenho em todos os modelos e domínios.
  • Exemplo (LIS, MDERank): F1@5 subiu de 19,48% (apenas resumo) para 22,32% (A+H).
  • Exemplo (CS, PromptRank): F1@5 subiu de 16,44% para 16,91%.
• Domínios: O desempenho foi geralmente melhor no domínio de LIS do que em CS. Os autores atribuem isso ao fato de que, em CS, as palavras-chave são frequentemente abstrações conceituais que podem não aparecer literalmente no texto, dificultando a extração baseada em texto puro.
• Filtragem de Sentenças: Manter apenas 4 a 5 sentenças do resumo (filtradas por similaridade com highlights) foi suficiente para atingir desempenho comparável ao uso do resumo completo, sugerindo que o resumo contém muita informação irrelevante para a extração de termos.
• Robustez em LLMs: A estratégia de fusão também funcionou bem com modelos de linguagem grandes (LLMs), embora os ganhos estatísticos tenham sido menos consistentes no GPT-4o em comparação com o LLaMA-3, possivelmente devido a sensibilidades de prompt ou arquitetura.
• Generalização: A metodologia foi validada em um corpus multidisciplinar (27 áreas) e em um journal não-Elsevier (Environmental Processes), confirmando que a melhoria é generalizável.

5. Significado e Implicações

• Teórica: O estudo valida a Teoria da Polirrepresentação no contexto de extração de informação. Ao combinar duas representações do mesmo documento (resumo e destaques), que possuem sobreposição parcial mas ênfases diferentes, o sistema consegue capturar melhor a relevância semântica.
• Prática:
  • Oferece uma melhoria de baixo custo e alta eficácia para sistemas de indexação e recuperação de informação acadêmica.
  • Sugere que a extração de palavras-chave pode ser otimizada focando em sentenças salientes (como highlights) em vez de processar o texto inteiro.
  • Destaca a importância crescente da estrutura de highlights na publicação científica moderna, que está se tornando um padrão em várias editoras além da Elsevier.
• Cientométrica: Melhora a precisão na construção de redes temáticas, mapas de conhecimento e identificação de tendências de pesquisa, pois as palavras-chave extraídas são mais precisas e abrangentes.

Conclusão

O artigo conclui que os highlights são uma fonte de informação valiosa e complementar aos resumos. A integração simples desses dois textos (concatenação) é a estratégia mais eficaz e robusta para melhorar a extração não supervisionada de palavras-chave, superando métodos que utilizam apenas o resumo. O estudo abre caminho para futuras pesquisas sobre a geração automática de highlights para artigos que não os possuem e o uso de prompts específicos para LLMs que explorem as características únicas dessas seções.