Enhancing Unsupervised Keyword Extraction in Academic Papers through Integrating Highlights with Abstract

Título: Mejora de la Extracción de Palabras Clave No Supervisada en Artículos Académicos mediante la Integración de "Highlights" con el Resumen

1. Planteamiento del Problema

La extracción automática de palabras clave es fundamental para la recuperación de información y el análisis bibliométrico. Sin embargo, muchos artículos académicos carecen de palabras clave asignadas por los autores. Las metodologías existentes para la extracción no supervisada suelen basarse en el resumen (abstract) o en el texto completo. Aunque el resumen es conciso y accesible, la literatura ha mostrado poca atención a la riqueza de información contenida en otra sección estructural común en las versiones en línea de los artículos: los "Highlights" (puntos destacados).

Los highlights son 3 a 5 frases proporcionadas por los autores que resumen las innovaciones y contribuciones clave del trabajo. El problema central abordado es: ¿Puede la integración de los highlights con el resumen mejorar el rendimiento de los modelos de extracción de palabras clave no supervisados en comparación con el uso exclusivo del resumen? Además, se investiga cómo filtrar el ruido en el resumen utilizando los highlights como referencia semántica.

2. Metodología

El estudio propone un marco de trabajo que integra información de múltiples fuentes (resumen y highlights) para alimentar modelos de extracción no supervisada.

• Construcción del Dataset:

  • Se recolectaron datos de Elsevier (base Scopus y web) de dos campos: Ciencias de la Información y Biblioteconomía (LIS) y Ciencias de la Computación (CS).
  • Se seleccionaron 2,590 artículos de LIS y 2,996 de CS (publicados entre 2012-2023) que contenían highlights proporcionados por los autores.
  • Las palabras clave asignadas por los autores sirvieron como "ground truth" para la evaluación.

• Estrategias de Integración de Entrada:
  Se probaron siete configuraciones de entrada para los modelos:

  1. A: Solo Resumen.
  2. H: Solo Highlights.
  3. FA: Resumen Filtrado (seleccionando las $k$ oraciones del resumen con mayor similitud semántica con los highlights usando el modelo all-MiniLM-L6-v2).
  4. A+H: Concatenación directa (Resumen + Highlights).
  5. H+A: Concatenación inversa (Highlights + Resumen).
  6. FA+H: Resumen Filtrado + Highlights.
  7. H+FA: Highlights + Resumen Filtrado.

• Modelos Evaluados:
  Se utilizaron cuatro modelos no supervisados de diferentes paradigmas:

  • Basados en Grafos: TextRank y PositionRank.
  • Basados en Modelos de Lenguaje Pre-entrenados (PLM): MDERank y PromptRank.
  • Prueba con LLMs: Se evaluó la generalización usando GPT-4o y LLaMA-3.

• Métricas de Evaluación:
  Se utilizó la puntuación F1 (F1@5, F1@10, F1@15) comparando las palabras clave extraídas con las asignadas por los autores. Se aplicaron pruebas t pareadas para verificar la significancia estadística.

3. Contribuciones Clave

1. Primera exploración sistemática: Es el primer estudio que integra highlights con resúmenes para la extracción de palabras clave no supervisada, avanzando en el uso de información externa para mejorar el rendimiento.
2. Validación de estrategias de integración: Demostró que la concatenación simple de texto (especialmente Highlights + Resumen) mejora significativamente el rendimiento en modelos actuales, superando al uso exclusivo del resumen.
3. Análisis de filtrado semántico: Validó que no todo el contenido del resumen es igual de valioso. Filtrar el resumen basándose en la similitud semántica con los highlights permite retener solo la información más relevante, aunque la concatenación simple resultó ser la estrategia más robusta.
4. Análisis de cobertura y contenido: Proporcionó una explicación cuantitativa de por qué mejora el rendimiento:
   • Los highlights contienen palabras clave que a menudo faltan en el resumen (especialmente en CS).
   • Existe una diferencia en la distribución de tipos de oraciones: los highlights se centran más en conclusiones y contribuciones, mientras que los resúmenes incluyen más contexto y metodología.

4. Resultados Principales

• Mejora de Rendimiento: La integración de highlights con el resumen aumentó consistentemente las puntuaciones F1 en todos los modelos y datasets.
  • En el dataset de LIS, el modelo PromptRank con entrada concatenada (H+A) alcanzó un F1@5 del 23.71%, frente al 22.33% usando solo el resumen.
  • En el dataset de CS, el modelo MDERank mejoró de 12.02% (solo resumen) a 14.02% (concatenado).
• Orden de Concatenación: Colocar los highlights antes del resumen (H+A) tendió a ofrecer resultados ligeramente superiores o equivalentes a la orden inversa, aprovechando el sesgo posicional de los modelos no supervisados (las primeras palabras tienen mayor probabilidad de ser seleccionadas).
• Filtrado de Oraciones: Retener solo las 4-5 oraciones del resumen más similares a los highlights fue suficiente para lograr un rendimiento comparable al uso del resumen completo, sugiriendo que el resto del resumen contiene ruido para esta tarea.
• Modelos LLM: Los Grandes Modelos de Lenguaje (LLM) como GPT-4o y LLaMA-3 mostraron un rendimiento base muy superior a los modelos tradicionales. La integración de highlights también mejoró el rendimiento de los LLMs, aunque en algunos casos (GPT-4o en CS) la mejora no fue estadísticamente significativa, lo que sugiere una sensibilidad a la ingeniería de prompts.
• Diferencias Disciplinares: El rendimiento fue generalmente mejor en el campo de LIS que en CS. Se descubrió que en CS, los autores a menudo eligen palabras clave más abstractas que no aparecen literalmente en el texto, lo que dificulta la extracción basada puramente en el texto.

5. Significado e Implicaciones

• Para la Recuperación de Información: El estudio demuestra que la estructura de los artículos académicos evoluciona (con la adopción de highlights por parte de más editoriales como Springer y Taylor & Francis) y que ignorar esta sección implica perder información valiosa para la extracción de metadatos.
• Teoría de la Polirepresentación: Los resultados apoyan la teoría de que múltiples representaciones del mismo objeto de información (resumen vs. highlights) capturan aspectos complementarios de la relevancia. Su fusión mejora la precisión y la cobertura.
• Aplicaciones Bibliométricas: Mejorar la extracción de palabras clave tiene un impacto directo en la construcción de redes temáticas, mapas de conocimiento y la identificación de tendencias de investigación emergentes.
• Futuro: El trabajo abre la puerta a investigar la generación automática de highlights para artículos que no los tienen, permitiendo extender esta metodología a todo el corpus académico, y a diseñar prompts específicos para LLMs que aprovechen las diferencias estructurales entre resúmenes y highlights.

En conclusión, la integración de los highlights no es solo una mejora incremental, sino un paso necesario para optimizar la extracción de palabras clave no supervisada, aprovechando la densidad semántica y el enfoque en las contribuciones que ofrecen estas secciones.