Evaluating the Homogeneity of Keyphrase Prediction Models

1. Problema y Motivación

La indexación automática de documentos mediante frases clave (keyphrases) es fundamental para tareas de NLP y recuperación de información (IR). Existen dos enfoques principales:

• Extracción: Selecciona frases que aparecen explícitamente en el texto.
• Generación: Predice frases que pueden no aparecer en el texto (llamadas "frases clave ausentes" o absent keyphrases), permitiendo asociar el documento con conceptos implícitos.

Aunque los modelos generativos suelen superar a los de extracción en métricas tradicionales (como F1-score) y en tareas extrínsecas (como recuperación de documentos), su evaluación se centra casi exclusivamente en la similitud con las frases de referencia. Un aspecto crítico descuidado es la homogeneidad: la capacidad de un modelo para asignar consistentemente la misma frase clave al mismo concepto en diferentes documentos que tratan el mismo tema.

La falta de homogeneidad es un problema conocido en la indexación humana (cuando hay múltiples indexadores), pero no se ha evaluado sistemáticamente en modelos automáticos, especialmente en configuraciones de indexación libre (sin vocabulario controlado).

2. Metodología

Los autores proponen un nuevo protocolo de evaluación para medir la homogeneidad en indexación libre.

• Hipótesis: Se asume inicialmente que los modelos generativos deberían ser más homogéneos que los de extracción, ya que su capacidad para generar frases ausentes les permitiría capturar conceptos compartidos entre documentos incluso si el texto superficial difiere.
• Construcción de Datos (Pares de Documentos): Para evaluar la consistencia, se crearon pares de documentos que tratan los mismos conceptos. Se utilizaron dos estrategias:
  1. Reformulación: Se usó GPT-4o para parafrasear y realizar traducción inversa (inglés-español-inglés) de documentos del conjunto Inspec. Esto crea pares con superposición léxica alta pero variaciones textuales.
  2. Frases Clave Compartidas: Se emparejaron documentos del conjunto KP20k que comparten un alto porcentaje de frases clave (similitud Jaccard $\ge$ 50%). Estos pares tienen una superposición léxica menor pero comparten conceptos abstractos o genéricos.
• Métricas de Evaluación: Se adaptaron métricas de consistencia entre anotadores (intra-annotator consistency):
  • Hooper's CP: Intersección sobre unión (Jaccard) a nivel de frase clave.
  • Rodgers' CP: Intersección sobre unión a nivel de palabra.
• Modelos Evaluados: Se compararon 8 modelos generativos (CopyRNN, CorrRNN, TG-Net, TGRF, BART, One2Set, y sus variantes con aumento de datos) contra 2 modelos de extracción (MultipartiteRank y TF-IDF).

3. Resultados Clave

Los resultados fueron sorprendentes y contradijeron la hipótesis inicial, mostrando una dicotomía clara dependiendo del tipo de par de documentos:

• En pares con reformulación (superposición léxica alta):

  • Los modelos de extracción (TF-IDF y MultipartiteRank) obtuvieron puntuaciones de homogeneidad superiores o competitivas frente a la mayoría de los modelos generativos.
  • Los modelos generativos que producen más frases clave ausentes tendieron a tener menor homogeneidad. Por ejemplo, One2Set (que genera muchas frases ausentes) tuvo la puntuación más baja (29.6% en Hooper's CP).
  • Conclusión: En textos léxicamente similares, la capacidad de generar frases ausentes introduce variabilidad innecesaria, reduciendo la consistencia.

• En pares con frases clave compartidas (conceptos abstractos/genéricos):

  • Los modelos generativos superaron a los de extracción.
  • Modelos como BART-60p y One2Set-60p mostraron mejoras significativas en homogeneidad respecto a sus versiones base.
  • Conclusión: Cuando la relación entre documentos es semántica y no léxica (conceptos implícitos), la capacidad de generar frases ausentes es crucial para mantener la homogeneidad.

• Análisis de Causas:

  • La baja homogeneidad en modelos generativos en textos similares se atribuye a su vocabulario amplio (decenas de miles de tokens), lo que permite múltiples formas de expresar un mismo concepto, introduciendo ruido.
  • Los modelos de extracción están limitados por el vocabulario del texto fuente, lo que fuerza una mayor consistencia en textos similares.

4. Contribuciones Principales

1. Nueva Métrica de Calidad: Introducen un método sistemático para evaluar la homogeneidad de los modelos de predicción de frases clave, una propiedad de calidad previamente ignorada en la literatura.
2. Hallazgo Contraintuitivo: Demuestran que la capacidad de generar frases clave ausentes no garantiza una mayor homogeneidad; de hecho, puede tener un impacto negativo en escenarios donde los textos son léxicamente similares.
3. Recursos Abiertos: Publican los pares de documentos evaluados (reformulados y por frases compartidas), el código y los prompts utilizados en Hugging Face y GitHub.
4. Análisis de Escenarios: Revelan que la elección del mejor modelo depende de la naturaleza de la relación entre documentos: la extracción es superior para similitud léxica, mientras que la generación es superior para similitud semántica abstracta.

5. Significado e Implicaciones

Este trabajo desafía la noción de que los modelos generativos son inherentemente superiores en todas las métricas de calidad. Sugiere que para sistemas de indexación automática robustos, no basta con optimizar la generación de frases ausentes; se debe considerar la consistencia.

La implicación práctica más importante es la viabilidad de enfoques híbridos: extraer primero las frases clave presentes (para garantizar consistencia en conceptos explícitos) y luego usarlas como contexto para guiar la generación de frases ausentes (para capturar conceptos implícitos). Esto podría resolver el compromiso (trade-off) entre la precisión léxica y la cobertura semántica, mejorando la calidad general de la indexación automática.

El estudio también destaca la necesidad de ampliar las evaluaciones de calidad de las frases clave más allá de la coincidencia exacta con referencias, incorporando propiedades como la homogeneidad, la diversidad y la fidelidad semántica.