Abstractiveness Metrics for Evaluating Text Summarization: A Refined Formulation with Empirical Validation

Resumen Técnico: Métricas de Abstractividad para la Evaluación de la Resumición de Textos

Planteamiento del Problema
Los paradigmas de evaluación actuales para la resumición de textos dependen en gran medida de métricas de superficie como ROUGE y BERTScore, las cuales miden el solapamiento entre un resumen generado y una referencia escrita por humanos. Aunque son efectivas para evaluar la calidad en relación con una referencia, estas métricas no logran medir la fidelidad (el anclaje en la fuente) o la abstractividad (el grado en que un resumen diverge de la copia extractiva). Un resumen puede alcanzar puntuaciones ROUGE elevadas al reproducir fielmente una referencia que, a su vez, contiene contenido alucinado, o al ser excesivamente extractivo. Los proxies existentes para la abstractividad, como la novedosa relación de n-gramas, son binarios a nivel de token y no logran contabilizar la asimetría de la longitud del documento ni proporcionar una discriminación graduada a través de diferentes niveles de solapamiento. Existe una falta de medidas cuantitativas y con principios que evalúen la relación entre el texto generado y el documento fuente de manera independiente a la referencia.

Metodología
Los autores proponen un conjunto de tres métricas complementarias basadas en el anclaje en la fuente: Abstracción de la Referencia (RA), Abstracción del Resumen (SA) y Ratio de Abstracción (AR). Estas métricas están diseñadas para cuantificar la abstractividad mediante una formulación que combina la ponderación de la media armónica de la longitud con un factor de amplificación de no-solapamiento cúbico.

1. Formulación:

   • Abstracción de la Referencia (RA): Mide la abstractividad inherente de la referencia de oro. Se calcula como la media armónica de la longitud de la referencia ($R$) y la longitud de la fuente ($O$), modulada por el cubo de la fracción de no-solapamiento: $RA = \frac{2RO}{R+O} \times (1 - c_R)^3$, donde $c_R$ es el solapamiento normalizado entre la referencia y la fuente.
   • Abstracción del Resumen (SA): Análoga a la RA, esta mide la abstractividad del resumen generado ($S$) en relación con la fuente: $SA = \frac{2SO}{S+O} \times (1 - c_S)^3$.
   • Ratio de Abstracción (AR): Un ratio adimensional que compara la abstractividad del resumen generado con la de la referencia. Aíslas los factores de no-solapamiento para asegurar la independencia de las longitudes absolas de los documentos: $AR = \frac{(1 - c_S)^3}{(1 - c_R)^3 + \epsilon}$.

2. Justificación del Diseño:

   • Media Armónica: Se utiliza para penalizar la asimetría extrema de longitud, asegurando que un resumen muy corto frente a una fuente larga produzca una puntuación base más baja, lo que refleja una mayor demanda de abstracción.
   • Amplificación Cúbica: El término $(1-c)^3$ proporciona una sensibilidad no lineal cerca del límite extractivo (donde el solapamiento $c \approx 1$). Esto amplifica las pequeñas diferencias de solapamiento (por ejemplo, entre 0.95 y 0.98) para permitir una discriminación aguda entre comportamientos extractivos y abstractivos.
   • Ratio Adimensional: El AR se define sin el factor de la media armónica para asegurar que sea una métrica de comparación pura, interpretable alrededor de un umbral de 1.0 (donde $AR \approx 1$ indica que el resumen generado coincide con el nivel de abstractividad de la referencia).

Contribuciones Clave

• Métricas con Principios: La introducción de RA, SA y AR como métricas heurísticas que miden la divergencia de la copia extractiva utilizando el anclaje en la fuente en lugar del emparejamiento con la referencia.
• Graduación Continua: A diferencia de los detectores de fidelidad binarios (ej. FactCC), estas métricas proporcionan puntuaciones continuas con umbrales interpretables, permitiendo la diferenciación entre un parafraseo leve y una fabricación severa.
• Normalización de Longitud: El uso de medias armónicas y ratios de solapamiento normalizados aborda las limitaciones del trabajo previo respecto a la asimetría de la longitud de los documentos.
• Herramienta de Cribado: Las métricas sirven como un mecanismo de cribado para identificar resúmenes que pueden requerir evaluación manual por parte de posibles alucinaciones, específicamente señalando casos donde el modelo abstrae significativamente más que la referencia humana ($AR > 1$).

Resultados Experimentales
Los autores evaluaron las métricas en 100 documentos (50 de XSUM y 50 de CNN/DailyMail) a través de cuatro modelos de resumición: BART-large-cnn, Pegasus-xsum, DistilBart y MT5-small.

• Discriminación de Tipos de Modelos: Las métricas distinguieron con éxito entre modelos con sesgo extractivo (BART, DistilBart) y modelos abstractivos (Pegasus, MT5).
  • Modelos Extractivos: Mostraron una baja Abstracción del Resumen ($SA \approx 0.12–0.26$) y Ratios de Abstracción muy bajos ($AR \approx 0$), indicando un alto solapamiento con la fuente y una mínima abstracción.
  • Modelos Abstractivos: Mostraron valores de SA más altos ($SA \approx 0.96–1.77$).
• Caracterización de Datasets: La RA confirmó que las referencias de XSUM son sustancialmente más abstractivas ($RA_1 = 3.55$) que las de CNN/DailyMail ($RA_1 = 0.61$).
• Detección de Alucinaciones:
  • En el dataset CNN/DailyMail (que tiene referencias extractivas), los modelos abstractivos como Pegasus y MT5 produjeron $AR > 1$, indicando que introdujeron contenido novedoso más allá de lo que la referencia justificaba. Por ejemplo, Pegasus activó una clasificación de "Alto Riesgo de Alucinación" en el 44% de los artículos de CNN/DM.
  • En XSUM (referencias abstractivas), todos los modelos tuvieron $AR < 1$, con Pegasus acercándose más al nivel de la referencia ($AR_2 = 0.92$).
• Complementariedad con ROUGE: El estudio demostró que ROUGE y AR capturan dimensiones independientes. Por ejemplo, en CNN/DM, BART logró la puntuación ROUGE-1 más alta (0.393) con un bajo riesgo de alucinación ($AR \approx 0$), mientras que Pegasus tuvo un ROUGE-1 menor (0.197) pero un alto riesgo de alucinación ($AR = 3.74$). Esto sugiere que ROUGE por sí solo no puede detectar cuándo un modelo está "alucinando detrás de buenas puntuaciones de calidad".

Significancia y Reivindicaciones
El artículo sostiene que RA, SA y AR proporcionan un complemento necesario a los marcos de evaluación existentes al abordar la desconexión entre la calidad del resumen (emparejamiento con la referencia) y la fidelidad (anclaje en la fuente). Los autores posicionan estas métricas no como reemplazos de ROUGE o BERTScore, sino como herramientas de cribado esenciales que:

1. Cuantifican el grado de abstracción de una manera con principios y acotada.
2. Identifican resúmenes donde el nivel de abstracción del modelo se desvía significativamente del nivel de la referencia humana, señalando posibles alucinaciones para revisión manual.
3. Ofrecen una escala continua que permite la priorización de la evaluación manual (por ejemplo, los resúmenes con $AR > 2.0$ ameritan atención inmediata).

Los autores señalan que estas métricas sirven como precursor de una descomposición de alucinación más fina, como el Índice de Alucinación de Entidades (EHI), al identificar primero que existe la alucinación antes de analizar su naturaleza específica. El trabajo enfatiza que una alta abstractividad no implica inherentemente una mala calidad, sino que un desajuste entre el nivel de abstracción del modelo y el de la referencia (indicado por valores extremos de AR) señala la necesidad de una mayor verificación.