LongSumEval: Question-Answering Based Evaluation and Feedback-Driven Refinement for Long Document Summarization

1. Planteamiento del Problema

El artículo aborda dos cuellos de botella críticos en la resumen de documentos largos:

• Limitaciones de Evaluación: Las métricas existentes (por ejemplo, ROUGE, BLEU, BERTScore) dependen del solapamiento léxico o la similitud semántica, las cuales se correlacionan pobremente con los juicios humanos en cuanto a consistencia factual y cobertura. Producen puntuaciones agregadas opacas sin retroalimentación diagnóstica, fallando en explicar por qué un resumen es deficiente o cómo solucionarlo. Esto es particularmente problemático para documentos largos (>10.000 palabras) donde la información está distribuida y las alucinaciones son comunes.
• Desconexión entre Generación y Evaluación: Los métodos actuales de auto-refinamiento a menudo carecen de una retroalimentación estructurada y accionable. Operan de forma independiente a las métricas de evaluación, lo que significa que el proceso de generación no recibe instrucciones específicas sobre qué hechos faltan o son incorrectos, lo que conduce a mejoras iterativas ineficaces.

2. Metodología: El Marco LongSumEval

Los autores proponen LongSumEval, un marco unificado que conecta la evaluación y la generación utilizando un paradigma de Preguntas y Respuestas (QA). El marco consta de dos módulos interconectados:

A. Módulo de Evaluación Basado en QA

En lugar de comparar textos directamente, este módulo operacionaliza la calidad como la capacidad de respuesta y la alineación factual de los pares pregunta-respuesta.

1. Generación de Preguntas: Un LLM genera diversas preguntas (Qué, Cuándo, Dónde, Quién, Cómo, Por qué) a partir del documento fuente ($Q_d$) y del resumen generado ($Q_s$).
2. Evaluación de Cobertura: El sistema intenta responder $Q_d$ utilizando únicamente el resumen.
   • Métrica: Ratio de preguntas respondibles.
   • Retroalimentación: Las preguntas sin responder se marcan como brechas de cobertura.
3. Evaluación de Consistencia Factual: El sistema extrae hechos del resumen como pares QA ($Q_s, A_s$) y los verifica contra el documento fuente ($A_d$).
   • Métrica: Similitud entre $A_s$ y $A_d$ (usando Coincidencia Exacta/Parcial, ROUGE-1 F1 o Similitud Coseno) por encima de un umbral $\tau$.
   • Retroalimentación: Los tripletes de hechos inconsistentes $(q, A_s, A_d)$ se marcan como errores factuales con correcciones de verdad fundamental.
4. Salida: Puntuaciones cuantitativas ($score_{cov}, score_{cons}$) y retroalimentación estructurada ($F_{cov}, F_{cons}$) que identifican información específica faltante y afirmaciones erróneas.

B. Módulo de Auto-Refinamiento

Este módulo convierte la retroalimentación estructurada en instrucciones en lenguaje natural para guiar la mejora iterativa sin reentrenar el modelo.

• Proceso:
  1. Generar un resumen inicial $S^{(0)}$.
  2. Evaluar para obtener retroalimentación $F$.
  3. Convertir $F$ en prompts (por ejemplo, "Revisa el resumen para abordar estas preguntas sin responder..." o "Corrige estas inconsistencias factuales específicas...").
  4. Generar un resumen refinado $S^{(i+1)}$ basado en el prompt.
  5. Repetir hasta que se cumplan los umbrales de calidad o se alcance el número máximo de iteraciones.

3. Contribuciones Clave

1. Marco de Evaluación QA Interpretable: Un método novedoso que produce retroalimentación estructurada y detallada (preguntas sin responder y tripletes de hechos) junto con puntuaciones cuantitativas, permitiendo una evaluación transparente y sin referencia de documentos largos.
2. Auto-Refinamiento Impulsado por Retroalimentación: Un mecanismo que cierra la brecha entre la evaluación y la generación convirtiendo los resultados de la evaluación en instrucciones ejecutables para una revisión dirigida.
3. Meta-Evaluación Exhaustiva: Validación en siete conjuntos de datos anotados por humanos que abarcan cinco dominios (Noticias, Científico, Gobierno, Redes Sociales, Patentes) y longitudes variables (400–27.000 palabras).
4. Benchmark PatentSumEval: Introducción de un nuevo benchmark anotado por humanos para la resumen de patentes (30 patentes, 180 resúmenes) con anotaciones de calidad multidimensionales, abordando una brecha en la evaluación de la resumen legal/técnica.

4. Resultados Experimentales

El estudio utilizó $\tau_b$ de Kendall para medir la correlación con juicios humanos y probó el refinamiento en cinco conjuntos de datos.

• Rendimiento de Evaluación (RQ1 & RQ2):

  • LongSumEval demostró un acuerdo sustancialmente más fuerte con los juicios humanos que las líneas base existentes basadas en QA (QuestEval, QAEval, SummaQA).
  • Consistencia: Logró una correlación máxima de $\tau_b = 0.683$ en SummEval y $\tau_b = 0.800$ en PatentSumEval.
  • Cobertura: Logró $\tau_b = 0.738$ en PatentSumEval.
  • Robustez: Rindió consistentemente bien en artículos de noticias cortos y documentos científicos/gubernamentales extremadamente largos, mientras que las líneas base a menudo fallaban en entradas largas.
  • Elecciones de Diseño: Se encontró que la similitud ROUGE-1 F1 y 5–7 preguntas para la evaluación de consistencia eran óptimas.

• Rendimiento de Auto-Refinamiento (RQ3):

  • Mejora Dirigida: El marco mejoró significativamente los resúmenes de baja calidad.
    • Cobertura: Hasta +83.72% de mejora en resúmenes de Patentes de baja cobertura.
    • Consistencia: Hasta +47.42% de mejora en resúmenes de Patentes de baja consistencia.
  • Mejora General: Incluso en todos los resúmenes (no solo los de baja calidad), la cobertura mejoró hasta un +39.71% (Patentes) y +35.51% (PubMed).
  • Compensaciones: El refinamiento universal a veces degradó ligeramente la consistencia en documentos largos (por ejemplo, Arxiv), lo que sugiere la necesidad de un desencadenamiento basado en umbrales (refinar solo cuando las puntuaciones caen por debajo de límites específicos).

• Validación Humana:

  • Las preguntas generadas se centraron en un 91.67% en información clave, y el 98% eran respondibles desde la fuente.
  • Las respuestas extraídas mostraron un 99% de consistencia factual con la fuente.

5. Significado e Implicaciones

• Cambio de Paradigma: El artículo establece un paradigma generalizable donde la retroalimentación de evaluación sirve como instrucciones ejecutables para la generación. Esto va más allá de la puntuación de "caja negra" hacia un control de calidad transparente y accionable.
• Aplicaciones de Alto Riesgo: Al garantizar una precisión verificable y proporcionar correcciones específicas, el marco es directamente aplicable a dominios críticos como literatura biomédica, análisis legal y soporte a la decisión clínica, donde las alucinaciones son inaceptables.
• Eficiencia: El enfoque permite mejoras significativas de calidad mediante auto-refinamiento sin ajuste fino del modelo, haciéndolo rentable y adaptable a nuevos dominios.
• Reproducibilidad: La publicación del conjunto de datos PatentSumEval y todo el código/prompts facilita la investigación futura en la generación de texto controlable y la comprensión de documentos largos.

En conclusión, LongSumEval resuelve la "desconexión evaluación-generación" utilizando retroalimentación estructurada de QA no solo para diagnosticar errores, sino también para guiar explícitamente al LLM en su corrección, resultando en resúmenes que son tanto más completos como factualmente precisos.