Enhancing Factuality through Consensus and Consistency in Summarization Using Minimum Bayes Risk Decoding

Resumen Técnico: Mejora de la Facticidad mediante Consenso y Consistencia en la Sumarización usando Decodificación de Riesgo Bayesiano Mínimo

Planteamiento del Problema
Mejorar la facticidad de los resúmenes generados por modelos —definida como la precisión de un resumen con respecto a su contenido fuente— sigue siendo un desafío significativo en la Generación de Lenguaje Natural (NLG). Si bien existen métodos de reordenamiento para seleccionar salidas óptimas entre múltiples candidatos, los enfoques actuales adolecen de tres limitaciones principales:

1. Incapacidad para utilizar métricas basadas en referencias: La creación de referencias "doradas" de alta calidad es intensiva en mano de obra, lo que obliga a depender de métricas sin referencias.
2. Dependencia exclusiva de la fuente: El reordenamiento basado únicamente en el documento fuente a menudo falla al penalizar errores factuales específicos debido a la naturaleza amplia de puntuación de las métricas sin referencias, lo que conduce a inconsistencias factuales.
3. Sesgo de la métrica: Confiar en una sola métrica puede causar sobreajuste e heredar sesgos específicos de dicha métrica.

Los métodos existentes a menudo luchan por equilibrar la fluidez y la coherencia con una alineación factual estricta, particularmente cuando las referencias doradas no están disponibles o son de baja calidad.

Metodología: ConSUM
Los autores proponen ConSUM (Consistencia y Consenso en la Sumarización), un nuevo marco de reordenamiento que combina dos señales distintas para seleccionar el mejor candidato de resumen. El método opera en tres pasos:

1. Generación: Dado un documento fuente $s$, el modelo genera dos conjuntos distintos:

   • Resúmenes Candidatos ($Y$): Un grupo de salidas potenciales.
   • Pseudo-referencias ($R$): Un conjunto de "verdades" proxy muestreadas del mismo modelo, pero posiblemente utilizando estrategias de decodificación diferentes (por ejemplo, muestreo epsilon) para capturar mejor la verdadera distribución del modelo. Los autores distinguen $Y$ y $R$ para evitar que el modelo refuerce sus propios sesgos.

2. Puntuación: Cada candidato $y_i$ se puntúa utilizando dos factores:

   • Puntuación de Consistencia ($S_{sis}$): Mide la alineación entre el candidato y el documento fuente utilizando métricas de facticidad sin referencias (específicamente FENICE y FIZZ).
   • Puntuación de Consenso ($S_{sen}$): Mide el acuerdo entre el candidato y el conjunto de pseudo-referencias utilizando decodificación de Riesgo Bayesiano Mínimo (MBR). La función de utilidad para MBR es una métrica basada en referencias, MENLI (Métricas de Inferencia de Lenguaje Natural), que evalúa la entailment, la contradicción y la calidad de la sumarización. Este paso identifica al candidato que maximiza la utilidad esperada frente a las pseudo-referencias.

3. Reordenamiento: La puntuación final ($S_{fin}$) es una combinación lineal ponderada de las puntuaciones de consistencia y consenso normalizadas:
   $$S_{fin}(y_i, s, R) = w \cdot Z(S_{sen}(y_i, R)) + (1-w) \cdot Z(S_{sis}(y_i, s))$$
   donde $w$ es un hiperparámetro (establecido en 0.75 en los experimentos principales) que equilibra la importancia del consenso frente a la consistencia con la fuente. El candidato con la $S_{fin}$ más alta se selecciona como la salida final.

Contribuciones Clave

• Reordenamiento de Doble Señal: El artículo introduce un marco que aprovecha simultáneamente la consistencia con la fuente (mediante métricas sin referencias) y el consenso del modelo (mediante MBR con pseudo-referencias) para mejorar la facticidad.
• Desacoplamiento de Candidatos y Referencias: A diferencia de trabajos anteriores que a menudo tratan a los candidatos y las referencias como el mismo conjunto, ConSUM los separa explícitamente. Las pseudo-referencias sirven como un proxy imparcial de la verdad fundamental para estimar la distribución del modelo, mientras que los candidatos sirven como el grupo para la selección.
• Integración de MBR y Métricas sin Referencias: El método combina exitosamente la decodificación MBR (típicamente utilizada en Traducción Automática) con métricas de facticidad sin referencias de última generación (FENICE, FIZZ) para la sumarización, abordando la falta de referencias doradas.

Resultados Experimentales
El método fue evaluado en los conjuntos de datos CNN/DailyMail y XSum utilizando tres Modelos de Lenguaje Preentrenados (BART, PEGASUS, T5) y un Modelo de Lenguaje Grande (Llama-3).

• Mejoras en Facticidad: ConSUM logró consistentemente puntuaciones de facticidad superiores en comparación con los puntos de referencia (decodificación estándar y reordenadores solo de consistencia). Por ejemplo, en CNN/DM, la configuración FENICE-0.75 mejoró la puntuación FIZZ de 39.36 (Punto de referencia) a 52.44. En XSum, la misma configuración elevó la puntuación FIZZ de 16.91 a 27.79.
• Preservación de la Calidad: Las mejoras en la facticidad no vinieron a costa de la calidad del resumen. Las puntuaciones de ROUGE, BERTScore y MoverScore permanecieron competitivas o significativamente mejores que las de los puntos de referencia.
• Evaluación Humana: En una evaluación humana que involucró 50 documentos fuente, el sistema FENICE-0.75 logró las puntuaciones promedio generales más altas para Informatividad, Facticidad y Fluidez. Los anotadores prefirieron consistentemente los resúmenes generados por ConSUM sobre los puntos de referencia e incluso sobre las referencias "doradas" (que se señaló que eran de baja calidad en la literatura reciente).
• Sensibilidad del Hiperparámetro: El peso óptimo $w$ varió según el conjunto de datos (0.75 para CNN/DM, 0.25 para XSum con FENICE), pero se eligió una configuración unificada de $w=0.75$ por su rendimiento equilibrado. El estudio encontró que 16 candidatos y 64 pseudo-referencias (generadas mediante muestreo epsilon) produjeron resultados óptimos.

Significado y Afirmaciones
Los autores afirman que ConSUM demuestra que combinar la facticidad basada en la fuente con el consenso basado en el modelo mejora efectivamente la fiabilidad de los resúmenes generados sin requerir referencias doradas. Los resultados sugieren que la "sabiduría de las multitudes" (consenso entre las salidas del modelo) puede servir como una señal robusta para filtrar alucinaciones y errores factuales, particularmente en tareas altamente abstractivas como XSum donde las alucinaciones son frecuentes.

El artículo concluye que, aunque aún hay margen de mejora (como lo evidencia la brecha entre ConSUM y las puntuaciones Oracle), el método propuesto ofrece un enfoque práctico y no supervisado para mejorar la facticidad de los resúmenes que es preferido por los evaluadores humanos. Los autores reconocen limitaciones, incluida la complejidad computacional de MBR ($O(n^2)$) y la restricción actual a conjuntos de datos de noticias en inglés, sugiriendo que trabajos futuros podrían explorar tipos de texto diversos e idiomas.