Optimising Factual Consistency in Summarisation via Preference Learning from Multiple Imperfect Metrics

Resumen Técnico: Optimización de la Consistencia Fáctica en la Sumarización mediante Aprendizaje por Preferencia a partir de Múltiples Métricas Imperfectas

Enunciado del Problema
Aunque los modelos de lenguaje grandes (LLM) demuestran una fluidez impresionante, a menudo luchan con la consistencia fáctica, generando frecuentemente resúmenes que contienen detalles alucinados o inconsistencias con el texto fuente. Se ha propuesto el Aprendizaje por Refuerzo (RL) para mitigar esto utilizando métricas de evaluación como señales de recompensa. Sin embargo, las métricas automáticas de facticidad existentes son individualmente poco fiables y a menudo tienen dificultades con errores sutiles. Además, utilizar una sola métrica como recompensa escalar puede conducir a un entrenamiento inestable, mientras que combinar métricas generalmente requiere una ponderación manual (configuración de recompensas), lo cual es complejo y propenso a errores. Enfoques alternativos como el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) a menudo fallan en priorizar la facticidad, ya que los anotadores humanos pueden pasar por alto errores factuales en favor de otras cualidades como la fluidez o la coherencia. Construir conjuntos de datos de preferencia de alta calidad y centrados en la facticidad mediante anotación humana es intensivo en recursos y difícil de escalar.

Metodología
Los autores proponen una tubería de entrenamiento totalmente automatizada que mejora la consistencia fáctica sin depender de anotaciones humanas ni de resúmenes de referencia. La metodología central consta de tres etapas principales:

1. Generación de Resúmenes Léxicamente Similares:
   En lugar de emparejar muestras diversas, el método genera pares de resúmenes que son léxicamente similares para minimizar diferencias estilísticas o estructurales confusoras. Esto permite que el modelo se centre específicamente en distinciones factuales.

   • Para un documento fuente dado, el modelo genera un resumen principal utilizando Búsqueda por Haz (BS#1).
   • Un segundo resumen se genera seleccionando la secuencia segunda más probable de la misma búsqueda por haz (BS#2) o utilizando Decodificación Codiciosa.
   • Este enfoque asegura que las diferencias entre el par sean sutiles, impulsadas principalmente por variaciones de decodificación en lugar de cambios estructurales importantes.

2. Etiquetado de Preferencias Automatizado mediante Conjuntos de Métricas:
   Para evitar la falta de fiabilidad de las métricas individuales, la tubería emplea un conjunto de métricas de facticidad (específicamente SBERTScore y SummaC-Conv en los experimentos) para puntuar los pares generados.

   • Las puntuaciones de diferentes métricas se convierten en etiquetas de preferencia binarias.
   • Se aplica un filtro de conflicto: un par de resúmenes se retiene para el entrenamiento solo si todas las métricas seleccionadas coinciden en la etiqueta de preferencia. Los pares con un alto desacuerdo entre métricas se filtran para eliminar anotaciones ruidosas.
   • Este proceso construye un conjunto de datos de preferencia de alta calidad utilizando únicamente documentos fuente.

3. Optimización de Preferencias (DPO):
   El conjunto de datos de preferencia filtrado se utiliza para entrenar los modelos de lenguaje mediante Optimización Directa de Preferencias (DPO). A diferencia del RL estándar, DPO optimiza los parámetros del modelo directamente para aumentar la probabilidad del resumen preferido sin requerir un modelo de recompensa separado y complejo. Esto reduce la complejidad del entrenamiento y mitiga problemas como el olvido catastrófico.

Contribuciones Clave

• Tubería Automatizada: Una tubería de aprendizaje por preferencia novedosa y totalmente automatizada que optimiza la facticidad de la sumarización sin anotaciones humanas ni resúmenes de referencia.
• Estrategia de Agregación de Métricas: Un método para adaptar múltiples métricas de facticidad existentes e imperfectas en objetivos de entrenamiento convirtiendo las puntuaciones en preferencias y filtrando casos con alto desacuerdo inter-métrico, mejorando así la fiabilidad de los datos.
• Enfoque en la Similitud Léxica: Un análisis que demuestra que el entrenamiento en pares de resúmenes léxicamente similares es más efectivo para mejorar la facticidad que el entrenamiento en pares diversos, ya que aísla los errores factuales de las variaciones estilísticas.
• Rendimiento en Modelos Más Pequeños: El método eleva con éxito el rendimiento de facticidad de modelos más pequeños (por ejemplo, BART) a niveles comparables con LLM modernos significativamente más grandes.

Resultados Experimentales
El enfoque se evaluó en los conjuntos de datos XSUM y TL;DR utilizando cuatro modelos de diversas arquitecturas y escalas: BART-large, GPT-J, LLaMA-3 y DeepSeek-R1.

• Ganancias en Facticidad: El método propuesto superó consistentemente a las líneas base, incluyendo el Ajuste Fino Supervisado (SFT), RLHF y la Optimización de Preferencias Basada en Modelos (MPO), que depende de suposiciones heurísticas sobre estrategias de decodificación.
  • En XSUM, BART logró un aumento de 24.7 puntos en AlignScore sobre SFT.
  • En TL;DR, BART vio un aumento de 9.3 puntos.
  • Los modelos más pequeños (BART) lograron puntuaciones de facticidad comparables o superiores a las de modelos más grandes (LLaMA, DeepSeek) después del entrenamiento.
• Robustez: El método demostró estabilidad a través de diferentes familias y escalas de modelos, evitando el olvido catastrófico observado en otros enfoques basados en RL.
• Compensaciones: Aunque la facticidad mejoró significativamente, hubo una ligera compensación en las puntuaciones ROUGE-L y en las preferencias de calidad general cuando fueron juzgadas por ChatGPT. Los autores señalan que los resúmenes preferidos (SFT/RLHF) a menudo contenían detalles excesivos, mientras que los resúmenes optimizados para la facticidad eran más abstractos para reducir el riesgo de inconsistencia.

Significado y Afirmaciones
El artículo afirma que este enfoque proporciona una alternativa estable y escalable al RLHF anotado por humanos para mejorar la facticidad. Al aprovechar el acuerdo de múltiples métricas débiles y centrarse en diferencias léxicas sutiles, el método entrena eficazmente a los modelos para evitar generar texto plausible pero fácticamente incorrecto. Los autores destacan que esta tubería "revitaliza" el potencial de modelos más antiguos y pequeños para producir resúmenes precisos a costos computacionales más bajos, haciendo la sumarización de alta facticidad más accesible. El trabajo sugiere que el aprendizaje por preferencia, cuando se basa en el acuerdo de métricas en lugar de sesgos humanos o recompensas de una sola métrica, ofrece un camino robusto hacia resultados de modelos de lenguaje más fieles.