SCURank: Ranking Multiple Candidate Summaries with Summary Content Units for Enhanced Summarization

1. El Problema

El artículo aborda dos desafíos críticos en la tarea de resumen automático de texto, específicamente en el contexto de la destilación de modelos (entrenar modelos pequeños como BART para imitar a Grandes Modelos de Lenguaje - LLMs):

• Inestabilidad de las estrategias de ranking basadas en LLMs: Métodos recientes como GPTRank utilizan LLMs para clasificar candidatos de resúmenes. Sin embargo, estudios previos demuestran que los LLMs son inconsistentes en comparaciones de texto y sufren de sesgos posicionales (su clasificación cambia si se altera el orden de entrada de los resúmenes), lo que genera supervisión de entrenamiento poco fiable.
• Insuficiencia de las métricas tradicionales: Métricas clásicas como ROUGE se basan en la superposición de n-gramas (superficie léxica) y no son capaces de evaluar adecuadamente la calidad semántica, la riqueza de información o la abstracción de resúmenes de alta calidad.
• Sesgo de un solo modelo: Los enfoques actuales a menudo dependen de resúmenes generados por un único LLM, lo que limita la diversidad de patrones de generación y puede introducir sesgos específicos del modelo en el proceso de destilación.

2. Metodología: SCURank

Los autores proponen SCURank, un marco de clasificación que evalúa la calidad de los resúmenes basándose en la riqueza y la importancia semántica de la información, en lugar de la comparación directa o la superposición superficial. El proceso consta de tres etapas principales:

1. Extracción de Unidades de Contenido del Resumen (SCUs):

   • Se extraen "Unidades de Contenido del Resumen" (SCUs) de cada candidato a resumen. Una SCU es una declaración simple, independiente y única que representa un hecho.
   • Para automatizar esto, el sistema utiliza un LLM (gpt-4o-mini) siguiendo instrucciones específicas para descomponer los resúmenes en estas unidades semánticas (concepto derivado de Semantic GPT Units o SGUs).

2. Agregación y Agrupamiento (Clustering):

   • Todas las SCUs extraídas de los múltiples resúmenes candidatos se vectorizan utilizando un codificador de oraciones (sentence-transformers/all-mpnet-base-v2).
   • Se aplica el algoritmo de agrupamiento HDBSCAN (clustering basado en densidad jerárquica) para agrupar las SCUs semánticamente similares.
   • Lógica de importancia: El tamaño de cada clúster refleja el consenso entre los diferentes modelos generadores. Si muchas SCUs caen en el mismo clúster, indica que esa información es crucial y ha sido seleccionada independientemente por múltiples modelos, por lo tanto, tiene un alto valor informativo.

3. Puntuación y Clasificación:

   • Se asigna una puntuación a cada SCU basada en el tamaño del clúster al que pertenece ($\phi(u_{i,j}) = |C_k|$).
   • La puntuación total de un resumen es la suma de las puntuaciones de sus SCUs.
   • Penalización por longitud: Para evitar favorecer resúmenes más largos, la puntuación se normaliza dividiéndola por la raíz cuadrada del número de tokens del resumen.
   • Los resúmenes se clasifican según esta puntuación ajustada.

Integración en la Destilación:
SCURank se integra en el marco de aprendizaje contrastivo BRIO. Reemplaza el ranking basado en ROUGE o LLM inestable con SCURank para generar pares positivos/negativos de alta calidad, permitiendo que el modelo destilado (BART) aprenda a distinguir mejor entre resúmenes de alta y baja calidad. Además, el estudio explora la destilación utilizando resúmenes generados por 9 LLMs diferentes (conjunto LLMs-9) en lugar de uno solo.

3. Contribuciones Clave

1. Propuesta de SCURank: Un nuevo método de clasificación robusto que utiliza Unidades de Contenido del Resumen (SCUs) para evaluar la riqueza informativa, evitando la inestabilidad de las comparaciones directas de LLMs.
2. Investigación de la Destilación Multi-LLM: Demostración de que entrenar modelos pequeños con candidatos generados por una diversidad de LLMs mejora la abstracción (capacidad de parafrasear en lugar de copiar) y el rendimiento general, superando la destilación basada en un solo modelo.
3. Validación Empírica: Evidencia de que SCURank, combinado con aprendizaje contrastivo, supera a las métricas automáticas tradicionales y a los métodos de ranking basados en LLMs (como GPTRank) en múltiples conjuntos de datos y métricas.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos CNN/DailyMail y XSum.

• Rendimiento del Modelo Destilado:
  • El modelo BART destilado con SCURank obtuvo los mejores resultados en la mayoría de las métricas (ROUGE-1, ROUGE-2, ROUGE-L, BERTScore, BLEURT) en comparación con modelos entrenados con ROUGE, GPTRank o solo con máxima verosimilitud (MLE).
  • En el conjunto de datos LLMs-9 (9 LLMs), SCURank superó consistentemente a los promedios de los LLMs individuales en la mayoría de las métricas.
• Estabilidad:
  • GPTRank mostró alta sensibilidad al orden de entrada (sesgo posicional), degradando su consistencia cuando los resúmenes se mezclaban.
  • SCURank demostró una estabilidad superior, con un coeficiente de acuerdo de Krippendorff ($\alpha$) de 0.846, superando el umbral de fiabilidad de 0.8, ya que solo usa el LLM para extracción (no para comparación directa).
• Evaluación Humana:
  • En una evaluación en MTurk, los resúmenes generados por el modelo entrenado con SCURank fueron preferidos significativamente sobre los de GPTRank en dimensiones de Fidelidad, Concisión y Completitud.
  • Se observó una mejora significativa en la "Completitud" ($p < 0.01$), indicando que SCURank ayuda a retener más información clave.
• Estilo de Escritura:
  • Los modelos entrenados con el conjunto LLMs-9 mostraron una mayor abstracción (menor cobertura y densidad léxica) que los entrenados con un solo LLM, acercándose más al estilo de escritura humana.

5. Significado e Impacto

El trabajo de SCURank es significativo porque:

• Resuelve el problema de la inestabilidad: Ofrece una alternativa estable y semánticamente fundamentada a las costosas e inestables comparaciones directas de LLMs para la supervisión en el aprendizaje automático.
• Valida la diversificación: Confirma que la diversidad en los datos de entrenamiento (provenientes de múltiples LLMs) es crucial para mejorar la capacidad de abstracción de los modelos pequeños, evitando el sobreajuste a los patrones de un solo generador.
• Enfoque centrado en la información: Cambia el paradigma de evaluación de la "superficie léxica" (ROUGE) o la "preferencia subjetiva" (LLM ranking) hacia la "riqueza de información" y el "consenso semántico", lo cual es fundamental para generar resúmenes informativos y precisos.

En conclusión, SCURank establece un nuevo estándar para la selección de candidatos en tareas de resumen, permitiendo la creación de modelos de lenguaje pequeños que rivalizan o superan a los LLMs grandes en tareas de resumen, con una mayor eficiencia de recursos y estabilidad.