SCURank: Ranking Multiple Candidate Summaries with Summary Content Units for Enhanced Summarization

1. Problématique

L'article aborde les défis liés à l'entraînement de modèles de résumés de texte (summarization) par distillation de grands modèles de langage (LLM) vers des modèles plus petits (SLM, comme BART). Deux problèmes majeurs sont identifiés :

• Instabilité des méthodes de classement basées sur les LLM : Les stratégies existantes qui utilisent des LLM pour classer directement les candidats de résumés (comme GPTRank) souffrent d'inconsistance et de biais (notamment liés à la position des textes dans le prompt), rendant l'apprentissage par contraste instable.
• Insuffisance des métriques traditionnelles : Les métriques automatiques classiques (comme ROUGE) se basent sur le chevauchement de n-grammes et échouent à évaluer la richesse sémantique et la qualité des résumés abstraits de haute qualité.
• Biais de modèle unique : La distillation basée sur les résumés d'un seul LM limite la diversité des patterns de génération et introduit des biais spécifiques à ce modèle.

2. Méthodologie : SCURank

Les auteurs proposent SCURank, un cadre de classement qui évalue la qualité des résumés non pas par comparaison directe, mais par l'analyse de leur contenu informationnel via des Unités de Contenu de Résumé (SCUs - Summary Content Units).

Le processus se déroule en trois étapes principales :

1. Extraction des SCUs :

   • Chaque résumé candidat est décomposé en unités sémantiques distinctes et autonomes (SCUs), représentant des faits simples.
   • Cette étape utilise un LLM (gpt-4o-mini) pour extraire ces unités, s'inspirant des travaux de Nawrath et al. (2024) sur les Semantic GPT Units (SGUs).

2. Agrégation et Clustering :

   • Toutes les SCUs extraites de l'ensemble des résumés candidats sont vectorisées à l'aide d'un encodeur sémantique (all-mpnet-base-v2).
   • Un algorithme de clustering hiérarchique basé sur la densité (HDBSCAN) est appliqué pour regrouper les SCUs sémantiquement similaires.
   • Principe clé : La taille d'un cluster reflète l'importance de l'information. Plus un cluster contient de SCUs provenant de différents résumés, plus l'information qu'il représente est considérée comme cruciale et consensuelle.

3. Scoring et Classement :

   • Chaque résumé reçoit un score calculé en sommant les tailles des clusters auxquels ses SCUs appartiennent.
   • Une pénalité de longueur (racine carrée du nombre de tokens) est appliquée pour éviter de favoriser les résumés longs et verbeux.
   • Les résumés sont ensuite classés selon ce score, fournissant un ordre d'apprentissage robuste pour la distillation.

Intégration à l'entraînement :
SCURank est intégré dans le cadre d'apprentissage par contraste BRIO. Il remplace le classement basé sur ROUGE ou les LLM pour générer des paires positives/négatives, permettant au modèle distillé (BART) d'apprendre à distinguer les résumés riches en information de ceux qui ne le sont pas.

3. Contributions Clés

1. Proposition de SCURank : Une nouvelle méthode de classement basée sur la richesse sémantique (via les SCUs) plutôt que sur le chevauchement lexical ou la comparaison directe par LLM.
2. Distillation Multi-LLM : Investigation de l'efficacité de la distillation à partir de résumés générés par neuf LLMs différents, démontrant que la diversité des sources améliore l'abstraction du modèle final.
3. Validation Empirique : Démonstration que SCURank, couplé à l'apprentissage par contraste, surpasse les méthodes de référence (ROUGE, GPTRank, BERTScore) et les métriques automatiques.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données CNN/DailyMail et XSum.

• Performance des Modèles Distillés : Le modèle entraîné avec SCURank obtient les meilleurs scores sur la plupart des métriques (ROUGE-1/2/L, BERTScore, BLEURT, BARTScore) par rapport aux modèles entraînés avec ROUGE, GPTRank ou uniquement par Maximum Likelihood Estimation (MLE).
• Stabilité : Contrairement à GPTRank, qui est très sensible à l'ordre d'entrée des textes (biais de position), SCURank montre une stabilité exceptionnelle (coefficient de Krippendorff $\alpha > 0.8$) car il ne dépend pas de la comparaison directe par LLM.
• Évaluation Humaine : Sur MTurk, les résumés générés par le modèle SCURank sont jugés significativement supérieurs en termes de fidélité (faithfulness) et de complétude (completeness) par rapport à ceux de GPTRank.
• Abstraction : L'entraînement sur des données provenant de multiples LLMs réduit la densité et la couverture (mesures d'extractivité), indiquant que le modèle apprend à générer des résumés plus abstraits et moins dépendants du texte source.
• Comparaison avec les LLMs : Les modèles distillés avec SCURank atteignent des performances comparables, voire supérieures, à la moyenne des LLMs de pointe sur plusieurs métriques.

5. Signification et Impact

Ce travail démontre que la richesse informationnelle est un critère de classement plus robuste et fiable que la simple similarité textuelle ou les jugements subjectifs des LLMs.

• Robustesse : SCURank résout le problème d'instabilité des classifieurs LLM, offrant une supervision plus fiable pour l'apprentissage par contraste.
• Diversité : L'approche valide l'hypothèse que la distillation à partir de sources multiples (Multi-LLM) améliore la capacité du modèle à capturer le sens sémantique plutôt qu'à copier des phrases sources.
• Avenir de la Summarisation : SCURank propose une voie prometteuse pour entraîner des modèles de résumés légers et efficaces, capables de rivaliser avec les grands modèles tout en étant plus stables et moins coûteux à déployer.

Le code est disponible publiquement sur GitHub, facilitant la reproduction et l'adoption de cette méthode.