SCURank: Ranking Multiple Candidate Summaries with Summary Content Units for Enhanced Summarization

Probleemstelling

Het paper adresseert twee fundamentele uitdagingen binnen het veld van tekstsamenvatting, specifiek in de context van het distilleren van grote taalmodellen (LLMs) naar kleinere, efficiëntere modellen (zoals BART):

1. Instabiliteit van LLM-based ranking: Bestaande methoden die LLMs gebruiken om kandidaat-samenvattingen te rangschikken (bijv. GPTRank) blijken onbetrouwbaar en inconsistent. Ze zijn gevoelig voor positie-bias (de volgorde van invoer beïnvloedt het resultaat) en hebben moeite met consistente tekstvergelijking.
2. Onvoldoende kwaliteit van traditionele metrics: Klassieke evaluatiemetrics zoals ROUGE zijn gebaseerd op oppervlakkige n-gram-overlap en kunnen de semantische kwaliteit en informatierijkdom van hoogwaardige, abstracte samenvattingen niet adequaat beoordelen.
3. Bias in single-LLM distillatie: Het vertrouwen op samenvattingen van slechts één LLM introduceert model-specifieke bias en beperkt de diversiteit van de gegenereerde patronen.

Methodologie: SCURank

De auteurs introduceren SCURank (Summary Content Unit Ranking), een raamwerk dat de focus verlegt van directe vergelijking naar de analyse van de informatierijkdom en semantische belangrijkheid van samenvattingen. Het proces verloopt in drie fasen:

1. Extractie van Summary Content Units (SCUs):

   • In plaats van de hele samenvatting te vergelijken, worden deze opgesplitst in kleine, zelfstandige eenheden van informatie (SCUs), vergelijkbaar met "Semantic GPT Units" (SGUs).
   • Hiervoor wordt een LLM (gpt-4o-mini) gebruikt als extractor, maar niet voor het rangschikken. Dit omzeilt de instabiliteit van LLM-vergelijkingen.

2. Aggregatie en Clustering:

   • Alle geëxtraheerde SCUs uit de verschillende kandidaat-samenvattingen worden verzameld.
   • Deze SCUs worden omgezet in vectorrepresentaties (met een sentence encoder zoals all-mpnet-base-v2).
   • Vervolgens wordt HDBSCAN (een density-based clustering algoritme) toegepast om semantisch vergelijkbare SCUs te groeperen.
   • De grootte van een cluster geeft de consensus weer: hoe meer modellen een bepaalde informatie-eenheid opnemen, hoe belangrijker die informatie wordt geacht.

3. Scoren en Rangschikken:

   • De score van een samenvatting wordt berekend door de som van de "belangrijkheidsscores" van zijn SCUs. De score van een SCU is gelijk aan het aantal leden in zijn cluster.
   • Om bias ten opzichte van langere samenvattingen te voorkomen, wordt de totale score genormaliseerd door de vierkantswortel van het aantal tokens in de samenvatting (een lengte-penalty).
   • De samenvattingen worden vervolgens gerangschikt op basis van deze genormaliseerde scores.

Training Framework:
De gerangschikte samenvattingen worden gebruikt in het BRIO-raamwerk (contrastive learning). Het model leert om de hoogst gerangschikte samenvattingen (positieve voorbeelden) te onderscheiden van lager gerangschikte (negatieve voorbeelden). Het paper onderzoekt ook het distilleren van modellen die zijn getraind op samenvattingen van meerdere verschillende LLMs (LLMs-9 dataset) in plaats van één enkele.

Belangrijkste Bijdragen

1. SCURank Framework: Een nieuwe, stabiele ranking-methode die SCUs gebruikt om informatierijkdom te kwantificeren, waardoor de onbetrouwbaarheid van directe LLM-vergelijkingen wordt omzeild.
2. Multi-LLM Distillatie: Een onderzoek naar de effectiviteit van het distilleren van modellen op basis van een diverse set samenvattingen gegenereerd door negen verschillende LLMs, wat leidt tot meer abstracte en menselijke schrijfstijlen.
3. Verbeterde Contrastive Learning: Het aantonen dat SCURank, in combinatie met contrastive learning, superieure resultaten oplevert voor gedistilleerde modellen ten opzichte van traditionele metrics (ROUGE, BERTScore) en LLM-based ranking (GPTRank).

Resultaten

De experimenten zijn uitgevoerd op de CNN/DailyMail en XSum datasets:

• Prestatie: Gedistilleerde modellen getraind met SCURank presteren consistent beter dan die getraind met ROUGE, BERTScore, BLANC of GPTRank. Ze behalen de hoogste scores op de meeste automatische metrics (ROUGE-1/2/L, BERTScore, BLEURT).
• Stabiliteit: SCURank toont een veel hogere stabiliteit dan GPTRank. Waar GPTRank sterk varieert bij het randomiseren van de invoerorde (lage Krippendorff's $\alpha$), blijft SCURank robuust en consistent (Krippendorff's $\alpha$ > 0.8).
• Menselijke Evaluatie: In een MTurk-evaluatie (Faithfulness, Conciseness, Completeness) scoorden de SCURank-modellen significant hoger, vooral op het vlak van Completete (informatiebehoud). Menselijke beoordelaars gaven de voorkeur aan SCURank-samenvattingen in 40-60% van de gevallen.
• Abstractiviteit: Modellen getraind op de diverse "LLMs-9" dataset vertonen een lagere "coverage" en "density" dan modellen getraind op één enkele bron, wat aangeeft dat ze meer abstracte samenvattingen genereren die dichter bij de menselijke schrijfstijl liggen.
• LLM-vergelijking: De gedistilleerde modellen presteren vergelijkbaar met of beter dan de gemiddelde prestaties van de top-LLMs op de testset.

Betekenis en Conclusie

Het paper toont aan dat het verleggen van de evaluatiefocus van oppervlakkige overlap of onstabiele LLM-vergelijkingen naar informatie-inhoud (via SCUs) een cruciale stap is voor het verbeteren van samenvattingssystemen.

• Robuustheid: SCURank biedt een betrouwbare oplossing voor het rangschikken van kandidaat-samenvattingen, wat essentieel is voor effectief contrastive learning.
• Diversiteit: Het gebruik van meerdere LLMs als bron voor distillatie verrijkt het trainingsdata-pool, wat leidt tot modellen die beter in staat zijn om semantische informatie te vangen in plaats van tekstfragmenten te kopiëren.
• Toekomst: De methode biedt een schaalbare en kosteneffectieve manier om kleine taalmodellen (SLMs) te trainen die prestaties leveren die vergelijkbaar zijn met of zelfs die van de grootste LLMs overtreffen, zonder de hoge rekenkosten van de originele modellen.