Technische Samenvatting: StrucSum

Probleemstelling

Hoewel Large Language Models (LLM's) sterke zero-shot capaciteiten hebben getoond in algemene samenvattingen, kampen ze aanzienlijke uitdagingen bij het verwerken van lange, gestructureerde documenten. Specifiek hebben LLM's vaak moeite met het modelleren van documentstructuur, het identificeren van relevante informatie over lange contexten en het behouden van feitelijke consistentie door beperkte contextvensters en een gebrek aan inherent discoursbewustzijn. Bestaande extractieve samenvattingsmethoden vertrouwen vaak op gesuperviseerde training met door mensen geschreven gouden samenvattingen, wat de schaalbaarheid en aanpasbaarheid over domeinen heen beperkt. Bovendien, hoewel prompting-strategieën zoals Chain-of-Thought het redeneren in andere gebieden hebben verbeterd, blijft de integratie van structureel redeneren in prompts voor extractieve samenvatting van lange documenten onderbelicht.

Methodologie: StrucSum

De auteurs stellen StrucSum voor, een training-vrij, structuurbewust prompting-framework ontworpen om het redeneervermogen van LLM's voor zero-shot extractieve samenvatting te verbeteren. Het kernmechanisme bestaat uit het construeren van een Text-Attributed Graph (TAG) voor elk document, waarbij zinnen dienen als knopen en randen semantische of positionele relaties vertegenwoordigen (afgeleid via Sentence-BERT embeddings en cosinus-gelijkenis).

StrucSum injecteert structurele signalen uit deze graaf in de LLM-prompts via drie afzonderlijke strategieën:

1. Neighbor-Aware Prompting (NAP):

   • Mechanisme: Augmenteert elke zin in de prompt door expliciet de 1-hop buren in de TAG te vermelden.
   • Doel: Biedt lokale contextuele aanwijzingen om kort-afstands discoursbewustzijn te verbeteren, wat de LLM helpt de directe semantische afhankelijkheden van een zin te begrijpen.

2. Centrality-Aware Prompting (CAP):

   • Mechanisme: Voegt een genormaliseerde graad-centraliteitsscore toe aan elke zin, berekend op basis van het aantal verbindingen binnen de TAG.
   • Doel: Benadrukt globaal belangrijke zinnen (discourse hubs) om de LLM te begeleiden bij het onderscheiden van structureel prominente inhoud van perifere informatie.

3. Centrality-Guided Masking (CGM):

   • Mechanisme: Sluit selectief alleen de hoogst gerangschikte zinnen (gebaseerd op centraliteitsscores) in de prompt in totdat een cumulatieve centraliteitsdrempel (bijv. 85%) wordt bereikt, terwijl de resterende zinnen met een lage salientie worden gemaskeerd.
   • Doel: Vermindert de inputlengte en het tokengebruik terwijl de belangrijkste informatieve inhoud behouden blijft, wat de focus op redeneren en de efficiëntie verbetert.

Het framework werkt in een volledig zero-shot setting zonder extra parameterupdates of fine-tuning van het onderliggende LLM.

Belangrijkste Bijdragen

• Framework Voorstel: Introductie van StrucSum, een nieuw prompting-framework dat graaf-gebaseerde structurele priors (NAP, CAP, CGM) integreert in LLM-inputs voor extractieve samenvatting.
• Empirische Validatie: Demonstratie over drie langvorm benchmarks (ArXiv, PubMed, Multi-News) dat structuurbewuste prompting consequent beter presteert dan zowel standaard vanilla prompting als unsupervised baselines (bijv. Lead, LexRank, TextRank) op het gebied van samenvattingskwaliteit en feitelijke consistentie.
• Strategische Inzichten: Identificatie dat verschillende structurele strategieën verschillende doelen dienen:
  • CGM is het meest effectief voor het maximaliseren van de overlap met referentie-samenvattingen (inhoudelijke dekking).
  • NAP is het meest effectief voor het behouden van feitelijke consistentie en het verminderen van hallucinaties.
  • CAP biedt een balans tussen prestaties en inputlengte.
  • De studie merkt op dat het combineren van alle strategieën niet noodzakelijkerwijs verdere winst oplevert, wat suggereert dat ze verschillende aspecten van de taak adresseren.

Experimentele Resultaten

Experimenten werden uitgevoerd op ArXiv, PubMed en Multi-News met behulp van GPT-4o-mini, GPT-4o en LLaMA3-70B.

• Samenvattingskwaliteit: StrucSum verbeterde consequent ROUGE en BERTScore metrieken vergeleken met vanilla prompting. Zo behaalde de Centrality-Aware Prompting (CAP) strategie op ArXiv met GPT-4o-mini een R-2 score van 15.39, wat beter is dan de vanilla baseline (14.14).
• Feitelijke Consistentie: Significante verbeteringen werden waargenomen in getrouwheidsmetrieken (faithfulness metrics). Op ArXiv verhoogde NAP de FactCC met 19,2 procentpunt (van 38,44 naar 57,67) en de SummaC met 8,0 punten, wat een sterkere afstemming aantoont tussen de gegenereerde samenvatting en de broninhoud.
• Efficiëntie: CGM verminderde het tokengebruik met 40–50% vergeleken met vanilla prompting terwijl de prestaties gelijk bleven of verbeterden, wat het een levensvatbare optie maakt voor scenario's met beperkte latentie.
• Menselijke Evaluatie: Menselijke beoordelaars op de PubMed-dataset bevestigden dat StrucSum-strategieën, met name NAP, de scores voor vloeiendheid, informatieve waarde en getrouwheid verbeterden vergeleken met vanilla prompts.
• Ablatie & Analyse:
  • Het combineren van meerdere strategieën (NAP + CAP + CGM) leverde geen duidelijke prestatiewinst op ten opzichte van individuele strategieën, wat aangeeft dat ze verschillende optimalisatiedoelen nastreven.
  • Analyse van graph-only inputs (zonder de tekst van de zinnen) toonde aan dat hoewel structurele aanwijzingen nuttig zijn, ze de tekstuele informatie niet kunnen vervangen voor optimale resultaten.
  • Correlatieanalyse bevestigde dat LLM's centraliteitscues volgen wanneer deze expliciet worden verstrekt (CAP), hoewel dit niet altijd vertaalt naar de hoogste algemene ROUGE-scores vergeleken met NAP of CGM.

Betekenis en Claims

Het artikel claimt dat StrucSum een veelbelovende en onderbelichte richting vertegenwoordigt voor het verbeteren van zero-shot extractieve samenvatting. Door eenvoudige, symbolische graaf-priors in prompts te integreren, begeleidt het framework black-box LLM's om over de documentstructuur te redeneren zonder dat aanvullende training of supervisie vereist is. De auteurs benadrukken dat deze aanpak de specifieke beperkingen van LLM's in lang-document contexten aanpakt — namelijk het gebrek aan structureel bewustzijn en de neiging tot feitelijke inconsistentie — en een schaalbare, model-agnostische oplossing biedt die zowel de kwaliteit als de betrouwbaarheid van machinaal gegenereerde samenvattingen verbetert. Het werk suggereert dat structureel redeneren een kritieke component is voor het verbeteren van de prestaties van LLM's bij complexe, langdurige taken.