StrucSum: Graph-Structured Reasoning for Long Document Extractive Summarization with LLMs

Sintesi Tecnica: StrucSum

Problematica

Sebbene i Large Language Models (LLM) abbiano dimostrato forti capacità zero-shot nella riassunzione generale, essi affrontano sfide significative quando devono elaborare documenti strutturati e lunghi. Nello specifico, gli LLM spesso faticano a modellare la struttura del documento, identificare informazioni salienti in contesti estesi e mantenere la coerenza fattuale a causa delle finestre di contesto limitate e della mancanza di una consapevolezza intrinseca del discorso. I metodi esistenti di riassunzione estrattiva spesso si affidano all'addestramento supervisionato con riassunti "gold" scritti da esseri umani, limitandone la scalabilità e l'adattabilità tra diversi domini. Inoltre, sebbene le strategie di prompting come il Chain-of-Thought abbiano potenziato il ragionamento in altre aree, l'integrazione del ragionamento strutturale nei prompt per la riassunzione estrattiva di documenti lunghi rimane poco esplorata.

Metodologia: StrucSum

Gli autori propongono StrucSum, un framework di prompting consapevole della struttura (structure-aware) e privo di addestramento (training-free), progettato per potenziare il ragionamento degli LLM per la riassunzione estrattiva zero-shot. Il meccanismo centrale consiste nella costruzione di un Grafo Attribuito al Testo (TAG) per ogni documento, dove le frasi fungono da nodi e gli archi rappresentano relazioni semantiche o posizionali (derivate tramite embedding Sentence-BERT e similarità del coseno).

StrucSum inietta segnali strutturali da questo grafo nei prompt dell'LLM attraverso tre distinte strategie:

1. Neighbor-Aware Prompting (NAP):

   • Meccanismo: Arricchisce ogni frase nel prompt elencando esplicitamente i suoi vicini a 1 salto (1-hop neighbors) nel TAG.
   • Obiettivo: Fornisce indizi contestuali locali per migliorare la consapevolezza del discorso a breve raggio, aiutando l'LLM a comprendere le dipendenze semantiche immediate di una frase.

2. Centrality-Aware Prompting (CAP):

   • Meccanismo: Appone un punteggio di centralità di grado normalizzato a ciascuna frase, calcolato in base al numero di connessioni all'interno del TAG.
   • Obiettivo: Evidenzia le frasi globalmente importanti (hub del discorso) per guidare l'LLM nel distinguere il contenuto strutturalmente prominente dalle informazioni periferiche.

3. Centrality-Guided Masking (CGM):

   • Meccanismo: Include selettivamente solo le frasi con il ranking più alto (basato sui punteggi di centralità) nel prompt finché non viene raggiunta una soglia di centralità cumulativa (es. 85%), mascherando le restanti frasi a bassa salienza.
   • Obiettivo: Riduce la lunghezza dell'input e l'uso dei token pur preservando il contenuto informativo chiave, migliorando il focus del ragionamento e l'efficienza.

Il framework opera in un contesto completamente zero-shot senza alcun aggiornamento dei parametri o fine-tuning del LLM sottostante.

Contributi Chiave

• Proposta del Framework: Introduzione di StrucSum, un nuovo framework di prompting che integra prior strutturali basati su grafi (NAP, CAP, CGM) negli input degli LLM per la riassunzione estrattiva.
• Validazione Empirica: Dimostrazione attraverso tre benchmark a lungo formato (ArXiv, PubMed, Multi-News) che il prompting consapevole della struttura supera costantemente sia il vanilla prompting standard che i baseline non supervisionati (es. Lead, LexRank, TextRank) in termini di qualità del riassunto e coerenza fattuale.
• Approfondimenti Strategici: Identificazione del fatto che diverse strategie strutturali servono obiettivi distinti:
  • CGM è più efficace per massimizzare la sovrapposzione con i riassunti di riferimento (copertura del contenuto).
  • NAP è più efficace per mantenere la coerenza fattuale e ridurre le allucinazioni.
  • CAP offre un equilibrio tra prestazioni e lunghezza dell'input.
  • Lo studio nota che combinare tutte le strategie non produce necessariamente ulteriori guadagni, suggerendo che esse affrontino aspetti diversi del compito.

Risultati Sperimentali

Gli esperimenti sono stati condotti su ArXiv, PubMed e Multi-News utilizzando GPT-4o-mini, GPT-4o e LLaMA3-70B.

• Qualità del Riassunto: StrucSum ha migliorato costantemente le metriche ROUGE e BERTScore rispetto al vanilla prompting. Ad esempio, su ArXiv con GPT-4o-mini, la strategia Centrality-Aware Prompting (CAP) ha ottenuto un punteggio R-2 di 15.39, superando il baseline vanilla (14.14).
• Coerenza Fattuale: Sono stati osservati miglioramenti significativi nelle metriche di fedeltà. Su ArXiv, NAP ha aumentato FactCC di 19,2 punti percentuali (da 38,44 a 57,67) e SummaC di 8,0 punti, dimostrando un allineamento più forte tra il riassunto generato e il contenuto sorgente.
• Efficienza: CGM ha ridotto l'uso dei token del 40–50% rispetto al vanilla prompting mantenendo o migliorando le prestazioni, rendendolo un'opzione valida per scenari con vincoli di latenza.
• Valutazione Umana: Valutatori umani sul dataset PubMed hanno confermato che le strategie StrucSum, in particolare NAP, hanno migliorato i punteggi di fluidità, informatività e fedeltà rispetto ai prompt vanilla.
• Ablation & Analisi:
  • Combinare più strategie (NAP + CAP + CGM) non ha prodotto guadagni chiari rispetto alle singole strategie, indicando che esse mirano a diversi obiettivi di ottimizzazione.
  • L'analisi degli input basati solo sul grafo (senza il testo della frase) ha mostrato che, sebbene gli indizi strutturali siano utili, non possono sostituire l'informazione testuale per risultati ottimali.
  • L'analisi di correlazione ha confermato che gli LLM seguono i segnali di centralità quando forniti esplicitamente (CAP), sebbene ciò non si traduca sempre nei punteggi ROUGE complessivi più alti rispetto a NAP o CGM.

Significato e Rivendicazioni

L'articolo sostiene che StrucSum rappresenti una direzione promettente e poco esplorata per avanzare la riassunzione estrattiva zero-shot. Integrando semplici prior grafici simbolici nei prompt, il framework guida i modelli LLM "black-box" a ragionare sulla struttura del documento senza richiedere addestramento o supervisione aggiuntivi. Gli autori sottolineano che questo approccio affronta i limiti specifici degli LLM nei contesti di documenti lunghi — ovvero la mancanza di consapevolezza strutturale e la tendenza all'incoerenza fattuale — fornendo una soluzione scalabile e agnostica rispetto al modello che migliora sia la qualità che l'affidabilità dei riassunti generati dalle macchine. Il lavoro suggerisce che il ragionamento strutturale sia una componente critica per migliorare le prestazioni degli LLM in compiti complessi e a lungo formato.