Sintesi Tecnica: Oltre gli LLM: Un approccio linguistico alla generazione di grafi causali da testi narrativi

Definizione del Problema

Gli attuali approcci basati sull'IA alla generazione di grafi causali tendono a dare priorità alla causalità di alto livello (ad es., "l'HIV porta all'AIDS"), pur faticando a catturare relazioni causali sfumate e specifiche per ogni evento all'interno di narrazioni discrete, come resoconti storici o narrativa letteraria. I metodi esistenti seguono tipicamente una pipeline a due stadi (rilevamento della causalità seguito dalla costruzione del grafo), ma affrontano limitazioni in termini di interpretabza e accuratezza, in particolare nel gestire strutture sintattiche complesse o legami causali impliciti. La sfida centrale affrontata da questo lavoro è la generazione di grafi causali connessi e granulari da testi narrativi che riflettano accuratamente la catena di eventi che porta a risultati tangibili, colmando il divario tra la causalità di alto livello e i dettagli narrativi specifici.

Metodologia

Gli autori propongono un framework end-to-end che integra l'estrazione di caratteristiche linguistiche con modelli di linguaggio moderni per generare grafi causali. Il processo si compone di quattro fasi distinte:

1. Estrazione dei Vertici

Il sistema trasforma prima il testo narrativo grezzo in un insieme di frasi concise, centrate sull'agente, che fungono da vertici del grafo. Utilizzando una strategia di riassunto basata su LLM (specificamente GPT-4o, selezionato per la sua capacità superiore di compressione degli eventi), il testo viene elaborato attraverso un flusso di prompting strutturato:

• Riassunto: Generazione di brevi riassunti dei paragrafi.
• Sostituzione dei Pronomi: Sostituzione dei pronomi con identificatori espliciti (ad es., "Il Protagonista").
• Semplificazione delle Clausole: Suddivisione di frasi complesse in enunciati a singola azione.
• Verifica del Flusso: Assicuramento della continuità logica con scarto dei dettagli tangenziali.
  Ogni vertice è vincolato a non contenere più di due clausole, presentare un singolo agente esplicito e utilizzare la forma attiva.

2. Estrazione dell'Indice Esperto

Per migliorare l'accuratezza della classificazione, il framework estrae sette caratteristiche linguisticamente fondate (l' "Indice Esperto") per ogni frase. Queste caratteristiche sono adattate da framework del discorso (Hemmatian et al., 2021; Hemmatian Borujeni, 2022) e includono:

1. Genericità: Soggetti specifici vs. generici.
2. Eventività: Verbi dinamici (azione) vs. stativi (stato).
3. Limitatezza (Boundedness): Eventi episodici, abituali o statici.
4. Iniziativa: Se il soggetto avvia o riceve l'azione.
5. Inizio Temporale: Passato o presente rispetto alla narrazione.
6. Fine Temporale: Presente o futuro rispetto alla narrazione.
7. Impatto: Se l'effetto dell'evento persiste o viene risolto.

Un classificatore basato su RoBERTa viene addestrato su dati annotati da esperti per predire queste caratteristiche per ogni frase.

3. Categorizzazione STAC

Il sistema impiega un modello di classificazione STAC per categorizzare le frasi in quattro componenti: Situation (situazione/sfondo), Task (compito/requisito), Action (azione/attività) e Consequence (conseguenza/risultato).

• Input: Il modello combina gli embedding di RoBERTa (768 dimensioni) con le caratteristiche dell'Indice Esperto codificate one-hot (13 dimensioni).
• Architettura: Viene utilizzato un classificatore XGBoost per predire l'etichetta STAC, sfruttando l'input ibrido di embedding semantici e caratteristiche linguistiche esplicite.
• Performance: Questo approccio ibrido supera significativamente i modelli che utilizzano solo embedding o solo caratteristiche linguistiche, così come i baseline zero-shot degli LLM.

4. Costruzione del Grafo

Un processo di prompting strutturato in cinque iterazioni utilizzando LangChain costruisce il grafo causale finale:

1. Apprendimento dei Legami STAC: L'LLM interiorizza le connessioni causali valide tra le categorie STAC.
2. Identificazione delle Relazioni Causali: Il modello valuta coppie di vertici per proporre archi basati sui legamenti STAC.
3. Consistenza Logica e Potatura: Il ragionamento controfattuale ("Se A non fosse accaduto, B accadrebbe comunque?") filtra i legami non causali.
4. Raffinamento dei Vertici Isolati: Il modello rivisita i vertici scollegati per identificare cause o effetti trascurati.
5. Costruzione del Grafo Finale: I vertici e gli archi raffinati vengono compilati in un diagramma causale coerente e logicamente solido.

Contributi Chiave

1. Framework End-to-End Open-Source: Gli autori hanno sviluppato una nuova pipeline che migliora significativamente l'interpretabilità e l'accuratezza della generazione di grafi causali da testi narrativi rispetto ai metodi esistenti.
2. Sistema di Caratteristiche Linguistiche: L'introduzione dell' "Indice Esperto" (sette caratteristiche linguistiche) fornisce un meccanismo per classificare efficientemente le frasi per la costruzione causale. Questo sistema è validato da esperimenti che dimostrano come la combinazione di tali caratteristiche con gli embedding semantici produca prestazioni di classificazione superiori.
3. Architettura Ibrida: Il documento dimostra che un sistema ibrido (embedding RoBERTa + caratteristiche dell'Indice Esperto elaborate da XGBoost) raggiunge una maggiore precisione nell'identificare i legami causali e nel classificare le componenti narrative rispetto ai baseline basati esclusivamente su LLM, mantenendo costi computazionali inferiori.

Risultati Sperimentali

Il framework è stato valutato su un corpus di 100 capitoli e racconti (compresi tra il 1800 e il 1950), inclusi lavori di O. Henry, Poe e Fitzgerald.

• Estrazione dei Vertici: GPT-4o è stato identificato come il modello di riassunto ottimale, ottenendo i punteggi più alti in concisione, copertura ed economia informativa.
• Classificazione STAC: Il modello XGBoost che utilizza sia gli embedding di RoBERTa che le caratteristiche dell'Indice Esperto ha raggiunto il punteggio macro-F1 più elevato in tutte le categorie STAC. Ha superato il baseline di sola RoBERTa di circa il 30% e il classificatore zero-shot di GPT-4 di un miglioramento relativo del 10-15%.
• Qualità del Grafo: In confronti a coppie contro GPT-4o e Claude 3.5, il metodo proposto ha dimostrato prestazioni superiori nella maggior parte delle dimensioni qualitative:
  • Causalità vs. Cronologia: 100% di tasso di vittoria contro entrambi i baseline.
  • Completezza Logica e Accuratezza delle Connessioni: 100% di tasso di vittoria.
  • Motivazioni/Intenzioni Esplicite: 95% (vs. GPT-4o) e 92% (vs. Claude 3.5).
  • Granularità e Gerarchia: Alti tassi di vittoria (84–94%).
  • Facilità di Lettura: Il metodo proposto ha mantenuto una leggibilità comparabile ai baseline (tasso di vittoria del 52–57%), indicando che non sacrifica la chiarezza per l'accuratezza.

Significato e Rivendicazioni

Il documento sostiene che l'integrazione dell'ingegneria delle caratteristiche linguistiche interpretabili con i moderni modelli di linguaggio offra una soluzione robusta per il ragionamento causale fine nei testi narrativi. Passando dal puro prompting di LLM a una pipeline strutturata che coinvolge indici linguistici e raffinamento iterativo, il framework raggiunge un livello di precisione e coerenza logica che gli attuali LLM allo stato dell'arte faticano a replicare autonomamente. Gli autori pongono questo lavoro come un passo verso l'analisi scalabile e interpretabile di grandi collezioni di documenti, consentendo agli stakeholder di tracciare le catene di eventi nei movimenti sociali, nel processo decisionale politico e nelle tendenze storiche con maggiore accuratezza. Lo strumento risultante è open-source, con l'obiettivo di facilitare ulteriori ricerche nella sintesi, l'analisi del discorso e la costruzione di grafi di conoscenza.