An LLM-Based System for Argument Reconstruction

Riepilogo Tecnico: Un Sistema Basato su LLM per la Ricostruzione di Argomenti

Enunciazione del Problema
L'argomentazione computazionale affronta una dicotomia fondamentale. Da un lato, i Framework di Argomentazione (AF) formali forniscono strutture rigorose e basate su grafi per valutare l'accettabilità degli argomenti, ma faticano a estrarre argomenti da linguaggio naturale grezzo, fallendo spesso nel gestire premesse implicite, contesto pragmatico e la variabilità del discorso reale. Dall'altro lato, i Large Language Models (LLM) possiedono una ricca conoscenza contestuale e possono identificare connessioni implicite, ma mancano di strutture sistematiche e teoricamente fondate per rappresentare gli argomenti. Le generazioni di LLM pronti all'uso spesso producono output incoerenti, difficili da confrontare o aggregare, mentre gli approcci tradizionali di estrazione di argomenti fanno frequentemente affidamento su caratteristiche di superficie che trascurano relazioni logiche più profonde. La sfida centrale è colmare queste prospettive: creare un sistema che sfrutti la fluidità e il ragionamento di senso comune degli LLM, aderendo al rigore strutturale dei framework di argomentazione formale.

Metodologia
Gli autori propongono un sistema end-to-end basato su LLM che ricostruisce gli argomenti da testi in linguaggio naturale in Grafici Aciclici Diretti (DAG). Il sistema impiega una pipeline multi-stadio progettata per costruire incrementalemente strutture argomentative, garantendo output ben formati attraverso vincoli espliciti. La pipeline è composta dalle seguenti fasi:

1. Identificazione dei Componenti Argomentativi: L'LLM identifica ed elenca affermazioni e premesse, filtrando contenuti irrilevanti. A differenza dei sistemi basati su regole, sfrutta la comprensione contestuale pre-addestrata per distinguere gli span argomentativi.
2. Fusione e Riscrittura (Opzionale): Componenti ridondanti o strettamente connessi vengono fusi per garantire l'unità logica. I componenti vengono riscritti per risolvere espressioni dipendenti dal contesto (ad esempio, pronomi), rendendoli autosufficienti.
3. Identificazione della Conclusione e delle Relazioni:
   • Identificazione della Conclusione: Viene estratta la conclusione principale.
   • Relazione Premessa (Strategia Ricorsiva): Utilizzando una visita in ampiezza (breadth-first traversal), il sistema identifica ricorsivamente le premesse che supportano o attaccano una conclusione target. Questa decomposizione riduce la complessità e impone una struttura aciclica limitando le premesse candidate ai componenti non ancora visitati.
4. Raffinamento Strutturale Avanzato (Opzionale):
   • Controllo delle Premesse Non Visitate: Garantisce che i componenti sconnessi vengano collegati o fusi se formano cicli.
   • Premesse Collegate vs. Convergenti: Distingue tra premesse che giustificano congiuntamente una conclusione (collegate) e quelle che forniscono ragioni indipendenti (convergenti), utilizzando nodi intermedi per le relazioni collegate.
   • Recupero della Premessa Implicita: Identifica e genera premesse mancanti (enunciati sillogistici) necessarie per la validità dell'argomento.
   • Distinzione tra Confutazione e Sminuimento: Distingue tra attacchi a una premessa (confutazione) e attacchi al nesso inferenziale stesso (sminuimento), inserendo nodi intermedi per quest'ultimo caso.
5. Costruzione e Visualizzazione del Grafo: L'output finale è un DAG in cui i nodi rappresentano i componenti e gli archi diretti rappresentano relazioni di supporto o attacco. Il sistema include un passaggio di riduzione transitiva per rimuovere archi ridondanti e un costruttore di diagrammi per l'ispezione visiva.

Contributi Chiave

• Framework Unificato: Il documento presenta un sistema innovativo che integra l'estrazione guidata da LLM con vincoli di argomentazione formale, colmando efficacemente il divario tra elaborazione del linguaggio naturale e logica formale.
• Pipeline End-to-End: Una pipeline modulare e multi-stadio che non solo estrae componenti, ma inferisce anche relazioni logiche complesse (sminuimenti, premesse collegate, assunzioni implicite) e impone una struttura DAG.
• Nuovo Dataset: Gli autori hanno costruito un piccolo dataset annotato di 42 argomenti derivati da un manuale di teoria dell'argomentazione (Introduzione all'Analisi Argomentativa di Marcus Sacrini), caratterizzato da diagrammi allineati al loro schema di rappresentazione proposto.

Risultati Sperimentali
Il sistema è stato valutato attraverso due esperimenti complementari:

1. Valutazione Interna (Dataset del Manuale):

   • Livello Componente: Il sistema ha raggiunto un'accuratezza del 92,50% nella rilevazione della conclusione. La rilevazione degli span ha prodotto un punteggio F1 di 75,70%, e l'accuratezza nella rilevazione delle relazioni è stata dell'80,57%.
   • Livello Struttura: Gli annotatori umani hanno valutato il sistema molto positivamente su una scala da 1 a 3 per Premesse Implicite (2,86), Sminuimenti (2,90) e Premesse Convergenti/Collegate (2,85), con un alto accordo inter-annotatore.
   • Livello Globale: I grafi generati sono stati valutati molto positivamente per Completezza (2,96) e Fedeltà (2,92), indicando che il sistema cattura le strutture principali senza allucinare contenuti.

2. Valutazione Esterna (Dataset di Riferimento: AAEC e AbstRCT):

   • Quando valutato su benchmark standard di estrazione di argomenti, la pipeline completa (inclusa la rilevazione degli span) ha mostrato prestazioni inferiori (ad esempio, F1 di 27,64 su AAEC per la classificazione dei componenti), principalmente a causa delle difficoltà nel corrispondenza esatta degli span rispetto alla verità fondamentale.
   • Tuttavia, quando forniti con componenti di verità fondamentale (bypassando la rilevazione degli span), le prestazioni del sistema sono migliorate significativamente. Sul dataset AbstRCT, ha raggiunto un F1 di Predizione di Collegamento di 51,51 e un F1 di Rilevazione di Relazioni di 46,21, superando la baseline dello stato dell'arte (Morio et al., 2022) rispettivamente di +11,77 e +7,5. Ciò suggerisce che il modello cattura efficacemente la struttura relazionale una volta noti i componenti.

Significato e Affermazioni
Il documento afferma che il sistema proposto dimostra il potenziale delle pipeline basate su LLM per la ricostruzione scalabile di argomenti. Recupera con successo strutture argomentative allineate agli standard della teoria dell'argomentazione, inclusi fenomeni sfumati come sminuimenti e premesse implicite. Gli autori concludono che, sebbene il sistema ricostruisca adeguatamente argomenti di tipo manuale e raggiunga prestazioni ragionevoli sui benchmark quando adattato a diversi schemi di annotazione, le sfide rimangono nell'identificazione dei componenti (rilevazione degli span). Il lavoro evidenzia che combinare i punti di forza contestuali degli LLM con il rigore strutturale dei framework formali è una strada percorribile, sebbene siano necessari lavori futuri per affinare le strategie di prompting e valutare il sistema su dataset più complessi e realistici.