LLM-Assisted Causal Structure Disambiguation and Factor Extraction for Legal Judgment Prediction

Titolo: Disambiguazione della Struttura Causale Assistita da LLM ed Estrazione di Fattori per la Predizione del Giudizio Legale

1. Il Problema

La Predizione del Giudizio Legale (LJP) mira a prevedere automaticamente le sentenze basandosi sulle descrizioni dei fatti dei casi. Sebbene i metodi basati su Modelli Linguistici Pre-addestrati (PLM) come BERT abbiano ottenuto risultati significativi, presentano limiti fondamentali:

• Correlazioni Spurie: I modelli attuali si basano principalmente su correlazioni statistiche tra fatti e risultati, ignorando la logica causale sottostante e gli elementi costitutivi legali. Questo li rende fragili a piccole perturbazioni (es. punteggiatura) che non alterano il significato semantico.
• Estrazione dei Fattori Inaccurata: I metodi tradizionali per estrarre fattori legali (parole chiave) soffrono di rumore elevato, confondendo elementi narrativi (nomi, luoghi) con elementi giuridici sostanziali.
• Incertezza Strutturale Causale: Gli algoritmi di scoperta causale tradizionali (es. GFCI) su testi legali sparsi producono grafi parziali con molte direzioni di causalità incerte (equivalenza di Markov), costringendo i modelli a fare assunzioni euristiche che riducono l'interpretabilità legale.

2. Metodologia Proposta

Gli autori propongono un framework ibrido che integra la conoscenza a priori dei Grandi Modelli Linguistici (LLM) con la scoperta causale statistica. Il processo avviene in quattro fasi principali:

A. Estrazione Ibrida dei Fattori Legali (Coarse-to-Fine)
Per superare il rumore nell'estrazione delle parole chiave, viene utilizzato un meccanismo a due stadi:

1. Filtro Statistico (Coarse): Utilizzo dell'algoritmo non supervisionato YAKE per identificare parole salienti, seguito da un campionamento uniforme per garantire la copertura di prove "long-tail" e ridurre il bias di frequenza.
2. Raffinamento Semantico (Fine): Un LLM, potenziato da RAG (Retrieval-Augmented Generation) e un prompt strutturato con catena di pensiero (CoT), filtra i candidati. Il modello agisce come un esperto legale, mappando le parole su elementi giuridici standard e rimuovendo entità irrilevanti (nomi, date) tramite vincoli di parte del discorso e tipo di entità.

B. Disambiguazione della Struttura Causale Assistita da LLM
Per risolvere l'incertezza nelle direzioni degli archi causali:

1. Scoperta Iniziale: L'algoritmo GFCI genera un Grafo degli Antenati Parziali (PAG) contenente archi deterministici e incerti.
2. Disambiguazione Probabilistica: L'LLM funge da "base di conoscenza legale soft". Per ogni arco incerto, l'LLM valuta le probabilità delle direzioni causali (causa $\to$ effetto, effetto $\to$ causa, o nessuna relazione diretta) basandosi su prompt contenenti fatti del caso e norme giuridiche.
3. Vincoli di Dominio: Vengono applicati vincoli di logica giudiziaria (es. i fatti non possono essere causati dall'accusa) e temporali (la causa precede l'effetto) per potare il grafo.

C. Campionamento e Stima della Forza Causale

• Vengono generati $Q$ grafi causali deterministici tramite campionamento probabilistico dagli archi incerti.
• La qualità di ogni grafo è valutata tramite il Criterio di Informazione Bayesiano (BIC).
• La Forza Causale (Average Treatment Effect - ATE) viene stimata utilizzando il Propensity Score Matching (PSM) su ciascun grafo, pesando i risultati in base al BIC per ottenere una forza causale aggregata robusta.

D. Modello di Predizione Consapevole della Causalità

• Viene utilizzato un modello pre-addestrato (ALBERT) per codificare il testo.
• Un meccanismo di attenzione è vincolato dalla forza causale stimata: viene introdotta una funzione di perdita ausiliaria ($L_{causal}$) che allinea i pesi di attenzione del modello con la forza causale dei fattori legali. Questo guida il modello a focalizzarsi sulle prove rilevanti per la decisione.

3. Contributi Chiave

1. Paradigma di Identificazione Ibrido: Integrazione di screening statistico e ragionamento semantico degli LLM per un'estrazione di elementi legali ad alta precisione, riducendo il rumore dei dati non strutturati.
2. Meccanismo di Disambiguazione Assistito da LLM: Risoluzione dell'incertezza strutturale (equivalenza di Markov) nei grafi causali osservazionali, utilizzando la conoscenza legale degli LLM come vincolo probabilistico invece di assunzioni casuali.
3. Modello di Predizione Causale: Costruzione di un sistema che vincola esplicitamente l'attenzione del modello tramite grafi causali, migliorando la robustezza e l'interpretabilità, specialmente nella distinzione di reati simili.

4. Risultati Sperimentali

Il metodo è stato testato su cinque dataset (inclusi LEVEN, QA, CAIL, LEDGAR, Overruling) e confrontato con 12 baseline (da SVM a modelli PLM e LLM).

• Accuratezza Superiore: Il modello proposto ha ottenuto le prestazioni migliori o secondarie su tutti i dataset, superando significativamente i baseline (es. +2.70 punti su BERT+CRF su CAIL).
• Efficienza nei Dati Scarsi (Few-Shot): In scenari con solo l'1% o il 5% di dati di addestramento, il modello ha mostrato vantaggi notevoli, mantenendo un'accuratezza media del 61.17% con l'1% di dati, superando di gran lunga i modelli basati su PLM standard che falliscono in queste condizioni.
• Robustezza e Disambiguazione: Gli esperimenti di controllo hanno dimostrato che i guadagni di performance derivano dalla logica semantica di alta qualità iniettata dall'LLM e non dalla semplice densità del grafo.
• Analisi di Sensibilità: Le perturbazioni controllate (fattori di confusione casuali, trattamento placebo) hanno mostrato che la struttura causale generata è robusta e filtra efficacemente le correlazioni spurie.
• Relazione Complessità-Fattori: L'analisi ha rivelato che l'aggiunta di fattori causali migliora le prestazioni fino a un certo punto di saturazione (rendimenti marginali decrescenti), con benefici maggiori per reati complessi che richiedono catene logiche intricate.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti cruciale nell'IA legale, spostando il paradigma dalla semplice "corrispondenza semantica" alla ragionamento causale strutturato.

• Interpretabilità: Fornisce una spiegazione logica del perché una sentenza viene predetta, basata su elementi giuridici e relazioni causali, non solo su pattern statistici.
• Affidabilità: Riduce il rischio di decisioni errate dovute a correlazioni spurie o bias nei dati, rendendo i modelli più robusti in contesti reali dove i dati possono essere rumorosi o limitati.
• Scalabilità: Dimostra come integrare la conoscenza esperta degli LLM con metodi statistici rigorosi possa risolvere problemi fondamentali nella scoperta di strutture causali in domini ad alta specializzazione come quello legale.