From Judgments to Issues: Structured Extraction of Legal Reasoning with Citation-Hallucination Control

Sintesi Tecnica: Dalle Sentenze alle Questioni: Estrazione Strutturata del Ragionamento Giuridico con Controllo delle Allucinazioni delle Citazioni

Problema
I moderni sistemi giudiziari, in particolare in Italia, generano decisioni giudiziarie a una scala che supera la capacità dei professionisti del diritto di leggerle singolarmente. Il solo database delle corti fiscali italiane contiene quasi un milione di sentenze, con una crescita di centinaia di migliaia ogni anno. Sebbene questo volume rappresenti un valore significativo per utilizzi secondari — come la ricerca di precedenti, l'analisi delle reti di citazione e l'addestramento di sistemi NLP legali — la natura non strutturata degli PDF originali ostacola tali applicazioni. I metodi di estrazione esistenti spesso trattano l'intera sentenza come un'unica unità, introducendo rumore derivante dal boilerplate procedurale e fallendo nell'isolare specifiche questioni giuridiche. Inoltre, i Large Language Models (LLM) sono soggetti a "allucinazioni" nelle citazioni legali, fabbricando riferimenti plausibili ma inesistenti a legislazione e giurisprudenza, il che mina l'affidabilità delle pipeline automatizzate di ragionamento legale.

Metodologia
Gli autori propongono una pipeline automatizzata progettata per scomporre le sentenze della giustizia tributaria italiana in singole questioni giuridiche ed estrarre per ciascuna una rappresentazione XML strutturata. La metodologia si basa su tre componenti principali:

1. Decomposizione basata sulle questioni e progettazione dello schema:
   Invece di elaborare le sentenze come blocchi monolitici, la pipeline tratta la questione giuridica come l'unità di analisi. Ciò si allinea con le teorie della giustificazione giudiziaria (ad es. MacCormick, 1994), dove l'adjudicazione è vista come la risoluzione di specifiche domande legali. La struttura estratta si fonda sul framework IRAC (Issue, Rule, Application, Conclusion) e sul sillogismo giuridico. Ogni questione è codificata in XML con campi specifici:

   • <text>: Una formulazione "Whether + clausola" (Se + clausola) della questione legale.
   • <issue_outcome>: La decisione, classificata per beneficiario (contribuente, autorità fiscale, altro).
   • <factual_premises>: Fatti e avvenimenti rilevanti.
   • <legal_references>: Un elenco di citazioni (legislazione, giurisprudenza, principi, prassi amministrativa) con relativi tipi.
   • <citation_reason>: Spiegazioni sul perché determinati riferimenti siano stati citati.
   • <judge_reasoning>: L'applicazione della legge ai fatti.
   • <summary>: Un riassunto astrattivo della questione.

2. Pipeline di estrazione e selezione del modello:
   La pipeline elabora un corpus di circa 330.000 sentenze di primo e secondo grado della giustizia tributaria italiana. Per bilanciare la capacità con il costo dell'elaborazione di centinaia di migliaia di documenti, gli autori hanno selezionato DeepSeek V3, un modello general-purpose che offre un rapporto costo-prestazioni favorevole (circa $0,0035 per sentenza). L'estrazione impiega una strategia di prompting a due fasi per le sentenze più lunghe:

   • Fase 1: Identificare le questioni ed estrarre <text>, <summary> e <issue_outcome>.
   • Fase 2: Per ogni questione identificata, estrarre il ragionamento dettagliato, i fatti e le citazioni.
     Una fase di correzione post-estrazione utilizza il prompting few-shot per garantire che il campo <text> aderisca rigorosamente al formato "Whether + clause".

3. Controllo delle allucinazioni tramite Linkoln:
   Per affrontare l'inaffidabilità delle citazioni degli LLM, la pipeline integra uno strato di verifica utilizzando la libreria Linkoln (Bacci et al., 2019). Questo passaggio:

   • Analizza i riferimenti legali sia nel testo originale della sentenza che nell'output dell'LLM.
   • Li normalizza in identificatori standard (URN-NIR, ECLI, CELEX).
   • Confronta i due set. Qualsiasi riferimento presente nell'output dell'LLM ma non trovato nel testo sorgente viene segnalato come allucinazione e rimosso.
   • Per i principi giuridici (che mancano di identificatori standard), viene utilizzata una whitelist di 182 principi canonici derivati da esperti per validare le corrispondenze.

Contributi Principali
Il documento apporta tre contributi primari:

1. Schema Strutturato: Un nuovo schema XML a livello di questione, basato su IRAC e sillogismo giuridico, progettato per essere leggibile dalle macchine, utile per la consultazione umana e affidabilmente estraibile da LLM di media gamma.
2. Pipeline efficiente in termini di costi con controllo delle allucinazioni: Una pipeline scalabile che utilizza DeepSeek V3 combinata con un filtro automatico delle allucinazioni basato su parser che normalizza e valida le citazioni rispetto al testo sorgente.
3. Valutazione validata da esperti: Un protocollo di validazione rigoroso su 50 sentenze annotate da due esperti di diritto tributario di livello PhD, riportando l'accordo tra annotatori (IAA), l'accordo LLM-vs-esperto e le prestazioni del filtro delle allucinazioni.

Risultati
La valutazione sul sottocampione di 50 sentenze produce i seguenti risultati:

• Estrazione delle questioni: L'LLM dimostra un'alta precisione (93–94%) ma una recall moderata (70–82%) rispetto agli esperti umani. La modalità di errore dominante è la sotto-estrazione (mancata identificazione di questioni) piuttosto che l'allucinazione. Solo 4 delle 78 questioni estratte sono state segnalate come assenti dagli esperti.
• Estrazione delle citazioni: L'LLM raggiunge un punteggio F1 di circa il 74% rispetto alle annotazioni degli esperti. Sebbene il modello estragga un numero di riferimenti simile a quello degli esperti, talvolta include riferimenti non ritenuti rilevanti per la specifica questione.
• Prestazioni del filtro delle allucinazioni: Il filtro è altamente efficace. Prima del filtraggio, il tasso di allucinazione era dell'11,7%. Dopo il filtraggio, è sceso allo 0,9%. Il filtro ha rimosso 29 dei 31 riferimenti allucinati, rimuovendo erroneamente solo 7 citazioni valide (tasso di falsi positivi del 3,0%). Il filtro è stato meno efficace sui "principi di diritto", che presentavano un tasso di allucinazione del 69% prima del filtraggio.
• Punteggi qualitativi: I campi di testo libero (ragionamento, riassunto, esito) hanno ricevuto punteggi medi elevati (4,6–4,9/5) dagli esperti. L'accordo tra annotatori sulle dimensioni qualitative è stato molto alto (Gwet's AC2 > 0,93).
• Stocasticità: Gli autori notano che, anche con seed fissi, l'LLM mostra non-determinatezza. L'accordo tra diverse esecuzioni (F1 ~78% per le questioni, ~73% per le citazioni) è inferiore all'accordo tra annotatori, ma comparabile all'accordo LLM-vs-umano, suggerendo che la stocasticità del modello spieghi una parte significativa del divario di prestazione.

Significato e Rivendicazioni
Gli autori sostengono che questo lavoro fornisca la prima pipeline di estrazione strutturata a livello di questione, validata da esperti e con controllo delle allucinazioni, specificamente per le sentenze della giustizia tributaria italiana. Posizionano la pipeline come un punto di partenza concreto per applicazioni a valle, tra cui:

• Retrieval a livello di questione: Isolare singole questioni legali per migliorare la precisione della ricerca.
• Analisi delle reti di citazione: Costruire grafi in cui gli archi riflettono i riferimenti effettivamente utilizzati per decidere le controversie, piuttosto che menzioni incidentali.
• Costruzione di dataset: Creare dataset strutturati su larga scala del ragionamento legale per l'addestramento e il benchmarking di sistemi NLP legali.

Il documento mantiene un tono modesto, riconoscendo limiti quali il piccolo campione di validazione (50 sentenze), la dipendenza da un singolo modello e una singola giurisdizione, e la soggettività inerente alla segmentazione delle sentenze in questioni. Gli autori sottolineano che il formato proposto funge da template metodologico per l'estrazione strutturata indipendente da specifiche giurisdizioni o modelli, dimostrando che gli attuali LLM possono affidabilmente istanziare strutture complesse di ragionamento legale se accoppiati con appropriati livelli di verifica.