💬 NLP

Citation Grounding: Detecting and Reducing LLM Citation Hallucinations via Legal Citation Graphs

Questo articolo introduce "Citation Grounding", una nuova metrica e un framework per rilevare e ridurre le allucinazioni di citazioni legali nei grandi modelli linguistici, sfruttando un massiccio grafo di decisioni giudiziarie ucraine per valutare l'accuratezza delle citazioni e impiegando un metodo di apprendimento delle preferenze (CG-DPO) per addestrare i modelli a distinguere tra citazioni valide e corrotte.

Autori originali: Volodymyr Ovcharov

Pubblicato 2026-06-02

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Volodymyr Ovcharov

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere un assistente legale molto intelligente e che parla velocemente per scrivere un rapporto per te. Questo assistente ha letto milioni di libri e conosce molti fatti. Tuttavia, c'è un problema: quando gli viene chiesto di citare leggi specifiche per sostenere i suoi argomenti, a volte le inventa. Potrebbe inventare una legge che non esiste, citare una legge che è stata cancellata anni fa o citare una legge di un altro paese. Nel mondo legale, questo viene chiamato "allucinazione".

Questo documento presenta un nuovo modo per scovare queste bugie e un metodo per insegnare all'assistente a non dirle.

Il Probleo: Il generatore di "Leggi False"

Gli autori hanno scoperto che anche i modelli di IA più avanzati, quando viene chiesto loro di scrivere sulla legge ucraina, inventano citazioni legali false dal 13% al 21% delle volte. È come uno studente che scrive un saggio e inventa i numeri di pagina di un libro di testo che non esiste.

La Soluzione: Il test di "Grounding della Citazione"

Per risolvere il problema, i ricercatori hanno costruito una mappa digitale massiccia chiamata Citation Graph (Grafo delle Citazioni). Immaginate questo grafo come un catalogo di biblioteca gigante e super accurato, costruito su 100 milioni di sentenze reali. Contiene ogni singola volta in cui un vero giudice ha citato una specifica legge in un caso reale.

Hanno creato un test chiamato Citation Grounding (CG). Ecco come funziona:

La Mappa: Hanno la "mappa della verità" (il grafo dei casi giudiziari reali).
Il Test: Chiedono a un'IA di scrivere una risposta legale.
Il Controllo: Controllano ogni legge menzionata dall'IA e la verificano sulla mappa.
- La legge esisteva? (Precisione)
- Era la legge giusta per questa specifica situazione? (Rilevanza)
- La legge era effettivamente in vigore in quella specifica data? (Temporalità)

Se l'IA cita una legge che non è presente sulla mappa, o la cita nel contesto sbagliato, il test la segnala come un'allucinazione.

Cosa hanno scoperto

Hanno testato cinque diversi sistemi di IA su 100 domande legali.

I Risultati: La maggior parte delle IA ha azzeccato circa l'80% delle citazioni. Il resto erano false.
Il Vincitore "RAG": Un sistema utilizzava un trucco speciale chiamato RAG (Retrieval-Augmented Generation). Immaginate che questa IA non si affidi solo alla sua memoria; essa va effettivamente in biblioteca, trova i libri veri e li legge prima di rispondere. Questo sistema ha commesso meno errori e ha citato meno leggi in totale, dimostrando che "meno è meglio" quando si vanno a cercare i fatti.
Il Modello Sorprendente: Si aspettavano che i modelli di IA che citavano più leggi commettessero più errori. Ma non è stato così. Alcuni modelli citavano molte leggi e rimanevano comunque accurati; altri citavano meno leggi eppure erano sbagliati. Dipende interamente da come l'IA è costruita, non solo da quanto parla.

Il Metodo di "Auto-Insegnamento" (CG-DPO)

La più grande innovazione del documento è come intendono correggere l'IA senza assumere un team di avvocati umani costosi per controllare ogni risposta.

Di solito, per insegnare a un'IA a essere onesta, gli esseri umani devono leggere le sue risposte e dire: "Questo è buono" o "Questo è cattivo". È un processo lento e costoso.

I ricercatori si sono resi conto che il loro Citation Graph poteva fare il lavoro dell'umano. Hanno creato un gioco:

Prendi una sentenza reale con citazioni corrette.
Corrompila: Hanno usato un programma per computer per sostituire le leggi, inventare articoli falsi o usare leggi obsolete (come cambiare una legge del 2020 con una del 2025 che non esisteva ancora).
La Lezione: Hanno mostrato all'IA due versioni: quella "Reale" e quella "Corrotta". L'IA ha imparato a preferire la versione Reale.

Poiché la "verità" era già presente nel grafo, non avevano bisogno di umani per etichettare i dati. Hanno semplicemente lasciato che il grafo facesse da giudice. Hanno addestrato un modello usando questo metodo, e questo è diventato accurato al 98,5% nel distinguere tra una citazione reale e una falsa.

In sintesi

Questo documento dimostra che:

L'IA mente spesso sulle leggi, ma possiamo scovarla confrontando le sue risposte con una mappa massiccia della storia giudiziaria reale.
I sistemi RAG (che cercano i fatti prima di rispondere) sono attualmente i migliori per evitare queste bugie.
Possiamo insegnare all'IA a smettere di mentire usando la mappa stessa per generare esempi di "corretto vs errato", eliminando la necessità che gli avvocati umani svolgano il lavoro tedioso di controllare ogni singola citazione.

Gli autori hanno messo la loro "mappa", i loro strumenti di test e i loro dati di addestramento a disposizione di tutti, sperando di rendere l'IA legale più affidabile per tutti.

Riepilogo Tecnico: Citazione di Fondamento per il Rilevamento e la Riduzione delle Allucinazioni di Citazione negli LLM

1. Definizione del Problema

I Large Language Models (LLM) mostrano un problema sistematico di affidabilità nei domini legali: l'allucinazione di citazione. Ciò consiste nel generare riferimenti plausibili ma fabbricati a statuti, citando disposizioni abrogate, confondendo le giurisdizioni o costruendo catene di ragionamento legale invalide. Sebbene gli LLM si comportino bene nei benchmark di ragionamento legale (es. esami di abilitazione), gli attuali framework di valutazione (LEXTREME, LexGLUE, LegalBench) si concentrano su compiti di classificazione e mancano di metriche per misurare o rilevare l'accuratezza delle citazioni negli output generativi. La verifica manuale da parte di esperti legali è lo standard attuale, ma non è scalabile per il monitoraggio continuo o per le lingue a basse risorse.

2. Metodologia

2.1 Il Grafo di Citazione Ground-Truth

La base dell'approccio proposto è un massiccio grafo di citazione bipartito $G = (V, E)$ estratto dal Registro Unificato degli Atti Giudiziari (EDRSR) dell'Ucraina.

Scala: 100,8 milioni di nodi di decisione ( $V_d$ ), 21.736 nodi di statuto unici ( $V_n$ ) e 502,2 milioni di archi di citazione ( $E$ ).
Struttura: Gli archi collegano una decisione giudiziaria allo specifico articolo di statuto citato.
Ambito Temporale: Il grafo copre il periodo 2005–2026, includendo tre distinti epoche legali (tempo di pace, guerra ibrida e invasione su larga scala/legge marziale), consentendo controlli di validità temporale.

2.2 Metrica di Citazione di Fondamento (Citation Grounding - CG)

Gli autori propongono la Citazione di Fondamento (CG), una metrica che verifica le citazioni generate dagli LLM rispetto al grafo ground-truth $G$ . Essa è scomposta in tre componenti per consentire una diagnosi differenziale dei tipi di allucinazione:

Precisione della Citazione (CP): Verifica l'esistenza. Il nodo dello statuto citato esiste in $V_n(G)$ ?
Rilevanza della Citazione (CR): Verifica l'appropriatezza contestuale. L'articolo citato è utilizzato in decisioni semanticamente simili alla query? (Calcolato tramite embedding XLM-RoBERTa).
Temporalità della Citazione (CT): Verifica la validità temporale. Lo statuto era in vigore alla data dell'evento legale pertinente?

La Qualità della Citazione composita ($CQ$) è calcolata come la media del prodotto tra CP e la media di CR e CT. Uno statuto inesistente (CP=0) determina una qualità pari a zero, riflettendo lo standard legale secondo cui una singola citazione fabbricata invalida l'intero documento.

2.3 CG-DPO (Citation Grounding DPO)

Per ridurre le allucinazioni senza annotazione umana, il documento introduce CG-DPO, un metodo per costruire algoritmicamente coppie di addestramento per l'Ottimizzazione Diretta delle Preferenze (Direct Preference Optimization - DPO).

Meccanismo: Partendo dalle decisioni giudiziarie verificate in $G$ , il sistema crea versioni "corrotte" del testo modificando le citazioni.
Strategie di Corruzione:
1. Scambio di Articolo: Sostituisce un articolo con un altro dello stesso codice (bersaglio: CP).
2. Scambio di Legge: Sostituisce il codice mantenendo il numero dell'articolo (bersaglio: CR).
3. Iniezione di Allucinazione: Sostituisce un articolo reale con uno inesistente (bersaglio: CP).
4. Anacronismo: Sostituisce uno statuto con uno promulgato dopo la data della decisione (bersaglio: CT).
Addestramento: Il testo originale con le citazioni corrette funge da risposta preferita ( $y_w$ ), mentre il testo corrotto funge da risposta rifiutata ( $y_l$ ). Questo elimina la necessità di annotatori umani.

3. Configurazione Sperimentale e Risultati

3.1 Valutazione Empirica

Gli autori hanno valutato cinque sistemi su 100 query legali ucraine in sette domini (Civile, Penale, Amministrativo, del Lavoro, Familiare, Costituzionale, Militare):

Sistemi: Quattro LLM commerciali tramite AWS Bedrock (Claude Haiku 4.5, Mistral Pixtral Large, Amazon Nova Pro, Amazon Nova Lite) e un sistema di produzione aumentato da RAG (LEX Chat, basato su Claude Sonnet 4).
Risultati:
- Tassi di Allucinazione: I punteggi CG variavano da 0,791 a 0,873, indicando che il 13–21% delle citazioni era allucinato.
- Superiorità di RAG: Il sistema aumentato da RAG ha ottenuto il CG più alto (0,873) con la minore densità di citazioni (2,9 citazioni/risposta), suggerendo che il recupero vincola i modelli a citazioni basate sull'evidenza.
- Correlazione Densità-Accuratezza: Tra i modelli grezzi, la correlazione tra densità di citazione e accuratezza era debole ( $\rho = -0,12$ ), contraddicendo l'ipotesi di un trade-off universale.
- Varianza di Dominio: Il diritto costituzionale ha raggiunto una fondatezza perfetta (CG = 1,0) in tutti i modelli. Il diritto familiare e del lavoro hanno mostrato la maggiore varianza (CG 0,46–0,90).

3.2 Risultati dell'Addestramento CG-DPO

Un modello Qwen2.5-7B-Instruct è stato sottoposto a fine-tuning tramite LoRA su un dataset di 2.244 decisioni giudiziarie con coppie di preferenza costruite algoritmicamente.

Performance: Il modello ha raggiunto una accuratezza media di validazione del 98,5% nel distinguere citazioni corrette da quelle corrotte attraverso tre seed casuali.
Stabilità: Il margine di ricompensa (reward margin) è stato di +14,9 con una deviazione standard < 0,3 punti percentuali.
Convergenza: L'addestramento è confluito rapidamente, raggiungendo un'accuratezza quasi perfetta entro il primo epoch.

4. Contributi Chiave

Metrica di Citazione di Fondamento: Una nuova metrica decomponibile (CP, CR, CT) per misurare e diagnosticare le allucinazioni di citazione legale su larga scala, utilizzando un grafo di citazione con 502 milioni di archi.
Valutazione su Larga Scala: Uno studio empirico su cinque LLM applicati al diritto ucraino, che rivela come i sistemi RAG superino i modelli grezzi nell'accuratezza delle citazioni e come i tassi di allucinazione varino significativamente per dominio legale.
CG-DPO: Un metodo per generare algoritmicamente coppie di preferenza DPO da un grafo di citazione, eliminando la dipendenza dall'costosa annotazione legale umana per l'allineamento delle citazioni.

5. Significato e Rivendicazioni

Il documento sostiene che un grafo di citazione su larga scala serve a duplice scopo: agire come un oracolo di valutazione per rilevare le allucinazioni e come segnale di addestramento per allineare i modelli senza intervento umano.

Ciclo Chiuso: L'approccio chiude il cerchio dalla rilevazione alla mitigazione senza annotazione manuale in nessuna fase.
Scalabilità: CG-DPO dimostra che i segnali derivati dai grafi sono sufficienti per l'allineamento delle citazioni, offrendo una soluzione scalabile per l'IA legale in ambienti con scarse risorse.
Validità della Metrica: Gli autori validano la CG come una metrica conservativa; sebbene possa produrre falsi positivi (segnalando statuti reali ma raramente citati a causa di lacune nella copertura del grafo), non produce falsi negativi riguardo a disposizioni fabbricate.
Risorse Aperte: Il grafo di citazione, il framework di valutazione e il dataset CG-DPO sono rilasciati come risorse aperte per facilitare ulteriore ricerca.

Gli autori segnalano limitazioni, tra cui la dipendenza del grafo dalle decisioni giudiziarie esistenti (lacune di copertura per nuove leggi), l'attuale implementazione della temporalità (controllo dell'esistenza piuttosto che della validità di una versione specifica) e il focus sui sistemi di civil law, suggerendo futuri lavori per l'adattamento al common law e la valutazione della generazione end-to-end.