🤖 AI

Where Experts Disagree, Models Fail: Detecting Implicit Legal Citations in French Court Decisions

Questo articolo introduce un benchmark per il rilevamento delle citazioni implicite del Codice Civile francese e dimostra che il disaccordo tra esperti su questi casi funge da segnale critico di difficoltà intrinseca, rivelando che mentre i modelli faticano con le istanze contestate, un approccio basato sul consenso multi-modello può classificare efficacemente i candidati ad alta confidenza senza supervisione.

Autori originali: Avrile Floro (UPHF), Tamara Dhorasoo (UPHF), Soline Pellez (UPHF), Nils Holzenberger

Pubblicato 2026-07-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Avrile Floro (UPHF), Tamara Dhorasoo (UPHF), Soline Pellez (UPHF), Nils Holzenberger

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di risolvere un mistero in una gigantesca biblioteca di sentenze della corte francese. Il tuo compito è trovare i "indizi nascosti": momenti in cui un giudice utilizza una regola specifica di un libro di leggi per prendere una decisione, ma non nomina mai il nome della regola.

È come uno chef che prepara una torta perfetta senza però elencare la "farina" nella ricetta. Sai che ha usato la farina perché la torta ha il sapore della farina, ma il testo non lo dice. Nel mondo legale, questi sono chiamati citazioni implicite.

Il Grande Problema: Il "Punto Cieco"

Di solito, gli avvocati cercano le leggi usando parole chiave come "Articolo 1192". Ma se un giudice applica quell'articolo senza scriverne il numero, il motore di ricerca diventa cieco. Questo crea un enorme vuoto nella nostra comprensia di come le leggi vengono effettivamente utilizzate. Gli autori di questo articolo volevano costruire un programma per computer (un modello) che potesse agire come un super-detective e trovare queste regole nascoste.

L'Esperimento: Un Test su Tre Esperti

Per insegnare al computer, il team ha creato un set di test speciale composto da 1.015 coppie di testi. Hanno chiesto a tre esperti legali di esaminare ogni coppia e decidere: "Il giudice sta usando questa legge, o sta solo parlando di fatti?".

È qui che le cose si sono fatte interessanti. Gli esperti non sempre concordavano. In circa un terzo dei casi (339 di essi), gli esperti hanno discusso. Uno poteva dire: "Sì, quella è la legge!", mentre un altro diceva: "No, quello è solo un fatto".

Il Risultato Principale: Dove gli Umani Tentennano, i Computer Tentennano a Vezzi

La scoperta più importante del documento è un po' un colpo di scena. Di solito, quando gli esperti non concordano, pensiamo che si tratti solo di "rumore" o confusione. Ma gli autori hanno scoperto che questo disaccordo è in realtà un segnale di avvertimento.

Quando gli esperti non riuscivano a concordare se una legge fosse stata applicata, i modelli informatici fallivano quasi ogni volta.

Il miglior team di computer (un "ensemble" di modelli) ha ottenuto un punteggio di 0,70 complessivo, che è discreto.
Tuttavia, guardiamo gli errori: due terzi dei falsi allarmi del computer (dire "Sì, è la legge!" quando non lo era) sono accaduti esattamente in quei casi complicati in cui gli esperti umani stavano discutendo.

Il documento suggerisce che questi non sono semplici errori casuali. Sono difficoltà intrinseche. La linea tra "applicare una legge" e "enunciare un fatto" è sfumata, anche per gli esseri umani. Quando gli umani sono incerti, i computer sono ancora più propensi a sbagliare con sicurezza.

Ciò che il Documento Esclude (La Lista dei "Non")

Non è solo "rumore": Il documento sostiene l'idea contraria rispetto all'ipotesi che il disaccordo tra esperti sia solo un dato disordinato che dovrebbe essere ignorato. Al contrario, è un segnale che il caso è realmente difficile.
Non è un problema risolto: Gli autori non pretendono di aver costruito uno strumento perfetto che possa sostituire gli avvocati. Affermano esplicitamente che una classificazione perfetta (ottenere un semplice Sì/No ogni volta) non è attualmente possibile per questi casi complicati.
Non riguarda solo il cervello del computer: Il fallimento non è dovuto al fatto che il computer sia "stupido". Anche quando il computer era molto sicuro (fornendo un punteggio alto), era comunque in errore su questi casi contestati. Il documento mostra che la fiducia non equivale all'accuratezza quando gli umani discutono.

Il Lato Positivo: Un Nuovo Modo di Giocare

Quindi, se il computer non può dare un perfetto Sì/No, è inutile? Gli autori dicono di no. Suggeriscono un gioco diverso: il Ranking (classificazione).

Inveve di chiedere al computer: "Questa è la legge?" (cosa che potrebbe sbagliare), chiedigli: "Quali 200 casi sono più probabili che siano la legge?".

Lasciando che più modelli votino e classificando i risultati, hanno creato una "lista breve".
Quando hanno esaminato i primi 200 candidati, il 76% era effettivamente corretto.
Ciò significa che un avvocato può usare lo strumento per scansionare migliaia di documenti e ottenere una lista gestibile di potenziali "indizi nascosti" da esaminare manualmente.

Quanto Siamo Sicuri?

Gli autori sono molto cauti nel loro linguaggio.

Hanno misurato il disaccordo e i tassi di errore precisamente utilizzando il loro dataset di 1.015 casi.
Hanno dimostrato che gli errori si concentrano sui casi contestati attraverso dieci diversi modelli.
Suggeriscono (ma non provano) che questo schema esista a causa della "struttura aperta" del diritto — un concetto per cui le regole legali hanno un nucleo chiaro ma bordi sfumati dove l'applicazione è incerta.
Hanno dimostrato che uno strumento di classificazione non supervisionato (che non ha bisogno di etichette umane per funzionare) può raggiungere quel 76% di precisione sui primi 200 risultati.

Il Messaggio Chiave

Il documento conclude che non dobbiamo aspettarci che i computer sostituiscano perfettamente il giudizio umano su questi confini legali sfumati. Invece, il miglior uso dell'IA è agire come un riflettore ad alta potenza. Non può dirti il verdetto finale, ma può illuminare i 200 candidati più probabili su un milione, lasciando all'esperto umano l'ultimo, cruciale lavoro di decidere cosa è reale e cosa è solo un'ombra.

In breve: Dove gli esperti dissentono, i modelli falliscono. Ma se usi i modelli per trovare il "mucchio dei forse", puoi comunque trovare l'oro.

Sintesi Tecnica: Rilevamento di Citazioni Legali Implicite nelle Decisioni Giudiziarie Francesi

Definizione del Problema
Il documento affronta una lacuna critica nell'analisi legale computazionale: il rilevamento di citazioni normative implicite. Mentre le citazioni esplicite (ad esempio, "ai sensi dell'Articolo 1192") sono facilmente recuperabili tramite ricerca per parole chiave, i tribunali applicano frequentemente norme giuridiche senza menzionare l'articolo specifico. Ciò crea un "punto cieco" sia per i professionisti del diritto che cercano applicazioni pratiche di una norma, sia per i ricercatori quantitativi che studiano le tendenze giurisprudenziali. Il compito consiste nel determinare, dato un passaggio di una decisione giudiziaria e un articolo candidato del Codice Civile, se il passaggio applichi la regola giuridica di quell'articolo senza menzionarlo esplicitamente. Ciò richiede di distinguere il vero ragionamento giuridico dalla mera somiglianza semantica o dalla descrizione fattuale.

Metodologia
Gli autori propongono una pipeline completa che prevede la costruzione di un dataset, l'annotazione da parte di esperti e una valutazione multi-modello:

Costruzione del Dataset:
- Fonte: 182.155 decisioni di tribunali civili francesi di primo grado (tribunaux judiciaires) raccolte tramite l'API Judilibre (dicembre 2023 – luglio 2025).
- Generazione dei Candidati: Un bi-encoder (basato su JuriBERT) è stato addestrato su citazioni esplicite (con i numeri degli articoli oscurati per evitare il pattern matching) per recuperare articoli semanticamente simili per i segmenti delle decisioni. I candidati contenenti parole chiave esplicite sono stati filtrati.
- Filtraggio Avversariale: Per garantire che il dataset contenesse esempi impegnativi, gli autori hanno utilizzato il modello o3 di OpenAI con un prompt rigoroso per filtrare i candidati. Sono stati mantenuti solo i casi in cui o3 prevedeva un'applicazione implicita, creando un set di negativi "difficili" (hard negatives) in cui i modelli che condividono i pattern di ragionamento di o3 avrebbero probabilmente fallito.
- Benchmark Finale: Sono stati selezionati 1.015 coppie passaggio–articolo, che coprono 418 articoli distinti del Codice Civile (il 77% proveniente dal Libro III: Obbligazioni).
Protocollo di Annotazione:
- Tre esperti con formazione legale hanno annotato il dataset.
- Gestione del Disaccordo: A differenza delle pratiche standard di NLP che trattano il disaccordo come rumore, gli autori lo hanno trattato come un segnale. A1 e A2 hanno etichettato tutte le 1.015 coppie; A3 ha arbitrato i 339 casi (33,4%) in cui A1 e A2 erano in disaccordo.
- Risultato Chiave: Il 92,6% dei casi contestati è stato risolto come "No" (non implicito), spesso riguardando il confine tra descrizione fattuale e ragionamento giuridico.
Valutazione Sperimentale:
- Apprendimento Supervisionato: Otto encoder pre-addestrati (inclusi modelli di dominio legale come JuriBERT e SAUL-7B) sono stati congelati, con semplici classificatori (Regressione Logistica, MLP) addestrati sopra. Un ensemble di quattro modelli è stato costruito tramite stacking.
- LLM Zero-Shot: Dieci LLM istruiti (con parametri da 7B a 70B) sono stati valutati utilizzando il prompting zero-shot.
- Ranking Non Supervisionato: È stata sviluppata una strategia di ranking utilizzando l'intersezione delle predizioni di quattro LLM con basso bias positivo, combinata con baseline lessicali (TF-IDF, BM25) e un cross-encoder.

Risultati Chiave

Performance dei Modelli: Il miglior ensemble supervisionato ha raggiunto un F1 score di 0,70 e un MCC di 0,53. Gli LLM zero-shot hanno generalmente mostrato un alto bias positivo (predicendo "Sì" troppo frequentemente), rendendoli inaffidabili come classificatori binari ma utili come segnali di ranking.
Correlazione Disaccordo-Fallimento: Il risultato centrale è che gli errori dei modelli si concentrano nei casi in cui gli esperti umani sono in disaccordo.
- I falsi positivi dell'ensemble supervisionato erano sproporzionatamente localizzati nel 33% dei casi contestati.
- Il tasso di falsi positivi sui casi contestati era del 14,3%, rispetto all'8,4% sui casi concordati (un aumento di 1,7 volte).
- Questo schema si è mantenuto in tutti i dieci modelli valutati, inclusi i cross-encoder fine-tuned e le baseline NLI.
- I modelli rimanevano sicuri nelle loro predizioni errate sui casi contestati, indicando una mancanza di calibrazione negli scenari ambigui.
Utilità Non Supervisionata: Riformulando il compito come un problema di recupero top- $k$ , un ensemble non supervisionato ha raggiunto una precisione del 76% a $k=200$ (riprendendo il 34% dei veri positivi), superando significativamente il ranking casuale e le baseline lessicali.

Significatività e Rivendicazioni
Il documento sostiene che il disaccordo degli esperti non è rumore di annotazione ma un segnale della difficoltà intrinseca del compito, che probabilmente riflette la "tessitura aperta" (open texture) dei concetti giuridici (Hart, 1961), dove il confine tra fatto e legge è realmente ambiguo.

Limitazioni della Classificazione: Gli autori sostengono che una classificazione binaria perfetta sia irraggiungibile per questi casi ambigui perché anche gli esperti umani non riescono a raggiungere il consenso.
Percorso Pratico: Inveve di giudizi binari, il documento propone il ranking con consenso multi-modello come uno strumento valido per i professionisti del diritto. Portando alla luce una lista gestibile di candidati (ad esempio, i primi 200), il sistema consente agli esperti di dare priorità ai casi in cui la legge è più ambigua, piuttosto che tentare di automatizzare la decisione finale.
Contributo all'NLP: Questo lavoro sfida la pratica standard dell'NLP di sopprimere il disaccordo tra annotatori, dimostrando che nel dominio legale il disaccordo predice il fallimento del modello e dovrebbe essere sfruttato per identificare i limiti degli attuali metodi computazionali.

Il documento conclude che, sebbene i metodi computazionali fatichino con la "penombra" del ragionamento giuridico, possono comunque fornire un'assistenza utile evidenziando i casi limite per la revisione umana, a condizione che il sistema sia progettato per riconoscere e gestire l'incertezza piuttosto che mascherarla.