💬 NLP

Legal Experts Disagree With Rationale Extraction Techniques for Explaining ECtHR Case Outcome Classification

Questo studio dimostra che, nonostante l'alta fedeltà tecnica, le tecniche di estrazione delle ragioni basate su modelli di linguaggio non riescono a replicare i criteri di valutazione degli esperti legali nell'analisi delle decisioni della Corte Europea dei Diritti dell'Uomo, evidenziando un divario critico tra le spiegazioni automatizzate e il ragionamento giuridico umano.

Autori originali: Mahammad Namazov, Tomáš Koref, Ivan Habernal

Pubblicato 2026-04-08

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mahammad Namazov, Tomáš Koref, Ivan Habernal

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un super-intelligenza artificiale (un "mago digitale") che legge migliaia di sentenze della Corte Europea dei Diritti dell'Uomo. Il suo compito è dire: "In questo caso, i diritti umani sono stati violati o no?".

Il problema è che questo mago è un po' un oracolo misterioso: ti dà la risposta giusta, ma non ti dice perché. È come se ti dicesse "È colpa tua!" senza spiegarti quale regola hai infranto. Per le persone, specialmente in ambito legale, sapere il "perché" è fondamentale.

Gli scienziati di questo studio hanno voluto capire: "Possiamo chiedere al mago di mostrarci i pezzi del documento su cui si basa la sua decisione?"

Ecco cosa hanno scoperto, passo dopo passo:

1. Il problema dei "Frammenti Spezzati"

Gli esperti hanno provato due metodi diversi per far "parlare" il mago e fargli estrarre le frasi chiave (i "motivi") dal testo.

Metodo A: Cerca le parole più importanti.
Metodo B: Cerca di trovare il blocco di testo che, se letto da solo, basta a spiegare la decisione.

La scoperta scioccante: Quando hanno chiesto a un avvocato umano di leggere questi "motivi" estratti dal computer, l'avvocato ha riso (o pianto).
Perché? Perché il computer non estrarreva frasi complete o ragionamenti logici. Estraeva frammenti senza senso, come se qualcuno avesse preso un libro, tagliato a caso delle parole e le avesse incollate insieme.

Esempio: Invece di dire "Il giudice ha ignorato la prova", il computer ti dà: "giudice... prova... ignorato... 28/77".
È come se qualcuno ti desse un puzzle dove mancano metà dei pezzi e i pezzi rimanenti sono tutti rovesciati. Non puoi ricostruire l'immagine!

2. Il paradosso dei "Voti di Fiducia"

Qui arriva la parte più strana.
Gli scienziati hanno usato dei test matematici per vedere se questi frammenti erano buoni. E i test hanno detto: "Sì, sono ottimi! Il computer ha ragione!".
I numeri erano perfetti. Ma quando un avvocato esperto ha letto gli stessi frammenti, ha detto: "Assolutamente no. Non hanno senso legale. Non spiegano nulla."

È come se un'auto avesse un cruscotto che segna "Motore perfetto" e "Velocità massima", ma quando provi a guidarla, le ruote girano a vuoto e l'auto non si muove. I numeri dicono che funziona, ma la realtà dice che è rotta.

3. Il "Giudice Robot" (LLM-as-a-Judge)

Gli scienziati si sono chiesti: "Ok, gli umani sono lenti e costosi. Possiamo usare un'altra Intelligenza Artificiale per giudicare se i motivi sono buoni?"
Hanno provato a usare dei modelli linguistici avanzati (come Llama o Gemma) per fare da "giudici" e vedere se approvavano i motivi estratti.
Risultato: I robot giudici erano un po' confusi. A volte dicevano di sì, a volte di no, e spesso non erano d'accordo tra loro. Non sono ancora abbastanza affidabili per sostituire gli avvocati umani in questo compito delicato.

4. La nuova "Biblioteca" di casi

Gli autori hanno anche notato che i vecchi elenchi di casi legali usati per addestrare questi computer erano pieni di errori (come avere sentenze "non ammissibili" etichettate erroneamente come "nessuna violazione"). Hanno quindi creato una nuova biblioteca di casi (un dataset) più pulita e corretta, per insegnare meglio ai computer la differenza tra un caso vero e uno sbagliato.

In sintesi: Cosa ci insegna questo studio?

Immagina di dover assumere un avvocato AI per difenderti in tribunale.

Oggi: L'AI ti dice "Hai vinto!" e ti mostra una lista di parole staccate che sembrano scritte da un bambino di 5 anni.
Il problema: Se l'AI non può spiegare perché hai vinto in modo che un umano capisca, non possiamo fidarci di lei. In un tribunale, la trasparenza è tutto.
La lezione: Anche se i computer sono bravissimi a indovinare il risultato (come un giocatore d'azzardo fortunato), non sono ancora capaci di spiegare il loro ragionamento in modo che abbia senso per noi.

Il messaggio finale: Non possiamo ancora fidarci ciecamente di queste macchine per decisioni legali importanti. Abbiamo bisogno che imparino a parlare la nostra lingua, non a fare i puzzle a pezzi. E per ora, l'occhio umano dell'avvocato esperto è ancora insostituibile.

1. Problema e Contesto

L'uso dei Modelli Linguistici di Grandi Dimensioni (LLM) e di altri modelli di apprendimento automatico nel dominio legale è in crescita, in particolare per la previsione degli esiti delle cause (ad esempio, determinare se una Corte ha rilevato una violazione di un diritto). Tuttavia, l'adozione di questi sistemi è ostacolata dalla mancanza di interpretabilità e trasparenza, requisiti fondamentali per la fiducia nel settore giuridico.

Il problema centrale affrontato dal paper è la validità delle tecniche di estrazione delle giustificazioni (rationale extraction). Queste tecniche mirano a spiegare le previsioni del modello selezionando frammenti di testo dall'input originale che giustificano l'output. Sebbene esistano metriche quantitative per valutare queste tecniche, non è chiaro se le "ragioni" estratte dai modelli siano effettivamente utili o comprensibili per gli esperti legali, né se le metriche automatiche corrispondano al giudizio umano. Inoltre, i dataset esistenti per la Corte Europea dei Diritti Umani (ECtHR) contengono errori significativi nelle etichette "gold standard", rendendo difficile una valutazione accurata.

2. Metodologia

A. Creazione di un Nuovo Dataset ECtHR

Gli autori hanno identificato gravi errori nei dataset precedenti (Chalkidis et al., 2019a, 2021), dove casi inammissibili o con violazioni "implicite" erano erroneamente etichettati come "non violazione".

Azione: Hanno creato un nuovo dataset curato manualmente scaricando i dati dal database HUDOC (fino a dicembre 2025).
Filtraggio: Sono stati rimossi i casi inammissibili, quelli con conclusioni ambigue e i casi in cui lo stesso articolo era sia violato che non violato.
Risultato: Un dataset bilanciato di 3.146 casi (1.573 violazioni e 1.573 non violazioni), focalizzato principalmente sugli Articoli 6 (giusto processo) e 8 (vita privata e familiare) della Convenzione Europea dei Diritti Umani.

B. Modelli e Tecniche di Interpretazione

Per il compito di classificazione binaria (violazione/non-violazione), è stato utilizzato LEGAL-BERT in una configurazione gerarchica (HIER-BERT) per gestire documenti lunghi.
Per l'estrazione delle giustificazioni, sono state confrontate due tecniche model-agnostic:

MaRC (Masked Rationale Creation): Un approccio basato sull'ottimizzazione che impara una maschera di input per massimizzare la sufficienza, la completezza e la compattezza delle giustificazioni estratte.
ISR (Flexible Instance-Specific Rationale Extraction): Un approccio basato su ensemble che combina diversi metodi di attribuzione delle caratteristiche (es. Attention, Integrated Gradients, LIME) per selezionare le migliori combinazioni di frammenti di testo.

C. Framework di Valutazione Comparativa

La valutazione è stata condotta su tre livelli:

Metriche Quantitative (Fiducia):
- NormSuff (Sufficienza Normalizzata): Quanto il modello mantiene la sua previsione usando solo le giustificazioni.
- NormComp (Completezza Normalizzata): Quanto la previsione degrada rimuovendo le giustificazioni.
- F1 Score: Variazione delle prestazioni del classificatore con input mascherati.
Analisi Qualitativa (Plausibilità) con Esperti Legali:
- Due esperti legali (Esperto A ed Esperto B) hanno valutato 10 casi.
- Esperto A: Ha estratto manualmente le giustificazioni basandosi solo sui fatti del caso (senza conoscere la decisione finale della corte, ma sapendo che c'è stata una violazione).
- Esperto B: Ha valutato le giustificazioni estratte da MaRC, ISR ed Esperto A, chiedendosi se fossero sufficienti e di supporto per dedurre una violazione, senza contesto aggiuntivo.
LLM-as-a-Judge:
- Valutazione della fattibilità di sostituire gli esperti umani con LLM (Llama-3.1, Mixtral, Gemma-2) per giudicare la qualità delle giustificazioni, utilizzando le valutazioni degli esperti come riferimento.

3. Risultati Chiave

A. Discrepanza tra Metriche Quantitative e Giudizio Umano

Fiducia vs. Plausibilità: Le tecniche MaRC e ISR hanno ottenuto punteggi elevati nelle metriche di fiducia (NormSuff e NormComp), suggerendo che le giustificazioni estratte sono statisticamente correlate alla previsione del modello.
Fallimento Umano: Tuttavia, gli esperti legali hanno giudicato le giustificazioni estratte dai modelli come inaccettabili.
- Le giustificazioni erano spesso frammenti di testo privi di senso (es. nomi senza verbi, date isolate, frasi interrotte).
- Il 90% delle giustificazioni ISR e il 70% di quelle MaRC sono state giudicate non sufficienti e non di supporto per prendere una decisione legale.
- Gli esperti hanno notato che i modelli mancano di coerenza cronologica e contesto procedurale, elementi cruciali per il diritto (specialmente nell'Articolo 6).

B. Confronto tra Giustificazioni Umane e Artificiali

Le giustificazioni umane (Esperto A) erano più lunghe, coerenti e contenevano interi paragrafi o sezioni sostanziali, preservando il contesto necessario.
Le giustificazioni dei modelli erano frammentate e spesso mancavano di termini critici immediatamente adiacenti, rendendole incomprensibili senza il testo originale completo.

C. Valutazione LLM-as-a-Judge

Gli LLM hanno mostrato una certa capacità di allinearsi con gli esperti umani (coerenza moderata, $\kappa \in [0.2, 0.4]$ ), specialmente in configurazioni few-shot.
Tuttavia, i risultati non sono stati robusti: gli LLM hanno mostrato incoerenze nella valutazione degli stessi documenti e i loro intervalli di confidenza erano ampi.
Conclusione: Gli LLM attuali non sono ancora affidabili abbastanza per sostituire completamente gli esperti umani nella valutazione della plausibilità delle giustificazioni legali.

4. Contributi Principali

Nuovo Dataset ECtHR: Un dataset corretto e curato per la classificazione delle violazioni, che risolve errori sistematici presenti nella letteratura precedente.
Framework di Valutazione Olistico: Un approccio che combina metriche di fiducia quantitative con valutazioni qualitative di esperti legali, evidenziando il divario tra "correttezza statistica" e "utilità legale".
Analisi Critica delle Tecniche di Spiegazione: Dimostrazione empirica che le tecniche di estrazione delle giustificazioni più avanzate falliscono nel produrre spiegazioni giuridicamente valide, anche quando i modelli sottostanti sono accurati.
Valutazione di LLM-as-a-Judge nel Legale: Uno dei primi studi a testare la capacità degli LLM di valutare la qualità delle spiegazioni in ambito giuridico, concludendo che sono promettenti ma ancora insufficienti per un uso autonomo.

5. Significato e Implicazioni

Il paper mette in guardia contro l'uso acritico delle tecniche di interpretabilità "model-agnostic" nel settore legale. Il fatto che i modelli producano previsioni accurate basate su "ragioni" che gli esperti legali considerano incomprensibili o irrilevanti suggerisce che i modelli potrebbero aver imparato correlazioni spurie o superficiali nei dati, piuttosto che un ragionamento giuridico profondo.

Questo ha implicazioni critiche per l'adozione di AI in tribunale: un sistema che non può fornire una giustificazione giuridicamente valida e comprensibile non può essere considerato affidabile per decisioni ad alto rischio. Inoltre, lo studio evidenzia che le metriche automatiche di interpretabilità (come la sufficienza) non sono un sostituto adeguato della valutazione umana, e che gli LLM, sebbene utili come strumenti di supporto, non sono ancora pronti a sostituire gli esperti umani in compiti di valutazione qualitativa complessa.