Evaluating Legal Reasoning Traces with Legal Issue Tree Rubrics

1. Enunciato del Problema

La valutazione dei Modelli Linguistici di Grande Dimensione (LLM) in domini esperti come il diritto è fondamentale per garantire credibilità e spiegabilità, ma rimane una sfida significativa.

• Limitazioni degli attuali benchmark: I dataset esistenti per la Predizione del Giudizio Legale (LJP) si concentrano tipicamente esclusivamente sulla previsione del provvedimento finale del tribunale (ad esempio, "vincita" o "sconfitta"). Ignorano la qualità della traccia di ragionamento intermedia (Chain-of-Thought), che è cruciale per domini ad alto rischio.
• Lacune nella valutazione: Le metriche di valutazione standard non riescono a catturare due dimensioni vitali del ragionamento giuridico:
  1. Copertura delle questioni: Il modello ha identificato tutte le questioni legali rilevanti e le sottosezioni?
  2. Correttezza delle questioni: Il modello ha ragionato correttamente sui fatti e sulle leggi riguardanti quelle specifiche questioni?
• Affidabilità dell'approccio "LLM come Giudice": Gli approcci generici "LLM come giudice" spesso mancano della sfumatura specifica del dominio necessaria per valutare argomenti legali complessi, portando a valutazioni incoerenti o superficiali.

2. Metodologia: Il Framework LEGIT

Gli autori introducono LEGIT (LEGal Issue Trees), un nuovo framework composto da un dataset su larga scala e una metodologia di valutazione strutturata.

A. Il Dataset LEGIT

• Scala e Fonte: Un dataset di 24.406 sentenze civili e amministrative coreane.
• Criteri di Selezione: Sono state selezionate solo sentenze deterministiche (dove l'esito è dettato dalla legge, escludendo casi che richiedono discrezionalità giudiziaria come le fasce di condanna).
• Struttura:
  • Estrazione dei Fatti: Invece di utilizzare le sezioni "Fatti" grezze, un LLM estrae "fatti atomici" (eventi fattuali unitari) e genera una descrizione coerente del caso.
  • Alberi delle Questioni Legali: L'innovazione principale. Le sentenze del tribunale sono convertite in alberi gerarchici in cui:
    • Radice: Lo scopo della richiesta e il provvedimento finale del tribunale.
    • Nodi Interni: Questioni legali scomposte in sottosezioni (ad esempio, "L'incidente è esterno?" $\to$ "La vittima si è soffocata?").
    • Foglie: Fatti atomici e inferenze di buon senso.
  • Rubriche: Ogni nodo nell'albero funge da rubrica specifica per la valutazione, contenente l'argomento della parte e la conclusione del tribunale.

B. Metrica di Valutazione: Punteggio LEGIT

Il framework valuta le risposte degli LLM utilizzando un punteggio su 10 punti composto da tre componenti ponderate:

1. Correttezza del Provvedimento Finale (5 punti): Punteggio binario (5 se il provvedimento finale corrisponde alla verità di base, 0 altrimenti).
2. Copertura delle Questioni (2 punti): Misura se il modello ha identificato le questioni legali presenti nell'albero di verità di base. Punteggio = $2/N$ per ogni questione coperta ($N$ = totale delle questioni non radice).
3. Correttezza delle Questioni (3 punti): Misura se il modello ha previsto la conclusione corretta per le questioni coperte. Punteggio = $3/N$ per ogni questione conclusa correttamente.

C. Verifica dell'Affidabilità

• Allineamento con Esperti Umani: Gli autori hanno validato le rubriche facendo annotare i dati da avvocati coreani abilitati. Gli avvocati hanno raggiunto un $\alpha$ di Krippendorff di 0,87, indicando un alto accordo inter-valutatore e l'oggettività delle rubriche.
• LLM come Giudice: LLM potenti (ad esempio, GPT-4.1, Gemini-2.5) hanno raggiunto un accordo significativo ($\alpha \approx 0,62-0,74$) con gli esperti umani quando utilizzano le rubriche LEGIT, superando le valutazioni grezze su scala Likert.

3. Contributi Chiave

1. Dataset LEGIT: Il primo benchmark LJP su larga scala che include tracce di ragionamento strutturate e gerarchiche (Alberi delle Questioni) invece di semplici risposte finali.
2. Rubriche Strutturate: Un metodo per estrarre automaticamente rubriche fini e specifiche per istanza dalle sentenze del tribunale, abilitando una valutazione scalabile e allineata agli esperti.
3. Tassonomia degli Errori: Identificazione di due modalità di fallimento distinte nel ragionamento giuridico:
   • Errori di Decomposizione: Fallimento nell'identificare sottosezioni rilevanti (mancanza di copertura).
   • Errori di Deduzione: Fallimento nel ragionare correttamente su fatti/leggi per le questioni identificate (mancanza di correttezza).
4. Strategie di Ottimizzazione Complementari: Evidenza empirica che mostra come la Generazione Aumentata dal Recupero (RAG) e l'Apprendimento per Rinforzo (RL) influenzino il ragionamento in modo diverso.

4. Risultati Chiave

A. Performance degli LLM all'Avanguardia

Anche i modelli più avanzati (ad esempio, GPT-4.1, Gemini-2.5) faticano con LEGIT.

• Il punteggio più alto raggiunto è stato 5,71/10 (GPT-4.1).
• Analisi degli Errori: I modelli commettono frequentemente errori di decomposizione (mancanza di sottosezioni) o errori di deduzione (logica errata sui fatti). Questi errori si propagano verso l'alto nell'albero, causando il fallimento della previsione del provvedimento finale.

B. Impatto di RAG vs RL

Lo studio ha testato due metodi per migliorare il ragionamento giuridico:

• Generazione Aumentata dal Recupero (RAG):
  • Effetto: Migliora tutti i componenti (Copertura, Correttezza e Provvedimento Finale).
  • Meccanismo: Fornire statuti pertinenti e citazioni di casi aiuta il modello a identificare più questioni e a ragionare con maggiore accuratezza.
• Apprendimento per Rinforzo (RL) con Rubriche LEGIT:
  • Effetto: Migliora significativamente il Provvedimento Finale e la Correttezza delle Questioni ma riduce la Copertura delle Questioni.
  • Meccanismo: Il modello impara a "giocare sul sicuro", concentrandosi solo sulle questioni di cui è altamente sicuro per massimizzare la ricompensa, omettendo così sottosezioni incerte (ma potenzialmente rilevanti).
• Conclusione: RAG e RL offrono benefici complementari. RAG espande la base di conoscenze del modello e l'identificazione delle questioni, mentre RL affina la precisione del suo ragionamento sulle questioni identificate.

C. Coerenza della Valutazione

• Rubriche LEGIT vs Scala Likert: Le rubriche LEGIT modulari hanno mostrato un accordo inter-valutatore significativamente più alto tra i valutatori LLM rispetto ai prompt grezzi su scala Likert, dimostrando che una valutazione strutturata e granulare è più robusta.

5. Significato e Lavori Futuri

• Avanzamento dell'AI Esperta: LEGIT va oltre la semplice previsione della risposta per valutare il processo di ragionamento, essenziale per la fiducia in domini ad alto rischio come il diritto e la medicina.
• Valutazione Esperta Scalabile: Automatizzando l'estrazione delle rubriche dalle sentenze, il paper dimostra un percorso per creare dataset di valutazione di alta qualità senza costi proibitivi di annotazione umana.
• Cambiamento di Paradigma nell'Addestramento: I risultati suggeriscono che l'ottimizzazione per la qualità della traccia di ragionamento (tramite RL sulle rubriche) produce esiti finali migliori rispetto all'ottimizzazione esclusivamente per la risposta finale, sfidando il paradigma della ricompensa "solo risposta" comune in matematica/programmazione.
• Limitazioni: L'attuale dataset è limitato al sistema giuridico e alla lingua coreana. Gli autori propongono di estendere questo framework ad altre giurisdizioni e lingue come lavoro futuro.

In sintesi, LEGIT fornisce un framework rigoroso, strutturato e scalabile per valutare e migliorare le capacità di ragionamento giuridico degli LLM, evidenziando che la vera intelligenza legale richiede sia una copertura completa delle questioni sia una deduzione logica precisa.