Sintesi Tecnica: TW-LegalBench

Definizione del Problema

Sebbene i Large Language Models (LLM) abbiano dimostrato capacità significative in domini generali, le loro prestazioni sul ragionamento giuridico specifico per giurisdizione rimangono poco esplorate. Gli esistenti benchmark legali soffrono di tre limitazioni sistemiche:

1. Eccessiva Grossolanità: Molti benchmark aggregano dottrine giuridiche disparate in categorie ampie (ad esempio, confondendo la Legge sul Contenzioso Amministrativo con la Legge sulla Disciplina dei Pubblici Funzionari), impedendo una diagnosi precisa dell'expertise del modello.
2. Gap di Valutazione: Una forte dipendenza da domande a risposta multipla (MCQ) a scelta chiusa non riesce a simulare il problem-solving legale aperto e reale.
3. Squilibrio Giurisdizionale: La maggior parte dei benchmark si concentra su sistemi di common-law (inglese) o sistemi di civil-law semplificati, lasciando un vuoto di risorse ad alta fedeltà per le giurisdizioni di civil-law in cinese tradizionale, come Taiwan.

Gli attuali benchmark per il diritto taiwanese (ad es., TMLU, TMMLU+, LLAWA) sono limitati nell'ambito, spesso astratti o privi di una diversità di compiti completa (MCQ vs. saggi vs. predizione delle sentenze).

Metodologia

Gli autori introducono TW-LegalBench, un benchmark multi-livello basato sulla tradizione di civil-law di Taiwan, utilizzando fonti di dati aperti ufficiali del Ministero dell'Esame e dello Yuan Giudiziario. Il dataset comprende tre distinti tipi di task:

1. Domande a Scelta Multipla (MCQ)

• Dati: 16.493 domande provenienti da esami ufficiali (2020–2024) attraverso 18 domini professionali (Servizio Civile, Giudiziario, Polizia, Professionale).
• Annotazione: Ogni domanda è annotata manualmente con la sua specifica fonte legale, identificando 43 tipi di legge distinti attraverso 6 categorie legali.
• Elaborazione: Le domande sono state filtrate per mantenere solo gli elementi a risposta singola. Sono state anche tradotte in cinese semplificato e inglese utilizzando la terminologia ufficiale dello Yuan Giudiziario per investigare gli effetti della lingua.

2. Domande a Saggio Aperto (OEQ)

• Dati: 117 domande a saggio dalla seconda fase degli Esami Giudiziari e Forensi (2020–2024).
• Framework di Valutazione: Gli autori propongono un framework decomposed LLM-as-Judge (LLM come giudice decomposto). Invece di generare un singolo punteggio numerico, il modello giudice valuta ogni punto della rubrica di valutazione individualmente rispetto a quattro etichette di stato: Corretto, Parziale, Errato e Mancante.
• Mitigazione del Bias: Vengono utilizzati due modelli giudici (GPT-5 e Claude-Sonnet-4.5), con i punteggi mediati per mitigare l'auto-favoritismo.

3. Predizione della Sentenza Legale (LJP)

• Dati: 14.325 sentenze penali di primo grado (2013–2024).
• Filtraggio: Le sentenze sono state filtrate per chiarezza strutturale (Risultato Principale, Fatti, Ragionamento) e lunghezza dei caratteri. Il set di test consiste in 535 campioni (5 per categoria di reato) attraverso 107 categorie di reato per garantire una valutazione bilanciata.
• Metriche:
  • Verdetto/Sentenza: Punteggi ROUGE, F1 a livello di token e accuratezza specifica per categoria (ad es., distanza logaritmica normalizzata per i termini di detenzione, soglie assolute per arresti/multe).
  • Citazione della Norma: Accuratezza, Errore di Tipo I (statuti allucinati), Errore di Tipo II (statuti reali ma inapplicabili) e tasso di errore totale.

Configurazione Sperimentale

Lo studio valuta 13 LLM (4 a codice chiuso, 9 a codice aperto) utilizzando il prompting zero-shot Chain-of-Thought (CoT). La selezione dei modelli include modelli di frontiera (GPT-5, Claude-Sonnet-4.5), modelli open di grandi dimensioni ottimizzati per il ragionamento (Qwen3-235b, Llama-3.1-405b) e modelli specificamente pre-addestrati o raffinati su dati in Cinese Tradizionale/Taiwanese (Llama-Taiwan, Breeze).

Risultati Chiave

1. Prestazioni MCQ

• Top Performance: I modelli a codice chiuso (Claude-Sonnet-4.5: 81,0%) e Qwen3-235b (69,1%) hanno raggiunto l'accuratezza più elevata.
• Varianza del Dominio: I modelli hanno ottenuto i migliori risultati nel Diritto Costituzionale e nelle domande senza etichette legali specifiche, ma hanno faticato con il Diritto Amministrativo a causa della sua natura voluminosa e frequentemente emendata.
• Difficoltà Estrema: 290 domande (1,76%) hanno bloccato tutti i 13 modelli, spesso coinvolgendo statuti oscuri (ad es., l'Atto di Organizzazione del Museo del Palazzo Nazionale) o calcoli complessi (ad es., l'anticipo ereditario della successione).

2. Prestazioni OEQ (Umano vs. AI)

• Soglie di Superamento: I top modelli (Qwen3-235b, GPT-5, GPT-5.2) hanno superato la soglia di superamento dell'Esame Forense (circa il 33° percentile, tasso di superamento ~11%).
• Gap Giudiziario: Nessun modello ha raggiunto la soglia di superamento dell'Esame Giudiziario/Procuratoriale (circa il top 5–10%, tasso di superamento ~1–2%). Il top 3% dei candidati umani ha superato il miglior modello di oltre 100 punti.
• Impatto Linguistico: I modelli addestrati su corpora in Cinese Tradizionale o specifici di Taiwan (ad es., Breeze-7b-instruct, Llama-Taiwan-70b) hanno spesso superato i modelli generalisti più grandi nelle OEQ, in particolare nella gestione del ragionamento parziale.

3. Prestazioni LJP

• Sentenza: I modelli hanno dimostrato una ragionevole accuratezza nella predizione dei tipi di verdetto e della lunghezza delle sentenze (ad es., Claude-Sonnet-4.5 ha raggiunto una distanza logaritmica normalizzata di 0,907).
• Citazione della Norma: Le prestazioni sono state scarse. Il modello con le migliori prestazioni (Llama-Taiwan-8b) ha raggiunto solo il 9,9% di accuratezza nella citazione dello statuto corretto.
• Tipi di Errore: I modelli a codice chiuso hanno mostrato alti Errori di Tipo I (allucinazione di statuti inesistenti), mentre alcuni modelli a codice aperto hanno mostrato alti Errori di Tipo II (citazione di statuti reali ma inapplicabili).
• Memorizzazione vs. Ragionamento: Si ipotizza che le forti prestazioni dei modelli specifici di Taiwan sulla LJP derivino dalla memorizzazione delle sentenze giudiziarie nei loro dati di addestramento piuttosto che da un genuino ragionamento legale, come dimostrato dalle loro prestazioni più deboli sulle OEQ rispetto ai loro punteggi LJP.

Significato e Rivendicazioni

Il paper sostiene che TW-LegalBench colma una lacuna critica nella valutazione degli LLM sui sistemi di civil-law utilizzando il Cinese Tradizionale. La sua importanza risiede in:

1. Diagnosi Granulare: Fornire annotazioni a livello di statuto per le MCQ consente un'analisi ad alta risoluzione dell'expertise del modello attraverso 43 tipi di legge, superando la categorizzazione grossolana dei benchmark precedenti.
2. Protocollo di Valutazione Rigoroso: Il framework decomposed LLM-as-Judge per le OEQ offre una valutazione più stabile e sfumata dell'argomentazione legale rispetto alla punteggiatura diretta.
3. Allineamento con il Mondo Reale: Il dataset LJP valuta i modelli su effettivi esiti giudiziari, rivelando che, sebbene gli LLM possano approssimare le prestazioni umane negli esami di qualifica (Forense), attualmente mancano della affidabilità richiesta per ruoli giudiziari ad alto rischio (Giudici/Procuratori).
4. Specificità Giurisdizionale: I risultati sottolineano che i modelli addestrati su corpora specifici della giurisdizione (Cinese Tradizionale di Taiwan) superano costantemente i modelli generalisti più grandi sulle task aperte e sulla predizione delle sentenze, evidenziando la necessità di dati di addestramento localizzati per l'IA legale.

Gli autori concludono che, sebbene gli LLM si stiano avvicinando alle prestazioni umane negli esami di qualifica legale, la generazione affidabile di testi legali e la citazione precisa degli statuti rimangono sfide significative, in particolare per le applicazioni giudiziarie ad alto rischio.