Riepilogo Tecnico: Uno Studio di Stabilità in Due Fasi su Giudici LLM ed Esaminatori del Consiglio dell'Ordine Forense riguardo ai Saggi a Risposta Libera dell'Esame di Abilitazione alla Professione Forense Thai

Enunciato del Problema

La valutazione attuale tramite Elaborazione del Linguaggio Naturale (NLP) dei saggi legali a risposta libera si basa su due assunzioni non verificate: (1) che l'accordo inter-valutatore tra esperti umani credenziati definisca un unico "tetto di stabilità" piatto per tutti gli elementi, e (2) che il successo di un giudice LLM sia misurato da quanto il suo accordo con questo panel umano si avvicini a tale tetto. Questo studio sfida tali assunzioni investigando se la stabilità degli esperti sia uniforme tra gli elementi e se le popolazioni di giudici LLM riproducano l'intero spettro delle interpretazioni umane legittime o semplicemente convergano su una singola lettura maggioritaria. Lo studio si concentra sull'Esame di Abilitazione alla Professione Forense Thai, una valutazione ad alto rischio a risposta libera in cui la valutazione coinvolge sia la correttezza deterministica (corrispondenza con una risposta aurea) sia la qualità interpretativa (profondità del ragionamento), quest'ultima delle quali spesso manca di linee guida regolamentari esplicite.

Metodologia

La ricerca impiega un protocollo a due fasi con input identici per isolare i ruoli dell'esaminando e del giudice, controllando al contempo la varianza degli input.

Fase 1: LLM come Esaminandi

• Partecipanti: 42 studenti di giurisprudenza thailandesi e 8 LLM (inclusi Claude 4.6 Opus, Gemini 3.1 Pro, GPT-5.4 Pro e altri).
• Compito: I partecipanti hanno risposto a tre domande a saggio del Codice Civile e Commerciale in condizioni di anonimato.
• Valutazione: Tre esaminatori formati dal Consiglio dell'Ordine Forense (A, B, C) hanno valutato le risposte utilizzando una rubrica pubblicata a 8 livelli. Gli esaminatori non erano a conoscenza di quali partecipanti fossero LLM.
• Esito: È stata stabilita una distribuzione di capacità di base in cui gli LLM si sono inseriti all'interno della distribuzione degli studenti umani, assicurando che il compito di valutazione non fosse banale.

Fase 2: LLM come Giudici

• Corpus: È stato selezionato un sottoinsieme di 15 celle incrociate (5 risposte $\times$ 3 esaminatori) per un'analisi approfondita.
• Input: Tutti i valutatori (3 umani e 26 LLM) hanno ricevuto gli stessi identici input a quadrupla: la domanda, il regolamento ufficiale di valutazione, la risposta aurea e il saggio del candidato.
• Panel LLM:
  • Sottopanel di Ancoraggio: Tre modelli a frontiera chiusa (Claude 4.6 Opus, Gemini 3.1 Pro, GPT-5.4 Pro) hanno subito un'istrumentazione rigorosa, incluse sonde di determinismo (3 semi a $T=0$), ablazioni di input (regolamento omesso, risposta aurea omessa) e intervalli di confidenza bootstrap.
  • Panel Esteso: 23 modelli aggiuntivi che coprono le categorie frontiera chiusa (grandi/piccoli), flagship a peso aperto e piccoli pesi aperti sono stati aggiunti per testare affermazioni strutturali a livello di popolazione.
• Metriche: La stabilità è stata misurata utilizzando l'$\alpha$ di Krippendorff, le correlazioni di Pearson a coppie e il $\kappa$ ponderato di Cohen.

Contributi Chiave

1. Convergenza Asimmetrica a Livello di Popolazione: Lo studio identifica un'asimmetria strutturale nel comportamento dei giudici LLM. Su elementi in cui la rubrica è silente riguardo all'interpretazione di una risposta finale corretta con citazioni normative omesse (il confine "regolamento-silente"), il panel umano si divide in due letture coerenti (una lettura maggioritaria B/C e una lettura minoritaria A). La popolazione LLM non si divide simmetricamente; 22 su 26 LLM convergono sulla lettura maggioritaria (B/C), 3 si collocano in un vuoto intermedio e solo 1 (GPT-5.4 Nano) si avvicina alla lettura minoritaria (A) senza classificare coerentemente all'interno di essa. Nessun LLM riproduce la lettura minoritaria.
2. Disaccoppiamento della Capacità dell'Esaminando dalla Stabilità del Giudice: Utilizzando il design a doppio ruolo (gli stessi 8 LLM come esaminandi e giudici), il documento dimostra che la performance di un modello come esaminando non ne predice l'allineamento come giudice. Esaminandi più deboli spesso diventano giudici più forti allineati a B/C, mentre gli esaminandi con i punteggi più alti non necessariamente si allineano alla lettura minoritaria. La scalabilità della capacità non spinge la popolazione LLM verso la lettura minoritaria.
3. Panel di Ancoraggio Istrumentato: L'istituzione di un sottopanel di ancoraggio composto da tre LLM con piena strumentazione (determinismo, ablazioni, intervalli di confidenza bootstrap) che ha raggiunto un $\alpha$ di panel di 0,77, significativamente più alto rispetto al 0,36 del panel umano sugli elementi contestati.

Risultati Chiave

Metriche di Stabilità

• Elementi Non Contestati: Su 10 delle 15 celle (Domande 1 e 3), dove la rubrica prescrive entrambi gli assi, i panel umano e LLM sono equivalenti in termini di stabilità ($\alpha \approx 0,75$).
• Elementi Contestati: Sulle 5 celle della Domanda 2 (confine regolamento-silente), il panel umano crolla a $\alpha = -0,34$ a causa della divisione tra l'Esaminatore A (più severo, punteggio 1–2) e gli Esaminatori B/C (più indulgenti, punteggio 6–8).
• Comportamento LLM su Elementi Contestati: Il panel LLM mantiene un'alta stabilità ($\alpha = 0,68$) ma converge esclusivamente sulla lettura B/C.
  • 22/26 LLM: Punteggio nella fascia B/C ($m_c \in [5, 8]$).
  • 3/26 LLM: Punteggio nel vuoto intermedio ($3 < m_c < 5$).
  • 1/26 LLM (GPT-5.4 Nano): Si avvicina alla fascia A ($m_c = 2,33$) ma non riesce a classificare coerentemente all'interno di essa.
  • Risultato: Nessun LLM riproduce la lettura umana minoritaria.

Diagnosi delle Modalità di Fallimento

Lo studio identifica tre distinte modalità di fallimento negli LLM che si discostano dal cluster maggioritario:

1. Quantizzazione della Scala (Claude Haiku 4.5): Collassa la scala di punteggio in un bucket binario pass/fail (3,5 o 7,5), fallendo nell'esprimere punteggi di medio livello.
2. Valutazione basata Solo sulla Risposta Finale (GPT-5.4 Mini): Ignora l'asse interpretativo, assegnando punteggi elevati esclusivamente sulla base della correttezza della conclusione finale, indipendentemente dalla qualità del ragionamento.
3. Valutazione Severa sul Ragionamento (GPT-5.4 Nano): Penalizza rigorosamente le citazioni omesse sull'asse interpretativo, allineandosi alla lettura minoritaria A, ma manca di coerenza su tutto il dataset.

Controlli di Robustezza

• Determinismo: A $T=0$, gli LLM di ancoraggio mostrano un'alta stabilità intra-giudice (Claude $\alpha=0,998$), confermando che la diversità inter-modelli (0,77) è una caratteristica della popolazione e non un artefatto del rumore.
• Ablazioni di Input: Rimuovere il regolamento o la risposta aurea riduce la stabilità del panel LLM ma non inverte la direzione del divario (l'$\alpha$ LLM rimane più alto dell'$\alpha$ umano).
• Analisi a Doppio Ruolo: La correlazione tra punteggio dell'esaminando e allineamento al cluster del giudice è esplorativa e negativa ($r = -0,34$), suggerendo che gli esaminandi più deboli (che potrebbero fare maggiore affidamento sull'asse deterministico) si allineano più fortemente alla maggioranza B/C come giudici.

Significato e Affermazioni

Il documento afferma che il "tetto di stabilità" nell'NLP legale non è una linea piatta ma una faglia situata ai confini regolamento-silenti dove la rubrica lascia la qualità interpretativa al giudizio degli esperti.

• Asimmetria dell'Accordo: Un alto accordo del panel LLM ($\alpha$) non implica una riproduzione equilibrata della varianza umana. Piuttosto, riflette una convergenza sistematica sulla lettura umana maggioritaria. Un benchmark che seleziona un giudice LLM massimizzando l'accordo con un panel di riferimento umano (che è tipicamente distorto dalla maggioranza) erediterà, per costruzione, questa asimmetria e filtrerà i giudici capaci della lettura minoritaria.
• Il Collo di Bottiglia Interpretativo: Lo studio definisce il "collo di bottiglia interpretativo della rubrica" come la zona specifica in cui il regolamento è silente su come valutare una risposta corretta con ragionamento incompleto. In questa zona, i panel umani si dividono naturalmente in letture coerenti e legittime, mentre le popolazioni LLM convergono su un solo lato.
• Limiti della Scalabilità: I risultati suggeriscono che semplicemente scalare la capacità del modello non risolve questa asimmetria; i modelli più grandi non adottano spontaneamente la lettura minoritaria. La convergenza è una proprietà strutturale dell'insieme LLM su questa specifica rubrica, indipendente dalle dimensioni del modello, dal fornitore o dal livello di prezzo.

Il documento conclude che i protocolli di valutazione attuali oscurano lo spazio completo delle letture umane legittime. Invoca benchmark che riportino la stabilità del panel per caso interpretativo e valutino i giudici LLM rispetto a multiple letture umane legittime piuttosto che a un singolo target medio.