Riepilogo Tecnico: GradeLegal – Valutazione Automatizzata di Casi Giuridici Tedeschi

Enunciato del Problema

La valutazione degli esami di diritto tedesco è un processo ad alto rischio e ad alta intensità di risorse, caratterizzato da una carenza di valutatori qualificati e da un volume crescente di elaborati studenteschi (circa 115.000 studenti all'anno). Il compito consiste nel valutare soluzioni a caso estese e manoscritte (10–30 pagine) secondo una scala ordinale di 18 punti. La complessità deriva dalla necessità di valutare molteplici percorsi di ragionamento giuridicamente coerenti, la coerenza interna e la solidità argomentativa, piuttosto che la semplice correttezza superficiale. Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano mostrato promesse nel ragionamento giuridico, la loro applicabilità alla valutazione automatica degli elaborati (AES) nel dominio giuridico tedesco rimane poco esplorata. Studi esistenti riportano risultati contrastanti, spesso mostrando un accordo vicino allo zero nel diritto penale, e mancano di confronti sistematici tra famiglie di modelli, strategie di prompting e sottodomini giuridici.

Metodologia

Gli autori hanno condotto una valutazione sistematica di 27 LLM all'avanguardia (sia proprietari che open-source, incluse varianti con e senza capacità di ragionamento) su un dataset non pubblico composto da 87 soluzioni di casi studenteschi: 71 provenienti da un esame di diritto penale da svolgere a casa e 16 da un esame simulato di diritto pubblico a tempo limitato.

Design Sperimentale

Lo studio ha inquadrato la valutazione come un compito zero-shot in cui i modelli assegnano un voto (0–18) basandosi sui fatti del caso e sulle soluzioni degli studenti. La variabile principale era la strategia di prompting, che aggiungeva in modo incrementale informazioni specifiche al compito:

1. Task-Agnostic: Istruzioni minime per la valutazione.
2. Instr.+Rubric: Istruzioni più una griglia di valutazione (mappatura degli elementi giuridici sui punti).
3. Instr.+Solution: Istruzioni più una soluzione esemplificativa scritta dal docente.
4. Instr.+Rubric+Solution: Contesto completo includente istruzioni, griglia di valutazione e soluzione esemplificativa.

Metriche di Valutazione

• Metrica Primaria: Kappa Quadratico Ponderato (QWK) per misurare l'accordo inter-valutatore con i voti esperti umani, penalizzando maggiormente le deviazioni di punteggio più ampie.
• Metrica Secondaria: Correlazione di Pearson per valutare la relazione lineare.
• Approccio di Ensemble: Gli autori hanno testato se combinare più modelli open-source (utilizzando aggregazione Min e Mediana) potesse superare il miglior membro individuale o i modelli closed-source.

Contributi Chiave

1. Benchmark Completo: La prima valutazione sistematica di 27 LLM (con e senza capacità di ragionamento, open e closed-source) sulla valutazione di esami giuridici tedeschi, coprendo sia il diritto penale che il diritto pubblico.
2. Analisi della Strategia di Prompting: Un benchmark controllato delle strategie di prompting su un corpus non pubblico per mitigare le preoccupazioni relative alla contaminazione dei dati, derivando indicazioni pratiche per l'uso di griglie di valutazione e soluzioni esemplificative.
3. Validazione delle Prestazioni: Dimostrazione che gli LLM orientati al ragionamento (in particolare GPT-5) possono approssimare la valutazione esperta nel diritto pubblico (QWK 0,911) quando forniti di una griglia di valutazione e di una soluzione esemplificativa, eguagliando l'affidabilità inter-valutatore umana. Nel diritto penale è stato raggiunto un accordo sostanziale di 0,599, superando i rapporti precedenti.
4. Efficacia degli Ensemble: Evidenza che gli ensemble di modelli open-source possono superare i loro migliori membri individuali e ridurre il divario prestazionale con i modelli closed-source di fascia alta, offrendo un'alternativa che preserva la privacy.

Risultati

Prestazioni dei Modelli

• Ragionamento vs. Non-Ragionamento: I modelli orientati al ragionamento hanno costantemente superato i modelli non orientati al ragionamento. GPT-5 ha raggiunto il più alto accordo in entrambi i domini (0,911 nel diritto pubblico, 0,599 nel diritto penale) sotto il prompt a contesto completo.
• Disparità di Dominio: Le prestazioni sono state significativamente più alte nel diritto pubblico rispetto al diritto penale per tutti i modelli. Gli autori attribuiscono questo alla maggiore complessità e alla natura aperta del dataset di diritto penale (da svolgere a casa, catene di ragionamento più lunghe) rispetto all'esame di diritto pubblico a tempo limitato e vincolato.
• Fattibilità Open-Source: Sebbene i modelli open-source siano generalmente rimasti indietro rispetto ai migliori modelli closed-source, modelli specifici come Mistral-Large-3-675B e Qwen3-Next-80B-Th hanno mostrato prestazioni competitive. Gli ensemble di modelli open-source (ad es. Open-L e Open-S) hanno superato con successo i loro migliori membri singoli.

Impatto del Prompting

• Fallimento Task-Agnostic: Senza informazioni specifiche sul compito, i modelli hanno operato a livelli pari o vicini al caso (QWK ~0 o negativo), indicando che la valutazione "fuori dalla scatola" è insufficiente.
• Importanza della Griglia di Valutazione: La griglia di valutazione si è rivelata più critica della sola soluzione esemplificativa. Ha fornito una mappatura esplicita dalla qualità giuridica alla scala di 18 punti, che i modelli faticavano a inferire dalle sole soluzioni narrative.
• Sinergia: Le prestazioni più elevate sono state raggiunte quando erano fornite sia la griglia di valutazione che la soluzione esemplificativa, suggerendo che offrono segnali complementari (allocazione esplicita dei punti vs. indizi strutturali olistici).

Risultati degli Ensemble

• Gli ensemble che utilizzavano l'aggregazione Mediana (per modelli più forti) e l'aggregazione Min (per modelli moderati) hanno migliorato costantemente l'accordo rispetto al miglior membro singolo.
• Gli ensemble hanno ridotto il divario con i modelli closed-source più forti, in particolare nell'impostazione a contesto completo, offrendo un'alternativa praticabile per distribuzioni sensibili alla privacy.

Significato e Affermazioni

Il documento afferma che la valutazione basata su LLM può servire come strumento formativo scalabile e a basso rischio per l'autovalutazione degli studenti e il feedback sulla pratica nell'educazione giuridica tedesca, a condizione che:

1. Vengano selezionati modelli orientati al ragionamento.
2. Vengano fornite informazioni strutturate sul compito (in particolare una griglia di valutazione e una soluzione esemplificativa).
3. Venga eseguita una validazione specifica per dominio, poiché le prestazioni variano significativamente tra i sottodomini giuridici (diritto penale vs. diritto pubblico).

Gli autori dichiarano esplicitamente che questi risultati non dovrebbero essere utilizzati per decisioni sommativi (valutazione dell'esame finale) senza ulteriore validazione. Lo studio evidenzia che, sebbene gli LLM possano approssimare il giudizio esperto, la complessità della valutazione nel diritto penale rimane una sfida significativa rispetto al diritto pubblico. Il lavoro stabilisce che una progettazione efficace del prompt e la selezione del modello sono prerequisiti per una valutazione automatizzata affidabile in questo dominio.