Riepilogo Tecnico: Esplorazione di Modelli Linguistici di Grandi Dimensioni Leggeri per la Generazione della Visione Giudiziaria

Definizione del Problema

La Generazione della Visione Giudiziaria (CVG) è un compito critico nell'Intelligenza Artificiale Giuridica (Legal AI) che consiste nel generare automaticamente la "visione giudiziaria"—il ragionamento giuridico che giustifica una sentenza definitiva—basandosi sui fatti del caso. Questo compito è essenziale per garantire trasparenza e interpretabilità giuridica. Tuttavia, la CVG rimane una sfida a causa della complessità del linguaggio giuridico, della necessità di coerenza logica e del requisito di incorporare accuratamente conoscenze normative e dettagli fattuali.

Sebbene le Reti Neurali Profonde (DNN) siano state applicate alla CVG, spesso faticano con il ragionamento giuridico complesso e le dipendenze a lungo raggio. Al contrario, i Modelli Linguistici di Grandi Dimensioni (LLM) offrono capacità generative e di ragionamento superiori. Nonostante ciò, manca una ricerca sistematica riguardante gli LLM leggeri (nello specifico quelli con meno di 2 miliardi di parametri) nel dominio giuridico. Le lacune chiave includono la comprensione di come diverse architetture e dimensioni del modello influenzino la qualità della CVG e la previsione delle accuse a valle, il confronto tra LLM leggeri e DNN tradizionali, e la valutazione se generare visioni giudiziarie prima della previsione delle accuse migliori l'accuratezza rispetto alla previsione diretta.

Metodologia

Gli autori hanno condotto uno studio sistematico utilizzando un nuovo framework di valutazione sviluppato, CVGEvalKit, che supporta tre dataset pubblici: C3VG, LCVG e CCVG. La metodologia ha coinvolto i seguenti componenti:

1. Selezione del Modello: Lo studio ha valutato vari LLM leggeri open-source attraverso diverse architetture (Qwen, Llama, Gemma, InternLM) e dimensioni (da 0,5B a 1,8B parametri). Questi sono stati confrontati con baseline DNN tradizionali (AttS2S, Transformer, C3VG, LeGen).
2. Strategia di Addestramento: Tutti i modelli sono stati affinati (fine-tuned) utilizzando un set di addestramento misto derivato dai tre dataset. Per gli LLM, gli autori hanno impiegato Low-Rank Adaptation (LoRA) per un affinamento efficiente dei parametri, congelando i pesi originali e addestrando solo le matrici di aggiornamento a rango basso.
3. Paradigmi di Attività: Sono stati investigati due paradigmi per la previsione delle accuse:
   • CVG Prima: Il modello genera prima la visione giudiziaria, quindi prevede l'accusa basandosi su tale visione generata.
   • Direttamente: Il modello prevede l'accusa direttamente dai fatti del caso senza un passaggio intermedio di generazione.
4. Metriche di Valutazione:
   • Generazione della Visione Giudiziaria: Misurata utilizzando i punteggi ROUGE-1, ROUGE-2, ROUGE-L e BLEU.
   • Previsione delle Accuse: Misurata utilizzando Accuratezza (Acc) e Macro-F1 (MF1). Una previsione è stata considerata corretta se la visione giudiziaria generata conteneva l'etichetta dell'accusa corretta.

Contributi Chiave

Il documento apporta quattro contributi principali:

1. Analisi Architetturale: Un'analisi sistematica delle differenze di prestazioni tra varie architetture di LLM leggeri (ad es. Qwen, Llama, Gemma, InternLM) nel contesto della generazione di testi giuridici.
2. Effetti di Scalabilità: Un'indagine su come la dimensione del modello (nell'intervallo <2B) influenzi la qualità della CVG e l'accuratezza della previsione delle accuse.
3. Confronto DNN vs. LLM: Un'analisi comparativa che dimostra i vantaggi e i limiti degli LLM leggeri rispetto alle DNN tradizionali per compiti giudiziari.
4. Valutazione dell'Integrazione dei Compiti: Una valutazione dell'impatto della strategia "CVG Prima" rispetto alla previsione diretta delle accuse, rivelando come i passaggi di ragionamento intermedi influenzino l'accuratezza a valle.

Risultati Sperimentali

Gli esperimenti hanno prodotto diverse scoperte significative:

• Impatto dell'Architettura: L'architettura del modello influenza significativamente le prestazioni. Qwen3-1.7B ha generalmente superato gli altri modelli zero-shot (Llama, InternLM) nelle metriche ROUGE e BLEU, probabilmente a causa del suo design orientato al rispetto delle istruzioni. InternLM2.5-1.8B-Chat ha raggiunto le prestazioni più elevate dopo l'affinamento (ROUGE-L: 68,63), sebbene abbia faticato in ambienti zero-shot.
• Dimensione del Modello: In ambienti zero-shot, i modelli più grandi (1,7B) hanno superato significativamente quelli più piccoli (0,6B) nella CVG (miglioramento ROUGE di circa 7 volte). Tuttavia, dopo l'affinamento, il divario di prestazioni si è ridotto, suggerendo che l'adattamento specifico del dominio può compensare la dimensione dei parametri. Per la previsione delle accuse, l'effetto della dimensione è stato meno pronunciato in zero-shot ma è diventato più rilevante dopo l'affinamento. Notevolmente, i guadagni di prestazioni non sono stati lineari sotto la soglia di 1B; i miglioramenti sono diventati consistenti solo oltre 1 miliardo di parametri.
• LLM vs. DNN: Gli LLM leggeri affinati hanno costantemente superato le baseline DNN tradizionali. Ad esempio, InternLM2.5-1.8B-Chat(FT) ha ottenuto un guadagno di ~32% in ROUGE-L e ~36% in Macro-F1 rispetto alla baseline DNN più forte (C3VG).
• CVG Prima vs. Previsione Diretta: La strategia "CVG Prima" ha mostrato risultati misti. Per i modelli con ≤1B parametri (ad es. Qwen3-0.6B, Gemma3-1B-IT), generare prima la visione giudiziaria ha migliorato l'accuratezza della previsione delle accuse. Tuttavia, per i modelli leggeri più grandi (>1B, ad es. Qwen3-1.7B, InternLM2.5-1.8B-Chat), questo approccio in due passaggi ha spesso portato a un degrado delle prestazioni, suggerendo che i modelli più grandi performano meglio quando si concentrano su un singolo compito di previsione ben definito.

Significato e Affermazioni

Il documento afferma che gli LLM leggeri hanno un potenziale significativo per le applicazioni di IA giudiziaria, in particolare quando affinati su dati specifici del dominio. Lo studio evidenzia che:

• I paradigmi di addestramento e le architetture sono determinanti più critici delle prestazioni rispetto alla sola dimensione del modello nell'intervallo leggero.
• L'affinamento è essenziale affinché gli LLM leggeri superino le DNN tradizionali sia nella qualità della generazione che nell'accuratezza dei compiti a valle.
• La strategia del compito conta: la decisione di generare ragionamenti intermedi (visioni giudiziarie) prima di prevedere le accuse dovrebbe essere adattata alla capacità del modello; i modelli più piccoli beneficiano della decomposizione, mentre i modelli leggeri più grandi possono risentire della complessità aggiuntiva.

Gli autori introducono CVGEvalKit per facilitare la ricerca futura, fornendo un framework standardizzato per valutare sia la qualità della generazione che il ragionamento giuridico a valle. Riconoscono le limitazioni, notando che i loro risultati sono attualmente specifici per dataset giuridici cinesi e modelli leggeri, e potrebbero non generalizzarsi ad altre lingue, sistemi giuridici o scale di parametri più ampie senza ulteriori indagini.