Tokenizer Fertility and Zero-Shot Performance of Foundation Models on Ukrainian Legal Text: A Comparative Study

Sintesi Tecnica: Fertilità del Tokenizzatore e Prestazioni Zero-Shot dei Modelli Fondamentali su Testi Legali Ucraini

Enunciato del Problema
I modelli fondamentali mostrano disparità significative in termini di efficienza e prestazioni nell'elaborazione di testi legali ucraini rispetto all'inglese. L'ucraino, una lingua ricca di morfologia che utilizza l'alfabeto cirillico, spesso soffre di una tokenizzazione subottimale, portando a un numero di token gonfiato, costi di inferenza più elevati e finestre di contesto effettive ridotte. Sebbene esistano valutazioni nel dominio generale, manca un confronto sistematico su come diversi modelli fondamentali performino su compiti legali specifici e ad alto rischio all'interno del dominio ucraino. I professionisti che sviluppano piattaforme di tecnologia legale affrontano incertezze nella selezione dei modelli, poiché la dimensione del modello (numero di parametri) potrebbe non correlarsi con le prestazioni su compiti specifici di dominio e non in lingua inglese.

Metodologia
Lo studio, designato come "Esperimento A" del programma di formazione LEX AI Test, ha valutato sette modelli fondamentali provenienti da cinque fornitori (Meta, Mistral AI, NVIDIA, Amazon e Qwen) accessibili tramite AWS Bedrock. La valutazione ha utilizzato un corpus di 300 decisioni giudiziarie autentiche dal Registro Statale Unificato delle Decisioni Giudiziarie dell'Ucraina (EDRSR), stratificato tra giurisdizioni civile, penale, commerciale e amministrativa. Dopo una rigorosa validazione delle etichette mediante voto di maggioranza a tre fonti (parser regex, Claude Sonnet 4.5 e NVIDIA Nemotron Super 3), è stato utilizzato un sottoinsieme validato di 273 documenti per le metriche finali.

La valutazione ha misurato tre dimensioni principali:

1. Fertilità del Tokenizzatore: Il rapporto tra token di sotto-parola e parole delimitate da spazi su campioni di documenti di 6.000 caratteri.
2. Prestazioni del Compito: Prestazioni zero-shot e few-shot su tre compiti:
   • Classificazione del Tipo di Caso: Categorizzazione giurisdizionale a 4 classi.
   • Classificazione dell'Esito del Caso: Predizione a 5 classi dell'esito del caso (es. concesso, negato).
   • Estrazione di Norme Giuridiche: Estrazione strutturata in JSON di leggi e articoli citati.
3. Analisi dei Costi: Costi totali dell'API sostenuti durante l'inferenza, inclusi studi di ablazione sulla sensibilità del prompt e sulla distribuzione degli esempi.

Principali Contributi

1. Benchmarking della Fertilità del Tokenizzatore: Il documento quantifica una varianza di 1,6× nell'efficienza del tokenizzatore tra i modelli. Dimostra che la progettazione del tokenizzatore è una scelta a livello di vocabolario indipendente dalla scala del modello, con i modelli della famiglia Llama che sono significativamente più efficienti dei modelli Qwen sui testi ucraini.
2. Disaccoppiamento Prestazioni vs. Scala: Lo studio fornisce prove empiriche che il numero totale di parametri è un cattivo predittore delle prestazioni sui compiti legali ucraini. Un modello da 120 miliardi di parametri (Nemotron Super 3) ha superato un modello da 675 miliardi di parametri (Mistral Large 3) in tutti i compiti a una frazione del costo.
3. L'Effetto di Degrado Few-Shot: La ricerca documenta un fenomeno controintuitivo in cui il prompting few-shot degrada le prestazioni sui compiti di classificazione legale ucraina. Per diversi modelli, fornire esempi ha ridotto l'accuratezza fino a 26 punti percentuali. Gli studi di ablazione confermano che ciò è intrinseco alla complessità morfologica delle dimostrazioni in ucraino piuttosto che un artefatto della selezione degli esempi o della formulazione del prompt.
4. Ottimizzazione Costo-Prestazioni: Gli autori forniscono una classificazione composita e un'architettura di instradamento multi-modello proposta che ottimizza sia la qualità che il costo, suggerendo che modelli diversi dovrebbero essere distribuiti per diversi sottocompiti all'interno di una pipeline legale.

Risultati Chiave

• Efficienza del Tokenizzatore: Llama 4 Maverick ha raggiunto la massima efficienza (2,43 token/parola), mentre i modelli Qwen3 sono stati i meno efficienti (3,90 token/parola), consumando il 60% in più di token per input identici.
• Prestazioni del Modello:
  • NVIDIA Nemotron Super 3 ha ottenuto il punteggio composito più alto (83,1) e la migliore accuratezza zero-shot sulla classificazione dell'esito del caso (96,0%), superando Mistral Large 3 (675 miliardi di parametri totali) nonostante avesse significativamente meno parametri attivi.
  • Llama 4 Maverick ha pareggiato la migliore classificazione del tipo di caso (98,9%) al costo più basso (0,81 $ per l'intero esperimento).
  • Llama 3.3 70B ha performato meglio nell'estrazione di norme giuridiche (F1 = 0,604), suggerendo che le architetture dense possono eccellere nei compiti di estrazione strutturata.
• Impatto Few-Shot: Il prompting few-shot ha portato a un degrado delle prestazioni per 12 su 21 combinazioni modello-compito. Il calo più severo è stato osservato in Qwen3 235B sulla classificazione dell'esito del caso (−26,0 punti percentuali). L'ablazione stratificata ha confermato che anche esempi corrispondenti alla distribuzione non hanno migliorato le prestazioni, supportando l'ipotesi di interferenza morfologica.
• Efficienza dei Costi: L'insieme instradato (utilizzando Llama 4 Maverick per la classificazione, Nemotron per gli esiti e Llama 3.3 per l'estrazione) ha ottenuto un punteggio composito più alto (85,1) a un costo inferiore del 37% rispetto all'uso esclusivo di Nemotron.

Significato e Affermazioni
Il documento afferma che per i professionisti che distribuiscono modelli fondamentali su lingue ricche di morfologia e in alfabeto cirillico come l'ucraino, euristiche standard come "modelli più grandi sono migliori" o "few-shot è sempre superiore" sono invalide. Gli autori affermano che:

1. L'analisi del tokenizzatore deve precedere la selezione del modello per evitare un'inflazione dei costi non necessaria e una riduzione della finestra di contesto.
2. Il prompting zero-shot dovrebbe essere la baseline predefinita per i compiti legali ucraini, poiché gli esempi few-shot possono interferire attivamente con le prestazioni del modello a causa della ricca morfologia della lingua.
3. La selezione del modello deve essere specifica per il compito. Nessun singolo modello domina tutti i compiti di NLP legale; una strategia di instradamento che sfrutta i punti di forza specifici di diversi modelli (ad esempio, utilizzando un modello più economico ed efficiente per la classificazione semplice e un modello più capace per il ragionamento complesso) offre il miglior equilibrio tra qualità e costo.
4. Un benchmarking completo e specifico per la lingua è fattibile e accessibile, con il costo totale di questa valutazione estesa (inclusi gli studi di ablazione) che ammonta a circa 60 $.

Lo studio conclude che i benchmark incentrati sull'inglese e i conteggi dei parametri sono proxy insufficienti per le prestazioni nei domini legali non inglesi, esortando la comunità a dare priorità alla valutazione specifica per il dominio e consapevole della lingua prima della distribuzione.