Tokenizer Fertility and Zero-Shot Performance of Foundation Models on Ukrainian Legal Text: A Comparative Study

Technische Samenvatting: Tokenizer-Vruchtbaarheid en Zero-Shot Prestaties van Foundation Modellen op Oekraïense Juridische Tekst

Probleemstelling
Foundation modellen vertonen aanzienlijke verschillen in efficiëntie en prestaties bij het verwerken van Oekraïense juridische tekst in vergelijking met Engels. Oekraïens, een morfologisch rijke taal die het Cyrillische schrift gebruikt, lijdt vaak aan suboptimale tokenisatie, wat leidt tot opgeblazen tokenaantallen, hogere inferentiekosten en een verkleining van het effectieve contextvenster. Hoewel er evaluaties op het algemene domein bestaan, ontbreekt een systematische vergelijking van hoe verschillende foundation modellen presteren op specifieke, hoog-risico juridische taken binnen het Oekraïense domein. Beoefenaars die juridische technologieplatforms bouwen, staan voor onzekerheid bij de modelselectie, aangezien de modelgrootte (aantal parameters) niet noodzakelijkerwijs correleert met prestaties op niet-Engelse, domeinspecifieke taken.

Methodologie
De studie, aangemerkt als "Experiment A" van het LEX AI Test Training-programma, evalueerde zeven foundation modellen van vijf aanbieders (Meta, Mistral AI, NVIDIA, Amazon en Qwen) die werden benaderd via AWS Bedrock. De evaluatie maakte gebruik van een corpus van 300 authentieke vonnissen uit het Oekraïense Unie Staatsregister van Vonissen (EDRSR), gestratificeerd over burgerlijke, strafrechtelijke, handels- en administratieve jurisdicties. Na strenge labelvalidatie met een meerderheidsstemming van drie bronnen (regex-parser, Claude Sonnet 4.5 en NVIDIA Nemotron Super 3), werd een gevalideerde subset van 273 documenten gebruikt voor de definitieve metrieken.

De evaluatie mat drie primaire dimensies:

1. Tokenizer-Vruchtbaarheid: De verhouding van subwoord-tokens tot door witruimte gescheiden woorden op documentstalen van 6.000 tekens.
2. Taakprestaties: Zero-shot en few-shot prestaties op drie taken:
   • Classificatie van Zaaktype: 4-klasse jurisdictie-indeling.
   • Classificatie van Zaakuitkomst: 5-klasse voorspelling van de zaakafhandeling (bijv. toegewezen, geweigerd).
   • Extractie van Juridische Normen: Gestructureerde JSON-extractie van aangehaalde wetten en artikelen.
3. Kostenanalyse: Totale API-kosten die tijdens inferentie zijn gemaakt, inclusief ablatiestudies over promptgevoeligheid en voorbeeldverdeling.

Belangrijkste Bijdragen

1. Benchmarking van Tokenizer-Vruchtbaarheid: Het artikel kwantificeert een variatie van 1,6× in tokenizer-efficiëntie tussen modellen. Het toont aan dat tokenizerontwerp een keuze op vocabulaarniveau is die onafhankelijk is van modelschaal, waarbij modellen van de Llama-familie aanzienlijk efficiënter zijn dan Qwen-modellen op Oekraïense tekst.
2. Ontkoppeling van Prestaties en Schaal: De studie levert empirisch bewijs dat het totale aantal parameters een slechte voorspeller is voor prestaties op Oekraïense juridische taken. Een model van 120 miljard parameters (Nemotron Super 3) presteerde beter dan een model van 675 miljard parameters (Mistral Large 3) op alle taken voor een fractie van de kosten.
3. Het Few-Shot Degradatie-effect: Het onderzoek documenteert een tegenintuïtief fenomeen waarbij few-shot prompting de prestaties verslechtert op Oekraïense juridische classificatietaken. Voor verschillende modellen verminderde het verstrekken van voorbeelden de nauwkeurigheid met maximaal 26 procentpunten. Ablatiestudies bevestigen dat dit inherent is aan de morfologische complexiteit van Oekraïense demonstraties en geen artefact is van voorbeeldselectie of promptformulering.
4. Optimalisatie van Kosten en Prestaties: De auteurs bieden een gecombineerde rangschikking en een voorgestelde multi-model routing-architectuur die optimaliseert op zowel kwaliteit als kosten, en suggereren dat verschillende modellen moeten worden ingezet voor verschillende subtaken binnen een juridische pijplijn.

Belangrijkste Resultaten

• Tokenizer-efficiëntie: Llama 4 Maverick behaalde de hoogste efficiëntie (2,43 tokens/woord), terwijl Qwen3-modellen de minst efficiënt waren (3,90 tokens/woord) en 60% meer tokens verbruikten voor identieke invoer.
• Modelprestaties:
  • NVIDIA Nemotron Super 3 behaalde de hoogste gecombineerde score (83,1) en de beste zero-shot nauwkeurigheid bij classificatie van zaakuitkomsten (96,0%), en presteerde beter dan Mistral Large 3 (675B totale parameters) ondanks aanzienlijk minder actieve parameters.
  • Llama 4 Maverick deelde de beste classificatie van zaaktypes (98,9%) voor de laagste kosten ($0,81 voor het gehele experiment).
  • Llama 3.3 70B presteerde het beste bij extractie van juridische normen (F1 = 0,604), wat suggereert dat dichte architecturen kunnen excelleren in gestructureerde extractietaken.
• Impact van Few-Shot: Few-shot prompting resulteerde in prestatiedegradatie voor 12 van de 21 model-taakcombinaties. De ernstigste daling werd waargenomen bij Qwen3 235B bij classificatie van zaakuitkomsten (−26,0 procentpunten). Gestratificeerde ablatie bevestigde dat zelfs voorbeelden die qua verdeling overeenkwamen, de prestaties niet verbeterden, wat de hypothese van morfologische interferentie ondersteunt.
• Kosten-efficiëntie: Het gerouteerde ensemble (met Llama 4 Maverick voor classificatie, Nemotron voor uitkomsten en Llama 3.3 voor extractie) behaalde een hogere gecombineerde score (85,1) voor 37% lagere kosten dan het gebruik van Nemotron alleen.

Betekenis en Claims
Het artikel claimt dat voor beoefenaars die foundation modellen inzetten op morfologisch rijke, Cyrillisch-schrijvende talen zoals Oekraïens, standaardheuristieken zoals "grotere modellen zijn beter" of "few-shot is altijd superieur" ongeldig zijn. De auteurs stellen dat:

1. Tokenizer-analyse vooraf moet gaan aan modelselectie om onnodige kosteninflatie en verkleining van het contextvenster te voorkomen.
2. Zero-shot prompting de standaardbaseline moet zijn voor Oekraïense juridische taken, aangezien few-shot voorbeelden de modelprestaties actief kunnen verstoren vanwege de rijke morfologie van de taal.
3. Modelselectie taakspecifiek moet zijn. Geen enkel model domineert alle juridische NLP-taken; een routingstrategie die gebruikmaakt van de specifieke sterktes van verschillende modellen (bijv. een goedkoper, efficiënter model gebruiken voor eenvoudige classificatie en een krachtiger model voor complexe redenering) biedt de optimale balans tussen kwaliteit en kosten.
4. Uitgebreide, taalspecifieke benchmarking haalbaar en betaalbaar is, waarbij de totale kosten van deze uitgebreide evaluatie (inclusief ablaties) ongeveer $60 bedragen.

De studie concludeert dat Engelstalige benchmarks en aantallen parameters ontoereikende proxies zijn voor prestaties in niet-Engelse juridische domeinen, en dringt er bij de gemeenschap op aan om domeinspecifieke, taalbewuste evaluatie voorafgaand aan implementatie te prioriteren.