Technische Samenvatting: Verkenning van Lichtgewicht Grote Taalmodellen voor Generatie van Rechterlijke Opvattingen

Probleemdefinitie

Generatie van rechterlijke opvattingen in strafzaken (CVG) is een cruciale taak binnen Juridische Kunstmatige Intelligentie (Legal AI) die automatisch de "rechterlijke opvatting" genereert—de rechterlijke redenering die een eindvonnis rechtvaardigt—op basis van feiten uit de zaak. Deze taak is essentieel voor het waarborgen van juridische transparantie en interpreteerbaarheid. CVG blijft echter uitdagend vanwege de complexiteit van juridische taal, de noodzaak van logische consistentie en de vereiste om wettelijke kennis en feitelijke details nauwkeurig te integreren.

Hoewel Deep Neural Networks (DNN's) zijn toegepast op CVG, hebben ze vaak moeite met complexe juridische redenering en lange-afstand afhankelijkheden. Daarentegen bieden Grote Taalmodellen (LLM's) superieure generatieve en redeneercapaciteiten. Desondanks ontbreekt er systematisch onderzoek naar lichtgewicht LLM's (specifiek die met minder dan 2 miljard parameters) in het juridische domein. Belangrijke hiaten omvatten het begrijpen van hoe verschillende architecturen en modelgroottes de kwaliteit van CVG en downstream strafvoorspelling beïnvloeden, het vergelijken van lichtgewicht LLM's met traditionele DNN's, en het evalueren of het genereren van rechterlijke opvattingen voorafgaand aan strafvoorspelling de nauwkeurigheid verbetert in vergelijking met directe voorspelling.

Methodologie

De auteurs voerden een systematische studie uit met behulp van een nieuw ontwikkeld evaluatiekader, CVGEvalKit, dat drie publieke datasets ondersteunt: C3VG, LCVG en CCVG. De methodologie omvatte de volgende componenten:

1. Modelselectie: De studie evalueerde verschillende open-source lichtgewicht LLM's over verschillende architecturen (Qwen, Llama, Gemma, InternLM) en groottes (variërend van 0,5B tot 1,8B parameters). Deze werden vergeleken met traditionele DNN-baselines (AttS2S, Transformer, C3VG, LeGen).
2. Trainingsstrategie: Alle modellen werden fijngefineerd met behulp van een gemengde trainingsset afgeleid van de drie datasets. Voor LLM's gebruikten de auteurs Low-Rank Adaptation (LoRA) voor parameter-efficiënte fijnfining, waarbij originele gewichten werden bevroren en alleen laag-rang update-matrices werden getraind.
3. Taakparadigma's: Twee paradigma's voor strafvoorspelling werden onderzocht:
   • Eerst CVG: Het model genereert eerst de rechterlijke opvatting en voorspelt vervolgens de straf op basis van die gegenereerde opvatting.
   • Direct: Het model voorspelt de straf direct vanuit de feiten van de zaak zonder een tussenliggende generatiestap.
4. Evaluatiemetrieken:
   • Generatie van rechterlijke opvattingen: Gemeten met ROUGE-1, ROUGE-2, ROUGE-L en BLEU-scores.
   • Strafvoorspelling: Gemeten met Nauwkeurigheid (Acc) en Macro-F1 (MF1). Een voorspelling werd als correct beschouwd als de gegenereerde rechterlijke opvatting het juiste straflabel bevatte.

Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

1. Architecturale Analyse: Een systematische analyse van prestatieverschillen tussen verschillende lichtgewicht LLM-architecturen (bijv. Qwen, Llama, Gemma, InternLM) in de context van juridische tekstgeneratie.
2. Schaaleffecten: Een onderzoek naar hoe modelgrootte (binnen het <2B-bereik) de kwaliteit van CVG en de nauwkeurigheid van strafvoorspelling beïnvloedt.
3. Vergelijking DNN vs. LLM: Een vergelijkende analyse die de voordelen en beperkingen van lichtgewicht LLM's ten opzichte van traditionele DNN's voor gerechtelijke taken aantoont.
4. Evaluatie Taakintegratie: Een beoordeling van de impact van de "Eerst CVG"-strategie versus directe strafvoorspelling, waarbij wordt geopenbaard hoe tussenliggende redeneerstappen downstream-nauwkeurigheid beïnvloeden.

Experimentele Resultaten

De experimenten leverden enkele significante bevindingen op:

• Invloed Architectuur: De modelarchitectuur heeft een aanzienlijke invloed op de prestaties. Qwen3-1.7B presteerde over het algemeen beter dan andere zero-shot-modellen (Llama, InternLM) op ROUGE- en BLEU-metrieken, waarschijnlijk vanwege zijn ontwerp voor instructievolging. InternLM2.5-1.8B-Chat behaalde de hoogste prestaties na fijnfining (ROUGE-L: 68,63), hoewel het moeite had in zero-shot-settings.
• Modelgrootte: In zero-shot-settings presteerden grotere modellen (1,7B) aanzienlijk beter dan kleinere modellen (0,6B) in CVG (ongeveer 7x ROUGE-verbetering). Na fijnfining nam de prestatiekloof echter af, wat suggereert dat domeinspecifieke aanpassing de parametergrootte kan compenseren. Voor strafvoorspelling was het grootte-effect minder uitgesproken in zero-shot, maar werd relevanter na fijnfining. Opmerkelijk is dat prestatiewinst niet lineair was onder de 1B-drempel; verbeteringen werden pas consistent boven de 1B parameters.
• LLM's vs. DNN's: Gefijnfineerde lichtgewicht LLM's presteerden consequent beter dan traditionele DNN-baselines. Bijvoorbeeld, InternLM2.5-1.8B-Chat(FT) behaalde een winst van ongeveer 32% in ROUGE-L en ongeveer 36% in Macro-F1 ten opzichte van de sterkste DNN-baseline (C3VG).
• Eerst CVG versus Directe Voorspelling: De "Eerst CVG"-strategie toonde gemengde resultaten. Voor modellen met ≤1B parameters (bijv. Qwen3-0.6B, Gemma3-1B-IT) verbeterde het eerst genereren van de rechterlijke opvatting de nauwkeurigheid van strafvoorspelling. Voor grotere lichtgewicht modellen (>1B, bijv. Qwen3-1.7B, InternLM2.5-1.8B-Chat) leidde deze tweestapsbenadering echter vaak tot prestatiedegradatie, wat suggereert dat grotere modellen beter presteren wanneer ze zich richten op één goed gedefinieerde voorspellingstaak.

Betekenis en Claims

Het artikel beweert dat lichtgewicht LLM's aanzienlijk potentieel hebben voor juridische AI-toepassingen, met name wanneer ze zijn fijngefineerd op domeinspecifieke data. De studie benadrukt dat:

• Trainingsparadigma's en architecturen kritischere determinanten van prestaties zijn dan modelgrootte alleen binnen het lichtgewicht bereik.
• Fijnfining essentieel is voor lichtgewicht LLM's om traditionele DNN's te overtreffen in zowel generatiekwaliteit als nauwkeurigheid van downstream taken.
• Taakstrategie is belangrijk: De beslissing om tussenliggende redenering (rechterlijke opvattingen) te genereren voordat straffen worden voorspeld, moet worden afgestemd op de capaciteit van het model; kleinere modellen profiteren van de decompositie, terwijl grotere lichtgewicht modellen kunnen lijden onder de toegevoegde complexiteit.

De auteurs introduceren CVGEvalKit om toekomstig onderzoek te faciliteren, door een gestandaardiseerd kader te bieden voor het evalueren van zowel generatiekwaliteit als downstream juridische redenering. Zij erkennen beperkingen, met name dat hun bevindingen momenteel specifiek zijn voor Chinese juridische datasets en lichtgewicht modellen, en mogelijk niet generaliseren naar andere talen, rechtssystemen of grotere parameter schalen zonder verder onderzoek.