Legal$Δ$: Enhancing Legal Reasoning in LLMs via Reinforcement Learning with Chain-of-Thought Guided Information Gain

Technische Samenvatting: Legal∆

1. Het Probleem (Problem Statement)

Hoewel Large Language Models (LLM's) grote stappen hebben gezet in de juridische AI (LegalAI), kampen ze nog steeds met twee fundamentele problemen bij complexe juridische taken:

• Gebrek aan betrouwbare redenering: Modellen vertonen vaak "fast-thinking" gedrag; ze geven direct een antwoord zonder een expliciet, stapsgewijs redeneerproces (Chain-of-Thought, CoT). Dit beperkt hun interpreteerbaarheid en nauwkeurigheid in complexe juridische scenario's.
• Beperkingen van huidige RL-methoden: Bestaande methoden zoals Reinforcement Learning with Verifiable Rewards (RLVR) richten zich voornamelijk op de correctheid van het eindantwoord. Ze negeren echter de kwaliteit en de diepgang van het redeneerproces zelf. Er is een gebrek aan mechanismen die het model stimuleren om zinvolle redeneringen te genereren in plaats van oppervlakkige of redundante verklaringen.

2. Methodologie (Methodology)

De auteurs introduceren Legal∆, een framework gebaseerd op Reinforcement Learning (RL) dat de kwaliteit van de Chain-of-Thought (CoT) optimaliseert via een nieuw concept: Information Gain (Informatiewinst).

Het proces bestaat uit twee fasen:

1. Supervised Fine-Tuning (SFT): Het model wordt eerst getraind op hoogwaardige juridische data (gedestilleerd van DeepSeek-R1) om een basisniveau van expert-achtig redeneergedrag aan te leren.
2. Reinforcement Learning via GRPO: Vervolgens wordt Group Relative Policy Optimization (GRPO) gebruikt. In plaats van een aparte 'critic' te gebruiken, vergelijkt GRPO verschillende outputs binnen een groep om voordelen (advantages) te schatten.

De kerninnovatie: Information-Gain Enhanced Reward
De traditionele beloningsfunctie ($R_{legal}$) wordt uitgebreid met een informatie-theoretische component ($R_{info}$):

• Q-waarde differentiaal: Het framework maakt gebruik van de wiskundige equivalentie tussen model-logits en Q-waarden. Het berekent het verschil ($\Delta Q$) tussen de logit-waarde van het antwoord met redenering en de logit-waarde zonder redenering.
• Twee componenten van $\Delta Q$:
  • Pointwise Mutual Information (PMI): Meet de correlatie tussen de specifieke redeneerstappen en de correctheid van het antwoord.
  • Global Confidence Shift: Meet of de redenering de algehele besluitvaardigheid (confidence) van het model vergroot of juist voor verwarring zorgt.
• Beloningsmechanisme: De beloning wordt versterkt als de redenering de waarschijnlijkheid van het juiste antwoord significant verhoogt, wat het model dwingt om paden te zoeken die daadwerkelijk bijdragen aan de conclusie.

3. Belangrijkste Bijdragen (Key Contributions)

• Nieuw RL-framework: De introductie van Legal∆, dat specifiek is ontworpen om de kwaliteit van redeneerpaden te optimaliseren in plaats van alleen het eindresultaat.
• Informatiewinst-beloning: Een innovatieve methode om de semantische bijdrage van een redenering te kwantificeren door middel van differentiaal Q-waarde-analyse.
• Verbeterde interpreteerbaarheid: Door de focus op CoT produceert het model robuustere en beter te verifiëren juridische oordelen.

4. Resultaten (Results)

De experimenten op diverse juridische taken (zoals strafmaatvoorspelling, wetsartikelvoorspelling en casusanalyse) laten het volgende zien:

• Superieure prestaties: Legal∆ verslaat sterke baselines (zoals DPO en R1-Distill) met een gemiddelde verbetering van ongeveer 10% over verschillende modelgroottes (7B en 14B).
• Generalisatie: Het model presteert consistent goed op out-of-domain taken, wat wijst op een dieper begrip van juridische logica in plaats van simpelweg patronen uit de trainingsset onthouden.
• Verhoogde betrouwbaarheid: Logit-analyse toont aan dat Legal∆ een hogere mate van zelfvertrouwen (confidence) ontwikkelt en meer aandacht besteedt aan juridisch relevante termen (legal token prominence).
• Hogere kwaliteit: Perplexity-analyses bevestigen dat de gegenereerde redeneerpaden van Legal∆ kwalitatief superieur zijn aan die van modellen zonder de informatie-winst component.

5. Betekenis (Significance)

Legal∆ vormt een belangrijke stap voor de implementatie van AI in de rechtspraak. Door niet alleen te vragen "is het antwoord goed?", maar ook "is de weg naar het antwoord logisch en informatief?", lost het een cruciaal probleem op voor de adoptie van LLM's in sectoren waar verifieerbaarheid en transparantie (zoals de juridische sector) van levensbelang zijn. Het biedt een blauwdruk voor hoe domeinspecifieke RL-frameworks kunnen worden ontworpen om de cognitieve diepgang van AI te verbeteren.