AppellateGen: A Benchmark for Appellate Legal Judgment Generation

Probleemstelling

Het bestaande onderzoek op het gebied van juridische oordeelsgeneratie (Legal Judgment Generation) richt zich voornamelijk op eerste-incidente procedures (eerste aanleg). Deze benaderingen modelleren vaak een statische mapping van feiten naar een vonnis, waarbij ze de dialectische aard van hoger beroep (tweede-incidente) negeren.

In civielrechtelijke jurisdicties (zoals China) is het hoger beroep geen eenvoudige bevestiging, maar een proces waarbij nieuwe feiten kunnen worden ingediend en de feitelijke vaststellingen van de eerste rechter opnieuw worden onderzocht. Bestaande benchmarks missen twee cruciale aspecten:

1. Taakformulering: Ze testen vaak discriminatieve taken (meerdere keuzes) of genereren teksten op basis van statische feiten, zonder rekening te houden met het conflict tussen het oorspronkelijke vonnis en de nieuwe grieven.
2. Contextuele granulariteit: Ze behandelen juridische documenten als geïsoleerde datapunten, waardoor de procedurele onderlinge afhankelijkheid tussen eerste en tweede instantie wordt genegeerd.

Methodologie

1. De AppellateGen Benchmark

De auteurs introduceren AppellateGen, het eerste benchmark voor het genereren van juridische oordelen in tweede instantie.

• Dataset: Bevat 7.351 gepaarde juridische zaken die een eerste-incidente vonnis koppelen aan het bijbehorende tweede-incidente resultaat.
• Datacollectie: Gebaseerd op 4,7 miljoen documenten van China Judgments Online. Een multi-stadia pijplijn koppelt zaken op basis van zaaknummers en partijnamen, met een handmatige validatie van 96% consistentie.
• Fin-granulaire annotatie: Het dataset is verrijkt met een schema dat vier dimensies vastlegt:
  • Classificatie van het vonnis: Bevestiging (Affirm) of Vernietiging (Reverse).
  • Reden voor vernietiging: Foutieve feitelijke vaststelling, verkeerde toepassing van de wet, of procedurele schendingen.
  • Identificatie van nieuwe feiten: Feiten die uitsluitend in de tweede instantie zijn vastgesteld.
  • Extractie van wetsartikelen: Specifieke artikelen die als basis dienen voor het oordeel.

2. SLMAS: Een Multi-Agent Systeem gebaseerd op SOP

Om de complexiteit van dit taak te adresseren, stellen de auteurs SLMAS (Standard Operating Procedure-based Legal Multi-Agent System) voor. Dit systeem nabootst de menselijke rechterlijke workflow door de generatie op te splitsen in vier gespecialiseerde agenten die sequentieel werken:

1. Disputed Issues Identification Agent (Analyse): Analyseert de discrepantie tussen het eerste vonnis en nieuwe bewijsmateriaal om de kernpunten van geschil te distilleren.
2. Legal Retrieval Agent (Zoeken): Haalt relevante wetsartikelen op uit een juridische kennisbank, gebaseerd op de geïdentificeerde geschilpunten.
3. Reversal Prediction Agent (Voorspellen): Simuleert de interne overweging van een rechter om te voorspellen of het vonnis moet worden bevestigd of vernietigd, gebaseerd op feiten en wetgeving.
4. Document Generation Agent (Schrijven): Genereert het definitieve vonnis, conditioneel op alle voorgaande redeneringsstappen (issues, wetten, voorspelling).

Deze aanpak zorgt ervoor dat de generatie gebaseerd is op expliciete juridische logica in plaats van statistische correlaties, wat hallucinaties moet verminderen.

Belangrijkste Bijdragen

1. Pionierende Taakdefinitie: Uitbreiding van juridische NLP van statische voorspelling naar dialectische redenering in tweede instantie, waarbij modellen moeten leren om juridische fouten te identificeren en conflicterende verhalen te synthetiseren.
2. AppellateGen Dataset: Een groot, openbaar beschikbare dataset van 7.351 gepaarde zaken met fijne annotaties voor redenering over lange context en causale consistentie.
3. Methodologisch Kader (SLMAS): Een multi-agent architectuur die de juridische workflow decomposeert. Het bewijst dat het opdelen van de taak de logische consistentie verbetert en dat algemene LLM's met sterke redeneercapaciteiten beter presteren dan gespecialiseerde juridische modellen voor deze specifieke complexe taak.

Resultaten

Experimenten met diverse modellen (van open-source tot commerciële modellen zoals Qwen3, Gemini en gespecialiseerde juridische modellen) tonen het volgende aan:

• Prestatieverbetering: SLMAS verbetert de kwaliteit van de gegenereerde teksten aanzienlijk. Bijvoorbeeld, met Qwen3-235B steeg de gemiddelde score van de "LLM-as-a-Judge" van 2,257 naar 2,536 en de nauwkeurigheid van het voorspellen van vernietiging van 61,42% naar 67,24%.
• Superioriteit van Algemene Modellen: Algemene LLM's (zoals Qwen3 en Gemini) presteren aanzienlijk beter dan traditionele, domeinspecifieke juridische modellen (zoals DISC-LawLLM, die slechts ~35% nauwkeurigheid haalde). Dit suggereert dat cognitieve flexibiliteit en redeneervermogen belangrijker zijn dan statische domeinvooropleiding voor dit type taak.
• Ablatie-studies: Het verwijderen van de agent voor het identificeren van geschilpunten leidt tot een daling in prestaties, wat bevestigt dat een gestructureerde tussenstap essentieel is voor nauwkeurige wetsherkenning.
• Metingen: Hoewel de voorspellingsnauwkeurigheid stijgt, blijft de kwaliteit van de gegenereerde tekst (gemeten op logische redenering) een uitdaging (gemiddeld ~2,5 op een schaal van 5), wat aangeeft dat er nog ruimte is voor verbetering in het bouwen van gesloten logische argumenten.

Betekenis en Conclusie

AppellateGen markeert een verschuiving in juridische AI van het voorspellen van uitkomsten naar het begrijpen van de dialectische complexiteit van het rechtssysteem. De studie toont aan dat het simuleren van menselijke rechterlijke workflows via multi-agent systemen (SLMAS) een effectieve strategie is om hallucinaties te verminderen en logische consistentie te vergroten.

Hoewel er nog een kloof bestaat tussen AI-generatie en menselijke expertise, legt AppellateGen de basis voor toekomstig onderzoek naar het modelleren van causale afhankelijkheden in juridische procedures. Het benadrukt ook dat voor complexe juridische redenering de kwaliteit van het redeneervermogen van het model cruciaal is, meer dan de hoeveelheid juridische kennis die in het model is opgeslagen.