Technische Samenvatting: Op weg naar betrouwbare juridische AI via relevantiegevoelige evaluatie en solver-gegronde redenering

1. Probleemstelling

Juridische redenering vereist fundamenteel het onderscheid maken tussen wijzigingen die juridisch materieel zijn en die welke irrelevant zijn. In rechtsstatelijke systemen moeten rechterlijke uitspraken voldoen aan formele rationaliteit: conclusies moeten worden gerechtvaardigd door expliciete, algemene en logisch samenhangende regels die terug te voeren zijn op de geldende wetgeving. Echter, huidige Large Language Models (LLM's) die worden toegepast op juridische taken (zoals vragen beantwoorden, samenvatten van meningen, redeneren voor het bar-examen) vertonen kritieke tekortkomingen in dit onderscheid. Ze zijn vaak:

• Instabiel onder irrelevante verstoringen: Hun beslissingen veranderen op basis van juridisch irrelevante attributen (bijvoorbeeld demografie, stilistische herformuleringen, procedurele achtergrond) of adversariële framing.
• Ongevoelig voor materiële wijzigingen: Ze slagen er niet in om voorspellingen bij te werken wanneer wettelijke elementen, mentale toestanden of toepasselijke uitzonderingen worden gewijzigd.
• Kwetsbaar voor verwarring: Ze worstelen met het onderscheid tussen vergelijkbare wetten met overlappende oppervlaktefeiten maar verschillende toepassingsvoorwaarden.

Bestaande evaluaties bestuderen deze fenomenen vaak geïsoleerd (bijvoorbeeld eerlijkheid of robuustheid afzonderlijk). Er ontbreekt een unificerend kader dat evalueert of een model invariant blijft onder "moet-niet-veranderen"-verstoringen, terwijl het correcte updates uitvoert onder "moet-veranderen"-verstoringen.

2. Methodologie

Het artikel stelt een tweeledige aanpak voor: een nieuw evaluatiekader en een nieuwe redeneringsarchitectuur.

2.1 Relevantiegevoelige evaluatie voor juridische relevantie

De auteurs formuleren betrouwbare juridische redenering als een relevantiegevoelig evaluatieprobleem voor juridische relevantie. Dit kader verenigt rechterlijke eerlijkheid, robuustheid, adversariële framing en evaluatie van wetverwarring in één suite.

• Taxonomie van verstoringen: De evaluatie categoriseert verstoringen in twee types:
  1. Labelbehoudend (Moet-niet-veranderen): Verstoringen die juridisch irrelevante informatie wijzigen (bijvoorbeeld demografische attributen, parafraseren, irrelevante expertmeningen, gefabriceerde juridische autoriteiten) terwijl materiële feiten behouden blijven. Een betrouwbaar model moet voldoen aan $f(x) = f(\tau(x))$.
  2. Labelwijzigend (Moet-veranderen): Verstoringen die juridisch materiële voorwaarden wijzigen (bijvoorbeeld gedrag, mentale toestand, ernst van schade, wettelijke uitzonderingen). Een betrouwbaar model moet voldoen aan $f(\tau(x)) = y_{\tau}$, waarbij $y_{\tau}$ het nieuwe juridisch correcte label is.
• Metrieken: Het kader meet Invariantie (stabiliteit onder irrelevante wijzigingen), Wijzigingsalignatie (correcte updates onder materiële wijzigingen), Bias-magnitude en Wettelijke Correctheid.

2.2 LexGuard: Solver-gegronde adversariële multi-agent framework

Om de tekortkomingen van standaard LLM's aan te pakken, introduceren de auteurs LexGuard, een kader dat juridische voorstellen scheidt van juridische controle met behulp van formele redenering.

• Formalisatie van wetten: Wetten en rechterlijke interpretaties worden automatisch geformaliseerd tot een formele juridische kennisbank ($K$) bestaande uit uitvoerbare constraints. Elke regel wordt weergegeven als een conditionele constraint: $ARTICLEGUARD \land CLAUSEGUARD \Rightarrow PENALTY$. Deze guards controleren op subject, object, gedrag, intentie, schade, causaliteit en uitzonderingen.
• Adversariële agents: Twee rolgedifferentieerde LLM-agents (Officier van Justitie en Verdediging) extraheren onafhankelijk gestructureerde feiten-wet-argumenttupels uit hetzelfde casusverhaal.
  • De Officier van Justitie richt zich op feiten die aansprakelijkheid ondersteunen.
  • De Verdediging richt zich op ontbrekende elementen, uitzonderingen en alternatieve interpretaties.
  • Agents debatteren over verwarrende bepalingen binnen similariteitsclusters om kandidaat-wetten te verfijnen.
• Solver-gecentreerde adjudicatie:
  1. Het systeem zoekt in $K$ naar constraints die overeenkomen met voorgestelde wetten.
  2. Geëxtraheerde feiten worden verfijnd en afgestemd op vereiste juridische elementen.
  3. De verfijnde feiten en constraints worden gecodeerd in een SMT-formule (Satisfiability Modulo Theories) ($\Phi$).
  4. Een SMT-solver (Z3) controleert de satisfiability van artikelguards, clausuleguards en uitzonderingsguards.
  5. Conflictresolutie: Als de solver een contradictie vindt (bijvoorbeeld conflicterende feiten of incompatibele guards), retourneert deze een "unsat core" die het conflict identificeert, wat leidt tot hergronding van feiten of herstel van constraints.
  6. Het eindoordeel wordt uitsluitend geproduceerd door door de solver geverifieerde wettelijke toepasbaarheid, waarbij irrelevante feiten en gehallucineerde wetten worden gefilterd.

3. Belangrijkste bijdragen

1. Evaluatiekader: De formulering van betrouwbare juridische redenering als een relevantiegevoelig juridisch probleem, geïnstancierd met een unificerende suite van "moet-veranderen"- en "moet-niet-veranderen"-verstoringen die eerlijkheid, robuustheid, adversariële aanvallen en wetverwarring bestrijken.
2. LexGuard-architectuur: Een solver-gegronde, adversariële multi-agent framework dat wetten formaliseert tot uitvoerbare constraints, adversariële agents gebruikt om concurrerende argumenten te extraheren, en een SMT-solver inzet om logische consistentie en wettelijke voldoening te verifiëren.
3. Empirische validatie: Uitgebreide experimenten die aantonen dat bestaande juridische LLM's systematisch gevoelig zijn voor irrelevante variaties en er niet in slagen gerelateerde juridische elementen te onderscheiden, terwijl LexGuard de betrouwbaarheid, eerlijkheid en robuustheid aanzienlijk verbetert.

4. Experimentele resultaten

De auteurs hebben LexGuard geëvalueerd op openbare juridische datasets (LeCaRDv2, LEEC) en hun aangepaste suite van verstoringen.

• Standaard voorspellingsprestaties: LexGuard behaalde de beste F1-scores voor zowel algemene als specifieke bepalingenpredictie op LeCaRDv2 en LEEC. De winst werd voornamelijk gedreven door een hogere precisie, wat aangeeft dat de solver effectief irrelevante wetspredicties onderdrukt.
• Strafbepalingsnauwkeurigheid: LexGuard behaalde de laagste Root Mean Square Error (RMSE) in strafoordelen, zowel met als zonder "gouden" (ground truth) wetten, terwijl het een hoge juridische validiteit behield (door de solver geverifieerd).
• Relevantiegevoeligheid (RQ3 & RQ4):
  • Moet-veranderen: LexGuard toonde een superieure mogelijkheid om voorspellingen bij te werken wanneer wettelijke elementen werden gewijzigd, en presteerde beter dan de baselines in "Change Alignment".
  • Moet-niet-veranderen: LexGuard demonstreerde sterke robuustheid tegen adversariële framing (bijvoorbeeld gefabriceerde autoriteiten, rolkaping) en onschadelijke herformuleringen, waarbij het een hoge invariantie en aanvalsbewuste F1-scores behield waar baselines faalden.
• Wetverwarring (RQ5): In taken die verwarrende wetsclusters omvatten (bijvoorbeeld diefstal versus fraude), behaalde LexGuard aanzienlijk hogere "Positive Exactness" (88,71% versus 58,57% voor baselines) en lagere rates van weglating en verkeerde selectie van vergelijkbare wetten.
• Ablatiestudie: Het verwijderen van de Z3-reasoner veroorzaakte de grootste degradatie in prestaties, wat de noodzaak van symbolische consistentiecontrole benadrukt. Het verwijderen van het adversariële debatmodule verminderde de nauwkeurigheid ook aanzienlijk, wat de waarde bevestigt van fijne-granulariteitsconcurrentie tussen verwarbare bepalingen.

5. Betekenis en claims

Het artikel claimt dat juridische betrouwbaarheid niet alleen nauwkeurigheid vereist, maar ook gekalibreerde gevoeligheid voor juridisch materiële wijzigingen.

• Voorbij nauwkeurigheid: Hoge nauwkeurigheid alleen is onvoldoende voor juridische AI als het model instabiel is onder irrelevante verstoringen of ongevoelig voor materiële wijzigingen. Betrouwbaarheid wordt gedefinieerd door het vermogen om relevante van irrelevante wijzigingen te onderscheiden.
• Controleerbare redenering: Door beslissingen te gronden in formele constraints en SMT-verificatie, produceert LexGuard symbolische rechtvaardigingen die controleerbaar zijn tegen expliciete wettelijke regels, waarmee het "black box"-karakter van standaard LLM's wordt aangepakt.
• Robuustheidsmechanisme: De resultaten suggereren dat robuustheid tegen adversariële aanvallen en irrelevante verstoringen niet uitsluitend kan worden bereikt via prompt engineering (bijvoorbeeld Chain-of-Thought of few-shot prompting), maar een structurele scheiding vereist van voorstel en verificatie via formele solvers.

Erkende beperkingen:
De auteurs merken op dat de kwaliteit van de formalisatie in het kader afhankelijk is van de nauwkeurigheid van de LLM's die worden gebruikt om initiële feiten en regels te genereren. Het huidige systeem is beperkt tot wettelijke regels en vat nog niet volledig jurisprudentie, open getextureerde normen of evoluerende rechtspraak. Bovendien introduceert het meerstapsproces een matige rekenkundige overhead, hoewel de kosten per zaak praktisch betaalbaar blijven.