Technische Samenvatting: Van Statuut naar Control Flow: Span-Grounded Deontic Trees voor Defeasible Scope Parsing

1. Probleemdefinitie: Silent Scope Omission (SSO)

Regelvolgende agenten die zijn ontworpen voor het uitvoeren van beleid en regelgeving, falen regelmatig door Silent Scope Omission (SSO). In deze foutmodus past een model een algemene regel toe, maar laat het stilletjes geneste uitzonderingen, tegen-uitzonderingen of overstijgende clausules achterwege. De resulterende output lijkt compliant en slaagt voor lichte controles, maar faalt op kritieke randgevallen waar de "defeater"-clausules (bijv. "tenzij", "behalve", "mits") de uiteindelijke uitkomst bepalen.

Hoewel dit vaak wordt geframed als een probleem van agentische systemen, identificeren de auteurs de onderliggende bottleneck als statutair en beleidsmatig begrip, specifits het vermogen om de niet-monotone structuur van juridische teksten te herstellen waarbij latere clausules eerdere clausules beperken. Bestaande juridische NLP-benchmarks (bijv. LexGLUE, LegalBench) leggen de nadruk op eindtaken (QA, implicatie, oordeelvoorspelling). Deze metrieken kunnen een correcte uiteindelijke beslissing belonen, zelfs wanneer het model de interne scope-/override-structuur niet correct herstelt, waardoor de structurele weglatingen die SSO veroorzaken, verborgen blijven.

2. Methodologie: NormBench en SG-DT

2.1 NormBench Benchmark

Om SSO te diagnosticeren en te mitigeren, introduceren de auteurs NormBench, een benchmark bestaande uit 2.290 provision-language items over drie domeinen:

• NormBench-ZH: Gecodeerde Chinese statutaire bepalingen (nationale wetten, administratieve regelgeving, lokale beleidsregels).
• NormBench-EN: Engelse regels uit de Amerikaanse belastingwetgeving, de EU GDPR en bedrijfsbeleid.
• Cross-lingual: Officiële ZH–EN vertaalparen om structurele invariantie te testen.

De dataset is georganiseerd van gecontroleerd (gecodeerde statuten) tot "in-the-wild" (operationele beleidsregels) en bevat 1.790 unieke onderliggende bepalingen. Het is geannoteerd met een specifieke intermediaire representatie die ontworpen is voor defeasible scope parsing.

2.2 Span-Grounded Deontic Trees (SG-DT)

De kern bijdrage van de methodologie is SG-DT, een compiler-achtige intermediaire representatie (IR) die elke logische tak verankert aan onveranderlijke brontekst-spans. In tegen tegenstelling tot standaard vrije tekstgeneratie, dwingt SG-DT vier ontwerpbeperkingen af:

1. Span-geaardheid voor Auditbaarheid: Elke knoop is een pointer naar een specifieke tekst-span, wat een deterministische mapping naar downstream signatures mogelijk maakt.
2. Beslisbaarheid onder Defeasibility: Uitzonderingen worden gecompileerd naar Explicit Exclusion Guards. Een algemene regel-tak bevat expliciet een exclusion leaf die wijst naar de trigger van de uitzondering, wat ervoor zorgt dat de regel alleen van toepassing is als de uitzondering niet wordt vervuld. Dit voorkomt het stilzwijgend weglaten van de tail-end scope.
3. Deterministische Evaluatie: De structuur ondersteunt exacte structurele scoring en compilatie naar uitvoerbare besluitvormingsprocedures.
4. Leerbaarheid: De representatie is dicht en seq2seq-vriendelijk, zonder gebruik te maken van expert-specifieke ontologieën.

Schema Details:

• Branches ($B_i$): Gedefinieerd door een Anchor (trigger span), Modality (bijv. Verplichting, Verbod) en een Condition Tree ($C$) en Effects ($E$).
• Defeasibility: Wordt afgehandeld via een Explicit Exclusion Policy. Als een regel een exception trigger $T$ heeft, bevat de algemene tak een exclusion leaf ($\neg T$), en de exception tak bevat $T$ als een positieve precondition. Dit zorgt voor logische disjunctie ($B_{gen} \land B_{exc} \equiv \text{False}$) zonder heuristische prioriteitsregels.
• Recursion Depth ($D$): Gedefinieerd als de lengte van de exclusion-geïnduceerde defeater-keten (bijv. $D \ge 2$ voor geneste uitzonderingen).

3. Belangrijkste Bijdragen

1. NormBench & SG-DT: Een gestandaardiseerde benchmark en IR voor het evalueren van structurele scope-reconstructie in juridische teksten, dekkend over 2.290 items in gecontroleerde en "in-the-wild" domeinen.
2. Pathologie Analyse: Identificatie van twee belangrijke barrières voor betrouwbare juridische agenten:
   • De Recursie Bottleneck: Prestatie-degradatie gedreven door logische diepte (geneste uitzonderingen) in plaats van contextlengte.
   • De Auditability Trap: Modellen halen relevante spans met hoge getrouwheid op, maar falen in het assembleren van de correcte control flow (attachement van uitzonderingen).
3. Mechanisme-Specifieke Interventie: Demonstratie dat de bruikbaarheid van SG-DT conditioneel is. Het verbetert de resultaten aanzienlijk in exception-active/SSO-prone gevallen waar de uitkomst afhangt van een defeater, maar de geaggregeerde winst gemengd of negatief kan zijn wanneer de toegevoegde structuur onnodig is of de parser-getrouwheid laag is.

4. Experimentele Resultaten

4.1 Intrinsieke Structuurreconstructie (SG-DT Parsing)

Evaluaties van frontier LLM's (bijv. GPT-5.2, DeepSeek-V3.2, Claude-Opus-4.5) onthullen een Structure-Grounding Gap:

• Hoge Faithfulness, Lage Logica: Modellen behalen een hoge SpanFaith (0.77) en lage hallucinatie, maar een lage Edge-F1 (0.24). Ze kunnen de regel "citeren", maar falen in het correct verbinden van de uitzonderingen.
• Het Domein Paradox: Algemene frontier LLM's presteren significant beter dan gespecialiseerde Legal LLM's (bijv. ChatLaw, LawGPT). Juridische modellen lijden aan catastrofale grounding-fouten (Edge-F1 ~0.04), wat suggereert dat hun training de nadruk legt op conversationele vloeiendheid boven rigoureuze, span-gegronde pointer-discipline.
• Recursion Decay: De prestaties dalen scherp wanneer de defeater-diepte toeneemt ($D \ge 2$). Bijvoorbeeld, de Edge-F1 van GPT-5.2 daalt van 0.22 ($D=0$) naar 0.07 ($D \ge 2$).

4.2 Cross-Linguale Isomorfie

Op tweetalige (ZH–EN) paren produceren modellen vaak structureel verschillende logische bomen voor dezelfde bepaling, ondanks een vergelijkbare monolinguale kwaliteit.

• Iso-F1 < 0.40: Zelfs wanneer de Tree-ES (edit similarity) matig is, zijn de ZH en EN bomen zelden isomorf.
• Vertalingsambiguïteit: Kleine verschillen in hoe scope-aanwijzingen (bijv. "unless" vs. "provided that") worden weergegeven, kunnen de vraag doen rijzen aan welke defeater een conditie koppelt, wat een risico op "divergent control flow" creëert.

4.3 Downstream Nut (Statutory Reasoning)

Het gebruik van SG-DT als een geconstrueerde intermediaire output verbetert de volledige boom-getrouwheid en defeater-reconstructie, maar de voordelen zijn mechanisme-specifiek:

• Exception-Active Cases: SG-DT biedt duidelijke winst (bijv. +4.2% op LegalBench voor DeepSeek-V3.2) wanneer de feiten van de casus een actieve uitzondering triggeren.
• Simpele Cases: In gevallen zonder actieve defeaters kan het toevoegen van de SG-DT structuur leiden tot overhead of een verslechtering van de prestaties (bijv. GPT-4o-mini daalt in nauwkeurigheid).
• Recursive-CoT: Het combineren van SG-DT met Recursive Chain-of-Thought leidt niet consistent tot verbeterde nauwkeurigheid en kan soms de winst tenietdoen door af te wijken van de scherpe beslissingsgrens.

5. Betekenis en Claims

Het artikel beweert dat de primaire foutmodus in juridische agenten niet een gebrek aan retrieval of vloeiendheid is, maar een falen om geneste uitzonderingen te materialiseren binnen de control flow.

• Diagnostische Waarde: NormBench en SG-DT bieden een noodzakelijke diagnostische laag die retrieval-fouten scheidt van reasoning-fouten, en isoleert specifiek de "Silent Scope Omission" pathologie.
• Auditbaarheid: Door elke logische tak te gronden in onveranderlijke tekst-spans en expliciete exclusion guards af te dwingen, maakt SG-DT deterministische compilatie en audit mogelijk, wat de "black box"-natuur van huidige LLM juridische redeneringen aanpakt.
• Pragmatisch Nut: De auteurs claimen bescheiden dat SG-DT geen universele drop-in oplossing is. De waarde is het hoogst in scenario's met een hoge inzet en veel uitzonderingen, waar de kosten van SSO hoog zijn. Voor simpelere regels is de structurele overhead wellicht niet gerechtvaardigd.

Het werk positioneert SG-DT als een agent-gerichte intermediaire representatie die de kloof overbrugt tussen ruwe statutaire tekst en uitvoerbare, controleerbare besluitvormingsprocedures, waarbij de focus verschuift van oppervlakkige componentextractie naar expliciete defeasible scope modellering.