💬 NLP

From Statute to Control Flow: Span-Grounded Deontic Trees for Defeasible Scope Parsing

Dieses Paper führt NormBench ein, einen mehrsprachigen Benchmark, der Span-Grounded Deontic Trees (SG-DT) nutzt, um die stille Auslassung von Geltungsbereichen (Silent Scope Omission) bei regelbefolgenden Agenten zu diagnostizieren und zu mildern, indem der Fokus von den Ergebnissen der Endaufgabe auf die präzise strukturelle Analyse von anfechtbaren rechtlichen Geltungsbereichen verschoben wird, was offenlegt, dass beschränkte intermediäre Repräsentationen die Handhabung von Ausnahmen in komplexen regulatorischen Kontexten signifikant verbessern.

Ursprüngliche Autoren: Jian Chen, Siyuan Li, Chucheng Wan, Zixuan Yuan

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jian Chen, Siyuan Li, Chucheng Wan, Zixuan Yuan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Stille Überspringen“ (Silent Skip)

Stellen Sie sich vor, Sie stellen einen sehr intelligenten, fließend sprechenden Roboter-Assistenten ein, um die Regeln eines Spiels durchzusetzen. Sie geben ihm das Regelbuch.

Regel 1: „Wenn du den Ball berührst, bekommst du eine Strafe.“
Regel 2: „Es sei denn, du bist der Torwart, dann darfst du ihn berühren.“
Regel 3: „Aber wenn der Torwart einen roten Hut trägt, bekommt er trotzdem eine Strafe.“

Ein Mensch liest dies und versteht die Ebenen. Aber das Paper argumentiert, dass aktuelle KI-Modelle oft unter Silent Scope Omission (SSO) leiden.

Die KI sieht Regel 1, wendet sie an und sagt selbstbewusst: „Strafe!“ Sie überspringt stillschweigend Regel 2 und Regel 3. Die Antwort der KI klingt vernünftig und grammatikalisch perfekt, aber sie übersieht die entscheidenden „es sei denn“- und „außer“-Klauseln, die das Ergebnis tatsächlich ändern. Es ist wie ein Koch, der ein Rezept perfekt befolgt, aber stillschweigend die Anweisung vergisst, „das Salz zu entfernen, falls der Kunde eine Diät macht“, was zu einem Gericht führt, das zwar richtig aussieht, aber falsch schmeckt.

Die Lösung: NormBench und die „Baum-Karte“

Um dies zu beheben, haben die Autoren ein neues Testfeld namens NormBench gebaut. Denken Sie an dies als ein spezialisiertes Fitnessstudio für KI, gefüllt mit 2.290 verschiedenen Rechtsregeln (aus chinesischen Gesetzen, US-Steuergesetzen und Unternehmensrichtlinien), die speziell darauf ausgelegt sind, KI mit diesen „stillen Übersprüngen“ in die Falle zu locken.

Anstatt die KI nur zu fragen: „Was ist die Strafe?“, zwingen sie die KI dazu, einen Span-Grounded Deontic Tree (SG-DT) zu zeichnen.

Die Analogie: Der Bauplan
Stellen Sie sich das Gesetz wie einen unordentlichen Stapel Bauholz vor.

Der alte Weg: Die KI versucht, ein Haus zu bauen, indem sie rät, welches Holzstück wohin gehört. Sie baut vielleicht ein Haus, das von außen okay aussieht, aber bei dem das Dach auf der falschen Etage sitzt.
Der neue Weg (SG-DT): Die KI muss zuerst einen Bauplan zeichnen.
- Jeder einzelne Zweig des Bauplans muss an ein spezifisches Stück Holz (einen „Span“ bzw. Textabschnitt) aus dem ursprünglichen Regelbuch gebunden sein.
- Der Bauplan muss die „Ausschluss-Wächter“ (Exclusion Guards) explizit ausweisen. Zum Beispiel muss er eine Linie zeichnen, die besagt: „Dieser Zweig existiert nur, WENN die Bedingung ‚roter Hut‘ FALSCH ist.“
- Dies verwandelt den unordentlichen Text in ein starres, logisches Flussdiagramm, das überprüft werden kann. Wenn ein Zweig fehlt, ist der Bauplan ungültig.

Was sie herausgefunden haben: Die „Gehirnaussetzer“ der KI

Die Autoren testeten Top-KI-Modelle (wie GPT-5, Claude und DeepSeek) auf diesem neuen Test und fanden drei Hauptprobleme:

1. Der „Rekursionsverfall“ (Der Turm der Logik)

Die Analogie: Stellen Sie sich vor, man stapelt Blöcke.
- Ebene 1: „Tue X.“ (Einfach)
- Ebene 2: „Tue X, es sei denn, Y.“ (Okay)
- Ebene 3: „Tue X, es sei denn, Y, es sei denn, Z.“ (Die KI bricht zusammen).
Das Ergebnis: Wenn die Regeln tiefer werden (verschachtelte Ausnahmen in Ausnahmen), stürzt die Leistung der KI ab. Es liegt nicht daran, dass der KI der Speicher ausgeht; es ist, dass ihre „Logik-Muskeln“ schwach werden, wenn die Logik zu tief wird. Sie kann die Regeln finden, aber sie kann sie nicht korrekt stapeln.

2. Die „Auditierbarkeitsfalle“ (Der selbstbewusste Lügner)

Die Analogie: Ein Schüler, der die Lehrbuchzitate perfekt auswendig gelernt hat, aber die Mathematik dahinter nicht versteht.
Das Ergebnis: Die KI ist sehr gut darin, die richtigen Sätze im Text zu finden (hohe „Faithfulness“/Treue). Sie wird das Zitat über den „roten Hut“ perfekt zitieren. Aber wenn man sie fragt, diesen Zitaten mit dem richtigen Teil des Logikbaums zu verbinden, versagt sie. Es sieht so aus, als würde sie das Gesetz verstehen, aber sie „zitiert“ eigentlich nur, ohne zu „argumentieren“.

3. Das „Domänen-Paradoxon“ (Generalisten vs. Spezialisten)

Die Analogie: Ein Allgemeinmediziner gegenüber einem Spezialisten, der nur medizinische Fachzeitschriften liest, aber noch nie einen Patienten behandelt hat.
Das Ergebnis: Überraschenderweise waren allgemeine KI-Modelle (die auf allem trainiert wurden) deutlich besser darin, diese rechtlichen Strukturen zu verstehen als spezialisierte „Legal AI“-Modelle (die nur auf Recht trainiert wurden). Die rechtlichen Modelle waren zu sehr darauf fokussiert, wie ein Anwalt zu klingen (den richtigen Ton zu treffen), und scheiterten an der strengen Logik, die zur Abbildung der Regeln erforderlich ist.

Der sprachübergreifende Fehler (Cross-Language Glitch)

Die Autoren testeten auch, ob eine KI dieselbe Regel auf Chinesisch und Englisch versteht.

Das Ergebnis: Die KI konnte einen guten Baum für die chinesische Version und einen guten Baum für die englische Version erstellen. Aber die beiden Bäume stimmten oft nicht überein!
Die Analogie: Es ist wie das Übersetzen eines Rezepts. Die chinesische Version sagt: „Füge Salz hinzu, es sei denn, die Suppe ist bereits salzig.“ Die englische Version sagt: „Füge Salz hinzu, aber wenn die Suppe salzig ist, tu es nicht.“ Die KI kann die Logik für jede Sprache einzeln korrekt aufbauen, aber die „es sei denn“-Logik wird zwischen den beiden Sprachen vertauscht, was zu unterschiedlichen Ergebnissen für dieselbe Regel führt.

Hilft das tatsächlich?

Die Autoren testeten, ob das Erzwingen dieses „Bauplans“ (SG-DT) vor der Beantwortung einer Frage die endgültige Antwort tatsächlich verbessert.

Das Ergebnis: Es kommt darauf an.
- Ja: Wenn der Fall knifflig ist und auf einer spezifischen Ausnahme basiert (der „aktiven“ Ausnahme), hilft der Bauplan der KI, den „Stillen Übersprung“ zu vermeiden.
- Nein: Wenn der Fall einfach ist oder die KI bereits sehr gut ist, kann das Erzwingen des Bauplans die KI verwirren oder verlangsamen, was zu schlechteren Antworten führt.

Zusammenfassung

Das Paper argumentiert, dass wir, um KI für Gesetze und Regeln zuverlässig zu machen, sie nicht einfach nur chatten lassen dürfen. Wir müssen sie zwingen, eine starre, prüfbare Karte der Regeln zu erstellen, in der jede Ausnahme explizit an den Text gebunden ist. Dies hilft, die „Stillen Übersprünge“ zu finden, bei denen die KI wichtige Ausnahmen ignoriert, aber es ist kein magisches Heilmittel, das alles sofort behebt.

Technisches Resümee: Vom Statut zum Kontrollfluss: Spannen-gegrundete deontische Bäume für das Parsing von Defeasibility-Scopes

1. Problemdefinition: Silent Scope Omission (SSO)

Regeltreue Agenten, die darauf ausgelegt sind, Richtlinien und Vorschriften auszuführen, scheitern häufig durch Silent Scope Oversion (SSO). In diesem Fehlermodus wendet ein Modell eine allgemeine Regel an, lässt aber dabei stillschweigend verschachtelte Ausnahmen, Gegen-Ausnahmen oder einschränkende Klauseln weg. Das resultierende Ergebnis erscheint konform und besteht leichte Prüfungen, versagt jedoch bei kritischen Randfällen, in denen die „Defeater“-Klauseln (z. B. „es sei denn“, „außer“, „vorausgesetzt, dass“) das endgültige Ergebnis bestimmen.

Obwohl dies oft als Problem agentenbasierter Systeme gerahmen wird, identifizieren die Autoren den zugrunde liegenden Engpass als Verständnis von Statuten und Richtlinien, insbesondere die Fähigkeit, die nicht-monotone Struktur rechtlicher Texte zu rekonstruieren, bei der spätere Klauseln frühere einschränken. Bestehende NLP-Benchmarks für Rechtsfragen (z. B. LexGLUE, LegalBench) betonen typischerweise Endaufgaben-Ergebnisse (QA, Implikation, Urteilsvorhersage). Diese Metriken können eine korrekte finale Entscheidung belohnen, selbst wenn das Modell die interne Scope-/Override-Struktur nicht korrekt rekonstruiert, wodurch die strukturellen Auslassungen, die SSO verursachen, maskiert werden.

2. Methodik: NormBench und SG-DT

2.1 NormBench Benchmark

Um SSO zu diagnostizieren und zu mildern, führen die Autoren NormBench ein, einen Benchmark bestehend aus 2.290 Bestimmungen in Gesetzessprache über drei Domänen hinweg:

NormBench-ZH: Kodifizierte chinesische gesetzliche Bestimmungen (nationale Gesetze, administrative Verordnungen, lokale Richtlinien).
NormBench-EN: Englische Regeln aus dem US-Steuerrecht, der EU-DSGVO und Unternehmensrichtlinien.
Cross-lingual: Offizielle ZH–EN-Übersetzungspaare, um die strukturelle Invarianz zu testen.

Der Datensatz ist von kontrollierten (kodifizierten Statuten) bis hin zu „In-the-Wild“-Anwendungen (operative Richtlinien) organisiert und enthält 1.790 einzigartige zugrunde liegende Bestimmungen. Er ist mit einer spezifischen intermediären Repräsentation annotiert, die für das Parsing von Defeasibility-Scopes entwickelt wurde.

2.2 Span-Grounded Deontic Trees (SG-DT)

Der zentrale methodische Beitrag ist SG-DT, eine compiler-ähnliche intermediäre Repräsentation (IR), die jeden logischen Zweig an unveränderliche Quelltextspannen bindet. Im Gegensatz zur Standard-Freitextgenerierung erzwingt SG-DT vier Design-Constraints:

Spannen-gegrundete Auditierbarkeit: Jeder Knoten ist ein Zeiger auf eine spezifische Textspanne, was eine deterministische Abbildung auf nachgeschaltete Signaturen ermöglicht.
Entscheidbarkeit unter Defeasibility: Ausnahmen werden in Explizite Ausschluss-Guards (Explicit Exclusion Guards) kompiliert. Ein allgemeiner Regelzweig enthält explizit ein Ausschluss-Blatt, das auf den Auslöser der Ausnahme verweist, wodurch sichergestellt wird, dass die Regel nur gilt, wenn die Ausnahme nicht erfüllt ist. Dies verhindert das stille Weglassen des am Ende stehenden Scopes.
Deterministische Evaluierung: Die Struktur unterstützt exaktes strukturelles Scoring und die Kompilierung in ausführbare Entscheidungsverfahren.
Lernbarkeit: Die Repräsentation ist dicht und seq2seq-freundlich, wodurch sie keine Experten-Ontologien erfordert.

Schema-Details:

Zweige ( $B_i$ ): Definiert durch einen Anker (Trigger-Spanne), Modalität (z. B. Verpflichtung, Verbot), Konditionsbaum ( $C$ ) und Effekte ( $E$ ).
Defeasibility: Wird über eine Explizite Ausschluss-Policy gehandhabt. Wenn eine Regel einen Ausnahme-Trigger $T$ hat, enthält der allgemeine Zweig ein Ausschluss-Blatt ( $\neg T$ ), und der Ausnahme-Zweig enthält $T$ als positive Voraussetzung. Dies stellt die logische Disjunktheit ( $B_{gen} \land B_{exc} \equiv \text{False}$ ) ohne heuristische Prioritätsregeln sicher.
Rekursionstiefe ( $D$ ): Definiert als die Länge der durch den Ausschluss induzierten Defeater-Kette (z. B. $D \ge 2$ für verschachtelte Ausnahmen).

3. Kernbeiträge

NormBench & SG-DT: Ein standardisierter Benchmark und eine IR zur Evaluierung der strukturellen Scope-Rekonstruktion in Rechtstexten, der 2.290 Items über kontrollierte und reale Domänen hinweg abdeckt.
Pathologie-Analyse: Identifikation zweier zentraler Barrieren für zuverlässige Rechts-Agenten:
- Der Rekursions-Bottleneck: Leistungsdegradation, die durch logische Tiefe (verschachtelte Ausnahmen) statt durch Kontextlänge getrieben wird.
- Die Auditierbarkeits-Falle: Modelle rufen relevante Spannen mit hoher Treue ab, scheitern aber daran, den korrekten Kontrollfluss zusammenzustellen (Anbindung von Ausnahmen).
Mechanismus-spezifische Intervention: Demonstration, dass der Nutzen von SG-DT konditional ist. Es verbessert die Ergebnisse signifikant in ausnahme-aktiven/SSO-anfälligen Fällen, in denen das Ergebnis von einem Defeater abhängt, aber die aggregierten Gewinne können gemischt oder negativ sein, wenn die hinzugefügte Struktur unnötig ist oder die Parser-Fidelität gering ist.

4. Experimentelle Ergebnisse

4.1 Intrinsische Strukturrekonstruktion (SG-DT Parsing)

Evaluierungen von Frontier-LLMs (z. B. GPT-5.2, DeepSeek-V3.2, Claude-Opus-4.5) offenbaren eine Structure-Grounding-Lücke:

Hohe Treue, niedrige Logik: Modelle erreichen eine hohe SpanFaith (~~0,77) und geringe Halluzination, aber eine niedrige Edge-F1 (~~0,24). Sie können die Regel zwar „zitieren“, scheitern aber daran, die Ausnahmen korrekt zu vernetzen.
Das Domänen-Paradoxon: General-Purpose Frontier-LLMs schneiden signifikant besser ab als spezialisierte Legal-LLMs (z. B. ChatLaw, LawGPT). Legal-Domänen-Modelle leiden unter katastrophalen Grounding-Fehlern (Edge-F1 ~0,04), was darauf hindeutet, dass ihr Training die konversationelle Flüssigkeit gegenüber strenger, spannen-gegrundeter Pointer-Disziplin priorisiert.
Rekursions-Zerfall: Die Leistung sinkt drastisch, wenn die Defeater-Tiefe zunimmt ( $D \ge 2$ ). Beispielsweise fällt die Edge-F1 von GPT-5.2 von 0,22 ( $D=0$ ) auf 0,07 ( $D \ge 2$ ).

4.2 Cross-Linguale Isomorphie

Bei bilingualen (ZH–EN) Paaren produzieren Modelle oft strukturell unterschiedliche Logikbäume für dieselbe Bestimmung, trotz ähnlicher monolingualer Qualität.

Iso-F1 < 0,40: Selbst wenn die Tree-ES (Edit-Ähnlichkeit) moderat ist, sind die ZH- und EN-Bäume selten isomorph.
Übersetzungs-Ambiguität: Kleine Unterschiede darin, wie Scope-Marker (z. B. „unless“ vs. „provided that“) gerendert werden, können dazu führen, dass ein Defeater an eine andere Bedingung gebunden wird, was ein Risiko für „divergierende Kontrollflüsse“ schafft.

4.3 Downstream-Nutzen (Statutory Reasoning)

Die Verwendung von SG-DT als eingeschränkte intermediäre Ausgabe verbessert die Treue des gesamten Baums sowie die Defeater-Rekonstruktion, aber die Vorteile sind mechanismus-spezifisch:

Ausnahme-aktive Fälle: SG-DT bietet klare Gewinne (z. B. +4,2 % auf LegalBench für DeepSeek-V3.2), wenn die Sachverhaltsfakte eine aktive Ausnahme triggern.
Einfache Fälle: In Fällen ohne aktive Defeater kann das Hinzufügen der SG-DT-Struktur Overhead verursachen oder die Leistung verschlechtern (z. B. GPT-4o-mini sinkt in der Genauigkeit).
Recursive-CoT: Die Kombination von SG-DT mit Recursive Chain-of-Thought verbessert die Genauigkeit nicht konsistent und kann die Gewinne manchmal zunichtemachen, indem sie von der präzisen Entscheidungsgrenze abweicht.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass der primäre Fehlermodus bei Rechts-Agenten nicht ein Mangel an Retrieval oder Flüssigkeit ist, sondern ein Versagen bei der Materialisierung verschachtelter Ausnahmen innerhalb des Kontrollflusses.

Diagnostischer Wert: NormBench und SG-DT bieten eine notwendige diagnostische Ebene, die Retrieval-Fehler von Reasoning-Fehlern trennt und speziell die Pathologie der „Silent Scope Omission“ isoliert.
Auditierbarkeit: Durch die Bindung jedes logischen Zweigs an unveränderliche Textspannen und die Erzwingung expliziter Ausschluss-Guards ermöglicht SG-DT eine deterministische Kompilierung und Auditierung, was die „Black Box“-Natur der aktuellen LLM-Rechtslogik adressiert.
Pragmatischer Nutzen: Die Autoren behaupten bescheiden, dass SG-DT keine universelle Lösung ist. Sein Wert ist am höchsten in hochsensiblen, ausnahme-lastigen Szenarien, in denen die Kosten von SSO hoch sind. Für einfachere Regeln ist der strukturelle Overhead möglicherweise nicht gerechtfertigt.

Die Arbeit positioniert SG-DT als agenten-orientierte intermediäre Repräsentation, die die Lücke zwischen rohem Statutentext und ausführbaren, auditierbaren Entscheidungsverfahren schließt, indem sie über die oberflächliche Extraktion von Komponenten hinausgeht und ein explizites Defeasibility-Scope-Modeling ermöglicht.