Technisches Resümee: Sicher falsch: Kollaps der Ausnahme-Ketten in der Bewertung von Frontier-LLMs

1. Problemstellung

Das Paper identifiziert ein spezifisches, systematisches Versagensmuster bei Frontier-Large-Language-Models (LLMs), das als „Exception Chain Collapse“ (Kollaps der Ausnahme-Kette) bezeichnet wird. Dies tritt bei Aufgaben zur Eignungsprüfung auf, die verschachtelte bedingte Regeln der Form enthalten: „A ist erforderlich, ES SEI DENN, B trifft zu, ES SEI DENN, C überschreibt B.“

Während Frontier-LLMs bei geradlinigen Multi-Route-Logiken (z. B. einfache ODER-Verzweigungen) gut abschneiden, sinkt ihre Leistung signifikant, wenn sie dazu aufgefordert werden, mehrstufige Ausnahme-Ketten (speziell drei Ebenen tief) zu bewerten. Das Paper dokumentiert zwei distinkte Versagensmuster:

1. Exemption Anchoring (Ankerung an Ausnahmen): Das Modell behandelt Ausnahmen als sekundär zur Primärroute. Wenn die Primärroute fehlschlägt, „ankert“ das Modell an diesem Fehlschlag und versäumt es, unabhängige, gültige Alternativrouten für Ausnahmen zu bewerten.
2. Exception Chain Collapse (Kollaps der Ausnahme-Kette): Das Modell versagt bei der korrekten Verschachtelung mehrstufiger UNLESS-Logik und konfundiert häufig unabhängige Ausnahme-Pfade (z. B. indem es eine „Veteran“-Ausnahme als abhängig von einer „Alter“-Ausnahme behandelt).

Die Kerninstabilität: Eine kritische Erkenntnis ist, dass die Genauigkeit von Frontier-Modellen bei diesen Aufgaben eine „bewegliche Compliance-Grenze“ darstellt. Zwischen März und April 2026 schlossen sich spezifische Fehlerzellen in Benchmarks unter demselben Modell-Alias (z. B. GPT-5.4 und Claude Opus 4.6) stillschweigend, ohne dass es zu Versionssprüngen kam. Dies macht die Genauigkeitsansprüche zum Zeitpunkt des Benchmarking unzuverlässig für regulierte Arbeitsabläufe, in denen Konsistenz zwingend erforderlich ist.

2. Methodik

Die Autoren schlagen und evaluieren das Aethis Eligibility Module, eine neuro-symbolische Architektur, die darauf ausgelegt ist, die Regel-Autorenschaft von der Regelausführung zu trennen.

Die Architektur

• Phase 1: Automatisierte Regel-Autorenschaft (LLM): Ein LLM liest autoritative Rechtsquellen (Gesetzgebung, Richtlinien) und generiert Regeln als strukturierter Code in einer beschränkten domänenspezifischen Sprache (DSL). Diese Phase beinhaltet eine Provenance-Kette (Herkunftsnachweis), in der jede generierte Regel mit spezifischen Quellenangaben verknüpft ist (Dokument-ID, Abschnittspfad, direktes Zitat).
• Phase 2: Das Eligibility Module (Deterministische Engine): Die generierte DSL wird in formale Satisfiability Modulo Theories (SMT)-Constraints kompiliert. Eine SMT-Solver evaluiert anschließend diese Constraints gegen strukturierte Bewerberdaten.
  • Kernmechanismus: Die Engine behandelt jeden Eignungspfad als formal unabhängigen booleschen Zweig, der mittels Disjunktion (ODER) kombiniert wird. Sie evaluiert diese Zweige deterministisch, unabhängig von Modell-Drift, Reasoning-Aufwand oder Prompt-Format.

Benchmark-Design

Die Autoren konstruierten einen Benchmark mit 225 Szenarien aus vier Domänen:

1. Life in the UK: Reale britische Einwanderungsgesetzgebung (British Nationality Act 1981).
2. Englische Sprachkompetenz: Reale britische Einwanderungsrichtlinien.
3. Raumfahrt-Zertifizierung: Ein synthetisches Statut, das nach britischer Gesetzgebungsstruktur mit dreistufigen Ausnahme-Ketten modelliert wurde.
4. Bauversicherung: Synthetische Policen-Formulierungen, modelliert nach Londoner Markt DE3/DE5-Klauseln mit fünfstufigen Ausnahme-Ketten.

Der Benchmark wurde gegen acht LLMs (vier Frontier-Modelle, vier Production-Tier-Modelle) von Anthropic und OpenAI evaluiert, wobei diese mit der deterministischen Eligibility Module verglichen wurden.

3. Zentrale Beiträge

1. Taxonomie der Versagensmuster

Das Paper charakterisiert „Exception Chain Collapse“ und „Exemption Anchoring“ formal als systematische Fehler bei der Bewertung verschachtelter Ausnahme-Ketten. Es wird gezeigt, dass diese Fehler:

• Kompositionell sind: Sie entstehen durch die Tiefe der Logik (drei Ebenen) und nicht durch mangelndes Rechtswissen.
• Robust gegenüber Prompting sind: Optimiertes Prompting (z. B. „denke Schritt für Schritt“, „evaluiere Ausnahmen unabhängig“) kann das Problem nicht beheben; stattdessen tauscht es False Negatives gegen False Positives aus, was die Netto-Genauigkeit reduziert.
• Instabil sind: Die spezifischen Fehlerpunkte verschieben sich lautlos über Modell-Updates hinweg, was Frontier-Modelle für hochsensible, audit-kritische Entscheidungen unzuverlässig macht.

2. Das Aethis Eligibility Module

Das Paper präsentiert ein neuro-symbolisches System, das die Unsicherheit von der Inferenz-Grenze (wo sie in LLMs still und kontinuierlich ist) zur Spezifikations-Grenze (wo sie bewusst und auditierbar ist) verlagert.

• Garantie: Die Ausführungsschicht bietet mathematisch definierte Semantik. Wenn das Regel-Bundle korrekt formalisiert ist, ist die Ausführung zu 100 % konsistent mit der Spezifikation, unabhängig von Modellversion oder Konfiguration.
• Auditierbarkeit: Jede Entscheidung enthält eine Provenance-Kette, die das Ergebnis direkt mit der spezifischen Gesetzesklausel und dem gewählten logischen Pfad verknüpft.

3. Empirische Evidenz

• Benchmark-Ergebnisse: Das Eligibility Module erreichte 100 % Genauigkeit über alle 225 Szenarien.
• LLM-Leistung: Frontier-Modelle zeigten eine signifikante Degradation bei Ausnahme-Ketten-Aufgaben. Beispielsweise erzielte Claude Opus 4.6 im Snapshot vom März 2026 89,7 % im Raumfahrt-Abschnitt (61/68), wobei 7 spezifische Szenarien bei 3 unabhängigen Durchläufen 0/3 Mal fehlschlugen.
• Adversarielle Erweiterung: In einer v3.8 adversariellen Erweiterung (20 neue Bauversicherungs-Szenarien) erzielte die deterministische Engine 20/20. Während einige Frontier-Modelle das ursprüngliche Set mit 100 % absolvierten, scheiterten sie an den tieferen adversariellen Fällen (z. B. scheiterte Claude Opus 4.7 bei 2/20, GPT-5.4 Default bei 1/20).
• Externe Validierung: Bei 949 Hold-out-Fällen aus neun LegalBench-Aufgaben war das Eligibility Module signifikant genauer als drei Frontier-Modelle (kombinierter McNemar's $p \le 0,003$), mit den größten Margen (+41 Prozentpunkte) bei Multi-Prong-Regelanwendung-Aufgaben.

4. Bedeutung und Ansprüche

Das Paper behauptet nicht, dass LLMs generell unzuverlässig sind oder nicht für juristische Argumentation genutzt werden können. Stattdessen stellt es einen bescheidenen, spezifischen Anspruch:

• Verlagerung der Unsicherheit: Der primäre Beitrag ist architektonischer Natur. Indem LLMs für die Autorenschaft (wo ihre Flüssigkeit ein Vorteil ist) und SMT-Solver für die Ausführung (wo Determinisierung erforderlich ist) genutzt werden, macht das System die Unsicherheit handhabbar. Die Unsicherheit wird in den Schritt der Regel-Formalisierung (Level 2) verlagert, der durch Test-Driven Validation kontrolliert werden kann, anstatt in der Inferenz-Schritt (Level 3) zu verbleiben, wo sie still und unbeobachtbar ist.
• Regulatorische Verteidigungsfähigkeit: Für hochsensible Domänen (Einwanderung, Versicherung, Sicherheitszertifizierung), in denen False Negatives Rechte verletzen und Erklärbarkeit zwingend ist, bietet die deterministische Ausführungsschicht eine Eigenschaft, die Frontier-LLMs nicht bieten können: Invarianz. Ein kompiliertes Regel-Bundle liefert heute dasselbe Ergebnis wie in sechs Monaten, unabhängig von stillschwingenden Änderungen an den zugrunde liegenden Modellgewichten.
• Limitierungen: Die Autoren geben explizit an, dass das System die korrekte Ausführung einer Spezifikation garantiert, nicht die Korrektheit der Spezifikation selbst. Die Qualität des Regel-Bundles hängt von der Fähigkeit des LLM ab, den Quelltext zu formalisieren (Level 2), was zwar gemildert, aber nicht eliminiert wird. Das System erfordert derzeit strukturierte Inputs und bearbeitet keine unstrukturierten Dokumentextraktionen.

Zusammenfassend argumentiert das Paper, dass für die Bewertung von verschachtelten Ausnahme-Ketten in regulierten Arbeitsabläufen die deterministische formale Ausführung eine notwendige Bedingung für Vertrauen ist, und dass neuro-symbolische Architekturen einen gangbaren Weg bieten, dies zu erreichen, ohne den Nutzen von LLMs für die Regelextraktion zu opfern.