Beyond Case Law: Evaluating Structure-Aware Retrieval and Safety in Statute-Centric Legal QA

Die Studie stellt mit SearchFireSafety einen neuen Benchmark vor, der die Fähigkeit von KI-Modellen zur hierarchischen Suche in Gesetzen und zur sicheren Verweigerung bei unzureichendem Kontext im Bereich der Brandschutzvorschriften bewertet und dabei zeigt, dass graphengestützte Retrieval-Methoden die Leistung verbessern, während domänenspezifische Modelle jedoch anfälliger für Halluzinationen bei fehlenden Beweisen sind.

Das Wesentliche

Stell dir vor, du bist ein Rechtsberater, aber nicht für Menschen, sondern für einen Roboter. Deine Aufgabe ist es, dem Roboter zu helfen, brennende Fragen zur Brandschutzsicherheit zu beantworten.

Das Papier, das wir hier besprechen, nennt sich SEARCHFIRESAFETY. Es ist wie ein großer, strenger Test, den die Forscher entwickelt haben, um zu sehen, wie gut diese KI-Roboter wirklich sind, wenn es um Gesetze geht.

Hier ist die Geschichte in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der "Versteckte-Schatz-Effekt"

Bisher haben die meisten KI-Tests nur geprüft, ob Roboter Gerichtsentscheidungen (Fallrecht) verstehen können. Das ist wie das Finden ähnlicher Geschichten in einem Buch.

Aber im Bereich der Gesetze und Verordnungen (wie Brandschutz) ist es ganz anders.

• Die Analogie: Stell dir das Gesetz wie ein riesiges, mehrstöckiges Schloss vor.
  • Die Hauptgesetze sind im Erdgeschoss (große, allgemeine Regeln).
  • Die technischen Details (z. B. "Wie hoch muss ein Geländer sein?") sind im 10. Stockwerk.
  • Um von unten nach oben zu kommen, musst du eine Treppenleiter benutzen, die aus Zitaten besteht (ein Gesetz verweist auf ein anderes).

Das Problem: Wenn ein Nutzer fragt: "Ist mein Geländer hoch genug?", denkt die KI oft, die Antwort sei im Erdgeschoss. Aber die eigentliche Antwort ist im 10. Stock versteckt. Die KI findet die Treppe nicht und halluziniert (erfindet eine Antwort), weil sie denkt, sie wüsste es einfach so.

2. Die Lösung: Der neue Test "SEARCHFIRESAFETY"

Die Forscher haben einen neuen Test gebaut, der genau dieses Problem simuliert. Sie haben sich Brandschutzvorschriften in Südkorea als Beispiel genommen.

Der Test besteht aus zwei Teilen:

Teil A: Der Schatzsucher (Die Suche)

Hier wird geprüft, ob die KI die Treppenleiter finden kann.

• Die Aufgabe: Die KI muss nicht nur das erste Gesetz lesen, sondern den Pfad durch alle Verweise verfolgen, bis sie die genaue technische Regel findet.
• Das Ergebnis: Normale KIs scheitern oft. Aber die Forscher haben eine neue Methode entwickelt, die wie ein GPS für Gesetze funktioniert. Sie nutzt die Struktur der Verweise (die "Landkarte" des Schlosses), um die KI direkt zum 10. Stock zu führen. Das funktioniert viel besser als bloßes "Wort-finden".

Teil B: Der Sicherheits-Check (Das "Ich weiß es nicht")

Das ist der wichtigste und gefährlichste Teil.

• Die Situation: Stell dir vor, die KI bekommt nur die Hälfte der Informationen (z. B. nur das Erdgeschoss, aber nicht den 10. Stock).
• Die Gefahr: Eine dumme KI würde trotzdem eine Antwort erfinden, weil sie "sicher" wirken will. In der echten Welt könnte das bedeuten, dass ein Gebäude abbrannt, weil die KI eine falsche Regel erfunden hat.
• Die Erwartung: Eine sichere KI muss sagen: "Ich kann das nicht beantworten, mir fehlen die Unterlagen."
• Das schockierende Ergebnis: Die Forscher haben entdeckt, dass KIs, die extra auf juristische Texte "trainiert" wurden, schlechter darin sind, "Ich weiß es nicht" zu sagen. Sie werden so selbstbewusst, dass sie sogar bei fehlenden Informationen Antworten erfinden. Das ist wie ein Arzt, der eine Diagnose stellt, obwohl er die Röntgenbilder nicht gesehen hat – nur weil er viel Fachwissen auswendig gelernt hat.

3. Was haben wir gelernt? (Die Moral der Geschichte)

1. Struktur ist wichtiger als Wörter: Um Gesetze zu verstehen, reicht es nicht, ähnliche Wörter zu finden. Man muss die Verbindungen zwischen den Dokumenten verstehen. Ein "GPS" für die Gesetzestexte ist notwendig.
2. Wissen ist nicht immer Sicherheit: Nur weil eine KI viele Gesetze auswendig weiß, heißt das nicht, dass sie sicher ist. Im Gegenteil: Je mehr sie "weiß", desto eher traut sie sich, auch bei Lücken in den Informationen zu antworten.
3. Das "Stopp-Schild" fehlt: Wir brauchen KIs, die lernen, zurückzuhalten. In sicherheitskritischen Bereichen (wie Brandschutz) ist es besser, keine Antwort zu geben, als eine falsche zu geben.

Zusammenfassung

Die Forscher sagen im Grunde: "Wir haben einen neuen, sehr strengen Test für KIs gebaut. Wir haben gesehen, dass sie Gesetze besser verstehen, wenn man ihnen eine Landkarte gibt. Aber wir haben auch gesehen, dass sie oft zu selbstbewusst sind und Fehler machen, wenn ihnen Informationen fehlen. Bevor wir KIs in echten Sicherheitsfragen einsetzen, müssen wir sie lehren, wann sie den Mund halten müssen."

Es ist wie beim Fliegen: Ein Pilot (die KI) muss nicht nur wissen, wie man fliegt, sondern auch wissen, wann er landen muss, weil das Wetter (die Informationen) zu schlecht ist.

Technische Zusammenfassung

1. Problemstellung: Die Lücke im gesetzlichen Retrieval

Das Paper identifiziert eine kritische Lücke in der aktuellen Forschung zu Legal AI. Bisherige Benchmarks konzentrieren sich fast ausschließlich auf Case Law (Rechtsprechung) in Common-Law-Systemen, bei denen Dokumente oft als unabhängige Einheiten behandelt werden.

Im Gegensatz dazu stehen statutenbasierte (gesetzliche) Rechtsordnungen (wie in Deutschland oder Südkorea), die durch eine komplexe Hierarchie gekennzeichnet sind:

• Hierarchische Fragmentierung: Die Antwort auf eine rechtliche Frage ist selten in einem einzigen Dokument enthalten. Stattdessen ist die Information über eine Kette von Zitaten verteilt (z. B. Gesetz → Durchführungsverordnung → Technische Regel).
• Statutory Retrieval Gap: Es besteht eine semantische und lexikalische Kluft zwischen der Benutzeranfrage (oft umgangssprachlich) und den relevanten technischen Spezifikationen in untergeordneten Dokumenten. Herkömmliche Dichte-Retriever (Dense Retrievers) scheitern oft daran, diese Verbindungen zu finden, da sie auf semantischer Ähnlichkeit basieren, nicht auf expliziten Zitaten.
• Sicherheitsrisiko: In sicherheitskritischen Bereichen (wie Brandschutz) führt das Fehlen des vollständigen Kontexts oft zu Halluzinationen. Modelle antworten selbstbewusst, auch wenn die notwendigen Beweise fehlen, anstatt sich zurückzuhalten (Abstention).

2. Methodik und Datensatz: SEARCHFIRESAFETY

Die Autoren stellen SEARCHFIRESAFETY vor, einen Benchmark, der speziell für die Evaluierung von Retrieval und Sicherheit in statutenbasierten Domänen entwickelt wurde. Als Testfall dienen die südkoreanischen Brandschutzvorschriften.

Datensatz-Komponenten:

1. Korpus-Aufbau:

   • Sammlung von 131 aktuellen Gesetzen und Verordnungen (Stand: April 2025).
   • Multimodale Verarbeitung: Nutzung von OCR und menschlicher Überprüfung, um Tabellen und Formeln aus Bildern/PDFs in strukturierten Text zu überführen.
   • Strukturierte Segmentierung: Texte werden nicht in feste Fenster, sondern in atomare Einheiten basierend auf der natürlichen rechtlichen Hierarchie (Artikel, Absatz, Nummer) segmentiert.
   • Zitationsgraph: Ein expliziter Graph wird aus Hyperlinks und regulären Ausdrücken (für interne Verweise ohne Links) extrahiert, der die Delegation von Regeln abbildet.

2. Dual-Source QA-Design:

   • Real-World Expert QA (876 Paare): Echte Anfragen aus dem Petitionsportal der National Fire Agency (NFA). Diese testen die Fähigkeit, komplexe Zitatenketten zu durchlaufen.
   • Synthetische Multi-Hop QA (3.395 MCQs): Künstlich generierte Fragen, die eine strikte Bedingungsabhängigkeit testen. Eine Frage ist nur beantwortbar, wenn sowohl das Hauptdokument als auch das verweisende Dokument vorliegen. Fehlt das verweisende Dokument (Partial Context), muss das Modell „Nicht beantwortbar" wählen.

3. Schlüsselbeiträge und Techniken

• Struktur-bewusstes Reranking (SAR):
  Um die „Statutory Retrieval Gap" zu überbrücken, schlagen die Autoren einen graphenbasierten Reranking-Ansatz vor.

  • Mechanismus: Ausgehend von den Top-K Ergebnissen eines Dichte-Retrievers wird ein lokaler Subgraph induziert.
  • Robustes Voting: Die semantischen Relevanzscores der „Seed"-Dokumente werden auf explizit verlinkte Nachbarn propagiert.
  • Dual-Penalty: Ein logarithmischer Strafterm verhindert, dass „Hub"-Knoten (Dokumente mit vielen Zitaten) oder generische Ziele (z. B. Artikel 1) überbewertet werden.
  • Residual Fusion: Der strukturelle Bonus wird nur auf Dokumente angewendet, die semantisch noch nicht hochrangig sind, um bestehende Treffer nicht zu stören.

• Sicherheits-Evaluierung unter Unsicherheit:
  Der Benchmark misst nicht nur die Genauigkeit bei vollem Kontext, sondern auch das Abstentionsverhalten. Ein sicheres Modell muss erkennen, wenn die Beweiskette unterbrochen ist, und keine plausible, aber falsche Antwort generieren.

4. Ergebnisse

Retrieval-Performance:

• Dense vs. Sparse: Dichte Embeddings (z. B. BGE-M3, Qwen3-Emb) übertrafen BM25 deutlich, was die lexikalische Kluft zwischen Alltagssprache und Gesetzestext bestätigt.
• Effektivität von SAR: Die Struktur-bewusste Reranking-Methode (SAR) erzielte die besten Ergebnisse (z. B. Recall@50 von 74,57% mit BGE-M3 + SAR im Vergleich zu 72,79% nur mit BGE-M3).
• Visualisierung: PCA-Analysen zeigten, dass der explizite Zitationsgraph direkte Brücken zu den Ground-Truth-Dokumenten schlägt, die im reinen semantischen Raum (Cosine kNN) oft fehlen.

Sicherheits- und Generierungs-Performance:

• Abstentions-Fehler: Modelle versagen häufig im „Partial Context"-Szenario. Selbst bei hoher Genauigkeit im „Full Context" neigen sie dazu, bei fehlenden Beweisen zu halluzinieren.
• Der „Safety Trade-off": Domain-Adaptation (Weiteres Training auf juristischen Daten) verbesserte die Genauigkeit bei vollem Kontext, verschlechterte aber die Sicherheit im Partial-Context. Modelle wurden zuversichtlicher, aber weniger vorsichtig, wenn Beweise fehlten.
• Vergleich: GPT-4o zeigte das beste Abstentionsverhalten, während kleinere Open-Weight-Modelle (z. B. Qwen3-8B) häufiger falsche, aber plausible Antworten gaben.

5. Bedeutung und Fazit

Das Paper liefert drei wesentliche Erkenntnisse für die Entwicklung von Legal AI:

1. Recht ist hierarchisch: Herkömmliche Retrieval-Methoden, die auf semantischer Ähnlichkeit basieren, reichen für statutenbasierte Rechtsysteme nicht aus. Explizite Graphenstrukturen (Zitate) sind entscheidend, um die Lücke zwischen allgemeinen Gesetzen und technischen Details zu schließen.
2. Sicherheit ist kritisch: In sicherheitsrelevanten Domänen ist die Fähigkeit eines Modells, nicht zu antworten, wenn der Kontext unzureichend ist, genauso wichtig wie die Richtigkeit der Antwort. Aktuelle Benchmarks, die nur auf „Gold-Context" testen, überschätzen die reale Sicherheit von Modellen massiv.
3. RAG ist notwendig, aber nicht hinreichend: Auch mit verbessertem Retrieval neigen Modelle zu Halluzinationen, wenn Beweise fehlen. Die Zukunft der Legal AI erfordert Mechanismen zur Unsicherheitsquantifizierung und explizite Abstentionsstrategien, insbesondere bei Domain-Adaptation.

Zusammenfassend etabliert SEARCHFIRESAFETY einen neuen Standard für die Evaluierung von Retrieval-Augmented Generation (RAG) in regulierten Umgebungen und zeigt, dass strukturelles Verständnis und Sicherheitsbewusstsein die nächsten großen Hürden für zuverlässige Legal-AI-Systeme darstellen.