🤖 AI

NeuroSymbolic AI for Legal AI-TRISM: Trustworthy, Reliable, Interpretable, Safe Models

Dieses Positionspapier schlägt das TRISM-Framework vor, welches Prinzipien der neurosymbolischen KI und einen neuartigen RASOR-RAG-Ansatz mit Large Language Models integriert, um die Vertrauenswürdigkeit, Zuverlässigkeit, Interpretierbarkeit und Sicherheit von Rechts-KI zu verbessern, indem generierte Inhalte in verifiziertem, strukturiertem Rechtswissen und expliziter Argumentation verankert werden.

Ursprüngliche Autoren: Deepa Tilwani, Yash Saxena, Ankur Padia, Srinivasan Parthasarathy, Manas Gaur

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Deepa Tilwani, Yash Saxena, Ankur Padia, Srinivasan Parthasarathy, Manas Gaur

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen brillanten, aber etwas leichtsinnigen Rechtsklausern ein. Dieser Klerk hat jedes Buch in der Bibliothek gelesen (dank eines Large Language Models, oder LLM) und kann daher über fast jedes Rechtsthema fließend sprechen. Er hat jedoch zwei wesentliche Mängel:

Er erfindet Dinge: Manchmal, wenn er nicht die exakte Antwort findet, erfindet er gefälschte Gerichtsurteile oder Gesetze, um überzeugend zu klingen. In der realen Welt ist das gefährlich; ein Anwalt geriet einmal in ernsthaften Schwierigkeiten, weil er einen Schriftsatz mit gefälschten Zitaten einreichte.
Er übersieht das Kleingedruckte: Er versteht vielleicht die allgemeine Idee eines Gesetzes, übersieht aber eine winzige, entscheidende Ausnahme, die alles verändert, wie etwa eine spezifische Frist oder eine lokale Regelung, die eine allgemeine Regel außer Kraft setzt.

Dieses Papier schlägt einen neuen Weg vor, um diese Probleme zu lösen, indem ein „Super-Klerk“ namens TRISM geschaffen wird. Betrachten Sie TRISM als eine Partnerschaft zwischen zwei unterschiedlichen Arten von Arbeitern:

Die zwei Arbeiter: Der Künstler und der Buchhalter

Der Künstler (Neuronales Netz/LLM): Dieser Arbeiter ist großartig darin, unordentliche, natürliche Sprache zu lesen, Kontext zu verstehen und flüssig zu schreiben. Er ist wie ein kreativer Autor, der eine Geschichte wunderschön zusammenfassen kann.
Der Buchhalter (Symbolische KI): Dieser Arbeiter ist starr, logisch und folgt strengen Regeln. Er ist wie ein strenger Revisor, der jedes Zahlenverhältnis gegen ein Hauptbuch prüft. Er „rät“ nicht; er kalkuliert basierend auf Fakten und Regeln.

Neurosymbolische KI bedeutet einfach, diese beiden zur Zusammenarbeit zu zwingen. Der Künstler erledigt die schwere Arbeit des Textverständnisses, aber der Buchhalter überprüft jeden Anspruch, bevor er niedergeschrieben wird.

Die Lösung: Die „RASOR“-Pipeline

Das Papier stellt ein spezifisches System namens RASOR (RAtionalize, Select, and Refine) vor, um diese Partnerschaft zum Funktionieren zu bringen. Hier ist die Funktionsweise anhand einer einfachen Analogie:

Stellen Sie sich vor, Sie versuchen, ein Rätsel zu lösen, und Sie haben ein Team von Detektiven (die KI).

Rationalize (Das Notizbuch des Detektivs): Anstatt einfach nur die Antwort zu raten, wird die KI gezwert, zuerst ihren „Denkprozess“ aufzuschreiben. Sie muss erklären, warum sie denkt, dass ein bestimmtes Gesetz anwendbar ist, Schritt für Schritt. Das ist so, als würde ein Detektiv seine Indizien aufschreiben, bevor er eine Festnahme vornimmt.
Select (Der Bibliothekar): Das System geht in eine verifizierte Bibliothek von Rechtsdokumenten (einen Knowledge Graph), um die exakten Seiten zu finden, die die Notizen des Detektivs unterstützen. Es greift nicht einfach das erste Buch, das es sieht; es verwendet einen intelligenten Filter, um nur die relevantesten, verifizierten Textstücke auszuwählen.
Refine (Der Editor): Bevor der endgültige Bericht versendet wird, überprüft ein strenger Editor die Arbeit. Dieser Editor vergleicht die Notizen des Detektivs mit den Büchern in der Bibliothek. Wenn der Detektiv sagt: „Das Gesetz besagt X“, aber das Buch sagt: „Das Gesetz besagt X, außer Y“, erkennt der Editor dies. Dieser Schritt entfernt die „erfundenen“ Fakten (Halluzinationen).
Structure (Der endgültige Schriftsatz): Der endgültige Output wird logisch strukturiert, wobei jeder Anspruch direkt an eine spezifische Quelle gekoppelt ist, genau wie bei einem echten juristischen Schriftsatz.

Die Ergebnisse: Von „Vielleicht“ zu „Bewiesen“

Die Autoren testeten dieses System an einem Datensatz echter Rechtsverträge (dem CUAD-Datensatz).

Vorher (Der alte Weg): Wenn Standard-KI-Modelle verwendet wurden, machten sie in 75 % der Fälle Fehler (Halluzinationen). Sie waren selbstbewusst, aber oft falsch.
Nachher (Der TRISM/RASOR-Weg): Durch die Verwendung dieser neuen „Künstler + Buchhalter“-Methode sank die Fehlerrate auf unter 40 %.

Das Papier argumentiert, dass es hierbei nicht nur um eine etwas höhere Genauigkeit geht, sondern um Vertrauen. Weil das System seinen Arbeitsprozess zeigt (die „Rationale“) und seine Quellen zitiert (die „Bibliotheksbücher“), kann ein menschlicher Anwalt die Antwort tatsächlich verifizieren. Wenn die KI sagt: „Ja, Sie müssen zahlen“, kann der Anwalt die exakte Regel und die Ausnahme sehen, die berücksichtigt wurde.

Das große Ganze: Eine lebendige Bibliothek

Um dieses System am Laufen zu halten, benötigt der „Buchhalter“ eine ständig aktualisierte Bibliothek. Das Papier beschreibt eine Methode, diese Bibliothek (einen Knowledge Graph) automatisch unter Verwendung der KI selbst zu aktualisieren.

Betrachten Sie die Bibliothek als eine Landkarte aller Gesetze und Gerichtsurteile.
Wenn ein neues Gesetz verabschiedet wird oder ein neuer Gerichtsprozess stattfindet, erkennt das System eine „Lücke“ in der Landkarte.
Es nutzt die KI, um zu hypothetisieren, wie die neue Verbindung aussehen müsste, prüft dies gegen bestehende Regeln und fügt es dann der Landkarte hinzu.
Dies stellt sicher, dass der „Buchhalter“ immer über die neuesten Regeln zur Überprüfung verfügt.

Zusammenfassung

Kurz gesagt: Dieses Papier sagt: „Verlassen Sie sich nicht nur auf eine kluge KI, die rät. Bauen Sie ein System, in dem die Kreativität der KI durch eine strikte, regelbefolgende Logik-Engine geerdet wird.“ Durch die Kombination dieser beiden Elemente schufen sie TRISM, ein Framework, das juristische Antworten liefert, die vertrauenswürdig, zuverlässig, interpretierbar und sicher sind und das Risiko erheblich senken, dass die KI gefälschte Gesetze erfindet.

Technisches Resümee: Neurosymbolische KI für Legal AI-TRISM

Problemstellung
Das Paper identifiziert eine kritische Lücke bei der Anwendung von Large Language Models (LLMs) im Rechtswesen. Während LLMs die natürliche Sprachverarbeitung transformiert haben, leiden sie unter „Halluzinationen“ (Erfinden von Zitaten oder Fakten), einem Mangel an interpretierbarer Argumentation und der Unfähigkeit, sich strikt an gerichtliche Hierarchien und prozedurale Nuancen zu halten. Die Autoren führen als drastisches Beispiel für diese Risiken ein Urteil aus den USA aus dem Jahr 2024 an, bei dem Anwälte wegen KI-generierter Schriftsätze mit erfundenen Zitaten sanktioniert wurden. Aktuelle Retrieval-Augmented Generation (RAG)-Ansätze, die zwar versuchen, LLMs in autoritativen Quellen zu verankern, weisen dennoch signifikante Halluzinationsraten auf (die in verschiedenen Studien zwischen 17 % und 69 % liegen) und scheitern oft daran, komplexe kontextuelle Ausnahmen korrekt zu erfassen oder widersprüchliche Präzedenzfälle richtig zu priorisieren. Rein neuronale Ansätze haben Schwierigkeiten mit der logischen Konsistenz, der regelbasierten Validierung und der Rückverfolgbarkeit, die für hochsensible juristische Entscheidungsfindungen erforderlich sind.

Methodik: Das TRISM-Framework und RASOR
Um diese Einschränkungen zu adressieren, schlagen die Autoren TRISM (Trustworthy, Reliable, Interpretable, Safe Models) vor, ein Framework, das Prinzipien der neurosymbolischen KI mit LLMs integriert. Dieser Ansatz kombiniert die Mustererkennungsfähigkeiten neuronaler Netze mit der logischen Inferenz des symbolischen Schließens über strukturiertes juristisches Wissen.

Die im Paper vorgestellte Kerninstanziierung von TRISM ist RASOR (RAtionalize, Select, and Refine), eine neurosymbolische RAG-Pipeline, die für die Generierung juristischer Texte konzipiert wurde. Die RASOR-Architektur arbeitet durch einen fünfstufigen Prozess:

Rationale Generation: Ein fein abgestimmtes Modell (SaulLM) generiert explizite, interpretierbare Rationales (Begründungen) aus juristischen Datensätzen, die Expertenanfragen und Dokumente enthalten.
Chunk Selection: Ein Neural Rationale-based Chunk Selector (NRCS) gleicht diese generierten Rationales mit relevanten Dokumenten-Chunks mittels eines Dense Passage Retriever (DPR) ab, wodurch die Notwendigkeit komplexer Hyperparameter-Optimierung entfällt.
Refinement: Ein Refiner-Modul nutzt Direct Preference Optimization (DPO), um die Rationales zu optimieren, indem es jene auswählt, die am besten mit den relevanten Dokumenten-Chunks übereinstimmen, basierend auf gepaarten Beispielen aus dem Contract Understanding Atticus Dataset (CUAD). Dies vermeidet den Rechenaufwand von Reinforcement Learning from Human Feedback (RLHF).
Verification: Ein unüberwachtes Verifier-Modul filtert irrelevante oder widersprüchliche Chunks heraus, um das Risiko von Halluzinationen zu minimieren.
Inference: Das System generiert den endgültigen Output unter Verwendung verifizierter Rationales und stellt so die Übereinstimmung mit dem Fachwissen sicher.

Das Paper beschreibt zudem eine formale Methodik zur Konstruktion von Legal Knowledge Graphs (KGs), die als symbolisches Rückgrat dienen sollen. Dies umfasst:

Ontologie-Integration: Definition von Konzepten (z. B. „Statute“, „Court Decision“), Relationen (z. B. „cites“, „interprets“) und Hierarchien.
Entitäts- und Relations-Extraktion: Verwendung von Named Entity Recognition (NER) und semantischer Rollenmarkierung, um Tripel $(s, p, o)$ aus juristischen Texten zu extrahieren.
Dynamische Aktualisierung: Ein automatisierter 10-Schritte-Prozess, der LLMs nutzt, um „Wissenslücken“ im KG-Embedding-Raum zu detektieren. Dies beinhaltet das Generieren von Hypothesen mittels Rollenspiel-Strategien (Agieren als Verteidiger und Staatsanwalt), das Identifizieren neuer Kandidaten-Tripel und die Verfeinerung des KG, um sicherzustellen, dass es mit neuen Statuten und Präzedenzfällen aktuell bleibt.

Wesentliche Beiträge
Das Paper skizziert vier primäre Beiträge:

Analyse von Limitationen: Eine kritische Untersuchung aktueller KI-gestützter Methoden im Recht, die Defizite in kausaler Argumentation, analogischer Argumentation und im Umgang mit jurisdiktionellen Nuancen hervorhebt.
RASOR und empirische Validierung: Die Einführung von RASOR, welches zeigt, dass transparente, strukturierte Argumentation die Leistung verbessert. Die Autoren behaupten, dass dieser Ansatz die Halluzinationsrate von etwa 75 % (im Baseline-Modell SaulLM-52B) auf unter 40 % senkt.
Formalisierte KG-Methodik: Ein strukturierter Ansatz zur Erstellung symbolischer juristischer Wissensbasen, die sowohl interpretierbare Argumentation als auch Output-Verifizierung unterstützen.
Das TRISM-Framework: Ein umfassendes Framework zur Integration von symbolischem juristischem Wissen mit LLMs, um regulatorische Kriterien (Genauigkeit, Erklärbarkeit, Fairness, Sicherheit) zu erfüllen.

Ergebnisse
Die Autoren evaluierten RASOR auf dem CUAD-Datensatz, der über 13.000 Expertenannotationen über 510 Verträge enthält.

Retrieval-Leistung: RASOR erreichte einen robusten Recall von etwa 93 % sowohl bei 128-Token- als auch bei 512-Token-Chunk-Größen und übertraf damit Baseline-Re-Ranker.
Generierungsgenauigkeit: Unter Verwendung von LLAMA3-8B für die Generierung übertraf RASOR den State-of-the-Art Re-Ranker Contriever um bis zu 17 % in der Genauigkeit (gemessen an der exakten String-Übereinstimmung). Speziell bei 128-Token-Chunks erreichte RASOR eine Genauigkeit von 52 % gegenüber 38 % bei Contriever; bei 512-Token-Chunks erreichte es 64 % gegenüber 47 %.
Reduktion von Halluzinationen: RASOR senkte die Halluzinationsrate auf unter 40 %, was eine signifikante Verbesserung gegenüber Contriever (58–65 %) und SaulLM-52B (75 %) darstellt.
Dynamische Anpassung: Das System demonstrierte die Fähigkeit, die Anzahl der abgerufenen Chunks ( $K$ -Wert) basierend auf der Komplexität der Anfrage dynamisch anzupassen, wodurch der Abruf optimiert und Rauschen minimiert wird.

Bedeutung und Ansprüche
Das Paper positioniert RASOR als einen „entscheidenden ersten Schritt“ hin zu einer vollwertigen neurosymbolischen Rechts-KI. Die Autoren behaupten, dass der Übergang von rein neuronalen Ansätzen zu neurosymbolischen Systemen die Rechts-KI von „weitgehend unzuverlässig“ zu „lebensfähig für echte juristische Arbeit“ bewegt. Die Bedeutung liegt in der Fähigkeit des Systems:

Vertrauen zu operationalisieren: Durch die Durchsetzung expliziter Quellenattribuierung und strukturierter Rationales erfüllt das System die Säulen „Vertrauenswürdigkeit“ und „Interpretierbarkeit“ von TRISM.
Die Lücke zu schließen: Die modulare Architektur dient als konzeptionelle Brücke, die es ermöglicht, aktuelle neuronale Komponenten systematisch durch symbolische Gegenstücke zu ersetzen oder zu erweitern (z. B. den neuronalen Chunk-Selektionsprozess durch Knowledge-Graph-basiertes Retrieval zu ersetzen).
Die Akzeptanz zu ermöglichen: Die Autoren stellen fest, dass Juristen diese transparenten Systeme begrüßten, sobald sie verbesserte Ergebnisse beobachteten, was darauf hindeutet, dass Erklärbarkeit eine zentrale Barriere für die Adoption ist, die dieser Ansatz überwindet.

Das Paper schließt mit der Feststellung, dass die aktuelle Implementierung von RASOR primär einem neuronalen Pfad folgt, sein Design jedoch eine progressive Evolution hin zu vollständigen neurosymbolischen Argumentationssystemen ermöglicht, in denen logische Verifizierung und die Anwendung symbolischer Regeln neuronale Annäherungen ersetzen, um die Einhaltung juristischer Hierarchien und prozeduraler Zwänge zu gewährleisten.

Die zwei Arbeiter: Der Künstler und der Buchhalter

Die Lösung: Die „RASOR“-Pipeline

Die Ergebnisse: Von „Vielleicht“ zu „Bewiesen“

Das große Ganze: Eine lebendige Bibliothek

Zusammenfassung

Mehr davon