JUDICATA: An Agentic Neuro-Symbolic Architecture for Legal Reasoning with Adversarial Defense and Procedurally Contestable Argumentation

Stellen Sie sich eine Welt vor, in der Computer lesen und schreiben können wie Menschen, aber eine sehr tückische Angewohnheit haben: Sie erfinden manchmal Dinge mit vollkommener Zuversicht. Dies ist die Welt der Large Language Models (LLMs), der superintelligenten KI-Gehirne hinter vielen der Chatbots, die wir heute nutzen. Während diese Modelle großartig darin sind, Geschichten zu schreiben oder allgemeine Fragen zu beantworten, haben sie in Bereichen Schwierigkeiten, in denen Irrtümer gefährlich sind, wie etwa in einem Gerichtssaal. Im Recht kann man nicht einfach raten; man muss spezifische Fakten mit spezifischen Regeln verknüpfen, um zu einem Schluss zu gelangen. Wenn eine KI ein falsches Gesetz oder einen falschen Gerichtsfall erfindet, könnte sie das Leben eines Menschen ruinieren. Diese Arbeit befasst sich genau mit diesem Problem: Wie bauen wir einen KI-Anwalt, der nicht nur „halluziniert“ (Dinge erfindet), sondern tatsächlich den strengen, logischen Regeln des Rechts folgt und gleichzeitig robust genug ist, um Hacker daran zu hindern, ihn auszutricksen?

Die Forscher hinter dieser Studie namens JUDICATA beschlossen, nicht mehr zu versuchen, die KI allein intelligenter zu machen, sondern bauten stattdessen ein „Sicherheitsnetz“ um sie herum auf. Stellen Sie sich eine Standard-KI wie einen talentierten, aber impulsiven Studenten vor, der gerne rät. JUDICATA ist wie das Setzen dieses Studenten in einen strengen Gerichtssaal mit einem Team von Wächtern. Erstens gibt es ein Retrieval-Team, das wie ein superschneller Bibliothekar agiert und die exakten Gesetze und vergangenen Fälle ausgräbt, die für die Antwort benötigt werden, anstatt die KI aus dem Gedächtnis raten zu lassen. Zweitens gibt es ein Security-Team, das wie ein Türsteher in einem Club fungiert und jede Frage überprüft, um sicherzustellen, dass niemand versucht, einen Trick oder eine Lüge einzuschmuggeln. Schließlich gibt es ein Logic-Team, das die KI dazu zwingt, ihre Antwort in einem spezifischen Format zu schreiben, wie etwa einem juristischen Argument mit einer klaren Behauptung, Beweisen und einer Erwiderung, damit Menschen die Arbeit überprüfen können.

Die Arbeit zeigt, dass die KI, wenn man diese Teams kombiniert, keine gefälschten Gesetze mehr erfindet. In Tests gelang es dem System, etwa 94,4 % der bösartigen Versuche, es zu täuschen, abzuwehren, und es reduzierte die Anzahl der gefälschten Fakten, die die KI als Wahrheit ausgab, signifikant. Die Forscher fanden heraus, dass der wichtigste Teil dieses gesamten Systems das „Logic Team“ war, das eine Methode namens Toulmin-Modell verwendet. Als sie diesen Teil entfernten, brach die Leistung des Systems ein und die KI fing wieder an, Fakten zu erfinden. Dies beweist, dass das Geheimnis nicht nur darin besteht, ein größeres, klügeres Gehirn zu haben, sondern in einem strengen, schrittweisen Prozess, der die KI ehrlich hält.

Die Geschichte von JUDICATA: Ein KI-Anwalt mit einem Sicherheitsnetz

Stellen Sie sich vor, Sie sind ein Anwalt, der sich auf einen großen Prozess vorbereitet. Sie müssen das perfekte Gesetz finden, um Ihren Fall zu stützen, aber Sie können es sich nicht leisten, einen Fehler zu machen. Wenn Sie ein Gesetz zitieren, das nicht existiert, verlieren Sie den Fall. Stellen Sie sich nun vor, Sie hätten einen Roboter-Assistenten, der Ihnen hilft. Das Problem ist, dass dieser Roboter ein wenig ein Tagträumer ist. Er ist so gut darin, selbstbewusst zu klingen, dass er oft falsche Gesetze und falsche Gerichtsfälle erfindet, nur um die Lücken zu füllen. Das nennt man „Halluzination“, und in der juristischen Welt ist das eine Katastrophe.

Die Autoren dieser Arbeit, JUDICATA, stellten eine einfache Frage: Wie stoppen wir den Roboter beim Tagträumen und bringen ihn dazu, den Regeln zu folgen? Sie haben nicht versucht, das Gehirn des Roboters neu zu trainieren, um es perfekt zu machen. Stattdessen bauten sie eine neuro-symbolische Architektur. Das ist eine schicke Art zu sagen, dass sie die „Intuition“ (neuronal) des Roboters mit einem strengen „Regelwerk“ (symbolisch) kombiniert haben. Sie bauten ein System, das wie eine dreischichtige Festung funktioniert, die darauf ausgelegt ist, Fehler abzufangen, bevor sie jemals den Richter erreichen.

Die drei Wächter des Systems

Das JUDICATA-System ist in drei Hauptteile gegliedert, die wie ein gut geöltes Getriebe zusammenarbeiten.

1. Der Super-Bibliothekar (HyPA-RAG)
Zuerst muss das System die richtigen Informationen finden. Standard-KI-Systeme suchen oft nur nach Wörtern, die ähnlich aussehen, was zu Fehlern führen kann. JUDICATA nutzt eine „Tri-Modale“ Suche, was bedeutet, dass es Antworten auf drei verschiedene Arten gleichzeitig sucht:

• Der Wort-Abgleich: Es sucht nach exakten juristischen Begriffen (wie „Habeas Corpus“), um sicherzustellen, dass es die richtige Terminologie verwendet.
• Der Bedeutungs-Abgleich: Es versteht die Idee hinter der Frage, selbst wenn die Wörter unterschiedlich sind.
• Der Struktur-Abgleich: Es betrachtet, wie Gesetze in einer Hierarchie miteinander verbunden sind (wie zum Beispiel, wie ein spezifischer Artikel in einen Absatz passt).

Das System mischt diese drei Suchergebnisse zusammen. Wenn die Frage einfach ist, vertraut es dem Wort-Abgleich mehr. Wenn die Frage komplex ist, stützt es sich auf die Struktur und die Bedeutung. Dies stellt sicher, dass die KI immer ein echtes Gesetz in der Hand hält und nicht ein gefälschtes, das sie sich selbst ausgedacht hat.

2. Der Türsteher (Adversarial Defense)
Bevor die KI überhaupt die Gesetze lesen darf, muss sie eine Sicherheitsprüfung bestehen. Hacker und Trickser versuchen oft, KIs durch „Jailbreaking“ zu manipulieren, indem sie seltsame Fragen stellen oder schlechte Anweisungen in juristisch klingenden Text verstecken. JUDICATA besitzt ein Dual-Pass-Defense-System, das wie ein strenger Türsteher fungiert.

• Pass 1 (Der Syntax-Check): Es scannt die Frage nach verdächtigen Mustern, wie etwa Code-Injektionen oder bekannten Trick-Phrasen.
• Pass 2 (Der Bedeutungs-Check): Es nutzt ein intelligentes Gehirn, um zu prüfen, ob sich die Frage nach einem Trick anfühlt, selbst wenn die Wörter normal aussehen.

In ihren Tests stoppte dieses System 94,4 % der Angriffe (755 von 800), ohne legitime Fragen zu blockieren. Es ist wie ein Türsteher, der genau weiß, wen er reinlässt und wen er abweist, selbst wenn die Bösewichte eine Verkleidung tragen.

3. Der Gerichtsschreiber (LSIM und Toulmin)
Sob sobald die KI die richtigen Gesetze hat und die Sicherheitsprüfung bestanden hat, muss sie die Antwort schreiben. Hier geschieht die Magie. Anstatt die KI einen freien Essay schreiben zu lassen, zwingt JUDICA sie dazu, eine spezifische Struktur namens Toulmin-Modell zu verwenden. Dieses Modell unterteilt ein Argument in sechs Teile:

• Behauptung (Claim): Was Sie sagen.
• Daten (Data): Welche Fakten Sie haben.
• Schlussfolgerung/Gewährleistung (Warrant): Warum die Fakten die Behauptung stützen.
• Stützung (Backing): Zusätzliche Unterstützung für die Gewährleistung.
• Einwand (Rebuttal): Was schiefgehen könnte oder was die Gegenseite sagen könnte.
• Qualifizierer (Qualifier): Wie sicher Sie sich sind (z. B. „wahrscheinlich“ oder „definitiv“).

Indem das System die KI zwingt, diese Felder auszufüllen, verhindert es, dass sie Dinge erfindet. Wenn die KI versucht, einen Fakt zu erfinden, wird er nicht in das Feld „Daten“ passen, und das System erkennt es. Dies macht die Argumentation der KI prozedural anfechtbar, was bedeutet, dass ein menschlicher Anwalt die Antwort prüfen und sagen kann: „Okay, hier ist deine Behauptung, hier ist dein Beweis und hier ist dein Einwand. Ich kann das überprüfen.“

Was die Experimente zeigten

Die Forscher testeten dieses System mit drei verschiedenen KI-Gehirnen: einem kleinen, das auf einem lokalen Computer läuft (Mistral 7B), einem riesigen in der Cloud (Kimi K2) und einem kommerziellen (Gemini 2.5 Flash). Sie wollten sehen, ob das System unabhängig davon funktioniert, welches Gehirn sie verwenden.

Die Ergebnisse waren eindeutig: Die Struktur ist wichtiger als die Größe des Gehirns.

• Reduzierung gefälschter Fakten: Ohne das JUDICATA-System war die KI anfällig dafür, Fakten zu erfinden. Mit dem System sank das Risiko von Halluzinationen signifikant. Für das lokale Mistral-Modell sank das Risiko der Halluzination auf 0,898 (auf einer Skala, bei der 0 perfekt und 1 totales Chaos ist), und für das Cloud-Modell Kimi sank es auf 0,467.
• Die „Sicherheitssteuer“ (Safety Tax): Das System machte die KI etwas vorsichtiger. In einigen Tests zitierte die KI weniger Gesetze, weil sie sich weigerte, solche zu zitieren, bei denen sie sich nicht zu 100 % sicher war. Die Autoren nennen dies eine „Sicherheitssteuer“ – es ist besser, weniger Gesetze korrekt zu zitieren als viele Gesetze inkorrekt zu zitieren.
• Die entscheidende Komponente: Die wichtigste Erkenntnis kam aus einer „Ablationsstudie“, bei der sie die Teile des Systems nacheinander abschalteten. Als sie das Toulmin-Modell (das strukturierte Argument) ausschalteten, brach die Leistung des Systems ein. Der „Composite Score“ (ein Maß dafür, wie gut die Antwort war) sank um etwa 27 %, und das Risiko der Halluzination schoss auf über 0,94 hoch. Dies bewies, dass die strikte Argumentationsstruktur der wichtigste Teil ist, um die KI ehrlich zu halten.

Warum das wichtig ist

Das Paper argumentiert, dass wir nicht darauf warten müssen, bis die KI von selbst perfekt wird. Stattdessen können wir Systeme bauen, die die KI dazu zwingen, ehrlich zu sein. Durch die Kombination eines intelligenten Suchmaschinensystems, eines harten Sicherheitswächters und eines strengen Argumentationsformats schafft JUDICATA eine KI, der man in einem Gerichtssaal vertrauen kann.

Das System achtet auch auf Privatsphäre. Da es vollständig auf einem lokalen Computer laufen kann (ohne Daten in die Cloud zu senden), hält es strikte Datenschutzgesetze wie das brasilianische LGPD und den EU AI Act ein. Das bedeutet, dass ein Anwalt die KI zur Unterstützung eines sensiblen Falls nutzen kann, ohne sich Sorgen machen zu müssen, dass die Geheimnisse seines Mandanten an ein großes Technologieunternehmen gesendet werden.

Am Ende zeigt JUDICATA, dass die Zukunft der Rechts-KI nicht darin besteht, einen größeren, klügeren Roboter zu haben. Es geht darum, ein besseres Team um den Roboter herum aufzubauen, das sicherstellt, dass er seine Arbeit überprüft, den Regeln folgt und niemals, wirklich niemals, Dinge erfindet. Wie die Autoren nahelegen, verwandelt dieser Ansatz eine chaotische, tagträumende KI in einen zuverlässigen, anfechtbaren und sicheren juristischen Assistenten.