Provably Auditable and Safe LLM Agents from Human-Authored Ontologies
Dieses Paper führt Agentic Redux ein, eine nachweislich korrekte und auditierbare LLM-Agenten-Architektur, die auf typisiertem Lambda-Kalkül und von Menschen verfassten Ontologien basiert, und demonstriert deren Anwendung in der Compliance der Abrechnung im Gesundheitswesen sowie bei der Offenlegung von Sicherheitsanfälligkeiten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie leiten eine sehr wichtige, hochriskante Operation, wie etwa eine Abrechnungsabteilung in einem Krankenhaus oder ein Sicherheitsteam, das nach Softwarefehlern sucht. Sie stellen ein Team aus superintelligenten KI-Assistenten (LLMs) ein, um Ihnen zu helfen. Aber es gibt ein Problem: Diese KIs sind brillant, aber unberechenbar. Manchmal „halluzinieren“ sie (erfinden Dinge), sie sind sich nicht immer einig, und wenn man sie sich selbst überlassen ließe, könnten sie versehentlich die Regeln des Universums brechen, in dem Sie sie erschaffen haben.
Dieses Paper stellt eine neue Art der Organisation dieser KI-Assistenten vor, die Agentic Redux genannt wird. Betrachten Sie dies nicht als eine neue KI, sondern als eine neue Managementstruktur, die Sicherheit garantiert und ein perfektes, unveränderliches Protokoll jeder getroffenen Entscheidung erstellt.
So funktioniert es, unterteilt in einfache Konzepte:
1. Das Problem: Die „Write Skew“-Katastrophe
Stellen Sie sich vor, zwei Mitarbeiter, Alice und Bob, verwalten ein gemeinsames Budget von 100.000 $.
- Alice sieht, dass noch 45.000 $ übrig sind, und beschließt, dieses Geld auszugeben.
- Bob sieht, dass noch 60.000 $ übrig sind, und beschließt, dieses Geld auszugeben.
- Beide handeln gleichzeitig, ohne zu wissen, was der andere tut.
- Ergebnis: Das System gibt 105.000 $ aus. Das Budget ist gesprengt.
In der Informatik nennt man das einen „Write Skew“. In der realen Welt passiert dies, wenn KI-Agenten unabhängig voneinander handeln, ohne das Gesamtbild zu sehen. Aktuelle Lösungen fragen oft einfach eine KI: „Ist das okay?“, und hoffen, dass sie mit Ja antwortet. Wenn die KI einen schlechten Tag hat, sagt sie vielleicht Ja, obwohl sie Nein sagen müsste, und der Schaden ist angerichtet.
2. Die Lösung: Der „Smart Container“ (Agentic Redux)
Der Autor schlägt eine Struktur vor, die von einem populären Software-Design namens Redux inspiriert ist. Stellen Sie sich ein Unternehmen vor, in dem:
- Die Arbeiter (Sub-Agenten): Dies sind die KI-Assistenten. Sie sehen nur einen winzigen Ausschnitt der Welt (ihren „lokalen Zustand“). Sie können denken, kalkulieren und Aktionen vorschlagen, aber sie können die Welt nicht direkt verändern. Sie sind wie „dumme Komponenten“.
- Der Manager (Meta-Agent): Dies ist ein zentraler Entscheidungsträger, der den gesamten globalen Zustand sieht (das gesamte Budget, alle Regeln, die gesamte Historie).
- Der Prozess:
- Ein Arbeiter schlägt eine Aktion vor (z. B. „Gib 45.000 $ aus“).
- Der Vorschlag geht an den Manager.
- Der Manager prüft den Vorschlag gegen eine Liste von Invarianten (unveränderlichen Regeln, wie z. B. „Gesamtausgaben dürfen 100.000 $ nicht überschreiten“).
- Wenn die Regel erfüllt ist, genehmigt der Manager die Änderung. Wenn nicht, lehnt der Manager sie ab.
- Der Manager aktualisiert die Welt und teilt den Arbeitern die neue Realität mit.
Die Magie: Das Paper beweist mathematisch (unter Verwendung eines Zweigs der Logik, des „typisierten Lambda-Kalküls“), dass es unmöglich ist, dass das System die Regeln bricht, solange der Manager den Regeln folgt – völlig ungeachtet dessen, wie verrückt oder halluziniert die Vorschläge der Arbeiter auch sein mögen. Die Architektur selbst fungiert als Sicherheitsnetz.
3. Das „Black Box“-Logbuch (Lineare Auditierbarkeit)
Jedes Mal, wenn der Manager eine Entscheidung trifft, schreibt er sie in ein spezielles Notizbuch.
- Wenn er „Ja“ sagt: Er schreibt den neuen Zustand auf und fügt einen Beweis hinzu, dass die Regeln eingehalten wurden.
- Wenn er „Nein“ sagt: Er schreibt den Vorschlag, den Grund für die Ablehnung und die Regel auf, die verletzt worden wäre.
- Die Regel: Dieses Notizbuch ist append-only (nur ergänzbar). Man kann neue Seiten hinzufügen, aber man kann niemals alte Seiten herausreißen oder löschen.
Dies erzeugt einen „linearen Audit-Pfad“. Wenn später ein Auditor kommt, kann er in das Notizbuch schauen und in perfekter chronologischer Reihenfolge genau nachvollziehen, warum jede Entscheidung getroffen wurde. Er kann verifizieren, dass das System niemals gegen die Regeln verstoßen hat.
4. Wie man diese Systeme baut: „Ontology-First Design“
Man kann diese Architektur nicht einfach auf jedes Problem anwenden. Man muss das Problem zuerst tiefgreifend verstehen. Der Autor schlägt eine Methode vor, die Ontology-First Agent Design genannt wird:
- Das Territorium kartieren: Ein menschlicher Experte nutzt ein Standard-Werkzeug zur Kartenerstellung (genannt „Basic Formal Ontology“), um eine präzise Karte der Problemwelt zu zeichnen (z. B. „Was ist ein Patient? Was ist ein Drogentest? Was sind die Regeln?“).
- Rollen zuweisen: Eine KI wird gebeten, diese Karte zu betrachten und vorzuschlagen, welche „Rollen“ (Jobs) erledigt werden müssen.
- Das Team aufbauen: Die KI wandelt diese Rollen in Code für die Arbeiter (Sub-Agenten) und den Manager (Meta-Agent) um.
Das Paper hat dies an zwei realen Problemen getestet:
- Gesundheitswesen-Abrechnung: Sicherstellung, dass Versicherungsansprüche komplexen staatlichen Regeln über Drogentests entsprechen.
- Sicherheitslücken: Verwaltung des Prozesses zur Entdeckung und Offenlegung von Softwarefehlern, ohne Panik zu verbreiten oder Gesetze zu brechen.
In beiden Fällen verhinderte das System erfolgreich die „Write Skew“-Fehler, die auftreten würden, wenn die Agenten allein agieren würden.
5. Das menschliche Sicherheitsventil (Die Counselor Queue)
Was ist, wenn die Regeln zu komplex für den Manager sind, um sie zu entscheiden, oder wenn eine Situation menschliches Urteilsvermögen erfordert?
Das System verfügt über eine Counselor Queue (Berater-Warteschlange). Wenn der Manager stecken bleibt oder auf eine Situation stößt, in der die Regeln besagen: „Fragen Sie einen Menschen“, wird der Vorschlag pausiert und in eine Warteschlange für menschliche Experten gestellt.
- Der Mensch prüft die Situation und trifft eine Entscheidung.
- Entscheidend ist, dass auch der Mensch seine Entscheidung in dasselbe unveränderliche Notizbuch schreiben muss und dabei seine Wahl erklärt.
- Das Paper beweist, dass das System selbst dann mit Menschen im Prozess (Human-in-the-loop) auditierbar und sicher bleibt, sofern die Menschen dem Format folgen.
Zusammenfassung
Dieses Paper behauptet nicht, die KI intelligenter zu machen. Stattdessen behauptet es, die KI sicherer und vertrauenswürdiger zu machen, indem es sie in einen Käfig mit einem sehr strengen Manager setzt.
- Die KI übernimmt das Denken und Vorschlagen.
- Die Architektur (der Manager) übernimmt das Prüfen und Durchsetzen.
- Das Logbuch zeichnet alles für immer auf.
Das Ergebnis ist ein System, bei dem man mathematisch beweisen kann, dass „schlechte Dinge“ (wie das Überschreiten eines Budgets oder der Verstoß gegen Vorschriften) nicht versehentlich passieren können, und falls ein Mensch eingreifen muss, wird dessen Entscheidung mit totaler Transparenz dokumentiert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.