🤖 AI

Efficient and Sound Probabilistic Verification for AI Agents

Dieses Paper stellt ein fundiertes und effizientes Framework vor, das auf distributionsrobuster Optimierung basiert und die probabilistische Verifizierung von KI-Agenten ermöglicht, indem es rigorose obere Schranken für die Wahrscheinlichkeiten von Richtlinienverstößen berechnet, ohne sich auf Unabhängigkeitsannahmen zu verlassen, wodurch es vorangegangene Methoden in Bezug auf Sicherheits-Nutzen-Abwägungen übertrifft.

Ursprüngliche Autoren: Alaia Solko-Breslin, Pramod Kaushik Mudrakarta, Mihai Christodorescu, Somesh Jha, Krishnamurthy Dj Dvijotham

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alaia Solko-Breslin, Pramod Kaushik Mudrakarta, Mihai Christodorescu, Somesh Jha, Krishnamurthy Dj Dvijotham

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen hochintelligenten, aber leicht nervösen Roboter-Assistenten ein, der Ihnen helfen soll, Ihr digitales Leben zu verwalten. Dieser Roboter kann Ihre Dateien lesen, E-Mails versenden und mit anderen Computern kommunizieren. Sie möchten, dass er hilfreich ist, aber Sie müssen auch sicherstellen, dass er niemals versehentlich Ihre geheimen Rezepte oder privaten Bankdaten an die falsche Person sendet.

Das Problem ist, dass die Werkzeuge, die der Roboter verwendet, um nach Geheimnissen zu suchen (wie etwa ein „Detektor für sensible Daten“), nicht perfekt sind. Manchmal sagen sie: „Ich bin mir zu 60 % sicher, dass diese Datei privat ist“, und manchmal: „Ich bin mir zu 40 % sicher.“

Der alte Weg: Der „Alles-oder-Nichts“-Türsteher

Früher fungierten Sicherheitssysteme wie ein strenger Türsteher vor einem Club. Wenn der Detektor des Roboters sagte: „Es besteht eine 40-prozentige Chance, dass dies privat ist“, musste der Türsteher eine binäre Entscheidung treffen:

Option A: Die 40 % ignorieren und den Roboter die Datei senden lassen (riskant!).
Option B: Im schlimmsten Fall davon ausgehen und die Datei blockieren, selbst wenn sie wahrscheinlich sicher war (nervig!).

Um diese Entscheidung zu treffen, musste der Türsteher eine willkürliche „Grenze“ festlegen. Wenn das Risiko über 50 % lag, blockierte er; wenn es darunter lag, ließ er es durch. Das ist so, als würde man versuchen, die Temperatur eines Raumes zu messen, indem man nur „Heiß“ oder „Kalt“ sagt. Man verliert dabei die gesamte Nuance. Wenn man zwei Nachrichten hat, bei denen jeweils eine 40-prozentige Chance besteht, dass sie geheim sind, könnte das alte System beide durchlassen, weil keine von beiden die 50-Prozent-Linie überschritten hat. Aber wenn man sie kombiniert, könnte das Gesamtrisiko, ein Geheimnis zu enthüllen, tatsächlich sehr hoch sein. Das alte System hat dies übersehen, weil es jedes einzelne Beweisstück isoliert betrachtet hat.

Der neue Weg: Der „Wettervorhersager“

Dieses Paper stellt ein neues, klügeres Sicherheitssystem vor. Anstatt eines Türstehers stellen Sie sich einen Wettervorhersager vor, der den gesamten Tagesbericht betrachtet, um die Chance auf einen Sturm vorherzusagen.

Der ganzen Geschichte zuhören: Anstatt eine Datei nach der anderen zu prüfen, betrachtet dieses System die gesamte Reise des Roboters (seine „Trajektorie“). Es fragt: „Wenn der Roboter A macht, dann B, dann C, wie hoch ist die Gesamtwahrscheinlichkeit, dass ein Geheimnis durchsickert?“
Mit dem Unbekannten umgehen: Das System weiß, dass die Werkzeuge des Roboters korreliert sein könnten. Zum Beispiel, wenn der „Detektor für sensible Daten“ einmal versagt, könnte er beim nächsten Mal auch versagen, weil die Dateien sich ähnlich sind. Alte Systeme gingen davon aus, dass jeder Fehler ein völlig zufälliger, unabhängiger Münzwurf sei. Dieses neue System sagt: „Wir wissen nicht genau, wie diese Fehler miteinander zusammenhängen, also nehmen wir das Worst-Case-Szenario an, in dem sie alle gemeinsam auftreten.“
Die „Sound“-Garantie: Die Autoren nennen ihre Methode „sound“ (stimmig/belastbar). Betrachten Sie dies als ein Sicherheitsnetz. Das System berechnet das maximale mögliche Risiko. Wenn das System sagt: „Das Risiko beträgt höchstens 30 %“, können Sie zu 100 % sicher sein, dass das reale Risiko 30 % oder niedriger ist. Es könnte niedriger sein (vielleicht 10 %), aber es wird niemals höher sein. Dies verhindert „False Negatives“, bei denen eine gefährliche Aktion durchgeschlüpft ist.

Wie es funktioniert (Die magische Mathematik)

Um dies zu tun, ohne das Gehirn des Roboters einzufrieren, verwenden die Autoren einen cleveren mathematischen Trick namens Semidefinite Programmierung (SDP).

Das Problem: Das exakte Risiko für jede mögliche Kombination von Ereignissen zu berechnen, ist so, als würde man versuchen, jedes einzelne Sandkorn am Strand zu zählen, während die Flut kommt. Das dauert viel zu lange.
Die Lösung: Anstatt jedes Sandkorn zu zählen, betrachtet das System die „Form“ des Sandhaufens. Es verfolgt den Durchschnitt und die Streuung (Varianz) der Risiken. Indem es sich auf diese „Momente zweiter Ordnung“ konzentriert (ein schicker Weg zu sagen: „wie sehr die Risiken herumwackeln“), kann es sehr schnell eine enge, sichere Grenze um die Gefahrenzone ziehen.

Die Ergebnisse: Ein besseres Gleichgewicht

Die Forscher testeten dies in realen Szenarien, in denen Roboter Dateien verwalten und E-Mails versenden mussten. Sie verglichen ihren neuen „Wettervorhersager“ mit:

Dem alten Türsteher (Deterministisch): Blockierte oft sichere Aktionen oder übersah gefährliche.
Dem „Münzwwerfer“ (Monte Carlo): Nahm an, dass alle Fehler zufällig und unabhängig seien. Dies unterschätzte oft die Gefahr und führte zu Sicherheitslücken.
Dem „Supercomputer“ (Exakte Optimierung): Sehr genau, aber zu langsam für den Echtzeitgebrauch.

Der Gewinner: Das neue SDP-System fand die „Goldlöckchen-Zone“. Es war schnell genug, um in Echtzeit zu laufen, sicher genug, um fast alle Lecks zu finden (entsprechend dem „Supercomputer“), und klug genug, um sichere Aktionen durchzulassen (bessere Nützlichkeit).

Der Haken (Einschränkungen)

Das Paper gibt zwei Hauptbeschränkungen zu:

Lange Reisen: Wenn der Roboter eine sehr lange, komplexe Mission mit vielen Schritten unternimmt, kann die „Worst-Case“-Schätzung so konservativ werden, dass sie einfach sagt: „Das Risiko liegt bei 100 %“ und alles blockiert. Das ist wie ein Wettervorhersager, der nach einer Woche bewölkter Tage einfach vorhersagt: „Es wird im nächsten Monat definitiv regnen“, selbst wenn die Sonne scheint.
Werkzeug-Verwirrung: Das System muss genau wissen, was jedes Werkzeug tut (z. B. „Wenn ich eine Datei kopiere, ist die Kopie genauso sensibel wie das Original“). Wenn der Roboter ein seltsames, maßgeschneidertes Skript verwendet, das das Sicherheitssystem nicht versteht, kann das System dies nicht sicher verifizieren.

Zusammenfassung

Kurz gesagt, dieses Paper gibt KI-Agenten eine neue Art von „Sicherheitshelm“. Anstatt starre, binäre Entscheidungen auf Basis unsicherer Daten zu treffen, berechnet dieser Helm eine garantierte Obergrenze dafür, wie wahrscheinlich eine Sicherheitsverletzung ist. Er tut dies, indem er das Gesamtbild betrachtet, berücksichtigt, wie verschiedene Risiken miteinander verknüpft sein könnten, und mathematisch geschickt vorgeht, um sowohl schnell als auch sicher zu bleiben. Dies ermöglicht es KI-Agenten, hilfreich zu sein, ohne rücksichtslos zu agieren.

Technisches Resümee: Effiziente und fundierte probabilistische Verifizierung für KI-Agenten

Problemstellung

Der Einsatz von auf Large Language Models (LLMs) basierenden KI-Agenten in komplexen digitalen Umgebungen führt zu kritischen Sicherheitsrisiken, insbesondere wenn Agenten programmatischen Zugriff auf Systemschnittstellen wie Terminals und Dateisysteme besitzen. Während die Laufzeitüberwachung mittels Referenzmonitoren eine Lösung zur Durchsetzung von Sicherheitsrichtlinien darstellt, sind bestehende Ansätze auf deterministische Richtlinien beschränkt. In praktischen Szenarien verlassen sich Agenten häufig auf Upstream-Komponenten (z. B. PII-Detektoren, Redaktionstools oder Klassifikatoren), die probabilistische Ausgaben mit inhärenten Fehlerraten erzeugen.

Aktuelle deterministische Monitore bewältigen diese Ambiguität, indem sie lokale Schwellenwerte anwenden, um probabilistische Ausgaben in binäre Entscheidungen umzuwandeln. Diese Diskretisierung schafft einen fragilen Kompromiss zwischen Sicherheit und Nutzen:

Hohe Schwellenwerte bergen das Risiko, schädliche Aktionen nicht ausreichend zu blockieren (False Negatives).
Niedrige Schwellenwerte bergen das Risiko, sichere Aktionen übermäßig zu blockieren (False Positives).
Unabhängigkeitsannahmen: Standardmäßige probabilistische Inferenztechniken (z. B. Weighted Model Counting) setzen oft voraus, dass Basisfakten gegenseitig unabhängig sind. In agentischen Settings ist diese Annahme häufig ungültig; beispielsweise kann das Versagen eines Redaktionstools bei einer Datei perfekt mit seinem Versagen bei einer anderen Datei korreliert sein, bedingt durch gemeinsamen Inhalt oder Tool-Verhalten. Das Vertrauen auf Unabhängigkeit kann bei mehrstufigen Tool-Ketten zu einer schweren Unterschätzung des Risikos führen.

Das Paper adressiert die Notwendigkeit eines Verifizierungsframeworks, das den kontinuierlichen probabilistischen Kontext bewahrt, beliebige Korrelationen zwischen Prädikaten ohne die Annahme von Unabhängigkeit handhabt und rigorose, fundierte obere Schranken für Richtlinienverletzungswahrscheinlichkeiten in Echtzeit bereitstellt.

Methodik

Das vorgeschlagene Framework modelliert die Ausführung eines Agenten als ein Problem der distributionsrobusten Optimierung über eine Ausführungstrajektorie. Die Methodik besteht aus vier Hauptphasen:

1. Probabilistische Datalog-Modellierung

Die Ausführungstrajektorie des Agenten wird in ein Datalog-Programm kompiliert, wobei:

Basisfakten ( $F$ ): Initiale Umgebungsobjektivierungen repräsentieren (z. B. „Datei A enthält PII“), parametrisiert durch marginale Wahrscheinlichkeitsschranken $[\ell_f, u_f]$ , die aus empirischen Ausfallraten der Tools abgeleitet wurden.
Regeln ( $R$ ): Zustandsübergangslogik (z. B. Datenpropagation, Zusammenführung, Deklassifizierung) als intensionale Regeln kodieren.
Ableitungsgraph: Die Ausführungstrajektorie wird in einen gerichteten azyklischen Graphen (DAG) übersetzt, in dem Knoten Fakten und Kanten die Anwendung von Regeln repräsentieren. Die Autoren beweisen, dass jede Datalog-Richtlinienausführung so umgeschrieben werden kann, dass jeder abgeleitete Fakt von höchstens zwei Elternfakten abhängt (Arität $\le 2$ ), was es ermöglicht, die Logik über multilineare Polynome auszudrücken.

2. Exakte Optimierungsformulierung (Theoretische Schranke)

Um die Wahrscheinlichkeit der Worst-Case-Richtlinienverletzung zu berechnen, formulieren die Autoren ein exaktes lineares Programm (LP) über den Raum der gemeinsamen Wahrscheinlichkeitsmaße $\mu$ .

Zielsetzung: Maximierung der Wahrscheinlichkeit, einen unsicheren Zustand zu erreichen (z. B. dass sensible Daten einen externen Empfänger erreichen).
Nebenbedingungen:
- Strukturelle Konsistenz: Das Maß $\mu$ muss eine Wahrscheinlichkeit von Null für Zustände zuweisen, die die deterministische Übergangslogik der Datalog-Regeln verletzen.
- Marginale Schranken: Das Maß muss die bekannten unteren und oberen Schranken der initialen Basisfakten respektieren.
- Distributionsrobustheit: Entscheidend ist, dass die Formulierung keine Annahmen über die gemeinsame Verteilung trifft (Unabhängigkeit, positive/negative Korrelation), sofern dies nicht explizit spezifiziert ist. Sie sucht nach der „Worst-Case“-Verteilung, die mit den Marginalen konsistent ist.
Limitierung: Dieses exakte LP ist exponentiell groß ( $2^{|V_F|}$ ) und rechentechnisch für die Echtzeitüberwachung nicht handhabbar.

3. Semidefinite Programming (SDP) Relaxation

Um die Laufzeiteffizienz zu erreichen, führen die Autoren eine polynomisch skalierbare Semidefinite Programming (SDP) Relaxation ein.

Momenten-Tracking: Anstatt über die vollständige gemeinsame Verteilung zu optimieren, verfolgt das SDP nur die ersten und zweiten Momente (Erwartungswerte und paarweise Korrelationen) der Zustandsverteilung.
Linearisierung: Nicht-konvexe quadratische Terme, die aus Kovarianzbeschränkungen resultieren, werden mittels McCormick-Hüllen über die Marginalintervalle linearisiert.
Korrelationsklassen: Das Framework unterstützt explizite Korrelationsbeschränkungen (positiv korreliert, negativ korreliert, unabhängig) zwischen spezifischen Prädikaten, was die Optimierung ermöglicht, die Schranken zu verengen, wenn Domänenwissen verfügbar ist.
Fundiertheit (Soundness): Die Autoren beweisen, dass die SDP-Relaxation eine fundierte obere Schranke ( $R^*_{SDP} \ge R^*$ ) auf das wahre Ausführungsrisiko liefert. Dies stellt sicher, dass der Monitor eine Verletzung niemals unterschätzt, auch wenn er gelegentlich eine Verletzung überbewertet (was den Nutzen reduziert).

4. Laufzeit-Enforcement

Die berechnete obere Schranke wird mit einem globalen Sicherheitsschwellenwert $\tau$ verglichen. Wenn das geschätzte Risiko $\tau$ überschreitet, blockiert der Referenzmonitor den vorgeschlagenen Tool-Aufruf; andernfalls wird die Ausführung zugelassen.

Zentrale Beiträge

Probabilistisches Verifizierungsmodell: Identifizierung von Sicherheitsrisiken in deterministischen Engines für ambivalente Umgebungen und Einführung eines Modells zur probabilistischen Verifizierung, das eine vorzeitige Binarisierung vermeidet.
Exakte Risiko-Formalisierung: Modellierung mehrstufiger Agententrajektorien via Datalog-Ableitungs-Graphen und Formalisierung der Berechnung des Worst-Case-Richtlinienverletzungsrisikos als exaktes Optimierungsproblem über gemeinsame Maße.
Fundierte SDP-Relaxation: Einführung einer polynomisch skalierbaren SDP-Relaxation, die zweite Momente verfolgt, um das Risiko effizient zu approximieren. Das Paper beweist formal, dass diese Relaxation eine strikte obere Schranke des Ausführungsrisikos darstellt, wodurch Fundiertheit ohne Unabhängigkeitsannahmen gewährleistet wird.
Empirische Validierung: Evaluierung über Terminal-Agent-Benchmarks (Intercode-NL2Bash, ATBench) und Side-Channel-Vulnerabilitätsaufgaben (Praline), was einen verbesserten Sicherheits-Nutzen-Kompromplex im Vergleich zum Stand der Technik zeigt.

Ergebnisse

Das Framework wurde gegen drei Baselines evaluiert: Praline (eine hochmoderne Datalog-Inferenz-Engine mit Korrelationsbehandlung), Monte Carlo Sampling (unter Annahme strikter Unabhängigkeit) und eine deterministische Engine mit lokalen Schwellenwerten.

Sicherheits-Nutzen-Kompromiss: Der SDP-Ansatz übertraf die Baselines konsistent hinsichtlich der Area Under the Curve (AUC) für den Sicherheits-Nutzen-Kompromiss.
- vs. Monte Carlo: Monte Carlo erreichte einen hohen Nutzen, versagte jedoch bei der Sicherheit (hohe False Negatives), da Unabhängigkeitsannahmen das Worst-Case-Risiko unterschätzten, insbesondere wenn Eingaben positiv korreliert waren.
- vs. Praline: Während Praline perfekte Sicherheit erreichte, litt es unter Solver-Timeouts und lockeren Schranken bei komplexen Aufgaben, was zu übermäßigen False Positives (niedriger Nutzen) führte. Der SDP-Ansatz behielt perfekte Sicherheit bei und erzielte gleichzeitig einen höheren Nutzen und geringere Latenz bei Terminal-Benchmarks.
- vs. Deterministisch: Deterministische Engines zeigten eine schwache Performance in beiden Metriken, da sie oft entweder unsichere Aktionen nicht blockierten oder sichere Aktionen aufgrund von Informationsverlust durch Thresholding blockierten.
Latenz: Die SDP-Relaxation demonstrierte polynomische Skalierbarkeit. Auf Intercode- und ATBench-Benchmarks war SDP signifikant schneller (z. B. ~221 ms vs. ~1015 ms für Praline auf Intercode). Bei komplexen Side-Channel-Aufgaben mit vielen Korrelationsbeschränkungen stieg die SDP-Latenz an, blieb jedoch vorhersagbar und vermied die exponentiellen Tail-Latenzen und Timeouts, die mit exakter SMT-Argumentation verbunden sind.
Korrelationssensitivität: Experimente zeigten, dass mit zunehmender Korrelation der Eingaben die Unabhängigkeitsannahme (Monte Carlo) zu einem starken Abfall des Nutzens (erhöhte False Positives) führte, da sie das Risiko in korrelierten Settings überschätzte, wo die wahre Worst-Case-Schranke enger war. Das SDP-Framework passte sich an diese Beschränkungen effektiv an.

Bedeutung und Ansprüche

Das Paper beansprucht, einen Paradigmenwechsel von der deterministischen zur probabilistischen Verifizierung für KI-Agenten herbeizuführen. Seine primäre Bedeutung liegt in der Überbrückung der Lücke zwischen Fundiertheit (rigorose Sicherheitsgarantien) und Traktabilität (Echtzeit-Performance) in Anwesenheit von Ambiguität.

Robustheit: Durch die Nutzung von distributionsrobuster Optimierung stellt das Framework sicher, dass Sicherheitsgarantien unabhängig von unbekannten Korrelationen zwischen Prädikaten gelten – eine kritische Anforderung für reale Agenten-Deployments, in denen Tool-Ausfälle gekoppelt sein können.
Praktikabilität: Die SDP-Relaxation ermöglicht die Durchsetzung komplexer, mehrstufiger Sicherheitsrichtlinien mit kontinuierlichen probabilistischen Eingaben, ohne die rechnerische Intraktabilität exakter Inferenz oder die Sicherheitsrisiken von Unabhängigkeitsannahmen.
Fundament: Die Arbeit etabliert eine skalierbare Basis für die Sicherung autonomer Agenten, die in ambivalenten Umgebungen operieren, und bewegt sich damit über heuristische Abwehrmethoden hinaus hin zu formaler, probabilistischer Durchsetzung.

Die Autoren räumen Einschränkungen ein, insbesondere dass die Risikoschranken über sehr lange Ausführungshorizonte mit hohem Grad an Fakt-Zusammenführung degradieren können (gegen 1.0 konvergieren) und dass der Ansatz auf vordefinierten Tool-Semantiken basiert, was für beliebig von Agenten generierte Skripte eine Herausforderung darstellen kann. Dennoch wird das Framework als bedeutender Schritt in Richtung einer rigorosen, skalierbaren Agenten-Sicherheit präsentiert.