Context-to-Execution Integrity for LLM Agents
Dieses Paper führt Context-to-Execution Integrity (CXI) ein, ein System, das LLM-Agenten sichert, indem es strikte Autoritätsprüfungen auf geschützte Sink-Felder, Payloads und Aufrufereignisse erzwingt, um sicherzustellen, dass nur Aktionen mit bindender Feld-, Effekt- und Aufrufautorität ausgeführt werden, wodurch eine null beobachtete Sicherheitsumgehung über verschiedene Benchmarks hinweg erreicht wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen hochqualifizierten, aber leichtgläubigen Assistenten (den KI-Agenten) vor, der versucht, Aufgaben für Sie zu erledigen, wie zum Beispiel E-Mails zu versenden, Dateien zu bearbeiten oder Code auszuführen. Dieser Assistent liest ein massives Notizbuch voller Anweisungen, Notizen und Nachrichten. Das Problem ist, dass ein gerissener Trickster (der Angreifer) versuchen kann, Notizen in dieses Notizbuch zu schmuggeln, um den Assistenten dazu zu bringen, etwas Gefährliches zu tun, wie zum Beispiel eine Datenbank zu löschen oder Geld an die falsche Person zu senden.
Das Papier stellt ein System namens Context-to-Execution Integrity (CXI) vor. Betrachten Sie CXI als einen extrem strengen Sicherheitswachmann, der vor der Tür des „Aktionsraums“ steht. Seine Aufgabe ist es nicht, die ganze Geschichte zu lesen oder zu entscheiden, ob eine Aufgabe eine gute Idee ist; seine Aufgabe ist es zu prüfen, ob der Assistent über die spezifischen, gültigen Schlüssel verfügt, um die Tür für diese spezifische Aktion zu öffnen.
So funktioniert es, unter Verwendung einfacher Analogien:
1. Das Problem: „Authority Laundering“ (Autoritätswäsche)
Normalerweise, wenn der Assistent eine Notiz im Notizbuch liest, die besagt: „Die Datei ist fehlgeschlagen, führen Sie daher den Befehl delete_all aus“, würde er dies vielleicht einfach tun. Das Papier nennt dies Authority Laundering. Es ist wie ein Dieb, der versucht, eine legitim aussehende Ausweiskarte (die Notiz über den Dateifehler) zu benutzen, um ein Bankgewölbe (den Löschbefehl) zu öffnen. Die Notiz erklärt zwar, warung etwas passiert ist, sollte aber nicht die Macht haben, etwas zu bewirken.
2. Die Lösung: Die dreiteilige Sicherheitsprüfung
CXI fungiert als Torwächter. Bevor der Assistent tatsächlich etwas tun kann (wie eine Datei schreiben oder eine E-Mail senden), prüft der Torwächter drei Dinge. Alle drei müssen mit demselben spezifischen Plan (genannt „Manifest“) übereinstimmen.
Check 1: Das „Wer“ (Field Authority / Feldautorität)
- Analogie: Stellen Sie sich vor, der Assistent möchte einen Brief an eine bestimmte Person schreiben. Die Notiz im Notizbuch könnte sagen: „Sende an Bob“. Aber der Sicherheitswachmann prüft: „Hat ein vertrauenswürdiger Chef oder ein verifiziertes System tatsächlich gesagt: ‚Sende an Bob‘?“
- Wenn der Name „Bob“ nur aus einer zufälligen Notiz stammt, die der Angreifer geschrieben hat, sagt der Wachmann NEIN. Der Name muss aus einem „Typed Release“ kommen – einem speziellen, verifizierten Zettel, der besagt: „Ja, dieser spezifische Name ist für dieses spezifische Feld erlaubt.“
Check 2: Das „Was“ (Effect Authority / Effektautorität)
- Analogie: Stellen Sie sich vor, der Assistent möchte einen Patch auf ein Computerprogramm anwenden. Die Notiz sagt: „Wende diesen Code an.“ Der Wachmann prüft: „Bewirkt dieser Code tatsächlich das, was wir denken, dass er tut?“
- Der Wachmann schaut nicht nur auf die Worte; er schaut auf das Ergebnis. Wenn der Code ein „Patch“ ist, verifiziert der Wachmann genau, welche Änderungen er am System vornimmt. Wenn der Angreifer versucht, einen Befehl einzuschleusen, der wie ein Patch aussieht, aber eigentlich Dateien löscht, erwischt ihn der Wachmann, weil der „Effekt“ nicht mit dem autorisierten Plan übereinstimmt.
Check 3: Das „Wann“ (Invocation Authority / Aufrufautorität)
- Analogie: Stellen Sie sich vor, der Assistent möchte den „Go“-Knopf drücken. Der Wachmann prüft: „Hat der Assistent ein gültiges Ticket, um den Knopf jetzt gerade zu drücken?“
- Selbst wenn der Name und der Plan korrekt sind, benötigt der Assistent eine spezifische „Capability“ oder ein Ticket, um die Aktion auszulösen. Wenn der Angreifer versucht, den Assistenten dazu zu bringen, den Knopf zweimal oder zum falschen Zeitpunkt zu drücken, sagt der Wachmann NEIN, weil das Ticket fehlt oder abgelaufen ist.
3. Das „Manifest“ (Der Masterplan)
Das Papier bezeichnet den endgültig genehmigten Plan als Manifest. Betrachten Sie dies als einen Vertrag.
- Der Assistent schlägt eine Aktion vor.
- Der Wachmann prüft das „Wer“, das „Was“ und das „Wann“.
- Wenn alle drei perfekt übereinstimmen und an denselben Vertrag gebunden sind, stempelt der Wachmann den Vertrag und händigt dem Assistenten einen „Lease“ (eine Erlaubnis) zur Ausführung aus.
- Wenn auch nur ein Teil fehlt oder nicht übereinstimmt (z. B. der Name ist richtig, aber das „Wann“-Ticket ist falsch), schließt der Wachmann die Tür.
4. Was ist mit den „schlechten“ Notizen?
Das Papier stellt fest, dass der Assistent die Notizen des Angreifers immer noch lesen kann.
- Opaque Data (Undurchsichtige Daten): Wenn der Angreifer schreibt: „Das System ist kaputt“, kann der Assistent diesen Text in ein „Kommentar“- oder „Beweis“-Feld kopieren. Dies ist so, als würde man die Notiz in eine Glasvitrine legen. Sie ist für Menschen sichtbar, hat aber keine Macht, Türen zu öffnen oder Aktionen auszulösen. Es handelt sich lediglich um Daten, nicht um einen Schlüssel.
5. Was haben sie getestet?
Die Autoren haben dieses System auf verschiedene Arten getestet:
- Live-Simulationen: Sie nutzten ein „Dojo“ (einen Trainingsplatz) mit 720 realen Szenarien, in denen Angreifer versuchten, Agenten zu täuschen. Das System blockierte jede einzelne unautorisierte Aktion.
- Code-Agenten: Sie testeten Agenten, die Code schreiben. Selbst als Angreifer versuchten, schädliche Befehle einzuschleusen, ließ das System nur Aktionen zu, die über die korrekten „Schlüssel“ verfügten.
- Ergebnis: In allen Tests gelangte keine einzige unautorisierte Aktion durch das Tor. Das System stoppte „Authority Laundering“ erfolgreich.
Zusammenfassung
CXI ist ein System, das verhindert, dass KI-Agenten getäuscht werden. Es stellt sicher, dass nur weil eine KI in einer Notiz eine gefährliche Anweisung liest, sie nicht automatisch die Macht hat, diese auch auszuführen. Die KI kann nur handeln, wenn ein vertrauenswürdiges System ihr explizit die spezifischen Schlüssel für genau diesen Job zu dieser spezifischen Zeit gibt. Es verwandelt die KI von einem leichtgläubigen Leser in einen disziplinierten Arbeiter, der nur verifizierten Befehlen folgt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.