The Importance of Out-of-Band Metadata for Safe Autonomous Agents: The Redpanda Agentic Data Plane
Das Papier stellt die Redpanda Agentic Data Plane (ADP) vor, eine Architektur, die sichere autonome Agentenoperationen gewährleistet, indem sie Sicherheitsrichtlinien, Datenabgrenzung und manipulationssichere Prüfpfade durch deterministische Out-of-Band-Metadatenkanäle durchsetzt, die vollständig außerhalb der Lese- und Schreibpfade der Agenten operieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen brillanten, superschnellen digitalen Mitarbeiter ein, um das Geld Ihres Unternehmens zu verwalten. Dieser Mitarbeiter (ein KI-Agent) kann Ihre Bankkonten einsehen, Anlageentscheidungen treffen und Transaktionen sofort ausführen.
Das Problem ist, dass dieser Mitarbeiter etwas unberechenbar ist. Manchmal „halluziniert" er (erfindet Dinge), manchmal wird er durch knifflige Anweisungen verwirrt, und manchmal könnte er von einem Hacker getäuscht werden. Wenn Sie diesem Mitarbeiter sagen: „Schauen Sie nur auf Konto A", und er versehentlich Konto B einsehen, oder wenn ein Hacker ihn dazu bringt, Konto B zu sehen, haben Sie eine massive Sicherheitslücke.
Die Arbeit argumentiert, dass Sie dem Mitarbeiter nicht vertrauen können, die Regeln einzuhalten, wenn die Regeln im selben Notizbuch geschrieben sind, das der Mitarbeiter liest.
Das Kernproblem: „In-Band" vs. „Out-of-Band"
Der alte Weg (In-Band):
Stellen Sie sich vor, Sie geben Ihrem Mitarbeiter eine Liste von Anweisungen, die auf einem Zettel geschrieben steht: „Handeln Sie nur Aktien unter 1.000 US-Dollar."
- Das Risiko: Wenn der Mitarbeiter verwirrt ist, könnte er den Zettel ignorieren. Wenn ein Hacker das Papier gegen ein neues austauscht, das „Handeln Sie alles" lautet, folgt der Mitarbeiter dem neuen Befehl. Die Regeln befinden sich im „Kopf" (oder Prompt) des Mitarbeiters, sodass sie geändert, ignoriert oder missverstanden werden können.
Der neue Weg (Out-of-Band):
Die Autoren schlagen ein System namens Redpanda Agentic Data Plane (ADP) vor. Stellen Sie sich dies als den Bau einer sicheren, automatisierten Fabrik um Ihren Mitarbeiter herum vor.
Anstatt dem Mitarbeiter eine Liste von Regeln zu geben, bauen Sie eine Reihe unsichtbarer, unzerstörbarer Wände und Ampeln, die der Mitarbeiter weder sehen noch berühren kann.
Die drei Superkräfte des „Out-of-Band"-Systems
Die Arbeit beschreibt drei spezifische Wege, wie dieses System die Sicherheit gewährleistet, unter Verwendung einer „Fabrik"-Analogie:
1. Der unsichtbare Türsteher (Eingeschränkter Datenzugriff)
- Die Analogie: Stellen Sie sich vor, der Mitarbeiter arbeitet in einem Gebäude mit vielen Räumen. Auf die alte Weise sagten Sie dem Mitarbeiter: „Gehen Sie nicht in Raum B." Aber der Mitarbeiter könnte einfach hineingehen.
- Die ADP-Lösung: Das Gebäude selbst verfügt über intelligente Türen. Wenn der Mitarbeiter versucht, eine Tür zu öffnen, prüft die Tür selbst seinen Ausweis. Wenn der Ausweis besagt „Nur Raum A", verriegelt sich die Tür einfach und öffnet sich nicht. Der Mitarbeiter weiß nicht einmal, dass Raum B existiert. Die Regel befindet sich nicht im Kopf des Mitarbeiters; sie ist in der Hardware der Tür.
2. Der Verkehrspolizist (Eingeschränkte Aktionen)
- Die Analogie: Der Mitarbeiter möchte ein Paket (eine Handelsorder) versenden. Auf die alte Weise sagten Sie ihm: „Senden Sie keine Pakete über 1.000 US-Dollar." Aber wenn er verwirrt wurde, könnte er ein 10.000-Dollar-Paket versenden.
- Die ADP-Lösung: Das Paket muss durch ein Förderband mit einer Waage gehen. Die Waage ist mit einem Verkehrspolizisten verbunden. Wenn das Paket mehr als 1.000 US-Dollar wiegt, hält der Verkehrspolizist (die Infrastruktur) das Band an und hält das Paket für die Genehmigung durch einen menschlichen Manager zurück. Der Mitarbeiter kann die Waage nicht außer Kraft setzen; die Waage liegt außerhalb seiner Kontrolle.
3. Die nicht fälschbare Kamera (Manipulationssichere Prüfung)
- Die Analogie: Auf die alte Weise baten Sie den Mitarbeiter, ein Tagebuch über das zu schreiben, was er tat. Wenn er etwas falsch machte, könnte er einfach die Seite herausreißen oder einen gefälschten Eintrag schreiben: „Das habe ich nicht getan."
- Die ADP-Lösung: Die Fabrik verfügt über Überwachungskameras, die alles aufzeichnen. Der Mitarbeiter sieht die Kameras nie und kann sie nicht ausschalten. Das Filmmaterial wird auf einem sicheren Server gespeichert, den der Mitarbeiter nicht berühren kann. Wenn der Mitarbeiter versucht, einen Fehler zu vertuschen, beweist das Kameramaterial genau, was passiert ist.
Wie es im echten Leben funktioniert (Die Demo)
Die Arbeit demonstriert dies mit einem Vermögensverwaltungssystem (Verwaltung von Geld für Kunden).
- Das Setup: Es arbeiten drei KI-Agenten zusammen: einer zur Marktforschung, einer zur Entscheidung über den Kauf und einer zur Ausführung des Handels.
- Die Magie: Diese Agenten kommunizieren über ein Nachrichtensystem, das wie eine sichere Post funktioniert.
- Wenn der „Entscheidungs-Agent" sagt: „Kaufen Sie 100 Aktien für Kunde A", sagt er dem System tatsächlich nicht, wer Kunde A ist.
- Die Post (die Infrastruktur) betrachtet den Ausweis des Agents, sieht, dass er zu Kunde A gehört, und stempelt die Order automatisch mit „Kunde A".
- Der Agent sieht den Stempel nie. Er kann ihn nicht ändern. Er kann nicht so tun, als wäre er Kunde B.
- Wenn die Order zu groß ist, hält die Post sie automatisch für einen Menschen zurück. Der Agent kann sie nicht durchsetzen.
Warum dies wichtig ist
Die Arbeit kommt zu dem Schluss, dass wir, da KI-Agenten leistungsfähiger und schneller werden, nicht mehr darauf vertrauen können, dass sie sich aufgrund von Anweisungen, die sie lesen, „ordnungsgemäß" verhalten. Wir müssen die Regeln außerhalb des Agents verlagern.
Indem wir eine „Data Plane" aufbauen, in der die Regeln von der Infrastruktur (die Türen, die Waagen, die Kameras) und nicht vom Gehirn des Agents durchgesetzt werden, schaffen wir ein System, in dem:
- Verwirrte Agents die Regeln nicht versehentlich brechen können.
- Gehackte Agents die Regeln nicht umgehen können.
- Aufsichtsbehörden eine perfekte, unveränderliche Aufzeichnung von allem sehen können, was passiert ist.
Kurz gesagt: Vertrauen Sie dem Mitarbeiter nicht, die Regeln einzuhalten. Bauen Sie einen Raum, in dem die Regeln von den Wänden selbst durchgesetzt werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.