Proteus: A Self-Evolving Red Team for Agent Skill Ecosystems
Die Arbeit stellt Proteus vor, ein sich selbst weiterentwickelndes Red-Team-Framework, das zeigt, dass aktuelle Systeme zur Überprüfung von Fähigkeiten Sicherheitsrisiken erheblich unterschätzen, indem sie aufdecken, wie adaptive, feedbackgesteuerte Angreifer Audits iterativ umgehen können, um tödliche Varianten von Agentenfähigkeiten zu erzeugen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Sie „Fähigkeiten" für Ihren KI-Assistenten herunterladen können, genau wie Sie Apps auf Ihrem Telefon herunterladen. Diese Fähigkeiten instruieren die KI, wie sie bestimmte Aufgaben erledigt, etwa Ihr Bankkonto zu überprüfen oder Ihren Kalender zu verwalten. Doch was wäre, wenn ein Hacker eine „vergiftete" Fähigkeit erstellt, die harmlos aussieht, aber heimlich Ihre Daten stiehlt?
Diese Arbeit stellt Proteus vor, einen digitalen Sicherheitsforscher, der entwickelt wurde, um zu testen, wie gut unsere aktuellen Sicherheitsvorkehrungen darin sind, diese vergifteten Fähigkeiten zu erkennen.
Hier ist die Aufschlüsselung der Funktionsweise, unter Verwendung einfacher Analogien:
1. Das Problem: Das „Whac-A-Mole"-Spiel
Derzeit durchläuft jede neu eingereichte Fähigkeit eine Prüfung durch einen Sicherheitsprüfer (einen digitalen Wächter). Der Wächter überprüft den Code der Fähigkeit und ihre Beschreibung (Dokumentation), um festzustellen, ob sie gefährlich ist.
- Der Mangel: Die meisten Sicherheitstests prüfen eine Fähigkeit nur einmal. Wenn der Wächter „Bestanden" sagt, wird die Fähigkeit installiert.
- Die Realität: Ein intelligenter Hacker reicht nicht einfach eine schlechte Fähigkeit ein und gibt dann auf. Er beobachtet, warum der Wächter sie abgelehnt hat, passt die Fähigkeit leicht an und versucht es erneut. Er fährt damit fort, bis er eine Version findet, die am Wächter vorbeischlüpft, aber dennoch den Schaden anrichtet.
Die Arbeit nennt dies „Adaptive Leakage" (Adaptive Datenlecks). Es ist das Risiko, dass ein Hacker so lange versucht, bis er das Schloss knackt.
2. Die Lösung: Proteus (Der sich selbst entwickelnde Hacker)
Die Forscher entwickelten Proteus, einen KI-Agenten, der wie ein unermüdlicher, lernender Hacker agiert. Anstatt nur einmal zu versuchen, den Wächter zu täuschen, spielt Proteus ein mehrstufiges Spiel:
- Einreichen: Es sendet eine Fähigkeit an den Wächter.
- Zuhören: Wenn der Wächter „Nein" sagt, liest Proteus den Grund (z. B. „Dieser Code wirkt verdächtig" oder „Die Beschreibung stimmt nicht mit dem Code überein").
- Evolution: Proteus nutzt dieses Feedback, um die Fähigkeit neu zu schreiben. Es könnte den Code ändern, die Beschreibung umschreiben oder die Art und Weise, wie die Fähigkeit mit anderen Tools verbunden ist, neu ordnen.
- Wiederholen: Es fährt damit fort, bis es eine Version findet, die den Wächter besteht und die schädliche Aktion (wie das Stehlen von Daten) erfolgreich in einer sicheren, simulierten Sandbox ausführt.
3. Die fünf Angriffsachsen
Proteus ändert nicht nur eine Sache; es greift die Fähigkeit gleichzeitig aus fünf verschiedenen Winkeln an, wie ein Meister-Schlossknacker, der verschiedene Werkzeuge versucht:
- Das Ziel: Was versucht die Fähigkeit zu tun?
- Die Struktur: Wie ist die Fähigkeit organisiert?
- Der Code: Die eigentlichen Anweisungen.
- Der Kanal: Wie sie mit der Außenwelt kommuniziert.
- Die Dokumentation: Die schriftliche Beschreibung, die erklärt, was die Fähigkeit tut.
Proteus kann Änderungen in all diesen Bereichen mischen und anpassen, um den Wächter zu verwirren.
4. Der „Runden-Vertrag" (Die Testarena)
Um sicherzustellen, dass Proteus tatsächlich echte Lücken findet, bauten die Forscher eine strenge Testarena mit drei Schritten für jeden Versuch:
- Die Prüfung: Lässt der Wächter es durch?
- Die Sandbox: Läuft die Fähigkeit tatsächlich ohne Absturz?
- Das Orakel: Hat sie tatsächlich die schädliche Sache getan (z. B. eine Datei gelöscht oder ein Passwort gestohlen)?
Proteus zählt nur dann als „Gewinner", wenn es alle drei Schritte besteht.
5. Was sie fanden
Die Forscher testeten Proteus gegen zwei reale Sicherheitswächter (einen quelloffenen und einen eines großen Technologieunternehmens) sowie zwei verschiedene KI-Modelle.
- Die Ergebnisse: Proteus war erschreckend effektiv.
- In nur 5 Runden des Versuchens umging es die Wächter 40 % bis 90 % der Zeit erfolgreich.
- Es fand nicht nur einen Trick; es entdeckte 438 verschiedene Wege, das System zu knacken.
- Selbst der stärkste Wächter, den sie testeten (AI-Infra-Guard), konnte Proteus etwa 41 % der Zeit nicht aufhalten.
- Der „Transfer"-Trick: Wenn Proteus lernte, wie man einen Wächter knackt, konnte es diese gleichen Tricks oft nutzen, um den anderen Wächter zu brechen, ohne etwas Neues lernen zu müssen.
6. Die große Erkenntnis
Die Arbeit kommt zu dem Schluss, dass unsere derzeitige Art, KI-Fähigkeiten zu prüfen, die Gefahr unterschätzt. Wir prüfen Fähigkeiten wie ein Sicherheitswächter, der ein einzelnes Foto einer Person überprüft. Ein echter Angreifer ist jedoch wie ein Gestaltwandler, der sein Gesicht so lange ändert, bis der Wächter ihn hereinlässt.
Proteus beweist, dass wir, wenn wir keine Systeme bauen, die mit lernenden und sich anpassenden Angreifern umgehen können, große, verborgene Lücken in unseren KI-Ökosystemen haben werden, die Hacker leicht ausnutzen können.
Kurz gesagt: Wir dachten, unsere Sicherheitswächter seien gut darin, schlechte Fähigkeiten zu erkennen. Diese Arbeit zeigt, dass diese Wächter tatsächlich ziemlich leicht zu täuschen sind, wenn ein böswilliger Akteur intelligent genug ist, aus seinen Fehlern zu lernen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.