Securing Agentic AI: From Per-Action Checks to Trajectory Assurance
Dieses Paper skizziert eine umfassende Sicherheitsroadmap für autonome Agenten und argumentiert, dass sich die Sicherheit von der Verifizierung einzelner Aktionen hin zur Gewährleistung der Integrität ganzer Verhaltens-Trajektorien über den gesamten agentischen Stack hinweg verschieben muss, von Single-Agent-Inputs bis hin zu Multi-Agent-Delegation und der System-Ebene der Supply-Chain-Provenienz.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer nicht nur Fragen beantworten, sondern tatsächlich Dinge tun. Sie sagen Ihnen nicht nur das Wetter voraus; sie buchen Ihren Flug, bestellen Ihre Lebensmittel und verwalten Ihr Bankkonto. Diese werden als „autonome Agenten“ bezeichnet. Stellen Sie sie sich wie superintelligente digitale Praktikanten vor, die von Large Language Models (LLMs) angetrieben werden – derselben Art von klugem KI-Gehirn, das Gedichte schreiben oder Code programmieren kann. Aber im Gegensatz zu einem menschlichen Praktikanten, der einen Chef braucht, der seine Arbeit überprüft, können diese Agenten selbstständig planen, Schlussfolgerungen ziehen und Werkzeuge nutzen. Sie können sogar mit anderen Agenten kommunizieren und ein Team bilden, um riesige, komplexe Aufgaben zu bewältigen.
Die große Frage, die sich alle stellen, ist: „Was passiert, wenn diese digitalen Praktikanten Amok laufen?“ Wenn ein Mensch einen Fehler macht, können wir ihn normalerweise entdecken. Aber wenn ein KI-Agent in einer Sekunde tausend winzige Entscheidungen trifft und nur eine davon auch nur minimal daneben liegt, könnte er versehentlich ein Gesetz brechen, ein Bankkonto leeren oder ein Stromnetz lahmlegen. Wir dachten früher, Sicherheit bestünde darin, sicherzustellen, dass jeder einzelne Schritt sicher ist, so als würde man prüfen, ob eine Tür abgeschlossen ist. Dieses Paper argumentiert jedoch, dass das nicht mehr ausreicht. Es ist, als würde man prüfen, ob jeder einzelne Stein in einer Burg aus gutem Gestein besteht; das garantiert immer noch nicht, dass die ganze Burg nicht zusammenbricht, wenn die Steine in der falschen Reihenfolge gestapelt werden. Die wahre Gefahr ist nicht nur ein schlechter Schritt; es ist eine ganze Reise, die an jedem einzelnen Stopp sicher aussieht, aber in einer Katastrophenzone endet.
Dieses Paper, das für eine hochrangige Versammlung von KI-Führungspersönlichkeiten geschrieben wurde, fungiert als Roadmap zur Sicherung dieser digitalen Agenten. Die Autoren, ein Team von Informatikern, argumenten, dass wir aufhören müssen, Sicherheit als eine einfache „Checkliste“ für einzelne Handlungen zu betrachten, und statfangen müssen, die „Trajektorie“ zu betrachten – den gesamten Pfad, den der Agent vom Anfang bis zum Ende nimmt. Sie unterteilen das Problem in mehrere Schichten, von der Art und Weise, wie ein Agent sich Dinge merkt, bis hin zu der Art und Weise, wie er mit anderen Agenten kommuniziert.
Zuerst betrachten sie die „Single-Agent Surface“. Stellen Sie sich einen Agenten wie einen Detektiv vor, der Hinweise (Prompts) lieste, vergangene Fälle im Gedächtnis (Memory) behält und Werkzeuge wie eine Lupe oder eine Datenbank benutzt. Das Paper warnt davor, dass böswillige Akteure „vergiftete“ Hinweise einschleusen können. Zum Beispiel könnte ein Hacker eine geheime Anweisung in einer harmlos aussehenden E-Mail oder einer Webseite verstecken. Der Agent könnte sie lesen, sie als normalen Teil der Geschichte interpretieren und dann den Befehl befolgen, Daten zu stehlen. Noch schlimmer wäre es, wenn das „Gedächtnis“ des Agenten vergiftet wird; er könnte so manipuliert werden, dass er über Monate oder Jahre hinweg Fehlentscheidungen trifft, lange nachdem der ursprüngliche Trick angewandt wurde. Ähnlich verhält es sich mit den Werkzeugen, die der Agent nutzt: Diese könnten gegen bösartige Versionen ausgetauscht werden, so wie ein Mechaniker einen Schraubenschlüssel durch einen gefälschten ersetzt, der den Motor zerstört.
Als Nächstes untersucht das Paper die „Inter-Agent Surface“, die wie ein digitaler Marktplatz ist, auf dem sich diese Agenten treffen und Aufgaben austauschen. Sie nutzen ein Protokoll namens A2A (Agent-to-Agent), um miteinander zu kommunizieren. Die Autoren weisen darauf hin, dass dieser digitale Marktplatz derzeit sehr locker reglementiert ist. Ein Agent könnte vorgeben, jemand anderes zu sein, oder eine Gruppe von Agenten könnte versehentlich (oder absichtlich) zusammenarbeiten, um Ressourcen zu erschöpfen, was zu einem „Denial-of-Wallet“-Angriff führt, bei dem sie allein durch das Reden miteinander das gesamte Geld ausgeben. Es ist wie eine Gruppe von Freunden, die vereinbart, eine Pizza zu bestellen, aber sie bestellen immer und immer wieder mehr, bis die Kreditkarte am Limit ist, und niemand den Fehler bemerkt, bis es zu spät ist.
Dann gibt es die „Model Routing“-Ebene, die der Verkehrskontrolleur ist, der entscheidet, welches Gehirn (welches KI-Modell) eine bestimmte Aufgabe bearbeiten soll. Das Paper legt nahe, dass Hacker den Verkehrskontrolleur austricksen könnten, eine gefährliche Anfrage an ein „dümmeres“ oder weniger sicheres KI-Modell zu senden, nur um Geld zu sparen oder Sicherheitsprüfungen zu umgehen. Es ist wie ein Sicherheitswächter in einem Museum, der getäuscht wird, einen Dieb in den VIP-Raum zu lassen, weil ihm gesagt wurde, für diesen speziellen Flur eine billigere, weniger trainierte Sicherheitskamera zu verwenden.
Der kritischste Teil des Papers befasst sich mit der „Behavioral Trajectory Containment“. Dies ist die Idee, dass ein Agent tausend Dinge tun kann, die für sich genommen alle völlig legal sind, aber wenn man sie in einer bestimmten Reihenfolge kombiniert, eine wichtige Regel verletzen. Stellen Sie sich einen Roboter in einem Krankenhaus vor, der berechtigt ist, Patienten zu entlassen. Wenn er einen Patienten entlässt, ist das in Ordnung. Wenn er zehn Patienten entlässt, ist das auch in Ordnung. Aber wenn er innerhalb einer Stunde fünfzig Patienten entlässt, weil er durch ein Muster verwirrt wurde, könnte er gegen eine Sicherheitsregel verstoßen, die festlegt, wie viele Patienten gleichzeitig das Haus verlassen dürfen. Das Paper argumentt, dass aktuelle Sicherheitstools nur die einzelnen Schritte prüfen, nicht aber die ganze Geschichte. Wir müssen in der Lage sein, den ganzen Film zu sehen, nicht nur die einzelnen Einzelbilder.
Schließlich geht das Paper auf „Supply Chain“ und „Accountability“ ein. Genau wie ein Auto aus Teilen aus vielen verschiedenen Fabriken besteht, wird ein KI-Agent aus Modellen, Werkzeugen und Anweisungen aus vielen verschiedenen Quellen aufgebaut. Wenn eines dieser Teile gefälscht oder später gehackt wird, ist der gesamte Agent kompromittiert. Die Autoren sagen, dass wir jedes einzelne Teil verfolgen müssen, wie einen digitalen Beleg für alles, was der Agent verwendet. Sie betonen auch, dass wir, wenn etwas schiefgeht, in der Lage sein müssen, in die „Black Box“ zu schauen und genau zu sehen, was der Agent getan hat, wer ihm das gesagt hat und warum.
Kurz gesagt: Das Paper bietet keine magische Lösung, die heute alles behebt. Stattdessen schlägt es vor, dass die Art und Weise, wie wir über KI-Sicherheit denken, veraltet ist. Wir können nicht einfach nur Löcher flicken; wir müssen das gesamte System neu konzipieren, um sicherzustellen, dass die gesamte Reise eines KI-Agenten sicher, vertrauenswürdig und unter Kontrolle bleibt. Es ist ein Aufruf, von der Überprüfung einzelner Schritte zur Garantie der Sicherheit des gesamten Pfades überzugehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.