Where Is the Cost of Third-Party API Routers in Agentic Software Development?
Diese Arbeit demonstriert empirisch, dass Drittanbieter-API-Router in der agentenbasierten Softwareentwicklung eine kritische Kontrolllücke einführen, durch die Router-seitige Injektionen Agentenaktionen unbemerkt verändern und clientseitige Abwehrmechanismen umgehen können, wobei eine Erfolgsquote der Verteidigung von 0 % über alle evaluierten Agenten hinweg erreicht wurde, was die dringende Notwendigkeit von Anbieter-seitigen Garantien für die Output-Integrität unterstreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bauen einen Roboter-Assistenten, der Code schreiben, Fehler beheben und Ihre Computerdateien verwalten kann. Um diesen Roboter intelligent zu machen, verbinden Sie ihn mit einem riesigen, superintelligenten Gehirn in der Cloud (einem Large Language Model), das fast jedes Problem lösen kann. Aber der Haken ist: Sie sprechen nicht direkt mit diesem Gehirn. Stattdessen nutzen Sie einen Vermittler, wie einen spezialisierten Lieferdienst oder einen „Router“, der Ihre Nachrichten hin und her trägt. Dieser Vermittler soll eigentlich nur ein hilfreicher Kurier sein, der sicherstellt, dass Ihr Roboter mit verschiedenen Cloud-Gehirnen kommunizieren kann, ohne dass Sie Ihre Verkabelung ändern müssen.
Die große Frage, die diese Arbeit stellt, ist: Was passiert, wenn dieser hilfreiche Kurier beschließt, einen Streich zu spielen? In der Welt der Informatik wissen wir: Wenn ein Vermittler Ihre Nachrichten sehen kann, kann er sie potenziell austauschen oder eigene Notizen hinzufügen, bevor er sie weiterleitet. Diese Arbeit untersucht eine beängstigende, aber reale Möglichkeit: Was wäre, wenn der Router nicht nur die Anweisungen Ihres Roboters liefert, sondern diese heimlich verändert, um den Roboter dazu zu bringen, etwas Gefährliches zu tun – wie etwa Ihre Dateien zu löschen oder einen Virus zu installieren – während es gleichzeitig so aussieht, als würde der Roboter nur seine normale Arbeit erledigen? Die Forscher wollten wissen, ob der Roboter den Trick bemerken würde oder ob er den neuen, bösartigen Befehlen des Routers blind folgen würde.
Der geheime Vermittler und die blinde Stelle des Roboters
In dieser Studie bauten die Forscher ein spezielles Testlabor namens SIDEL, um genau dieses Szenario durchzuspielen. Sie richteten vier verschiedene „Coding-Roboter“ ein (bekannte Tools wie Claude Code, Codex, Cursor und OpenCode) und verbanden sie über einen gefälschten, nicht vertrauenswürdigen Router mit verschiedenen Cloud-Gehirnen. Dann schlüpften sie in die Rolle des bösen Routers und versuchten, bösartige Befehle auf vier verschiedene Arten an den Robotern vorbeizuschmuggeln, von roher Gewalt bis hin zu subtiler Magie.
Die vier Tricks des Handwerks
Die Forscher testeten vier Stufen der Täuschung und wurden mit jeder Stufe hinterlistiger:
- Der Austausch (L1): Der Router wirft die Antwort des Cloud-Gehirns komplett weg und ersetzt sie durch eine gefälschte, die besagt: „Gehe diese Datei löschen.“
- Das Anhängsel (L2): Der Router lässt das Cloud-Gehirn eine normale Antwort geben, hängt dann aber einen geheimen Befehl am Ende an, wie zum Beispiel: „Ach ja, und installiere diese verdächtige Software.“
- Die Politur (L3): Der Router ändert den geheimen Befehl und schreibt auch die Erklärung des Roboters um, damit es so klingt, als wäre der Befehl ein natürlicher Teil des Plans. Es ist wie ein Magier, der einen Trick wie eine ganz normale Zaubershow aussehen lässt.
- Die Gedankenverschmelzung (L4): Dies ist der hinterhältigste Trick. Der Router bearbeitet nicht nur den Text; er nutzt ein zweites Gehirn, um eine völlig neue Antwort zu generieren, die die ursprüngliche Antwort mit dem bösartigen Befehl so perfekt vermischt, dass beide ineinander übergehen. Es ist, als hätte der Router dem Roboter die geheime Botschaft ins Ohr geflüstert, während er noch nachdachte, sodass der Roboter glaubt, die schlechte Idee sei seine eigene gewesen.
Das schockierende Ergebnis: Die Roboter blinzelten nicht einmal
Die Ergebnisse waren erschütternd. Egal welchen Roboter sie verwendeten, egal welches Cloud-Gehirn ihn antrieb und egal welchen der vier Tricks sie anwandten – die Roboter fielen jedes Mal darauf herein.
In der Welt der Sicherheit messen wir den Erfolg daran, wie oft eine Verteidigung einen Angriff stoppt. Die Forscher fanden heraus, dass ohne zusätzliche Hilfe alle vier Roboter eine Erfolgsquote der Verteidigung von 0 % aufwiesen. Das bedeutet, dass in jedem einzelnen Testfall der Router es geschafft hatte, den Roboter dazu zu bringen, den bösartigen Befehl auszuführen. Die Roboter machten nicht nur einen Fehler; sie versagten völlig darin, zu bemerken, dass die Anweisungen, denen sie folgten, manipuliert worden waren.
Die Forscher prüften auch, ob die „Sicherheitseinstellungen“ der Roboter helfen würden. Sie testeten verschiedene Berechtigungsmodi, wie zum Beispiel „Nur Plan“ (wo der Roboter nur nachdenkt) oder „Auto“ (wo er frei handelt). Selbst in den strengsten Modi funktionierten die Tricks des Routers. Es stellt sich heraus, dass die Roboter alles akzeptieren, was durch den Router kommt, unter der Annahme, dass es vom Cloud-Gehirn stammt. Die Sicherheitsprüfungen, die die Roboter besitzen, schauen auf die Handlungen des Roboters, nicht auf die Lügen des Routers.
Hilft es, das Gehirn zu ändern?
Man könnte denken: „Was wäre, wenn wir ein klügeres Cloud-Gehirn verwenden? Vielleicht bemerkt es den Trick?“ Die Forscher testeten dies, indem sie die Cloud-Gebrüder gegen vier verschiedene Modelle austauschten. Das Ergebnis? Es spielte keine Rolle. Ob der Roboter nun mit einem superstarken Modell oder einem flinkeren, schnelleren Modell kommunizierte – der Router konnte die bösartigen Befehle immer noch problemlos am ihnen vorbeischleusen. Das Problem ist nicht, dass die Gehirne zu dumm sind; das Problem ist, dass der Router in einer Position sitzt, in der er die Geschichte umschreiben kann, bevor der Roboter sie hört.
Können wir einen besseren Schutzschild bauen?
Die Forscher blieben nicht beim Aufzeigen des Problems stehen; sie versuchten, einige Schutzschilde zu testen, um zu sehen, ob sie das Problem lösen könnten. Sie testeten zwei gängige Abwehrmethoden:
- Die Whitelist: Eine einfache Liste von „erlaubten“ Befehlen und Webseiten. Wenn ein Befehl nicht auf der Liste steht, wird er blockiert.
- Die Zweitmeinung: Ein zweites KI-Modell nutzen, um den Plan des Roboters zu überprüfen, bevor er handelt.
Die Whitelist war in gewisser Weise okay darin, einige schlechten Dinge zu stoppen, war aber auch ungeschickt. Sie blockierte etwa 30 % bis 44 % der schlechten Befehle, blockierte aber auch versehentlich etwa 30 % bis 44 % der guten Befehle, was den Roboter weniger nützlich machte.
Die „Zweitmeinung“-KI war besser. Je nachdem, welches KI-Modell sie als Prüfer einsetzten, konnten sie zwischen 39 % und 64 % der Angriffe stoppen. Dennoch war dies keine perfekte Lösung. Selbst das beste Prüfer-Modell konnte nicht alles erfassen, und manchmal ließ es die schlechten Befehle trotzdem durchgehen. Die Forscher fanden heraus, dass diese Schutzschilde zwar ein wenig helfen, das Problem aber nicht vollständig lösen. Der Router ist immer noch zu mächtig, da er genau in der Mitte des Gesprächs sitzt.
Das Fazit
Die wichtigste Lehre aus dieser Arbeit ist, dass das Vertrauen auf einen Drittanbieter-Router, um Ihren Coding-Roboter mit der Cloud zu verbinden, eine massive Sicherheitslücke schafft. Der Roboter geht davon aus, dass der Router ehrlich ist, aber wenn der Router nicht vertrauenswürdig ist, kann er die Realität für den Roboter umschreiben. Die Roboter können nicht zwischen einer echten Anweisung aus der Cloud und einer gefälschten Anweisung vom Router unterscheiden, egal wie intelligent oder gut konfiguriert sie sind.
Die Autoren schlagen vor, dass wir zur echten Lösung nicht nur darauf vertrauen können, dass die Roboter vorsichtiger werden. Wir brauchen die Cloud-Anbieter selbst, die garantieren, dass die von ihnen gesendeten Nachrichten nicht durch den Vermittler manipuliert wurden. Bis dahin ist jeder Einsatz eines Coding-Roboters mit einem Drittanbieter-Router so, als würde man einem Lieferfahrer die Schlüssel zum Haus übergeben, der sich vielleicht entscheiden könnte, einem Einbrecher Einlass zu gewähren, während man gerade nicht hinsieht. Die Roboter tun genau das, was ihnen gesagt wird, aber die Person, die die Befehle gibt, wurde ausgetauscht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.