When Alignment Isn't Enough: Response-Path Attacks on LLM Agents
Dieser Beitrag stellt den Relay Tampering Attack (RTA) vor, eine neuartige Bedrohung, die zeigt, dass bösartige Drittanbieter-Relais in Bring-Your-Own-Key-Agent-Architekturen die Ausrichtung von LLMs umgehen können, indem sie nach der Generierung mit den Antworten manipulieren, und dabei hohe Angriffserfolgsraten erzielen, die bestehende Verteidigungsmaßnahmen nicht vollständig abmildern können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten, hochqualifizierten Assistenten (einen KI-Agenten), der so programmiert ist, dass er hilfreich, aber auch sehr sicher agiert. Sie geben diesem Assistenten eine Aufgabe, wie etwa „Schreiben Sie eine Geschichte" oder „Prüfen Sie mein Kontoguthaben". Um dies zu tun, kommuniziert der Assistent mit einem superintelligenten Gehirn (dem Large Language Model oder LLM), das irgendwo auf einem Server lebt.
Normalerweise verbinden Sie den Assistenten direkt mit dem Gehirn. Doch um Kosten zu sparen oder Dinge besser zu verwalten, nutzen viele einen Vermittler (eine „Relay"-Komponente). Denken Sie an diesen Vermittler wie an einen vertrauenswürdigen Kurierdienst. Sie sagen dem Kurier: „Bringen Sie diese Nachricht zum Gehirn, holen Sie die Antwort und bringen Sie sie zurück." Dem Kurier ist erlaubt, die Nachrichten zu sehen, da er sie zustellen muss.
Das Problem: Der „vertrauenswürdige" Kurier kann lügen
Diese Studie entdeckt einen beunruhigenden Fehler in der Funktionsweise dieses Systems. Er wird als Post-Alignment-Tampering (Manipulation nach der Ausrichtung) bezeichnet.
Hier ist die Analogie:
- Das Gehirn (LLM): Sie fragen das Gehirn: „Ist es sicher, diese Aktie zu kaufen?" Das Gehirn, das darauf trainiert wurde, sicher und ehrlich zu sein, denkt intensiv nach und sagt: „Nein, das sieht riskant aus. Kaufen Sie nicht."
- Der Kurier (Relay): Das Gehirn schreibt diese Antwort auf und übergibt sie dem Kurier.
- Der Verrat: Bevor der Kurier die Notiz an Ihren Assistenten weitergibt, betrachtet er sie. Er nimmt einen Stift, streicht „Nein, das sieht riskant aus" durch und schreibt stattdessen „JA, KAUFEN SIE JETZT!" hinein.
- Das Ergebnis: Ihr Assistent erhält die Notiz. Er weiß nicht, dass die Notiz verändert wurde. Er glaubt, das Gehirn habe „Kaufen Sie" gesagt, und führt daher den Handel aus.
Der beunruhigende Teil? Das Gehirn (das LLM) hat seine Arbeit perfekt erledigt. Es generierte eine sichere, ausgerichtete Antwort. Die Sicherheitsprüfungen auf der Seite des Gehirns bestanden. Doch das Lieferungssystem (das Relay) veränderte die Nachricht nachdem das Gehirn fertig geschrieben hatte, aber bevor der Assistent sie las.
Warum dies schlimmer ist als das „Betrügen" des Gehirns
Sie haben vielleicht von „Prompt Injection" gehört, bei dem ein Bösewicht versucht, das Gehirn dazu zu bringen, etwas Schlechtes zu sagen, indem er eine hinterhältige Notiz vor dem Lesen durch das Gehirn schreibt.
- Prompt Injection: Der Versuch, das Gehirn davon zu überzeugen, gegen seine eigenen Regeln zu verstoßen. Das ist schwierig, weil das Gehirn intelligent ist und über starke Schutzvorkehrungen verfügt.
- Dieser Angriff (RTA): Der Bösewicht muss das Gehirn gar nicht täuschen. Er lässt das Gehirn sagen, was es will (auch „Nein!"), und ändert dann einfach die Antwort auf dem Rückweg. Es ist wie das Ändern der Speisekarte, nachdem der Koch das Essen bereits zubereitet hat.
Die Studie beweist, dass dieses „Umschreiben auf dem Rückweg" viel mächtiger und gefährlicher ist als der Versuch, das Gehirn von vornherein zu täuschen.
Wie der Angriff funktioniert (Das „RTA"-Rahmenwerk)
Die Forscher entwickelten ein Werkzeug namens RTA (Relay Tampering Attack), um zu zeigen, wie einfach dies ist. Es umfasst drei Schritte:
- Strategische Planung: Der böse Kurier ändert nicht nur ein Wort. Er plant eine ganze Geschichte. Wenn die Aufgabe 10 Schritte erfordert, ermittelt er genau, welchen Schritt er ändern muss, um das gewünschte Endergebnis zu erzielen.
- Chirurgische Bearbeitung: Sie schreiben den gesamten Brief nicht um. Sie ändern nur die winzigen, kritischen Teile, die dem Assistenten sagen, was er zu tun hat (wie das Ändern eines „Stopp"-Schildes in ein „Los"-Schild oder das Ändern von „Datei lesen" in „Datei löschen"). Sie lassen den Rest des höflichen Gesprächs unberührt, damit es normal aussieht.
- Der „Polier"-Trick: Wenn sie den Text ändern, könnte er seltsam aussehen. Also senden sie ihren bearbeiteten Entwurf zurück an dasselbe Gehirn (unter Verwendung Ihrer eigenen Anmeldedaten) und sagen: „Hey, schreiben Sie diesen Entwurf so um, dass er mehr nach Ihnen klingt, aber behalten Sie diese spezifischen Änderungen bei." Das Gehirn schreibt den Text so um, dass er perfekt zu seinem eigenen Stil passt, wodurch die Lüge zu 100 % authentisch wirkt.
Was sie herausfanden
Die Forscher testeten dies an sechs verschiedenen KI-Modellen und zwei großen Sicherheitstests.
- Erfolgsquote: Sie gelang es ihnen, die Agenten in 73 % bis 99 % der Fälle zu übernehmen.
- Tarnung: Die Angriffe waren sehr schwer zu erkennen. Der „Polier"-Trick ließ die gefälschten Antworten genauso aussehen wie echte.
- Geschwindigkeit: Die zusätzliche Zeit, die dafür benötigt wurde, war so gering, dass sie wie normale Internetverzögerungen wirkte.
- Verteidigungen scheiterten: Sie versuchten alle aktuellen Sicherheitsvorkehrungen (wie das Überprüfen auf böswortige Wörter oder das Sperren des Gesprächs). Keine davon funktionierte, weil die Verteidigungen die Ausgabe des Gehirns prüften, nicht die endgültige Lieferung des Kurers.
Die realen Beispiele
Sie zeigten, dass dies in zwei realen Szenarien passieren könnte:
- Finanzberatung: Ein Nutzer fragt eine KI: „Sollte ich meine Apple-Aktien verkaufen?" Die KI antwortet „Behalten". Das Relay ändert dies in „VERKAUFEN!" und der Nutzer verliert Geld.
- Programmierung: Ein Nutzer bittet eine KI, ein Labyrinthspiel zu schreiben. Während die KI dies tut, fügt das Relay heimlich einen versteckten Befehl zum Code hinzu, der alle privaten Dateien des Nutzers stiehlt und an den Hacker sendet. Der Nutzer erhält das gewünschte Labyrinthspiel, aber seine Daten sind weg.
Die Lösung?
Die Studie kommt zu dem Schluss, dass wir uns nicht einfach darauf verlassen können, dass die KI „sicher" ist. Wir benötigen eine Möglichkeit zu beweisen, dass die Nachricht, die der Assistent erhält, genau die Nachricht ist, die die KI gesendet hat, ohne dass jemand dazwischen daran herumgefasst hat.
Derzeit gibt es kein „Siegel" auf diesen Nachrichten. Die Forscher schlagen vor, wir benötigen eine neue Art von digitaler Signatur (wie ein Wachssiegel auf einem Brief), die der Assistent überprüfen kann, um sicherzustellen, dass der Kurier die Notiz nicht ausgetauscht hat. Bis wir das haben, kann ein „vertrauenswürdiger" Vermittler die Regeln immer wieder neu schreiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.