ChronosAttack: Adversarial Tool Scheduling Attacks on LLM Agents
Dieses Paper führt ChronosAttack ein, eine neuartige adversarielle Technik, die das Timing authentischer Tool-Antworten in asynchronen LLM-Agenten manipuliert, um Entscheidungsergebnisse zu verändern, ohne den Inhalt zu modifizieren, und demonstriert damit, dass die Antwortreihenfolge selbst eine signifikante Angriffsfläche über verschiedene Modelle hinweg darstellt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Moderne künstliche Intelligenz hat sich von Systemen, die lediglich Fragen beantworten, zu Agenten entwickelt, die in der Lage sind, Handlungen vorzunehmen. Diese Agenten fungieren als digitale Assistenten, die mit der Außenwelt interagieren können, indem sie Softwarewerkzeuge nutzen, um eine Wettervorhersage abzurufen, einen Flug zu buchen oder einen Datenbankeintrag abzurufen. Sie lesen nicht nur ein statisches Dokument; sie interagieren mit einer dynamischen Umgebung, warten darauf, dass die Werkzeuge ihre Arbeit abschließen, und nutzen diese neuen Informationen dann, um zu entscheiden, was als Nächstes zu tun ist. Dieser Prozess beruht auf einer Sequenz von Ereignissen: Der Agent stellt eine Frage, das Werkzeug arbeitet, das Werkzeug sendet eine Antwort zurück und der Agent nutzt diese Antwort, um voranzuschreiten. Damit diese Systeme sicher und zuverlässig sind, müssen wir nicht nur verstehen, welche Informationen sie erhalten, sondern auch, wie die Zeitplanung dieser Informationen ihre Entscheidungen formt.
Forscher wissen schon lange, dass die Reihenfolge, in der Informationen präsentiert werden, die Art und Weise verändern kann, wie ein Mensch oder eine Maschine eine Situation interpretiert. Wenn eine Liste von Optionen vertauscht wird, fühlt sich die Option an der Spitze oft wichtiger an als die am Ende. Diese Arbeit untersucht eine neue und subtile Art und Weise, wie dieses Prinzip gegen KI-Agenten ausgenutzt werden kann. Die Studie mit dem Titel „ChronosAttack“ untersucht, ob ein Angreifer die endgültige Entscheidung eines Agenten allein dadurch ändern kann, dass er den Eintreffen ehrlicher, unveränderter Antworten von Werkzeugen verzögert. Der Angreifer muss das Werkzeug nicht hacken, die Daten nicht ändern oder falsche Anweisungen einschleusen. Er muss lediglich die Uhr kontrollieren und ein bestimmtes Stück Information gerade so lange zurückhalten, bis die Reihenfolge, in der der Agent es sieht, geändert ist.
Die Forscher testeten diese Idee an vier verschiedenen, leistungsstarken KI-Modellen großer Technologieunternehmen. Sie legten ein Szenario fest, in dem ein Agent zwischen drei Optionen wählen musste, basierend auf drei separaten Beweisstücken, die von Werkzeugen bereitgestellt wurden. In einer normalen Situation würden die Werkzeuge ihre Antworten in einer natürlichen, logischen Reihenfolge zurückgeben. Im Angriffsszenario führten die Forscher winzige, kontrollierte Verzögerungen bei spezifischen Antworten ein. Diese Verzögerungen waren so gering, dass sie in Millisekunden gemessen wurden – Bruchteilen einer Sekunde – aber sie reichten aus, um die Reihenfolge zu vertauschen, in der der Agent die Beweise erhielt. Der Inhalt der Beweise blieb exakt gleich; nur der Zeitpunkt änderte sich.
Die Ergebnisse zeigten, dass diese einfache Manipulation der Zeit die Entscheidung des Agenten drastisch verändern konnte. In einigen Fällen verursachte die Verzögerung, dass der Agent seine Entscheidung mit hoher Konfidenz auf eine spezifische Zieloption änderte. Beispielsweise wählte ein Modell, das ursprünglich eine Option nur in 10 Prozent der Fälle wählte, diese in 83 Prozent der Fälle, wenn die Reihenfolge der Beweise verschoben wurde. Ein anderes Modell zeigte eine noch dramatischere Reaktion, jedoch in die entgegengesetzte Richtung: Als die Reihenfolge geändert wurde, gab es seine übliche Wahl fast vollständig auf. Ein drittes Modell blieb relativ stabil, was zeigt, dass nicht alle Systeme gleichermaßen anfällig für diese Art von Zeitangriff sind. Die Studie fand heraus, dass der Effekt nicht auf Agenten beschränkt war, die sich an vergangene Interaktionen erinnerten; selbst wenn der Agent alle Informationen gleichzeitig verarbeitete, reichte es aus, die Reihenfolge, in der der Text erschien, zu ändern, um die Entscheidung umzukippen.
Die Forscher untersuchten auch, ob größere Verzögerungen stärkere Angriffe verursachen würden. Sie fanden heraus, dass die Größe der Verzögerung weniger wichtig war als die dadurch erzeugte spezifische Reihenfolge. Eine winzige Verzögerung, die lediglich einen Austausch der Reihenfolge zweier Beweisstücke verursachte, war oft genauso effektiv wie eine größere Verzögerung, die mehrere Vertauschungen bewirkte. Dies deutet darauf hin, dass die Schwachstelle darin liegt, wie der Agent die Sequenz der Informationen gewichtet, und nicht in der Größenordnung der Störung. Um dem entgegenzuwirken, testete das Team zwei Verteidigungsstrategien. Eine Strategie bestand darin, zu warten, bis alle Werkzeuge ihre Arbeit abgeschlossen hatten, bevor die Ergebnisse dem Agenten präsentiert wurden, um sicherzustellen, dass die Informationen in einer festen, sicheren Reihenfolge eintreffen. Eine andere Strategie bestand darin, den Agenten bitten, die Entscheidung mehrmals mit den Informationen durchzuführen, wobei die Informationen in jeder möglichen Reihenfolge vertauscht wurden, und dann nur eine Antwort zu akzeptieren, wenn die Ergebnisse konsistent waren. Beide Methoden reduzierten die Fähigkeit des Angreifers, das Ergebnis zu kontrollieren, erheblich, obwohl ihre Wirksamkeit je nach dem spezifischen KI-Modell variierte.
Diese Arbeit zeigt auf, dass die Zeitplanung von Werkzeugantworten eine Sicherheitsgrenze ist, die weitgehend übersehen wurde. Sie verdeutlicht, dass der Entscheidungsprozess eines Agenten sensibel gegenüber dem Rhythmus seiner Eingaben ist, selbst wenn diese Eingaben vollkommen authentisch sind. Die Studie behauptet nicht, dass diese Schwachstelle in jedem realen System existiert, noch legt sie nahe, dass alle KI-Agenten gleichermaßen gefährdet sind. Stattdessen liefert sie einen klaren Beweis dafür, dass die Sequenz der Ereignisse eine Variable ist, die manipuliert werden kann, um Ergebnisse zu verändern. Indem sie zeigt, dass eine Verzögerung von weniger als einer Sekunde eine Entscheidung von einer Wahl zur anderen verschieben kann, hebt die Forschung eine neue Grenze in der KI-Sicherheit auf. Sie legt nahe, dass es, während diese Agenten stärker in unser digitales Leben integriert werden, ebenso wichtig sein wird, ihre Robustheit gegenüber dem subtilen Einfluss der Zeit sicherzustellen, wie sie vor falschen Daten oder bösartigen Befehlen zu schützen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.