CIVA: Critic-Induced Value-Subspace Attacks on Visual World-Model Agents

In der sich rasant entwickelnden Welt der künstlichen Intelligenz ist eine neue Generation von Entscheidungssystemen entstanden, die lernt, zu handeln, indem sie die Zukunft sich vorstellt. Im Gegensatz zu älteren Programmen, die einfach nur auf das Bild reagieren, das sie in diesem exakten Moment sehen, bauen diese fortschrittlichen Agenten ein internes mentales Modell ihrer Umgebung auf. Sie nehmen eine Sequenz visueller Eingaben, wie etwa einen Videostream von einer Kamera, auf und komprimieren diese in einen verborgenen, abstrakten Zustand, der sich daran erinnert, was passiert ist, und vorhersagt, was als Nächstes kommen wird. Dieser interne Zustand ermöglicht es ihnen, mehrere Schritte im Voraus zu planen, ganz ähnlich wie ein menschlicher Autofahrer, der eine Kurve in der Straße antizipiert, bevor er sie erreicht. Während diese Systeme von Videospielen zu realer Robotik und sicherheitskritischen Aufgaben übergehen, ist das Verständnis darüber, wie man sie stören kann, zu einer lebenswichtigen Frage geworden. Verlässt sich ein Agent auf einen kontinuierlichen Strom interner Vorhersagen, spielt dann ein kleiner, momentaner Fehler im Kamerabild eine Rolle, oder glättet das Gedächtnis des Agenten diesen aus? Dies ist das zentrale Rätsel, das Forscher nun zu lösen versuchen.

Ein Team von Wissenschaftlern hat entdeckt, dass der Weg, diese „Weltmodell“-Agenten zu brechen, nicht darin besteht, jedes einzelne Videobild mit zufälligem Rauschen anzugreifen, sondern darin, eine spezifische, verborgene Richtung in den visuellen Daten zu finden, auf die das eigene Gehirn des Agenten am empfindlichsten reagiert. In einer Studie, die sich auf Agenten konzentrierte, die darauf trainiert wurden, zu laufen, Tischtennis zu spielen und in offenen Umgebungen zu überleben, fanden die Forscher heraus, dass diese Systeme überraschend fragil sind, wenn sie auf eine ganz bestimmte Weise angegriffen werden. Sie entwickelten eine Methode namens CIVA, was für „Critic-Induced Value-Subspace Attacks“ steht. Der Kern der Idee ist, dass diese Agenten über einen eingebauten „Punktezähler“ verfügen, der ständig schätzt, wie gut ihre Zukunft sein wird. Durch die Untersuchung der Art und Weise, wie dieser Punktezähler auf kleine Veränderungen reagiert, fanden die Forscher heraus, dass der effektivste Weg, den Score des Agenten zu senken, darin besteht, die visuellen Daten entlang eines sehr schmalen, niedrigdimensionalen Pfades zu verschieben. Dieser Pfad ist nicht zufällig; er ist ein spezifischer Satz von Richtungen im Bildraum, den die eigene interne Logik des Agenten als entscheidend für seine Entscheidungsfindung offenbart hat.

Die Forscher testeten diesen Ansatz gegen einen hochentwickelten Agenten namens DreamerV3, der darauf trainiert wurde, komplexe Aufgaben wie das Gehen auf zwei Beinen oder das Spielen eines Spiels wie Pong auszuführen. Sie entwarfen ein Szenario, in dem ein Angreifer das aktuelle Bild, das der Agent sieht, nur minimal verändern konnte, wobei eine strikte Grenze für die Änderung der Pixel gesetzt wurde, um sicherzustellen, dass die Störung für das menschliche Auge unsichtbar blieb. Frühere Versuche, solche Systeme zu hacken, behandelten jeden Videorahmen oft als unabhängiges Ziel und fügten jeder Sequenz von Bildern Rauschen hinzu. Die Forscher stellten jedoch fest, dass dieser Ansatz gegen Weltmodell-Agenten scheitert. Da der Agent vergangene Frames erinnert und sie in seinen internen Zustand einfließen lässt, werden isolierte Ausbrüche von Rauschen abgeschwächt und vergessen. Das Gedächtnis des Agenten wirkt wie ein Filter, der die Auswirkungen isolierter, rahmenbasierter Angriffe verdünnt.

Um dies zu überwinden, führten die Forscher zunächst eine Reihe von Offline-Experimenten durch, bei denen sie den internen „Punktezähler“ des Agenten untersuchten, um zu sehen, welche winzigen Änderungen im Bild die größten Einbußen im vorhergesagten zukünftigen Score verursachten. Sie sammelten tausende dieser effektiven Änderungen und nutzten eine mathematische Technik, um den gemeinsamen Nenner unter ihnen zu finden. Sie entdeckten, dass alle die meisten schädigenden Änderungen in einem winzigen, niedrigdimensionalen Subraum konzentriert waren. Stellen Sie sich einen riesigen, mehrdimensionalen Raum vor, in dem jede mögliche Art, ein Bild zu verändern, eine andere Richtung darstellt; die Forscher fanden heraus, dass die Schwäche des Agenten nicht über den gesamten Raum verteilt war, sondern tatsächlich in einem einzigen, schmalen Korridor innerhalb davon begrenzt war. Sobald sie diesen Korridor identifiziert hatten, hörten sie auf, den gesamten Raum zu durchsuchen. Stattdessen beschränkten sie ihre Angriffe darauf, sich nur innerhalb dieses schmalen Pfades zu bewegen.

In der letzten Phase ihrer Methode wandten die Forscher diese Entdeckung in Echtzeit an. Während der Agent spielte, berechnete der Angreifer den besten Zug innerhalb dieses schmalen Korridors und glättete die Änderungen dann über die Zeit. Diese Glättung war entscheidend. Sie stellte sicher, dass die Störung nicht von einem Frame zum nächsten zitterte oder flackerte, was leicht auffallen würde und rechenintensiv wäre. Indem sie den Angriff stabil und auf die interne Logik des Agenten abgestimmt hielten, konnten die Forscher den Agenten konsequent dazu bringen, schlechte Entscheidungen zu treffen. Die Ergebnisse waren beeindruckend. Bei der Gehaufgabe sank die Leistung des Agenten um mehr als 26 Prozent, eine signifikant höhere Fehlerrate als bei allen anderen getesteten Methoden. Beim Pong-Spiel war der Rückgang sogar noch dramatischer, wobei der Score des Agenten um fast 86 Prozent einbrach.

Vielleicht am wichtigsten ist, dass die Forscher zeigten, dass ihre Methode nicht nur effektiv, sondern auch effizient und subtil war. Da der Angriff auf eine geringe Anzahl von Richtungen beschränkt war, benötigte er weit weniger Rechenleistung als bisherige Methoden, die versuchten, Änderungen für jedes einzelne Pixel in jedem Frame zu berechnen. Die visuellen Veränderungen blieben so subtil, dass sie für einen menschlichen Beobachter kaum vom Originalvideo zu unterscheiden waren, dennoch brachten sie die Fähigkeit des Agenten, zu funktionieren, völlig aus dem Gleichgewicht. Die Studie widerlegte auch die Vorstellung, dass es ausreichte, den Angriff einfach glatt zu gestalten oder zufällige Muster zu verwenden. Als sie versuchten, eine zufällige Menge von Richtungen anstelle derjenigen zu verwenden, die durch den eigenen Scorekeeper des Agenten gefunden wurden, scheiterte der Angriff fast vollständig. Dies bestätigte, dass der Schlüssel zum Erfolg nicht nur die Mathematik des Angriffs war, sondern die Tatsache, dass er auf die spezifische interne Struktur des Opfer-Agenten zugeschnitten war.

Die Ergebnisse legen nahe, dass sich die Art und Weise, wie wir über Angriffe auf intelligente Systeme denken, ändern muss. Für Agenten, die auf Gedächtnis und interne Modelle angewiesen sind, liegen die gefährlichsten Schwachstellen nicht in den einzelnen Bildern, die sie sehen, sondern in der spezifischen Art und Weise, wie diese Bilder über die Zeit verarbeitet werden. Die Forscher haben demonstriert, dass man, indem man auf die eigenen internen Signale des Agenten hört, eine Abkürzung zu seinem Scheitern finden kann. Dies bedeutet nicht, dass diese Systeme kaputt sind, sondern vielmehr, dass ihre Stärke – die Nutzung eines kontinuierlichen internen Zustands zur Entscheidungsfindung – auch eine einzigartige und schmale Schwachstelle schafft. Während diese Technologien näher an den Einsatz in der realen Welt rücken, wird das Verständnis dieser Geometrie des Scheiterns essenziell sein, um Verteidigungen zu bauen, die sie vor solchen gezielten, intelligenten Störungen schützen können. Die Arbeit dient als klare Erinnerung daran, dass die effektivsten Angriffe in der Welt der künstlichen Intelligenz oft jene sind, die den Geist der Maschine besser verstehen als die Maschine sich selbst versteht.