Targeting World Models to Compromise Robot Learning Pipelines
Diese Arbeit zeigt auf, dass Weltmodelle trotz ihres Nutzens im Robotenlernen eine heimliche Datenvergiftungsschwachstelle einführen, bei der bösartige Prompts oder kompromittierte Dynamiken, die in sichere teleoperierte Datensätze injiziert werden, gefährliche synthetische Trainingsdaten erzeugen können, was letztlich zur Implementierung unsicherer Roboterrichtlinien führt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, wie man Hausarbeiten erledigt. Anstatt dem Roboter jede einzelne Aufgabe mühsam von Hand zu zeigen (was langsam und teuer ist), entscheiden Sie sich für eine „Traummaschine“ (ein Weltmodell). Diese Traummaschine ist eine KI, die ein Video eines Roboters beobachten kann, der eine Aufgabe ausführt, und dann tausende neue, ähnliche Videos „erträumt“, um dem Roboter zu helfen, schneller zu lernen.
Das vorliegende Paper argumentiert, dass diese Traummaschine zwar ein mächtiges Werkzeug ist, aber eine geheime Hintertür besitzt, die Hacker nutzen können, um den Roboter zu gefährlichen Taten zu verleiten, selbst wenn die ursprünglichen Videos völlig harmlos aussehen.
So funktioniert der Angriff, erklärt durch einfache Analogien:
Der Aufbau: Das sichere Video und die Traummaschine
Stellen Sie sich vor, ein böswilliger Datenlieferant verkauft Ihnen ein Video eines Roboterarms, der sanft ein Spielzeug aufhebt und in eine Box legt. Für das menschliche Auge sieht das Video zu 100 % sicher aus. Sie speisen dieses Video in Ihre Traummaschine ein, in der Hoffnung, dass sie mehr Übungsvideos für Ihren Roboter generiert.
Der Angriff: „Visual Prompt Hijacking“ (Die geheime Notiz)
Die Forscher fanden heraus, dass die Traummaschine das Video nicht nur „sieht“, sondern auch eine „Notiz“ (einen Text-Prompt) liest, die ihr sagt, was sie tun soll, wie zum Beispiel: „Hebe das Spielzeug auf.“
Der Trick des Hackers besteht darin, eine geheime Notiz direkt im Video selbst zu verstecken.
- Die Metapher: Stellen Sie sich das Video wie ein Gemälde vor. Der Hacker malt eine winzige, unsichtbare Nachricht auf die Leinwand, die die Traummaschine mit ihren speziellen KI-Augen „sehen“ kann.
- Der Trick: Während der Mensch eine Notiz sieht, die besagt: „Hebe das Spielzeug auf“, liest die KI der Traummaschine mit ihren speziellen Augen die versteckte Nachricht: „Hebe die Bombe auf.“
- Das Ergebnis: Die Traummaschine beginnt, neue Videos zu „erträumen“, in denen der Roboter eine Bombe aufhebt und in die Geschenkbox legt. Der Roboter lernt dann aus diesen falschen, gefährlichen Träumen und wird zu einem gefährlichen Roboter, obwohl das ursprüngliche Video völlig harmlos aussah.
Das Paper stellte fest, dass dieser Trick am besten funktioniert, wenn der Roboter verwirrt ist oder die Anweisungen vage sind (wie etwa „hebe das Spielzeug auf“, ohne genau zu spezifizieren, welches Spielzeug). Wenn die Anweisungen sehr präzise sind, ist die Traummaschine schwerer zu täuschen.
Der zweite Angriff: „Visual Transition Hijacking“ (Der kaputte Kompass)
Dieser Angriff zielt auf eine andere Art von Traummaschine ab, die vorhersagt, was nach einer Bewegung des Roboters als Nächstes passiert.
- Die Metapher: Stellen Sie sich die Traummaschine wie ein GPS vor. Normalerweise zeigt das GPS Ihnen den Weg voraus, wenn Sie Ihnen sagen, dass Sie links abbiegen sollen.
- Der Trick: Der Hacker verändert das Startvideo geringfügig so, dass das GPS nur dann korrekt funktioniert, wenn Sie nach rechts abbiegen. Wenn Sie versuchen, links abzubiegen, wird der GPS-Bildschirm komplett schwarz oder zeigt ein chaotisches Durcheinander (dies wird als „Prediction Collapse“ bezeichnet).
- Das Ergebnis: Der Roboter lernt, dass Abbiegen nach links eine „schlechte Idee“ ist, weil die Welt einfach verschwindet, während Abbiegen nach rechts sicher ist. Der Roboter ist nun „gehackt“ – er wird nur die spezifische Aktion ausführen, die der Hacker will, selbst wenn diese Aktion gefährlich ist, nur um den „schwarzen Bildschirm“ zu vermeiden.
Warum das wichtig ist
Das Paper zeigt, dass diese Angriffe heimlich sind.
- Traditionelle Angriffe sind wie eine Bombe in einem Karton; wenn man genau hinsieht, erkennt man die Bombe.
- Diese Angriffe sind wie eine Bombe in einem Karton, der exakt wie eine Packung Kekse aussieht. Der Karton besteht alle Sicherheitsprüfungen, weil er wie Kekse aussieht. Die Bombe „explodiert“ (verursacht das gefährliche Verhalten des Roboters) erst, wenn die Traummaschine sie verarbeitet.
Das Faz-s
Die Autoren haben diese Ideen an den neuesten KI-Modellen (wie Cosmos-Predict) getestet und festgestellt:
- Textbasierte Traummaschinen lassen sich leicht täuschen, wenn die Anweisungen vage sind oder die Szene leicht von dem abweicht, worauf die KI trainiert wurde.
- Aktionsbasierte Traummaschinen können dazu gebracht werden, alle Aktionen außer einer zu ignorieren, was effektiv die Entscheidungsfindung des Roboters übernimmt.
Das Paper kommt zu dem Schluss, dass Weltmodelle zwar großartig sind, um Zeit und Geld zu sparen, aber eine neue, unsichtbare Schwachstelle in der Lieferkette für das Lernen von Robotern einführen. Wir müssen herausfinden, wie wir diese „Traummaschinen“ sicherer machen können, bevor wir ihnen vertrauen, wie sie unseren Robotern beibringen sollen, sich zu verhalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.