When State Becomes an Attack Surface: State-Semantic Injection in LLM-Driven Embodied Agents
Dieses Papier führt „State-Semantic Injection“ ein, eine neuartige Angriffsfläche, bei der Angreifer die wahrgenommenen Informationen zum Umweltzustand von durch LLMs gesteuerten, verkörperten Agenten manipulieren, um deren Aufgabenverständnis, Planung und Ausführung zu korrumpieren und somit die Sicherheit und Zuverlässigkeit robotischer Systeme zu gefährden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen Roboter vor, der Ihre Stimme verstehen, sich in einem Raum umsehen und entscheiden kann, wie er seine Arme bewegen soll, um Ihnen zu helfen. Diese Maschinen, die oft als „Embodied Agents“ (verkörperte Agenten) bezeichnet werden, werden immer häufiger. Sie folgen nicht einfach einer starren Liste von Befehlen; stattdessen nutzen sie leistungsstarke Sprachmodelle, um basierend auf dem, was sie sehen und was Sie sie fragen, zu entscheiden, was als Nächstes zu tun ist. Um eine Entscheidung zu treffen, erstellt der Roboter ein mentales Bild seiner Umgebung und notiert dabei, wo sich Objekte befinden, wie sie heißen und wie sie zueinander in Beziehung stehen. Er behandelt dieses mentale Bild als eine vertrauenswürdige Tatsache – als ein solides Fundament, auf dem er seinen Plan aufbaut, um eine Tasse aufzuheben, eine Tür zu öffnen oder ein Regal aufzuräumen. Wenn die Informationen in diesem mentalen Bild falsch sind, wird auch der Plan des Roboters falsch sein. Dies schafft eine neue Art von Risiko: Was passiert, wenn jemand still und leise die Fakten im Kopf des Roboters ändert, ohne die Worte zu ändern, die Sie zu ihm gesprochen haben?
Forscher wissen schon lange, dass Künstliche Intelligenz durch verwirrende Anweisungen, die in Texten oder Bildern versteckt sind, getäuscht werden kann. Eine neue Studie stellt jedoch eine tiefere Frage zu Robotern, die mit der physischen Welt interagieren. Sie untersucht ein Szenario, in dem ein Angreifer dem Roboter keinen falschen Befehl entgegenschreit, sondern stattdessen still und leise die Beschreibung des Raumes verändert, den der Roboter nutzt, um zu denken. Die Forscher wollten wissen: Wenn ein Roboter mit einer falschen Beschreibung seiner Umgebung gefütert wird, wird er diese Lüge glauben, seinen Plan ändern und dann tatsächlich etwas Falsches in der realen Welt tun? Sie fanden heraus, dass die Antwort „Ja“ lautet, und dass der Roboter dazu gebracht werden kann, das falsche Objekt zu greifen oder sich an den falschen Ort zu bewegen, selbst wenn der Mensch, der die Anweisung gibt, von dem Trick völlig unbewusst bleibt.
Das Team unter der Leitung von Wissenschaftlern der Wuhan University und der University at Buffalo entwickelte eine Methode, die sie „Environment State-Text Injection“ nennen. Um zu verstehen, wie dies funktioniert, stellen Sie sich einen Roboter vor, der die Aufgabe hat, ein bestimmtes Buch in einem Regal zu finden. Normalerweise schaut der Roboter in das Regal, sieht ein Buch und notiert dessen Position. In diesem Experiment kompromittierten die Forscher einen einzigen Teil des Robotersystems, der dafür verantwortlich ist, zu melden, was er sieht. Sie änderten weder die menschliche Anfrage noch hackten sie das Gehirn oder die Motoren des Roboters. Stattdessen änderten sie einfach den Text, den der Robota über das Buch liest. Sie ersetzten die Beschreibung des Buches durch die Beschreibung eines anderen Objekts, wie etwa einer Tomate, oder sie änderten den Standort des Buches an eine andere Stelle im Regal. Entscheidend war, dass diese falsche Beschreibung exakt wie ein normaler, ehrlicher Bericht der Sensoren des Roboters aussah. Es war kein Befehl an den Roboter, der lautete „Greife die Tomate“; es war eine Lüge darüber, was der Roboter angeblich gerade sah.
Die Forscher testeten diese Idee in drei verschiedenen simulierten Welten, die jeweils ein echtes Zuhause oder ein Büro nachahmen sollten. Sie verwendeten fortgeschrittene Sprachmodelle, um das Gehirn des Roboters zu simulieren. In einem Test sollte der Roboter einen Block in die Mitte eines Tisches bewegen. Die Forscher änderten den Zustandsbericht so, dass der Block tatsächlich ein anderer Block war. Der Roboter, der dem falschen Bericht vertraute, plante, den falschen Block zu bewegen. In einem anderen Test wurde dem Roboter gesagt, er solle Brot aufheben. Die Forscher änderten den Zustand so, dass das Brot eigentlich eine Tomate war. Der Roboter plante daraufhin, stattdessen die Tomate aufzuheben. Die Ergebnisse waren beeindruckend. Wenn die falsche Information an das Planungssystem des Roboters übermittelt wurde, übernahm der Roboter das neue Ziel in fast jedem einzelnen Fall. In einem spezifischen Aufbau änderte der Roboter seinen Plan in 100 Prozent der Fälle, um der Lüge zu entsprechen.
Die Geschichte endet jedoch nicht damit, dass der Roboter einfach nur seine Meinung ändert. Die Forscher beobachteten auch, ob der Roboter in der Lage war, den neuen Plan tatsächlich in der physischen Welt auszuführen. Hier wurde der Test schwieriger. Selbst wenn der Roboter beschließt, eine Tomate statt Brot zu greifen, muss er dennoch in der Lage sein, die Tomate zu erreichen, und die Tomate muss auch tatsächlich dort sein, damit der Roboter sie greifen kann. Die Studie ergab, dass der Roboter zwar fast immer seinen Plan änderte, die Aktion aber nicht immer erfolgreich ausführte. In den Simulationen führte der Roboter die falsche Aktion etwa 4-48 Prozent der Zeit erfolgreich aus, je nach Umgebung. Diese Lücke zwischen der Änderung des Plans und der erfolgreichen Ausführung der Handlung ist wichtig. Sie zeigt, dass der Roboter zwar leicht dazu verleitet werden kann, ein anderes Ziel zu verfolgen, die physikalischen Gesetze der Welt aber weiterhin gelten. Der Roboter kann kein Objekt greifen, das nicht da ist, oder einen Ort erreichen, der blockiert ist.
Um zu beweisen, dass dies nicht nur ein Artefakt der Simulation war, testeten die Forscher die Methode auch an einem echten, physischen Roboter. Sie gaben dem Roboter die einfache Anweisung, einem Pfad zu folgen und zum Ausgangspunkt zurückzukehren. Dann fütterten sie den Roboter mit einem falschen Bericht über seine Umgebung, der suggerierte, ein Computer befinde sich an einem anderen Ort als tatsächlich der Fall war. Der Roboter, der die Lüge glaubte, änderte seinen Weg. Anstatt die Anweisung zu befolgen, einen Kreis zu laufen, drehte er sich in Richtung des Computers und bewegte sich von seiner beabsichtigten Route weg. Dieses Experiment bestätigte, dass eine Lüge über die Umgebung, die durch den internen Zustand des Roboters übermittelt wurde, dazu führen konnte, dass eine echte Maschine sich in einer Weise bewegt, die nicht der Absicht des menschlichen Bedieners entspricht.
Die Studie verglich diese Methode auch mit anderen bekannten Arten von Angriffen auf Roboter. Frühere Angriffe beinhalteten oft das Ausrufen eines versteckten Befehls oder die Nutzung eines „Jailbreaks“, um den Roboter dazu zu bringen, Sicherheitsregeln zu ignorieren. Die Forscher fanden heraus, dass diese älteren Methoden weniger effektiv waren, wenn es darum ging, den Roboter zu einer spezifischen Handlung in der physischen Welt zu bewegen. Die neue Methode funktionierte besser, weil sie nicht versuchte, die Programmierung des Roboters mit einem Befehl zu bekämpfen; stattdin ersetzte sie einfach die Fakten, auf die sich der Roboter verließ. Es war, als würde man die Zutaten in einem Rezept ändern, anstatt dem Koch zuzubrüllen. Der Roboter folgte dem Rezept perfekt, aber weil die Zutaten falsch waren, war das fertige Gericht nicht das, was der Kunde bestellt hatte.
Die Forscher betonten sorgfältig, was ihre Studie nicht bewiesen hat. Sie zeigten nicht auf, wie ein Angreifer überhaupt Zugang zum System des Roboters erlangt. Sie setzten voraus, dass der Angreifer bereits einen Weg gefunden hatte, einen kleinen Teil des internen Berichts des Roboters zu ändern. Sie behaupteten auch nicht, dass dies bei jedem Roboter in jeder Situation passieren würde. Ihre Arbeit konzentrierte sich auf einen spezifischen Typ von Roboter, der Sprache zur Planung seiner Handlungen nutzt. Sie fanden heraus, dass bei diesen Maschinen die Linie zwischen dem, was der Roboter für wahr hält, und dem, was tatsächlich wahr ist, sehr dünn ist. Wenn diese Linie überschritten wird, handelt der Roboter nach der Lüge.
Diese Forschung hebt eine grundlegende Schwachstelle in der nächsten Generation hilfreicher Maschinen hervor. Wenn Roboter zunehmend in unsere Häuser und Arbeitsplätze integriert werden und darauf angewiesen sind, ihre Umgebung zu verstehen, wird die Integrität dieses Verständnisses zu einem Sicherheitsthema. Wenn ein Roboter seinem eigenen Beschrieb der Welt nicht trauen kann, kann man ihm auch nicht zutrauen, sicher in dieser Welt zu handeln. Die Studie legt nahe, dass der Schutz dieser Maschinen mehr erfordert als nur die Sicherung ihrer Software; es wird erforderlich sein, sicherzustellen, dass die Fakten, die sie für ihre Entscheidungen nutzen, echt sind. Die Forscher planen, diese Arbeit fortzusetzen und zu untersuchen, wie sich diese Angriffe über längere Zeiträume und in komplexeren, sich verändernden Umgebungen auswirken könnten. Für den Moment ist das Ergebnis eindeutig: Ein Roboter, der einer Lüge glaubt, wird nach ihr handeln, und manchmal wird diese Handlung direkt vor unseren Augen geschehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.