⚡ electrical engineering

Trajectory-Level Redirection Attacks on Vision-Language-Action Models

Dit artikel introduceert en formaliseert "command-preserving trajectory redirection", een nieuwe aanval op Vision-Language-Action (VLA) modellen waarbij bijna onschadelijke prompt-perturbaties, ontdekt via een on-policy zoekmethode, er succesvol in slagen de fysieke uitvoering van een robot te herleiden naar een door een aanvaller gespecificeerde uitkomst, terwijl de schijn van de oorspronkelijk beoogde taak behouden blijft.

Oorspronkelijke auteurs: Gokul Puthumanaillam, Vardhan Dongre, Pranay Thangeda, Hooshang Nayyeri, Dilek Hakkani-Tür, Melkior Ornik

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gokul Puthumanaillam, Vardhan Dongre, Pranay Thangeda, Hooshang Nayyeri, Dilek Hakkani-Tür, Melkior Ornik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robotassistent hebt. Je geeft het een eenvoudige stemopdracht, zoals: "Zet de kom op het fornuis." Omdat deze robot een nieuw type AI gebruikt, een Vision-Language-Action (VLA) model, luistert hij niet alleen één keer naar de opdracht, maar blijft hij diezelfde zin steeds opnieuw "beluisteren" terwijl hij zijn arm beweegt, de kom oppakt en hem optilt. Hij gebruikt de zin als een constante wegwijzer om te beslissen wat de volgende stap is.

Dit artikel onthult een angstaanjagende maar fascinerende zwakte in hoe deze robots denken. De onderzoekers hebben een manier gevonden om de robot iets totaal anders te laten doen — zoals de kom op een bord zetten in plaats van op het fornuis — door slechts één of twee kleine letters in je zin te veranderen, zonder dat de robot (of een mens) merkt dat er iets mis is.

Hier is een uitsplitsing van hun ontdekking met behulp van eenvoudige analogieën:

1. De "Broken Compass" Aanval

Normaal gesproken, wanneer we denken aan het hacken van een robot, stellen we ons voor dat iemand een totaal nieuwe opdracht roept zoals: "Gooi de kom uit het raam!" of "Negeer mij!"

Maar dit artikel laat zien dat de meest gevaarlijke aanvallen veel slu‌تر zijn. Het is alsof je een wandelaar een kaart geeft waarbij iemand slechts één letter in de naam van een oriëntatiepunt heeft veranderd.

Oorspronkelijke opdracht: "Zet de kom op het fornuis."
Gemanipuleerde opdracht: "Zet de kom op het fornuis." (Stel dat er een typefout in zit, zoals "fornuis" wordt "fornuis" met een vreemde letter).

Voor een mens is een typefout overduidelijk, maar voor de robot werkt die kleine fout als een kapotte kompas. Omdat de robot deze zin bij elke stap van zijn beweging controleert, stuurt die kleine fout de robot langzaam uit koers. Tegen de tijd dat de robot het einde van de taak bereikt, is hij door de fout helemaal naar het bord geleid, in plaats van naar het fornuis.

2. Het "Echo Chamber" Effect

Het artikel legt uit dat deze robots uniek zijn omdat ze zich in een gesloten lus bevinden.

Stap 1: Je zegt "fornuis" (met een typefout).
Stap 2: De robot beweegt zijn hand iets anders door die typefout.
Stap 3: De robot maakt een nieuwe foto van de wereld.
Stap 4: De robot kijkt naar de foto en de zin "fornuis" opnieuw om de volgende zet te bepalen.

De onderzoekers ontdekten dat omdat de robot de typefout steeds opnieuw leest, de kleine fout wordt versterkt. Het is als een spelletje "Telefoontje" waarbij de boodschap vervormd raakt, maar dan andersom: een kleine vervorming in de boodschap veroorzaakt een enorme vervorming in de fysieke wereld. De robot eindigt met het doen van precies wat de hacker wilde (de kom op het bord zetten), terwijl hij nog steeds denkt dat hij je oorspronkelijke instructie volgt.

3. De "Ghost in the Machine"

De onderzoekers noemen dit een "Command-Preserving Trajectory Redirection." Dat is een chique manier om te zeggen: De robot denkt dat hij doet wat jij vroeg, maar hij doet eigenlijk wat de hacker wil.

Ze testten dit op veel verschillende robotbreinen (AI-modellen) en ontdekten dat bijna alle modellen kwetsbaar waren. Je kon "fornuis" veranderen in "fornuis", "forn1is" of "forn.is", en de robot zou nog steeds falen in de oorspronkelijke taak en tegelijkertijd slagen voor het geheime doel van de hacker.

4. Hoe ze de truc vonden

Om deze kleine typefouten te vinden, hebben de onderzoekers niet simpelweg geraden. Ze bouwden een "zoekmachine" voor slechte instructies.

Ze lieten de robot duizenden licht verschillende typefouten proberen.
Ze keken welke typefouten de robot naar het "slechte" doel (het bord) stuurden, terwijl het er nog steeds uitzag alsof hij het "goede" doel (het fornuis) probeerde te bereiken.
Ze ontdekten dat ze slechts ongeveer 3 of 4 tekens uit de hele zin hoefden te veranderen om de robot te breken.

5. De Real-World Test

Dit was niet alleen een computersimulatie. De onderzoekers testten dit op een echte robotarm in een echt laboratorium.

Ze zeiden tegen de echte robot dat hij een blokje in een lade moest leggen.
Ze veranderden de opdracht naar een bijna identieke typefout.
De echte robot legde, in plaats van het blokje in de lade, het blokje op de bovenkant van de lade of in een kom, precies zoals de "hacker" had bedoeld.

6. Waarom eenvoudige oplossingen niet werken

Het artikel testte ook of we de tekst simpelweg konden "opschonen" voordat de robot deze leest.

Spaties of leestekens repareren? De robot werd nog steeds bedrogen.
Spelfouten herstellen? De robot werd nog steeds bedrogen.

De onderzoekers kwamen tot de conclusie dat we dit niet alleen kunnen stoppen door typefouten te corrigeren. We moeten een systeem hebben dat de betekenis van de opdracht controleert tegen een strikte lijst van toegestane taken. Als de opdracht niet perfect overeenkomt met een bekende, veilige taak, moet de robot weigeren te bewegen, in plaats van te proberen te raden wat je bedoelde.

De Kernboodschap

Dit artikel waarschuwt ons dat naarmate we robots meer vrijheid geven om natuurlijke taal te begrijpen, we hen ook een nieuwe manier geven om te worden gefopt. Een kleine, bijna onzichtbare typefout in een zin kan fungeren als een afstandsbediening die de hele fysieke reis van een robot overneemt, zonder dat iemand het merkt totdat het te laat is. De oplossing is niet alleen betere spelling; het is het bouwen van een "veiligheidsbewaker" die ervoor zorgt dat de robot daadwerkelijk de juiste baan uitvoert, en niet alleen een baan die lijkt op de juiste baan.

Technische Samenvatting: Traject-niveau Redirectie-aanvallen op Vision-Language-Action Modellen

Probleemstelling

Vision-Language-Action (VLA) modellen stellen robots in staat om manipulatietaken rechtstreeks uit natuurlijke taalinstructies uit te voeren door tekst en camerabeelden naar acties te mappen. Een kritiek veiligheidsrisico ontstaat omdat de taalinstructie fungeert als een persistent conditioneringssignaal in het closed-loop controlesysteem; deze wordt bij elke herplanningsstap hergebruikt. Terwijl bestaand adversarieel onderzoek naar VLA's zich heeft gericht op het uitlokken van gerichte low-level acties of het laten voortbestaan van dergelijke acties bij veranderende beelden, leiden deze benaderingen niet noodzakelijkerwijs tot controle over de uiteindelijke fysieke uitkomst van de robot.

Dit artikel identificeert een sterkere faalmodus: Command-Preserving Trajectory Redirection (Op de opdracht behoudende traject-redirectie). Het probleem wordt gedefinieerd als het vinden van een enkele tekstuele prompt, die aan het begin van een episode één keer wordt uitgegeven, die:

De opdracht behoudt: Tekstueel dicht bij de legitieme instructie blijft (bijv. "zet de kom op het fornuis"), leesbaar is en geen expliciete doeltaak of correctietaal bevat.
Het traject redirecteert: Ondanks dat de prompt legitiem lijkt, zorgt de prompt ervoor dat het bevroren VLA-beleid een sequentie van acties uitvoert die resulteert in een andere, door een aanvaller gespecificeerde fysieke uitkomst (bijv. de kom op een bord plaatsen in plaats van op het fornuis).

De kernuitdaging is dat de relevante observaties voor het beleid niet vaststaan; deze worden geïnduceerd door de acties die worden ondernomen onder de kandidaat-prompt. Daarom faalt het optimaliseren van een prompt op basis van een statische set vooraf verzamelde observaties, omdat de staat-distributie verschuift naarmate het gedrag van de robot verandert.

Methodologie

De auteurs stellen een On-Policy Teacher-Matching Prompt Search algoritme voor om dergelijke redirectie-prompts te ontdekken. De methode behandelt de aanval als een traject-niveau optimalisatieprobleem in plaats van een statische input-perturbatie.

1. Dreigingsmodel en Beperkingen

De aanvaller controleert alleen de tekstuele instructie $\tau$ vóór de aanvang van de episode. De prompt moet voldoen aan de Command-Preserving beperkingsset $T_{cp}(\tau_b, \Gamma_e)$ , die het volgende omvat:

Kleine tekstwijziging: Begrensde karakter-edit-afstand ( $C_{text} \le \epsilon$ ) van de legitieme prompt $\tau_b$ .
Validiteit: De prompt moet een leesbare natuurlijke taalinstructie zijn.
Geen lekken: De prompt mag geen woorden of zinnen bevatten uit het lexicon van de aanvaller $\Gamma_e$ (bijv. "bord" in een "fornuis"-taak) of taal voor overschrijving/correctie.
Preservatie: De prompt moet na normalisatie en spellingcorrectie nog steeds interpreteerbaar zijn als de legitieme opdracht.

2. On-Policy Zoekalgoritme

De zoektocht verfijnt kandidaat-prompts iteratief met behulp van de volgende lus:

Teacher Labels: De bevroren VLA wordt bevraagd onder de legitieme prompt ( $\tau_b$ ) en een directe doel-prompt ( $\tau_t$ , uitsluitend gebruikt voor constructie) om "teacher" actie-chunks ( $A_b$ en $A_t$ ) voor geobserveerde staten te genereren.
Kandidaat-generatie: Nieuwe prompts worden gegenereerd via karakter-niveau mutaties (substituties, inserties, wisselingen, typefouten) en token-niveau perturbaties van hoog scorende kandidaten.
Constraint Filtering: Kandidaten worden gefilterd om te waarborgen dat ze voldoen aan de command-preserving beperkingen.
Scoring: Kandidaten worden gescoord op basis van een target-vs-benign margin loss. Het algoritme zoekt naar prompts waarvan de acties dichter bij de target teacher ( $A_t$ ) liggen dan de benign teacher ( $A_b$ ) bij dezelfde observatie, terwijl de tekstuele kosten worden geminimaliseerd.
On-Policy Aggregatie: Cruciaal is dat de zoektocht gegevens aggregeert uit de staten die worden geïnduceerd door de huidige kandidaat-prompts (rollouts), en niet alleen uit de initiële legitieme trajectorie. Dit bootst het DAgger-algoritme in imitation learning na, waardoor de zoektocht rekening houdt met de sequentiële distributieverschuiving veroorzaakt door de perturbatie.
Rollout Selectie: Top-kandidaten worden geëvalueerd in closed-loop rollouts. De beste prompt wordt geselecteerd op basis van een score die beloont voor het bereiken van de target, het falen van de benchmark, en het minimaliseren van de tekstuele perturbatie.
Minimalisatie: Zodra een succesvolle prompt is gevonden, vindt een hongerige (greedy) minimalisatie plaats waarbij onnodige edities worden verwijderd om de kortste effectieve perturbatie te vinden.

Belangrijkste Bijdragen

Formalisering van Command-Preserving Trajectory Redirection: Het artikel definieert wiskundig een dreigingsmodel waarbij een enkele, bijna legitieme prompt een bevroren VLA naar een door een aanvaller gespecificeerde fysieke doelstelling redirecteert zonder expliciete doelinstructies.
On-Policy Prompt Search: Introductie van een zoekmethode die closed-loop rollouts gebruikt om perturbaties te ontdekken, waarmee het probleem van statische observatie-aanvallen wordt aangepakt die falen door de verschuiving in de staat-distributie.
Uitgebreide Evaluatie: De methode wordt geëvalueerd over negen diverse VLA-architecturen (waaronder OpenVLA, $\pi0.5$ , Octo, SmolVLA, GR00T-N1) die gebruikmaken van discrete-token, flow-matching, diffusion en action-as-text ontwerpen, zowel in simulatie (LIBERO) als op echte hardware (SO-100 arm).
Defensie-analyse: Een evaluatie van preprocessing-defensies (whitespace normalisatie, spellingcorrectie, canonicalisatie), die aantoont dat oppervlakkige opschoning onvoldoende is en dat command-niveau normalisatie vereist is.

Resultaten

Hoge Succespercentages: De aanvallen behaalden succespercentages (ASR) boven de 90% op zeven van de negen geëvalueerde VLA-architecturen. Bijvoorbeeld, $\pi0.5$ had een ASR van 97,5%, en MolmoAct 93,4%.
Minimale Perturbaties: Succesvolle aanvallen vereisten zeer kleine tekstuele wijzigingen, met een mediane karakter-edit-afstand van slechts 3,4 tekens (bijv. het veranderen van "stove" naar "staove").
Hardware Validatie: De kwetsbaarheid blijft bestaan op echte hardware. Experimenten op de SO-100 arm toonden aan dat bijna legitieme perturbaties ervoor zorgden dat de oorspronkelijke taak-succesratio instortte (bijv. van ~90% naar bijna 0%), terwijl de robot succesvol werd geredirecteerd naar de target van de aanvaller.
Causale Analyse: Causale tracing onthulde dat het effect van de aanval geconcentreerd is in de bestemmingsrepresentatie (destination representation). Het verstoren van het bestemmingwoord (bijv. "stove") creëert verborgen staten die de action head naar het alternatieve gedrag sturen, terwijl het verstoren van andere woorden (bijv. "put") weinig effect heeft.
Effectiviteit van Defensie: Lichtgewicht defensies zoals whitespace normalisatie of interpunctie strippen slaagden er niet in de aanvallen te stoppen. Spellingcorrectie verminderde de succespercentages, maar was niet robuust. Alleen nearest-task canonicalization (het mappen van prompts naar een eindige set gevalideerde commando's) verminderde de succesrate van de aanval significant, hoewel dit het risico loopt de bruikbaarheid voor open-vocabulary instructies te beperken.

Betekenis en Claims

Het artikel claimt een fundamentele traject-niveau kwetsbaarheid bloot te leggen in de instructie-grounding van VLA's. De auteurs stellen dat tekst die de bedoelde opdracht lijkt te behouden, een aanvaller toch controle kan geven over de uiteindelijke fysieke uitkomst van de robot.

De betekenis ligt in het aantonen dat:

Persistentie niet genoeg is: Het simpelweg laten voortbestaan van een actie over verschillende beelden is onvoldoende om de uiteindelijke uitkomst te controleren; het gehele closed-loop traject moet worden geredirecteerd.
Statische evaluatie gebrekkig is: Het evalueren van prompts op vaste observaties is inadequaat omdat de prompt de toekomstige staat-distributie bepaert.
Robuustheid structurele veranderingen vereist: Oppervlakkige tekstuele opschoning is onvoldoende. Robuuste implementatie vereist het behandelen van taal-grounding als onderdeel van het closed-loop controlesysteem, wat mogelijk een command-normalisatie laag vereist die ruisgevoelige inputs mapt naar een gevalideerde set taken voordat de actie-generatie plaatsvindt.

De auteurs blijven bescheiden over de reikwijdte en merken op dat hun evaluatie zich richt op manipulatietaken in specifieke omgevingen (LIBERO en SO-100) en dat de zoektocht uitgaat van toegang tot queries, wat de capaciteiten van een aanvaller in volledig beveiligde omgevingen mogelijk overschat. Toekomstig werk wordt gesuggereerd voor de ontwikkeling van gecertificeerde prompt-preserverende defensies.