Technische Samenvatting: Het targeten van World Models om Robot Learning Pipelines te compromitteren

Probleemstelling

De integratie van World Models in robot learning pipelines is een cruciale strategie geworden voor het genereren van hoogwaardige synthetische data, het evalueren van de veiligheid van beleid (policy safety) en het mogelijk maken van efficiënte planning. Deze modellen, met name Vision-Language-Action (VLA) en Deep Reinforcement Learning (DRL) systemen, leunen zwaar op world models om de kloof tussen beperkte real-world demonstraties en de enorme datavereisten voor generalisatie te overbruggen.

Deze integratie introduceert echter een nieuwe en sluipende kwetsbaarheid in de supply chain van robot learning. Traditionele datavergiftigingsaanvallen (data poisoning attacks) vereisen de directe injectie van gevaarlijke trajecten in datasets of diepe toegang tot beloningsfuncties, wat ze relatief detecteerbaar maakt. In tegen tegenstelling hiertoe stelt dit artikel dat World Models een uniek toegangspunt creëren waar aanvallers ogenschijnlijk veilige, teleoperatie-data kunnen manipuleren om gevaarlijke synthetische trainings-trajecten te genereren. Door invoerkaders (input frames) subtiel te wijzigen, kan een kwaadwillende dataleverancier het generatieproces van het world model kapen, waardoor het onveilige demonstraties of transitiedynamieken produceert die vervolgens het downstream robotbeleid (policy) compromitteren. Deze aanvalsvector omzeilt standaard controles op datasetniveau omdat de invoerdata voor menselijke inspecteurs veilig lijkt.

Methodologie

De auteurs stellen een dreigingsmodel voor waarbij een kwaadwillende leverancier van teleoperatie-data beschikt over white-box toegang tot het wereldmodel van het slachtoffer (wat query's en gradiëntberekeningen mogelijk maakt), maar beperkt is tot het leveren van zichtbaar veilige, hoogwaardige video-trajecten. De aanvaller kan geen losstaande onveilige sequenties injecteren of de downstream prompts controleren; de aanvaller moet het kwaadwillende gedrag in de videokaders zelf inbedden.

Het artikel introduceert twee verschillende aanvallingsmethodologieën die zich richten op de twee primaire paradigma's van world models:

1. Visual Prompt Hijacking (VPH)

• Target: Tekst-geconditioneerde world models (bijv. Cosmos-Predict).
• Mechanisme: Deze modellen gebruiken doorgaans cross-attention mechanismen of diffusie vectorenvelden om generatie te conditioneren op tekstprompts en visuele inputs. De aanval manipuleert de visuele input ($\vec{x}$) zodanig dat de semantische codering van de afbeelding uitlijnt met een gevaarlijke prompt ($t_\delta$) in plaats van de veilige gebruikersprompt ($t$).
• Doelstelling: De aanvaller optimaliseert videokaders om de afstand te minimaliseren tussen de semantische codering van het gewijzigde frame met een veilige prompt en de codering van het originele frame met een gevaarlijke prompt:
  $$\min_{\vec{x}_\delta} \mathbb{E}_{t \in T_{safe}, t_\delta \in T_\delta} [D(S_\theta(\vec{x}_\delta, t) || S_\theta(\vec{x}, t_\delta))]$$
  Onderworpen aan een $L_p$ norm-restrictie in de LAB-kleurenruimte om ervoor te zorgen dat de perturbaties visueel onwaarneembaar zijn.
• Doel: Om het world model te dwingen gevaarlijke robotdemonstraties te genereren (bijv. het oppakken van een bom), zelfs wanneer de gebruiker een veilige opdracht geeft (bijv. "pak het speelgoed op").

2. Visual Transition Hijacking (VTH)

• Target: Actie-geconditioneerde world models (bijv. Dino-WM, Cosmos-Predict AC).
• Mechanisme: Deze aanval richt zich op de latente encoder ($E_\theta$) van het model. De aanvaller manipuleert het initiële staat-frame zodanig dat de toekomstige staat-voorspellingen van het world model instorten (significant afwijken van de grondwaarheid), tenzij de agent een specifieke doelactie ($a^*$) kiest.
• Doelstelling: De aanval is geformuleerd om de doelactie te belonen en andere acties te straffen. Als de agent een actie kiest die ver van $a^*$ ligt, stort de voorspelling in; als de agent $a^*$ kiest, keert het model terug naar het voorspellen van de veilige staat.
  $$\min_{\vec{x}_\delta} \mathbb{E}_{a', \epsilon} [\cos(E_\theta(\vec{x}), E_\theta(\vec{x}_\delta)) + (1 - \cos(E_\theta(\delta(\vec{x}_\delta), a^* + \epsilon), E_\theta(\vec{x})))]$$
• Doel: Om een backdoor in een DRL-beleid te implanteren. Het beleid leert altijd de doelactie $a^*$ te selecteren wanneer de trigger (het geperturbeerde frame) aanwezig is om voorspellingsinstorting te voorkomen (wat fungeert als een negatief beloningssignaal), terwijl het zich anders normaal gedraagt.

Belangrijkste Bijdragen

1. Identificatie van een Nieuwe Kwetsbaarheid: Het artikel toont aan dat world models een kritiek, sluipend datapoisenings-toegangspunt introduceren in de robot learning supply chain, waardoor aanvallers downstream beleid kunnen wijzigen zonder invasieve toegang tot de trainingsomgeving.
2. Nieuwe Aanvalsvectoren: De auteurs stellen de eerste aanvallen voor die specifiek gericht zijn op de robot learning pipeline via world models:
   • Visual Prompt Hijacking (VPH) voor tekst-geconditioneerde modellen.
   • Visual Transition Hijacking (VTH) voor actie-geconditioneerde modellen.
3. Backdoor Implantatie in DRL: Het werk levert het eerste proof-of-concept voor het implanteren van een adversariële backdoor in een Deep Reinforcement Learning beleid, uitsluitend door de manipulatie van de inputs van een world model.
4. Kwetsbaarheidsanalyse: De studie onthult dat tekst-geconditioneerde world models aanzienlijk gevoeliger zijn voor manipulatie wanneer ze opereren in out-of-distribution (OOD) settings of wanneer ze worden voorzien van onderspecifieke (vage) prompts.

Experimentele Resultaten

Visual Prompt Hijacking (VPH)

• Setup: De auteurs hebben Cosmos-Predict 2.5 gefinetuned op de Libero task suite en geëvalueerd op drie veiligheidskritische pick-and-place taken (Stove, Microwave, Gift Box).
• Bevindingen:
  • OOD Gevoeligheid: De succesratio van de aanval nam significant toe wanneer de camerapositie out-of-distribution was vergeleken met in-distribution settings. Bijvoorbeeld, in de "Gift Box" taak met een vage prompt steeg de succesratio van de aanval van 5% (in-distribution) naar 20% (out-of-distribution).
  • Prompt Specificiteit: Vage prompts (bijv. "pick up the toy") waren kwetsbaarder dan specifieke prompts (bijv. "pick up the blue and red toy").
  • Object Afhankelijkheid: Succes varieerde per object; sommige objecten (zoals dynamiet) hadden een succes van 0%, waarschijnlijk omdat ze niet voldoende in-distribution waren voor het model om te herkennen, terwijl anderen (zoals vorken) te klein waren om effectief gemanipuleerd te worden.
  • Beperking: De auteurs merken op dat huidige state-of-the-art tekst-geconditioneerde world models en inverse dynamics modellen te fragiel en onnauwkeurig zijn om hoogwaardige data voor VLA-training te leveren zonder aanzienlijke engineeringinspanning. Deze resultaten dienen daarom primair als een proof-of-concept voor toekomstige backdoor-aanvallen.

Visual Transition Hijacking (VTH)

• Setup: De auteurs evalueerden Dino-WM (getraind op Gymnasium omgevingen) en Cosmos-Predict 2.5 AC (getraind op real-world Droid data).
• Bevindingen:
  • DRL Backdoor: Beleid getraind met 5% VTH-gecorrumpeerde staten in de "Single Wall" taak met behulp van PPO, leerde de backdoor succesvol. Wanneer de trigger aanwezig was, koos de agent de doelactie met een hoge frequentie, terwijl het normale prestaties behield wanneer de trigger afwezig was.
  • Voorspellingsinstorting: In Cosmos-Predict 2.5 AC induceerde de aanval succesvol voorspellingsinstorting voor niet-doelacties. De $L_2$ afstand tussen de schone en adversariële generaties nam af naarmate de gekozen actie de doelactie benaderde, wat bevestigde dat het gedrag van het model geconditioneerd was op de specifieke actie.
  • Schaalbaarheid: De aanval bleek effectief, zelfs tegen grote world models getraind op real-world data.

Betekenis en Claims

Het artikel claimt dat deze bevindingen een herwaardering noodzakelijk maken van de positie van world models binnen de robot learning supply chain. De auteurs stellen dat:

• Stealth: Deze aanvallen zijn uniek moeilijk te detecteren omdat de invoerdata (teleoperatie-video's) veilig lijkt voor menselijke inspecteurs, en het kwaadwillende gedrag pas wordt geactiveerd nadat het door het world model is gegaan.
• Systemisch Risico: De integratie van world models creëert een "single point of failure" waarbij een gecompromitteerde dataleverancier het gehele downstream leerproces kan vergiftigen.
• Onderzoek Imperatief: De resultaten benadrukken een dringende behoefte aan onderzoek naar robuuste world models en defensies tegen externe aanvallers. Het artikel stelt expliciet dat huidige defensies onvoldoende zijn en dat het vakgebied de kwetsbaarheid van world models in zowel adversariële als benigne settings moet aanpakken.

De auteurs blijven bescheiden over de onmiddellijke inzetbaarheid van deze aanvallen in volledig realistische, complexe pipelines, waarbij zij erkennen dat hun VPH-resultaten momenteel een proof-of-concept zijn vanwege de beperkingen van huidige generatieve modellen. Echter, de succesvolle demonstratie van een backdoor in een DRL-beleid via VTH vestigt een concrete en serieuze bedreiging voor de beveiliging van autonome robotica-systemen.