Technische Samenvatting: BadWAM – Wanneer World-Action Modellen Juist Dromen maar Fout Acteren

1. Probleemstelling

World-Action Models (WAMs) vertegenwoordigen een verschuiving in embodied AI van louter reactieve beleidsregels naar systemen die actiegeneratie koppelen aan toekomstige wereldvoorspelling. De heersende aanname is dat deze koppeling inherent robuustheid en veiligheid biedt: als een robot de gevolgen van zijn acties kan "voorstellen", kunnen onveilige of inconsistente gedragingen worden gedetecteerd vóór uitvoering.

Dit artikel daagt die aanname uit door een specifieke kwetsbaarheid te identificeren die wordt aangeduid als World-Action Drift. Het kernprobleid is dat de afstemming tussen de voorgestelde toekomst van een WAM en de uitgevoerde actie fragiel is. Een tegenstander kan kleine, begrensde visuele perturbaties introduceren om de synchronisatie tussen deze twee gekoppelde capaciteiten te ontregelen. Het resultaat is een faalmodus waarbij het model plausibele toekomstvoorspellingen blijft genereren (waardoor de schijn van veiligheid behouden blijft) terwijl het acties uitvoert die leiden tot taalfalen. Deze kloof maakt toekomstvoorspellingsgebaseerde veiligheidsmonitors ineffectief, omdat zij een "plausibele" toekomst kunnen valideren die niet langer overeenkomt met de werkelijk uitgevoerde trajectorie.

2. Methodologie: BadWAM Framework

De auteurs introduceren BadWAM, een verenigd black-box framework voor het modelleren en evalueren van World-Action Drift Attacks. Het framework opereert onder een dreigingsmodel waarbij een tegenstander visuele observaties ($\tilde{o}_t = \text{clip}(o_t + \delta_t)$) kan verstoren voordat deze door de WAM worden verwerkt, zonder toegang tot de gradiënten of gewichten van het model.

BadWAM karakteriseert het aanvalsoppervlak langs twee assen: aanvalssterkte en sluipendheid (stealthiness). Het instantiëert twee specifieke aanvalsdoelstellingen:

A. Action-Only Adversarial Attack

Deze aanval geeft prioriteit aan disruptie. Het behandelt de WAM als een querybare controller en zoekt een begrensde visuele perturbatie ($\|\delta\|_\infty \le \epsilon$) die de afwijking maximaliseert tussen de schone actie-chunk ($a$) en de aangevallen actie-chunk ($a^\delta$):
$$\delta^*_t = \arg \max_{\|\delta_t\|_\infty \le \epsilon} D_{\text{act}}(a^\delta_{t:t+H-1}, a_{t:t+H-1})$$
Deze aanval negeert de staat van de voorgestelde toekomst en richt zich uitsluitend op het sturen van de robot naar taalfalende acties.

B. Imagination-Preserving Adversarial Attack

Deze aanval geeft prioriteit aan sluipendheid. Het richt zich op systemen waarbij toekomstvoorspellingen worden blootgesteld aan veiligheidsmonitors of planners. Het doel is om schadelijke actieverschuivingen te induceren terwijl de voorgestelde toekomst ($z^\delta$ of $v^\delta$) dicht bij de schone verbeelding ($z$ of $v$) blijft. Dit wordt geformuleerd als een Lagrangiaanse relaxatie:
$$\delta^*_t = \arg \max_{\|\delta_t\|_\infty \le \epsilon} \left( D_{\text{act}}(a^\delta, a) - \lambda D_{\text{img}}(z^\delta, z) \right)$$
Hier controleert $\lambda$ de afweging tussen aanvalssterkte en sluipendheid. Een succesvolle aanval in dit regime resulteert in een robot die een veilige toekomst "droomt" maar destructief "acteert".

Optimalisatiestrategie

BadWAM maakt gebruik van zeroth-order online optimalisatie. Bij elke herplanningsstap behandelt de aanvaller de bevroren WAM als een black box. Met behulp van finite-difference queries schat het de gradiënt van de doelstelling ten opzichte van de perturbatie $\delta$ en werkt het de perturbatie bij via projected gradient descent. Deze aanpak vereist geen toegang tot modelparameters of trainingsdata.

3. Belangrijkste Bijdragen

1. Identificatie van World-Action Drift: Het artikel definieert een nieuw aanvalsoppervlak specifiek voor WAMs, waarbij actie-outputs adversarieel kunnen worden gekaapt terwijl de voorspelde toekomsten visueel plausibel blijven.
2. BadWAM Framework: Het ontwerp van een verenigd framework met twee instantiaties:
   • Action-only attacks: Voor het maximaliseren van de uitvoering-disruptie.
   • Imagination-preserving attacks: Voor het veroorzaken van fouten terwijl plausibele voorspelde toekomsten behouden blijven, wat de beperkingen van toekomstige plausibiliteitscontroles blootlegt.
3. Uitgebreide Evaluatie: Uitgebreide evaluatie op closed-loop robot manipulatietaken (LIBERO en RoboTwin), die substantiële taakdegradatie aantonen onder begrensde visuele perturbaties.
4. Diagnostische Analyse: Gedetailleerde inzichten in de aanvalsdynamiek, inclus\n bij channel-level verschuivingen (die continue actiekanalen en latere horizonten beïnvloeden), de afweging tussen toekomstbehoud en aanvalssterkte, en de transfereerbaarheid van aanvallen naar verschillende WAM-varianten.

4. Experimentele Resultaten

De auteurs hebben BadWAM geëvalueerd op drie WAM-varianten (Action-only, Joint, en IDM WAM) over de LIBERO en RoboTwin benchmarks.

• Reductie in Taaksucces: De aanvallen degraderen de prestaties aanzienlijk. Voor de Action-only WAM op LIBERO verminderde de action-only aanval het taaksucces van 96,5% naar 43,1% (een daling van 53,4%). Joint en IDM WAMs zagen ook dalingen van 30–36% onder action-only aanvallen.
• Sluipendheid (Stealthiness): De imagination-preserving aanval slaagde erin sterke aanvalsprestaties te behouden (bijv. het succes reduceren tot ~63% voor Joint WAM) terwijl de afstand van de voorspelde toekomst tot de schone rollout klein bleef. Dit bevestigt dat veiligheidsmonitors die uitsluitend vertrouwen op de plausibiliteit van de toekomst, deze aanvallen niet zouden detecteren.
• Systematisch Falen: De fouten waren niet willekeurig maar systematisch, met name bij ruimtelijke en langetermijn-taken waar kleine actiefouten zich over de tijd stapelen. De aanval induceerde progressieve drift in plaats van onmiddellijk catastrofaal falen.
• Transfereerbaarheid: Perturbaties die geoptimaliseerd zijn voor één WAM-variant, transfereerden effectief naar andere (bijv. Joint $\to$ IDM), wat suggereert dat er sprake is van gedeelde gevoeligheidsrichtingen in de observatieruimte in plaats van model-specifieke overfitting.
• Beperkingen van Defensie: Eenvoudige niet-adaptieve defensies (Gaussian blur, JPEG noise) mitigeerden de aanvallen gedeeltelijk, maar dit ging ten koste van de schone prestaties of bood onvolledige bescherming. Augmentatie-consistentie detectoren vertoonden een lage recall bij praktische false-positive rates, wat aangeeft dat huidige detectiemethoden onvoldoende zijn.

5. Betekenis en Claims

Het artikel claimt dat de koppeling van actie en wereldvoorspelling in WAMs, vaak geprezen als een veiligheidsfunctie, een unieke kwetsbaarheid introduceert. De primaire betekenis ligt in het aantonen dat voorspelling van de toekomst alleen geen betrouwbaar veiligheidssignaal is.

De auteurs stellen dat het beveiligingskritische object niet de actie of de verbeelding in isolatie is, maar hun afstemming (alignment). Een WAM kan gemanipuleerd worden om gedesynchroniseerde acties uit te voeren die taalfalen veroorzaken, terwijl een "plausibele" voorspelde toekomst behouden blijft. Deze bevinding impliceert dat veiligheidsmechanismen voor embodied AI moeten evolueren voorbij het controleren van de plausibiliteit van voorspelde toekomsten; ze moeten expliciet de synchronisatie verifiëren tussen de voorgestelde trajectorie en de uitgevoerde actie onder adversariële condities. Het artikel concludeert dat BadWAM een noodzakelijk diagnostisch protocol biedt voor het evalueren van de werkelijke robuustheid van world-action modellen.