Technische Samenvatting: ARB4WM – Een benchmark voor adversariële robuustheid van wereldmodellen in continue controle

1. Probleemstelling

Wereldmodellen, met name Dreamer-stijl agenten, worden steeds vaker ingezet in veiligheidskritische systemen voor continue controle (bijv. robotica, autonoom rijden) vanwege hun vermogen om latente dynamiek te leren voor planning en besluitvorming. In tegenstelling tot model-vrije agenten, die observaties direct naar acties mappen, coderen wereldmodellen visuele inputs naar compacte latente toestanden, leren zij recurrente dynamiek en optimaliseren zij gedrag via verbeelde trajecten.

Hoewel eerder werk heeft vastgesteld dat reinforcement learning (RL) agenten kwetsbaar zijn voor adversariële observaties, zijn bestaande evaluaties onvoldoende voor wereldmodellen. De meeste huidige benchmarks richten zich op model-vrije policies of behandelen de agent als een eenvoudige policy-netwerk, waarbij alleen de robuustheid in de actieruimte wordt geëvalueerd. Deze aanpak faalt in het vastleggen van foutmodi die specifiek zijn voor de wereldmodel-pipeline, waarbij adversariële perturbaties het volgende kunnen corrumperen:

• Recurrente belief-toestanden (latente dynamiek).
• Waarde-voorspellingen die worden gebruikt voor verbeelde rollouts.
• De consistentie tussen de posterior- en prior-distributies in het Recurrent State-Space Model (RSSM).

Consequent ontbreeft er een verenigd framework om te diagnosticeren waar en hoe adversariële visuele perturbaties de latente besluitvormingspipeline over verschillende wereldmodel-architecturen verstoren.

2. Methodologie: Het ARB4WM Framework

De auteurs presenteren ARB4WM, een herhaalbaar framework voor robuustheidstesten, ontworend om wereldmodel-agenten te evalueren onder visuele perturbaties. Het framework evalueert vier Dreamer-familie agenten (Dreamer, R2-Dreamer, Dreamer-InfoNCE, en Dreamer-Pro) over 20 taken uit MetaWorld en de DeepMind Control Suite (DMC).

2.1. Verenigde Attack Interface

ARB4WM definieert een verenigde interface die toegang biedt tot interne componenten van de Dreamer-pipeline tijdens inferentie en imaginatie-rollouts. Dit maakt gerichte aanvallen op specifieke architecturale elementen mogelijk, in plaats van enkel op de uiteindelijke actie-output.

2.2. Vijf White-Box Attack Objectives

Het framework introduceert vijf verschillende loss-objectieven om verschillende componenten van de wereldmodel-pipeline aan te vallen:

1. Policy Divergence Attack (PDA): Maximaliseert de Kullback–Leibler divergentie tussen de schone policy-distributie en de adversariële policy-distributie ($\mathcal{L}_{PDA} = D_{KL}(\pi_{clean} \parallel \pi_{adv})$).
2. Policy Entropy Attack (PEA): Maximaliseert de entropie van de adversariële policy om besluiteloosheid te induceren ($\mathcal{L}_{PEA} = \mathcal{H}(\pi_{adv})$).
3. Value Suppression Attack (VSA): Minimaliseert de voorspelde staatswaarde van de critic om langetermijnplanning te destabiliseren ($\mathcal{L}_{VSA} = -V(\tilde{f}_t)$).
4. Latent Drift Attack (LDA): Maximaliseert de gekwadrateerde $L_2$-afstand tussen schone en adversariële latente toestanden (zowel de stochastische $z_t$ als de deterministische $h_t$) om de belief-toestand te corrumperen ($\mathcal{L}_{LDA} = \|z_t - z^{clean}_t\|^2_2 + \|h_t - h^{clean}_t\|^2_2$).
5. Dynamics Consistency Attack (DCA): Maximaliseert de KL-divergentie tussen de RSSM posterior- en prior-distributies om de consistentie van de latente imaginatie te breken ($\mathcal{L}_{DCA} = D_{KL}(q(z_t) \parallel p(z_t))$).

2.3. Optimalisatie en Temporele Protocollen

• Optimizers: Het framework maakt gebruik van zowel single-step (FGSM) als multi-step iteratieve (PGD) gradiënt-gebaseerde aanvallen.
• Temporele Expositie Modi: Om realistische beperkingen te simuleren en de propagatie van recurrente toestanden te bestudelen, evalueert het framework:
  • Full-frame: Het perturberen van elk frame (maximale druk).
  • Half-sequence: Het perturberen van alleen de eerste of tweede helft van de episode om herstel en langetermijnpropagatie te testen.
  • Sparse-periodic: Het perturberen van elke $n$-de frame om de veerkracht van latente dynamiek tegen intermitterende aanvallen te testen.

2.4. Evaluatiemetrieken

Het framework rapporteert:

• Clean-normalized Area Under Curve (nAUC): Aggregeert prestaties over verschillende perturbatie-budgetten.
• Defense Recovery: Meet de mate waarin input-verdedigingen (bijv. JPEG-compressie, median filtering) de prestaties herstellen.
• Adaptive-Defense Gap: Kwantificeert de daling in de effectiviteit van de verdediging wanneer de aanvaller op de hoogte is van de verdediging.
• Policy Saliency Diagnostics: Analyseert hoe adversariële objectieven de ruimtelijke bewijsvoering (saliency maps) die door de policy wordt gebruikt, veranderen.

3. Belangrijkste Resultaten

Experimenten over 20 taken en vier agenten leverden de volgende bevindingen op:

• Component-niveau Kwetsbaarheden: Aanvallen die gericht zijn op waarde-inschatting (VSA), latente representaties (LDA) en RSSM-dynamiek (DCA) bleken even schadelijk als directe policy-verstoring (PDA/PEA). In veel gevallen waren VSA en PEA de sterkste aanvalsobjectieven, wat aangeeft dat het corrumperen van de critic of de onzekerheid van de policy zeer effectief is.
• Temporele Propagatie: Full-frame aanvallen veroorzaakten de meest significante degradatie. Cruciaal is dat vroege perturbaties (attacks in de eerste helft) vaak schadelijker waren dan late perturbaties, wat suggereert dat fouten die in de recurrente latente toestand worden geïnjecteerd, aanhouden en voortplanten, zelfs nadat de aanval is gestopt. Sparse aanvallen (elke 2 frames) veroorzaakten ook aanzienlijke degradatie, terwijl hogere intervallen (elke 4-6 frames) de latente toestand de kans gaven om opnieuw te verankeren.
• Architecturale Gevoeligheid: R2-Dreamer vertoonde de sterkste gemiddelde robuustheid over de benchmarks, terwijl Dreamer-Pro consequent de zwakste was, ondanks het ontwerp voor verbeterde representatie-lering. Dit suggereert dat een nominale kwaliteit van de representatie geen garantie biedt voor adversariële stabiliteit.
• Beperkingen van Verdediging: Input-niveau verdedigingen (JPEG, median filtering) boden gedeeltelijk herstel onder niet-adaptieve aanvallen, maar boden beperkte bescherming tegen adaptieve aanvallen. De effectiviteit van verdedigingen was sterk taakafhankelijk; ze hielpen bijvoorbeeld bij manipulatietaken met redundante visuele cues, maar faalden in balanscontrole-taken die precieze feature-extractie vereisen.
• Saliency Shifts: Adversariële objectieven veranderden de ruimtelijke gevoeligheid van de policy. Aanvallen op waarde en dynamische consistentie (VSA, DCA) hadden de neiging de aandacht van de policy sterker weg te leiden van de doelregio dan policy-niveau aanvallen.

4. Betekenis en Claims

Het artikel claimt dat ARB4WM een kritiek gat dicht in de veiligheidsbeoordeling van wereldmodel-agenten door verder te gaan dan eenvoudige actieruimte-robuustheid. De primaire bijdragen en implicaties zijn:

1. Holistische Veiligheidsbeoordeling: De auteurs stellen dat de robuustheidsevaluatie voor wereldmodellen de volledige latente besluitvormingspipeline moet dekken, inclusief policy-outputs, critic-schattingen, latente representaties en dynamische consistentie. Het uitsluitend vertrouwen op actieruimte-metrieken mist interne foutmodi die door het systeem voortplanten.
2. Temporeel Risicobewustzijn: Het framework benadrukt dat temporele expositie-protocollen essentieel zijn voor risicobeoordeling. De persistentie van latente toestand-corruptie betekent dat veiligheidsevaluaties moeten overwegen of een controller kan herstellen van intermitterende of in de beginfase optredende verstoringen.
3. Realisme van Verdediging: De resultaten suggereren dat input-niveau verdedigingen moeten worden beschouwd als gedeeltelijke mitigaties in plaats van certificeringsmechanismen. De significante "adaptive-defense gap" geeft aan dat verdedigingen moeten worden geëvalueerd tegen aanvallers die door de verdedigingspipeline kunnen optimaliseren.
4. Architecturale Implicaties: De bevindingen impliceren dat de keuze van representatie-leringsobjectieven (bijv. redundantie-reductie in R2-Dreamer versus prototype-lering in Dreamer-Pro) direct invloed heeft op de lokale geometrie van de encoder-RSSM-head compositie, wat de adversariële robuustheid beïnvloedt.

Samenvattend biedt ARB4WM een gestandaardiseerde, herhaalbare workflow om specifieke foutmodi in wereldmodel-agenten te diagnosticeren, en biedt het een fundament voor het ontwikkelen van robuustere visuele model-gebaseerde controlesystemen voor industriële en veiligheidskritische toepassingen.