Technische Samenvatting: WMAttack

Probleemstelling

Ondanks de toenemende adoptie van wereldmodellen als besluitvormende agenten in versterkend leren (RL), blijft hun adversariële robuustheid onderbelicht. Huidige evaluatiemethoden staan voor een kritieke afweging tussen nauwkeurigheid en efficiëntie. Zwakke, handmatig afgestelde aanvallen overschatten vaak de robuustheid, terwijl exhaustieve hyperparameterzoeken computationeel onbetaalbaar zijn. Dit komt doordat het evalueren van een enkele aanvalskandidaat in een wereldmodelsetting gesloten-lus rollouts door geleerde latente dynamiek vereist, wat aanzienlijk duurder is dan standaard evaluaties voor toezichtleren. Bovendien is de effectiviteit van een aanval sterk afhankelijk van omgevingsdynamiek, observatieruimtes en adversariële hyperparameters, wat handmatige afstelling onbetrouwbaar maakt. Het artikel identificeert een gebrek aan toegewijde, geautomatiseerde frameworks om systematisch de faalmodi van wereldmodelagenten onder adversariële omstandigheden bloot te leggen en te kwantificeren.

Methodologie

De auteurs stellen WMAttack voor, een geautomatiseerd framework voor het zoeken naar aanvallen, ontworpen om wereldmodelagenten te evalueren binnen een beperkt evaluatiebudget. De kerndoelstelling wordt geformuleerd als een zoekprobleem over aanvalconfiguraties (waaronder aanvalsfamilies, verstoringbudgetten, optimalisatiestappen, herstarts en toewijzingsregels) om een gescalariseerde nuttigheidsfunctie te maximaliseren. Deze nuttigheid balanceert reward-degradatie, actie-instabiliteit, evaluatietijd en variabiliteit van rollouts.

WMAttack maakt gebruik van een tweestaps optimalisatieproces om de grote zoekruimte te navigeren:

1. Representatie-gestuurde Aanvalsherwinning (RGAR):
   Om het "koude-start"-probleem aan te pakken waarbij evaluatoren geen voorkennis hebben van effectieve aanvallen voor een nieuwe taak-agentcombinatie, haalt RGAR historische aanvalconfiguraties op van representatie-gerelateerde taken. Het construeert een latente gedragsamenvatting ($\psi_\tau$) van de nieuwe taak op basis van schone trajecten (latente toestanden, voorspellingen, acties, rewards). Door diverse dynamieken te projecteren in een uniforme latente ruimte, identificeert RGAR de top-$K$ vergelijkbare historische records en gebruikt deze om de aanvalsvoorstelverdeling ($q_0$) te initialiseren. Dit biedt een warme start, waarbij ervaring over taken wordt benut in plaats van oningelichte willekeurige initialisatie.

2. Zelfcorrigerende Aanvalzoektocht (SCAS):
   Na initialisatie verfijnt SCAS de zoekstrategie iteratief met feedback van geëvalueerde proeven. Het behandelt de gerangschikte kandidaatgenerator als een impliciete voorstelverdeling ($q_t$). Na het evalueren van een batch kandidaten via gesloten-lus rollouts, gebruikt SCAS multidimensionale feedback (reward-degradatie, actie-instabiliteit, runtime, variabiliteit) om de voorstelverdeling bij te werken. Proeven met hoge nuttigheid dienen als ankers voor lokale verfijning, terwijl feedbacksignalen zoekrichtingen aanpassen (bijvoorbeeld door verstoringbudgetten of optimalisatiestappen te wijzigen). Deze zelfcorrigerende lus concentreert het evaluatiebudget op gebieden van de aanvalsrui die waarschijnlijker faalmodi van wereldmodellen blootleggen.

Theoretische Basis: Het artikel biedt een theoretische verklaring die aantoont dat als de voorstelverfijning (via RGAR of SCAS) de waarschijnlijkheidsmassa verschuift naar aanvalconfiguraties met hoge nuttigheid (de verzameling $G_\eta$), de kans op het ontdekken van een effectieve aanval binnen een beperkt budget toeneemt. Specifiek garandeert de updateregel $C_\gamma(q) = (q + \gamma q^*)/(1+\gamma)$, waarbij $q^*$ een op nuttigheid gebaseerde referentieverdeling is, een toename in de kans op het bemonsteren van een effectieve configuratie als de referentie meer geconcentreerd is op de effectieve verzameling dan de huidige voorstel.

Belangrijkste Bijdragen

1. Probleemformulering: De auteurs formuleren de evaluatie van adversariële robuustheid voor wereldmodellen als een zoekprobleem voor aanvalconfiguraties met een beperkt budget, met als doel efficiënt hoog-impact aanvallen te identificeren over diverse taken, modellen en hyperparameterinstellingen.
2. WMAttack Framework: Ze ontwikkelen een geautomatiseerd framework dat RGAR en SCAS combineert. RGAR maakt overdracht van ervaring over taken mogelijk via latente gedragsrepresentaties, terwijl SCAS gebruikmaakt van feedbackgedreven voorstelverfijning om zoekinspanningen adaptief te concentreren.
3. Theoretisch Inzicht: Het artikel biedt een theoretische verklaring voor waarom feedbackgedreven voorstelverfijning de zoekefficiëntie verbetert, door aan te tonen dat het verschuiven van waarschijnlijkheidsmassa naar configuraties met hoge nuttigheid de verwachte tijd tot het vinden van effectieve aanvallen verkort.
4. Empirische Evaluatie: Uitgebreide experimenten zijn uitgevoerd op 46 taken binnen de Atari- en DeepMind Control (DMC)-suites met verschillende wereldmodelarchitecturen (DreamerV2, DreamerV3, TD-MPC2, IRIS).

Resultaten

De evaluatie toont aan dat WMAttack consequent sterkere aanvallen ontdekt dan zowel willekeurig zoeken als een Claudini-stijl autoresearch-baseline (die iteratieve feedback gebruikt maar geen herwinning over taken).

• Aanvalsstrength: Op DreamerV3 Atari bereikte WMAttack een genormaliseerde reward-daling van 1,034, wat aanzienlijk beter is dan de Claudini-baseline (0,497) en willekeurig zoeken (0,446). Het was de enige methode die een positieve gescalariseerde nuttigheid opleverde (0,430), wat aangeeft dat de zoekkosten werden gerechtvaardigd door de aanvalsstrength. Op DMC verbeterde WMAttack de reward-daling van 0,319 (Claudini) naar 0,682.
• Cross-model Generalisatie: Het framework legde succesvol kwetsbaarheden bloot in DreamerV2, TD-MPC2 en IRIS, met consistente winst in reward-daling en actie-instabiliteit over deze verschillende architecturen.
• Zoekefficiëntie: WMAttack bereikte 90% van zijn uiteindelijke beste nuttigheid in 87,5% van de taak-aanvalparen op Atari, vergeleken met ~53% voor baselines. Op DMC verbeterde de hitrate van ~18% naar 49,0%.
• Ablatiestudies:
  • RGAR vs. SCAS: RGAR verbeterde significant de kwaliteit van de initiële kandidaten (nuttigheid in de eerste ronde), terwijl SCAS essentieel was om deze kandidaten te verfijnen tot hoog-nuttige definitieve aanvallen. Geen van beide componenten op zich bereikte de prestaties van het gecombineerde systeem.
  • LLM-ruggengraatmodellen: De keuze van het LLM-ruggengraatmodel (bijvoorbeeld Qwen2.5-3B versus 7B) had een niet-monotoon effect op de prestaties. Kleinere modellen (3B) presteerden soms beter dan grotere modellen (7B) wat betreft reward-daling en nuttigheid, wat suggereert dat de effectiviteit afhangt van de afweging tussen sterkte en kosten in plaats van alleen het aantal parameters.

Betekenis en Claims

Het artikel beweert dat WMAttack de kloof overbrugt tussen statische adversariële evaluatieprotocollen (zoals AutoAttack voor toezichtleren in visie) en de dynamische, hoge-kosteneisen van wereldmodel-evaluatie. Door evaluatie te behandelen als een geautomatiseerde zoektocht met een beperkt budget, biedt WMAttack een systematische manier om faalmodi bloot te leggen die handmatige afstelling of willekeurig zoeken zouden kunnen missen.

De auteurs benadrukken dat hun doel niet is om globale robuustheid te certificeren, maar om efficiënt hoog-impact aanvallen te ontdekken. De betekenis ligt in de demonstratie dat het benutten van intrinsieke overeenkomsten tussen wereldmodellen (via RGAR) en het aanpassen van zoekstrategieën op basis van gesloten-lus feedback (via SCAS) leidt tot de ontdekking van aanzienlijk krachtigere adversariële configuraties binnen vaste computationele budgetten. Deze aanpak biedt een praktische weg voor veiligheidsgerichte evaluatie van steeds complexere wereldmodelagenten.