Technische Samenvatting: TRAP - Tail-aware Ranking Attack voor World-Model Planning

Probleemstelling

World modellen stellen generalistische agenten in staat om langetermijnplanning uit te voeren door intern geïmagineerde trajecten te genereren en te evalueren. Hoewel dit door verbeelding gedreven proces sterke redeneercapaciteiten biedt, introduceert het unieke beveiligingskwetsbaarheden die bestaande backdoor-aanvallen niet effectief weten te exploiteren.

Traditionele backdoor-aanvallen richten zich doorgaans op lokale kenmerken, voorspellingen voor één stap of instantane beleidsuitvoer. Deze doelstellingen zijn echter vaak inefficiënt tegen world modellen om twee structurele redenen:

1. Verzwakking van lokale verstoringen: In world modellen zijn beslissingen afhankelijk van dynamiek over meerdere stappen en accumulatie van beloningen. Lokale, door triggers veroorzaakte afwijkingen in voorspellingen voor één stap worden vaak geabsorbeerd, weggespoeld of geannuleerd door de geleerde dynamische prior en het planningsproces in de loop van de tijd.
2. Misalignering met besluitvormingsmechanismen: Bestaande aanvallen richten zich niet op het kernbesluitvormingsmechanisme van world-model planning: de relatieve ordening van kandidaat-trajecten. Omdat planners acties selecteren op basis van de vergelijkende rangschikking van vele geïmagineerde toekomstige scenario's in plaats van de absolute score van een enkel traject, leidt het verschuiven van een enkele latente toestand of actie-uitvoer vaak niet tot een verandering in het uiteindelijke planningsresultaat.

Het artikel identificeert een distincte kwetsbaarheid die is geworteld in de langstaartige rangschikkingsstructuur van geïmagineerde trajecten. In schone omstandigheden vertonen trajectscores een sterk scheve verdeling waarbij slechts een klein aantal hoogwaardige "staart"-trajecten de besluitvorming domineert. Het verstoren van de ordening van deze specifieke, besluitvormingskritische trajecten kan het planningsproces systematisch overnemen.

Methodologie: TRAP Framework

De auteurs stellen TRAP (Tail-aware Ranking Attack for World-Model Planning) voor, een trigger-geconditioneerd, inferentie-tijd backdoor-aanval framework. TRAP werkt zonder modelparameters te wijzigen of het trainingsproces te vergiftigen; in plaats daarvan wordt er tijdens de implementatie een ruimtelijk gelokaliseerde visuele trigger-patch toegepast op de invoerobservatie.

Het framework bestaat uit twee kerncomponenten:

1. Tail-Aware Ranking Loss

In plaats van alle geïmagineerde trajecten uniform te verstoren, richt TRAP de optimalisatie op de hoogscorende staart van de schone trajectverdeling.

• Identificatie: Voor een gegeven observatie identificeert het systeem het subset van trajectstappen dat valt binnen het bovenste quantiel van de schone scoreverdeling (de "staart").
• Doel: De aanval heeft tot doel de scores van deze besluitvormingskritische staarttrajecten te onderdrukken ten opzichte van andere. De verliesfunctie aggregeert de scoreafwijkingen ($\Delta J$) specifiek over deze gemaskeerde staartstappen.
• Aggregatie: Een softmin-operator wordt gebruikt over kandidaat-trajecten om prioriteit te geven aan het onderdrukken van die waarbij de staartscores moeilijk te verlagen zijn, zodat de aanval de meest invloedrijke toekomstige scenario's targeted.

2. Dual Gating Mechanismen

Om de optimalisatie van de tail-aware loss te stabiliseren en te voorkomen dat de aanval de schone prestaties verslechtert of instabiel wordt, introduceert TRAP twee gating-losses:

• Sign Gate ($L_{sign}$): Straft updates af waarbij de trigger per ongeluk de score van een traject verhoogt ($\Delta J > 0$). Dit zorgt ervoor dat de aanvalrichting consistent blijft (onderdrukking).
• Magnitude Gate ($L_{mag}$): Voorkomt te agressieve onderdrukking. Als de scoreafwijking van een traject een veiligheidsmarge overschrijdt ($\Delta J < -\beta$), wordt verdere onderdrukking gestraft. Dit behoudt de stabiliteit van de optimalisatie en voorkomt onnodige vervorming.

Het totale aanvalsdoel combineert de tail-aware loss, de dual gating losses en standaard beeldruimte-regularisatoren (Total Variation en $L_2$-norm) om ervoor te zorgen dat de trigger-patch ruimtelijk glad en begrensd is.

Belangrijkste Bijdragen

1. Eerste Inferentie-tijd Backdoor voor World Modellen: TRAP is het eerste framework dat trigger-geconditioneerde backdoor-aanvallen uitvoert op world modellen tijdens inferentie, langetermijnbesluitvorming manipuleert via visuele triggers zonder dat parametermanipulatie vereist is.
2. Identificatie van Rangschikkingskwetsbaarheid: Het werk identificeert de relatieve rangschikking van kandidaat-trajecten als het primaire aanvalsoppervlak in world-model planning, en gaat voorbij aan conventionele doelstellingen zoals fouten in voorspellingen voor één stap of manipulatie van latente representaties.
3. Tail-Aware Aanvalsvormulering: De auteurs introduceren een nieuw tail-aware rangschikkingsdoel, gecombineerd met dual gating mechanismen, om stabiele, gedragsbehoudende manipulatie van planningsresultaten te bereiken.
4. Empirische Validatie: Het framework is gevalideerd op representatieve world modellen (DreamerV3 en TD-MPC2) over diverse taken, waarbij hoge effectiviteit en overdraagbaarheid worden aangetoond.

Experimentele Resultaten

De auteurs hebben TRAP geëvalueerd op DreamerV3 (beleidsoptimalisatie op basis van latente verbeelding) en TD-MPC2 (model predictive control) over continue controle (DMControl), planning met schaarse beloningen (Crafter) en omgevingen met discrete acties (Atari).

• Aanvaleffectiviteit: TRAP presteert consequent beter dan random patch-baselines.
  • Op DreamerV3 (Crafter) bereikte TRAP een gemiddelde terugkeer-daling van 63,2% en een Attack Success Rate (ASR) van 98,1%, vergeleken met verwaarloosbare degradatie door de baseline.
  • Op TD-MPC2 (hopper-hop) bereikte TRAP een gemiddelde terugkeer-daling van 99,8% en een ASR van 100%.
  • Bij de meeste taken dreef TRAP de ASR naar bijna 100%, wat wijst op aanhoudende gedragsafwijkingen zolang de trigger aanwezig is.
• Schone Fideliteit: De aanval behoudt normaal gedrag op schone invoer, met minimale impact op prestaties wanneer de trigger afwezig is.
• Efficiëntie: De aanval veroorzaakt slechts een bescheiden rekenkundige overhead (runtime-overhead doorgaans tussen 0,8x en 1,3x ten opzichte van schone evaluatie).
• Robuustheid: Diagnostische experimenten tonen aan dat TRAP effectief blijft bij variërende patchgroottes en verstoringsbudgetten. Het toont ook veerkracht tegen standaard beeldruimte-verdedigingen (bijv. median filtering, JPEG-compressie, Gaussische smoothing), hoewel deze verdedigingen de effectiviteit tot op zekere hoogte verminderen.

Betekenis en Claims

Het artikel beweert dat TRAP een fundamentele beveiligingskloof blootlegt in agenten op basis van world modellen. De betekenis van het werk ligt in het aantonen dat:

• Structurele Kwetsbaarheid: De afhankelijkheid van het rangschikken van hoogwaardige staarttrajecten voor besluitvorming een specifieke kwetsbaarheid creëert die standaard backdoor-aanvallen missen.
• Aanhouding van Aanval: In tegenstelling tot aanvallen op reactieve modellen, induceert TRAP aanhoudende gedragsafwijkingen over lange horizonnen omdat het de trajectordening verstoort waarop de planner zich baseert voor toekomstige evaluatie.
• Behoefte aan Nieuwe Verdedigingen: De bevindingen benadrukken dat huidige beveiligingsevaluaties ontoereikend zijn voor door world modellen gedreven agenten. De auteurs pleiten voor de noodzaak van specifieke beveiligingsevaluatie, robuustheidsanalyse en verdedigingsontwerp die specifiek zijn afgestemd op de planningsmechanismen van world modellen voordat deze worden ingezet in veiligheidskritische toepassingen zoals robotica en autonoom rijden.