Riepilogo Tecnico: TRAP - Attacco di Ranking Consapevole della Coda per la Pianificazione basata su Modelli del Mondo

Enunciato del Problema

I modelli del mondo permettono ad agenti generalisti di eseguire pianificazione a lungo termine generando e valutando internamente traiettorie immaginate. Sebbene questo processo guidato dall'immaginazione offra capacità di ragionamento solide, introduce vulnerabilità di sicurezza uniche che gli attacchi backdoor esistenti non riescono a sfruttare efficacemente.

Gli attacchi backdoor tradizionali mirano tipicamente a caratteristiche locali, previsioni a un passo o output di policy istantanei. Tuttavia, questi obiettivi sono spesso inefficaci contro i modelli del mondo per due ragioni strutturali:

1. Attenuazione delle Perturbazioni Locali: Nei modelli del mondo, le decisioni si basano su dinamiche multi-step e sull'accumulo di ricompense. Le deviazioni locali indotte da trigger nelle previsioni a un passo vengono spesso assorbite, diluite o annullate dal prior delle dinamiche apprese e dal processo di pianificazione nel tempo.
2. Disallineamento con i Meccanismi Decisionali: Gli attacchi esistenti non prendono di mira il meccanismo decisionale fondamentale della pianificazione basata su modelli del mondo: l'ordinamento relativo delle traiettorie candidate. Poiché i pianificatori selezionano le azioni in base al ranking comparativo di molti futuri immaginati piuttosto che al punteggio assoluto di una singola traiettoria, spostare un singolo stato latente o un output di azione spesso non riesce ad alterare l'esito finale della pianificazione.

Il documento identifica una vulnerabilità distinta radicata nella struttura di ranking a coda lunga delle traiettorie immaginate. In condizioni pulite, i punteggi delle traiettorie mostrano una distribuzione altamente asimmetrica dove solo una piccola frazione di traiettorie "di coda" ad alto valore domina il processo decisionale. Interrompere l'ordinamento di queste specifiche traiettorie critiche per la decisione può dirottare sistematicamente il processo di pianificazione.

Metodologia: Framework TRAP

Gli autori propongono TRAP (Tail-aware Ranking Attack for World-Model Planning), un framework di attacco backdoor condizionato da trigger e eseguito al momento dell'inferenza. TRAP opera senza modificare i parametri del modello o avvelenare la pipeline di addestramento; invece, applica una patch visiva localizzata spazialmente all'osservazione di input al momento del dispiegamento.

Il framework è composto da due componenti principali:

1. Funzione di Perdita di Ranking Consapevole della Coda

Piuttosto che perturbare uniformemente tutte le traiettorie immaginate, TRAP focalizza l'ottimizzazione sulla coda ad alto punteggio della distribuzione delle traiettorie pulite.

• Identificazione: Per una data osservazione, il sistema identifica il sottoinsieme di passaggi della traiettoria che rientrano nel quantile superiore della distribuzione dei punteggi puliti (la "coda").
• Obiettivo: L'attacco mira a sopprimere i punteggi di queste traiettorie di coda critiche per la decisione rispetto ad altre. La funzione di perdita aggrega le deviazioni dei punteggi ($\Delta J$) specificamente su questi passaggi di coda mascherati.
• Aggregazione: Viene utilizzato un operatore softmin sulle traiettorie candidate per dare priorità alla soppressione di quelle in cui i punteggi di coda rimangono difficili da ridurre, assicurando che l'attacco prenda di mira i futuri più influenti.

2. Meccanismi di Doppio Gate

Per stabilizzare l'ottimizzazione della perdita consapevole della coda e impedire che l'attacco degradi le prestazioni pulite o diventi instabile, TRAP introduce due funzioni di perdita di gate:

• Gate del Segno ($L_{sign}$): Penalizza gli aggiornamenti in cui il trigger aumenta inadvertitamente il punteggio di una traiettoria ($\Delta J > 0$). Questo garantisce che la direzione dell'attacco rimanga coerente (soppressione).
• Gate della Magnitudine ($L_{mag}$): Previene una soppressione eccessivamente aggressiva. Se la deviazione del punteggio di una traiettoria supera un margine di sicurezza ($\Delta J < -\beta$), un'ulteriore soppressione viene penalizzata. Questo mantiene la stabilità dell'ottimizzazione e previene distorsioni non necessarie.

L'obiettivo totale dell'attacco combina la perdita consapevole della coda, le due funzioni di perdita di gate e regolarizzatori standard nello spazio delle immagini (Variazione Totale e norma $L_2$) per garantire che la patch del trigger sia spazialmente liscia e limitata.

Contributi Chiave

1. Primo Backdoor al Momento dell'Inferenza per Modelli del Mondo: TRAP è il primo framework a eseguire attacchi backdoor condizionati da trigger sui modelli del mondo durante l'inferenza, manipolando il processo decisionale a lungo termine tramite trigger visivi senza richiedere manomissione dei parametri.
2. Identificazione della Vulnerabilità di Ranking: Il lavoro identifica l'ordinamento relativo delle traiettorie candidate come la superficie di attacco primaria nella pianificazione basata su modelli del mondo, andando oltre obiettivi convenzionali come errori di previsione a un passo o manipolazione delle rappresentazioni latenti.
3. Formulazione di Attacco Consapevole della Coda: Gli autori introducono un nuovo obiettivo di ranking consapevole della coda combinato con meccanismi di doppio gate per ottenere una manipolazione stabile e conservativa del comportamento degli esiti della pianificazione.
4. Validazione Empirica: Il framework è stato validato su modelli del mondo rappresentativi (DreamerV3 e TD-MPC2) su compiti diversificati, dimostrando alta efficacia e trasferibilità.

Risultati Sperimentali

Gli autori hanno valutato TRAP su DreamerV3 (ottimizzazione della policy basata su immaginazione latente) e TD-MPC2 (controllo predittivo del modello) su ambienti di controllo continuo (DMControl), pianificazione con ricompensa sparsa (Crafter) e azioni discrete (Atari).

• Efficacia dell'Attacco: TRAP supera costantemente le baseline con patch casuali.
  • Su DreamerV3 (Crafter), TRAP ha ottenuto un calo medio del ritorno del 63,2% e un Tasso di Successo dell'Attacco (ASR) del 98,1%, rispetto a un degrado trascurabile della baseline.
  • Su TD-MPC2 (hopper-hop), TRAP ha ottenuto un calo medio del ritorno del 99,8% e un ASR del 100%.
  • Nella maggior parte dei compiti, TRAP ha spinto l'ASR vicino al 100%, indicando una deviazione comportamentale persistente ogni volta che il trigger era presente.
• Fedeltà Pulita: L'attacco mantiene un comportamento normale sugli input puliti, con un impatto minimo sulle prestazioni quando il trigger è assente.
• Efficienza: L'attacco comporta solo un sovraccarico computazionale modesto (sovraccarico di runtime generalmente compreso tra 0,8x e 1,3x rispetto alla valutazione pulita).
• Robustezza: Esperimenti diagnostici mostrano che TRAP rimane efficace con dimensioni della patch e budget di perturbazione variabili. Dimostra anche resilienza contro difese standard nello spazio delle immagini (ad esempio, filtraggio mediano, compressione JPEG, smoothing gaussiano), sebbene queste difese riducano l'efficacia in una certa misura.

Significato e Affermazioni

Il documento afferma che TRAP espone un divario di sicurezza fondamentale negli agenti basati su modelli del mondo. Il significato del lavoro risiede nel dimostrare che:

• Vulnerabilità Strutturale: La dipendenza dal ranking delle traiettorie di coda ad alto valore per il processo decisionale crea una vulnerabilità specifica che gli attacchi backdoor standard non colgono.
• Persistenza dell'Attacco: A differenza degli attacchi su modelli reattivi, TRAP induce deviazioni comportamentali sostenute su orizzonti lunghi perché interrompe l'ordinamento delle traiettorie su cui il pianificatore si basa per la valutazione futura.
• Necessità di Nuove Difese: I risultati evidenziano che le attuali valutazioni di sicurezza sono insufficienti per gli agenti guidati da modelli del mondo. Gli autori sostengono la necessità di una valutazione di sicurezza dedicata, un'analisi di robustezza e una progettazione di difese specificamente adattate ai meccanismi di pianificazione dei modelli del mondo prima del loro dispiegamento in applicazioni critiche per la sicurezza come robotica e guida autonoma.