Sintesi Tecnica: ARB4WM – Un Benchmark di Robustezza Avversaria per i World Model nel Controllo Continuo

1. Definizione del Problema

I world model, in particolare gli agenti di tipo Dreamer, sono sempre più impiegati in sistemi di controllo continuo critici per la sicurezza (ad esempio, robotica, guida autonoma) grazie alla loro capacità di apprendere dinamiche latenti per la pianificazione e il processo decisionale. A differenza degli agenti model-free che mappano direttamente le osservazioni alle azioni, i world model codificano gli input visivi in stati latenti compatti, apprendono dinamiche ricorrenti e ottimizzano il comportamento attraverso traiettorie immaginate.

Sebbene il lavoro precedente abbia stabilito che gli agenti di reinforcement learning (RL) siano vulnerabili alle osservazioni avversarie, le valutazioni esistenti sono insufficienti per i world model. La maggior parte dei benchmark attuali si concentra su policy model-free o tratta l'agente come una semplice rete di policy, valutando solo la robustezza dello spazio delle azioni. Questo approccio non riesce a catturare i modi di guasto specifici della pipeline del world model, dove le perturbazioni avversarie possono corrompere:

• Gli stati di belief ricorrenti (dinamiche latenti).
• Le predizioni del valore utilizzate per i rollout immaginati.
• La coerenza tra le distribuzioni posteriore e prior nel Recurrent State-Space Model (RSSM).

Di conseguenza, manca un framework unificato per diagnosticare dove e come le perturbazioni visive avversarie interrompano la pipeline decisionale latente attraverso diverse architetture di world model.

2. Metodologia: Il Framework ARB4WM

Gli autori presentano ARB4WM, un framework di test di robustezza ripetibile progettato per valutare gli agenti world model sotto perturbazioni visive. Il framework valuta quattro agenti della famiglia Dreamer (Dreamer, R2-Dreamer, Dreamer-InfoNCE e Dreamer-Pro) su 20 task provenienti da MetaWorld e dal DeepMind Control Suite (DMC).

2.1. Interfaccia di Attacco Unificata

ARB4WM definisce un'interfaccia unificata che accede ai componenti interni della pipeline di Dreamer durante l'inferenza e i rollout immaginati. Ciò consente attacchi mirati su specifici elementi architettonici piuttosto che sul semplice output finale dell'azione.

2.2. Cinque Obiettivi di Attacco White-Box

Il framework introduce cinque distinti obiettivi di perdita per colpire diversi componenti della pipeline del world model:

1. Policy Divergence Attack (PDA): Massimizza la divergenza di Kullback–Leibler tra la distribuzione della policy pulita e la distribuzione della policy avversaria ($\mathcal{L}_{PDA} = D_{KL}(\pi_{clean} \parallel \pi_{adv})$).
2. Policy Entropy Attack (PEA): Massimizza l'entropia della policy avversaria per indurre indecisione ($\mathcal{L}_{PEA} = \mathcal{H}(\pi_{adv})$).
3. Value Suppression Attack (VSA): Minimizza il valore di stato predetto dal critic per destabilizzare la pianificazione a lungo termine ($\mathcal{L}_{VSA} = -V(\tilde{f}_t)$).
4. Latent Drift Attack (LDA): Massimizza la distanza euclidea al quadrato ($L_2$) tra gli stati latenti puliti e avversari (sia lo stato stocastico $z_t$ che quello deterministico $h_t$) per corrompere lo stato di belief ($\mathcal{L}_{LDA} = \|z_t - z^{clean}_t\|^2_2 + \|h_t - h^{clean}_t\|^2_2$).
5. Dynamics Consistency Attack (DCA): Massimizza la divergenza KL tra le distribuzioni posteriore e prior dell'RSSM per rompere la coerenza dell'immaginazione latente ($\mathcal{L}_{DCA} = D_{KL}(q(z_t) \parallel p(z_t))$).

2.3. Ottimizzazione e Protocolli Temporali

• Ottimizzatori: Il framework impiega sia attacchi basati sul gradiente a singolo step (FGSM) che iterativi multi-step (PGD).
• Modalità di Esposizione Temporale: Per simulare vincoli realistici e studiare la propagazione dello stato ricorrente, il framework valuta:
  • Full-frame: Perturbare ogni frame (pressione massima).
  • Half-sequence: Perturbare solo la prima o la seconda metà dell'episodio per testare il recupero e la propagazione a lungo termine.
  • Sparse-periodic: Perturbare ogni $n$ frame per testare la resilienza delle dinamiche latenti contro attacchi intermittenti.

2.4. Metriche di Valutazione

Il framework riporta:

• Area Sotto la Curva normalizzata (nAUC): Aggrega le prestazioni attraverso i budget di perturbazione.
• Recupero della Difesa: Misura l'entità con cui le difese di input (ad esempio, compressione JPEG, filtraggio mediano) ripristinano le prestazioni.
• Adaptive-Defense Gap: Quantifica il calo dell'efficacia della difesa quando l'attaccante è consapevole della difesa.
• Diagnostica della Saliency della Policy: Analizza come gli obiettivi avversari alterano l'evidenza spaziale (mappe di saliency) utilizzata dalla policy.

3. Risultati Chiave

Gli esperimenti su 20 task e quattro agenti hanno prodotto i seguenti risultati:

• Vulnerabilità a Livello di Componente: Gli attacchi che prendono di mira la stima del valore (VSA), le rappresentazioni latenti (LDA) e le dinamiche dell'RSSM (DCA) sono risultati essere dannosi quanto la diretta interruzione della policy (PDA/PEA). In molti casi, VSA e PEA sono stati gli obiettivi di attacco più forti, indicando che corrompere il critic o l'incertezza della policy è altamente efficace.
• Propagazione Temporale: Gli attacchi full-frame hanno causato la degradazione più significativa. Fondamentalmente, le perturbazioni precoci (attacchi nella prima metà) sono state spesso più dannose di quelle tardive, suggerendo che gli errori iniettati nello stato latente ricorrente persistono e si propagano anche dopo che l'attacco è cessato. Anche gli attacchi sparsi (ogni 2 frame) hanno causato una degradazione sostanziale, mentre intervalli più alti (ogni 4-6 frame) hanno permesso allo stato latente di riancorarsi.
• Sensibilità Architetturale: R2-Dreamer ha dimostrato la maggiore robustezza media attraverso i benchmark, mentre Dreamer-Pro è stato costantemente il più debole, nonostante il suo design per un migliore apprendimento della rappresentazione. Ciò suggerisce che la qualità nominale della rappresentazione non garantisce la stabilità avversaria.
• Limiti delle Difese: Le difese a livello di input (JPEG, filtraggio mediano) hanno fornito un recupero parziale sotto attacchi non adattivi, ma hanno offerto una protezione limitata contro attacchi adattivi. L'efficacia delle difese era altamente dipendente dal task; ad esempio, hanno aiutato nei compiti di manipolazione con indizi visivi ridondanti, ma sono fallite nei compiti di controllo del bilanciamento che richiedono un'estrazione precisa delle feature.
• Spostamenti della Saliency: Gli obiettivi avversari hanno alterato la sensibilità spaziale della policy. Gli attacchi sulla coerenza del valore e della dinamica (VSA, DCA) tendevano a spostare l'attenzione della policy lontano dalla regione target in modo più significativo rispetto agli attacchi a livello di policy.

4. Significato e Rivendicazioni

Il paper sostiene che ARB4WM affronti una lacuna critica nella valutazione della sicurezza degli agenti world-model, andando oltre la semplice robustezza dello spazio delle azioni. I suoi contributi primari e le sue implicazioni sono:

1. Valutazione Olistica della Sicurezza: Gli autori sostengono che la valutazione della robustezza per i world model debba coprire l'intera pipeline decisionale latente, inclusi gli output della policy, le stime del critic, le rappresentazioni latenti e la coerenza della dinamica. Affidarsi esclusivamente alle metriche dello spazio delle azioni significa ignorare i modi di guasto interni che si propagano attraverso il sistema.
2. Consapevolezza del Rischio Temporale: Il framework evidenzia che i protocolli di esposizione temporale sono essenziali per la valutazione del rischio. La persistenza della corruzione dello stato latente significa che le valutazioni di sicurezza devono considerare se un controllore può recuperare da disturbi intermittenti o nelle fasi iniziali.
3. Realismo della Difesa: I risultati suggeriscono che le difese a livello di input dovrebbero essere trattate come mitigazioni parziali piuttosto che come meccanismi di certificazione. Il significativo "adaptive-defense gap" indica che le difese devono essere valutate contro attaccanti in grado di ottimizzare attraverso la pipeline di difesa.
4. Implicazioni Architetturali: I risultati implicano che la scelta degli obiettivi di apprendimento della rappresentazione (ad esempio, riduzione della ridondanza in R2-Dreamer rispetto all'apprendimento dei prototipi in Dreamer-Pro) influenza direttamente la geometria locale della composizione encoder-RSSM-head, influenzando così la robustezza avversaria.

In sintesi, ARB4WM fornisce un workflow standardizzato e ripetibile per diagnosticare specifici modi di guasto negli agenti world-model, offrendo una base per lo sviluppo di sistemi di controllo basati su modelli visivi più robusti per applicazioni industriali e critiche per la sicurezza.