Sintesi Tecnica: Colpire i Modelli del Mondo per Compromettere le Pipeline di Apprendimento Robotico

Problema

L'integrazione dei Modelli del Mondo (World Models) nelle pipeline di apprendimento robotico è emersa come una strategia critica per generare dati sintetici di alta qualità, valutare la sicurezza delle policy e abilitare una pianificazione efficiente. Questi modelli, in particolare i sistemi Vision-Language-Action (VLA) e il Deep Reinforcement Learning (DRL), si affidano pesantemente ai modelli del mondo per colmare il divario tra le limitate dimostrazioni nel mondo reale e i vasti requisiti di dati per la generalizzazione.

Tuttavia, questa integrazione introduce una vulnerabilità nuova e furtiva nella catena di approvvigionamento dell'apprendimento robotico. Gli attacchi tradizionali di avvelenamento dei dati richiedono l'iniezione diretta di traiettorie pericolose nei dataset o un accesso profondo alle funzioni di ricompensa, rendendoli relativamente rilevabili. Al contrario, questo articolo sostiene che i Modelli del Mondo creano un punto di ingresso unico dove gli attaccanti possono manipolare dati teleoperati apparentemente sicuri per generare traiettorie di addestramento sintetiche pericolose. Alterando sottilmente i fotogrammi di input, un fornitore di dati malevolo può dirottare il processo di generazione del modello del mondo, causando la produzione di dimostrazioni o dinamiche di transizione insicure che successivamente compromettono la policy del robot a valle. Questo vettore di attacco elude i controlli di sicurezza standard a livello di dataset perché i dati di input appaiono benigni agli ispettori umani.

Metodologia

Gli autori propongono un modello di minaccia in cui un fornitore di dati di teleoperazione malevolo possiede l'accesso white-box al modello del mondo della vittima (permettendo il calcolo di query e gradienti) ma è vincolato a fornire traiettorie video di alta qualità e visibilmente sicure. L'attaccante non può iniettare sequenze insicure disgiunte o controllare i prompt a valle; deve incorporare il comportamento malevolo nei fotogrammi video stessi.

L'articolo introduce due metodologie di attacco distinte che prendono di mira i due paradigmi primari dei modelli del mondo:

1. Visual Prompt Hijacking (VPH)

• Target: Modelli del mondo condizionati dal testo (es. Cosmos-Predict).
• Meccanismo: Questi modelli utilizzano tipicamente meccanismi di cross-attention o campi vettoriali di diffusione per condizionare la generazione su prompt testuali e input visivi. L'attacco manipola l'input visivo ($\vec{x}$) in modo che la codifica semantica dell'immagine si allinei con un prompt pericoloso ($t_\delta$) piuttosto che con il prompt benigno dell'utente ($t$).
• Obiettivo: L'attaccante ottimizza i fotogrammi video per minimizzare la distanza tra la codifica semantica del fotogramma alterato con un prompt sicuro e la codifica del fotogramma originale con un prompt pericoloso:
  $$\min_{\vec{x}_\delta} \mathbb{E}_{t \in T_{safe}, t_\delta \in T_\delta} [D(S_\theta(\vec{x}_\delta, t) || S_\theta(\vec{x}, t_\delta))]$$
  Soggetto a un vincolo di norma $L_p$ nello spazio colore LAB per garantire che le perturbazioni siano visivamente impercettibili.
• Scopo: Costringere il modello del mondo a generare dimostrazioni robotiche pericolose (es. raccogliere una bomba) anche quando l'utente emette un comando sicuro (es. "prendi il giocattolo").

2. Visual Transition Hijacking (VTH)

• Target: Modelli del mondo condizionati dall'azione (es. Dino-WM, Cosmos-Predict AC).
• Meccanismo: Questo attacco prende di mira l'encoder latente del modello ($E_\theta$). L'attaccante manipola il fotogramma dello stato iniziale in modo che le predizioni dello stato futuro del modello del mondo collassino (divergano significativamente dalla verità di base) a meno che l'agente non scelga un'azione target specifica ($a^*$).
• Obiettivo: L'attacco è formulato per premiare l'azione target e punire le altre. Se l'agente sceglie un'azione lontana da $a^*$, la predizione collassa; se l'agente sceglie $a^*$, il modello ritorna a predire lo stato benigno.
  $$\min_{\vec{x}_\delta} \mathbb{E}_{a', \epsilon} [\cos(E_\theta(\vec{x}), E_\theta(\vec{x}_\delta)) + (1 - \cos(E_\theta(\delta(\vec{x}_\delta), a^* + \epsilon), E_\theta(\vec{x})))]$$
• Scopo: Impiantare un backdoor in una policy DRL. La policy impara a selezionare sempre l'azione target $a^*$ quando il trigger (il fotogramma perturbato) è presente (per evitare il collasso della predizione, che agisce come un segnale di ricompensa negativa), comportandosi normalmente in altri casi.

Contributi Chiave

1. Identificazione di una Nuova Vulnerabilità: L'articolo dimostra che i modelli del mondo introducono un punto di ingresso di avvelenamento dei dati critico e furtivo nella catena di approvvigionamento dell'apprendimento robotico, consentendo agli attaccanti di alterare le policy a valle senza un accesso invasivo all'ambiente di addestramento.
2. Nuovi Vettori di Attacco: Gli autori propongono i primi attacchi mirati specificamente alla pipeline di apprendimento robotico tramite modelli del mondo:
   • Visual Prompt Hijacking (VPH) per i modelli condizionati dal testo.
   • Visual Transition Hijacking (VTH) per i modelli condizionati dall'azione.
3. Impianto di Backdoor nel DRL: Il lavoro fornisce la prima prova di concetto per l'impianto di un backdoor avversariale in una policy di Deep Reinforcement Learning esclusivamente attraverso la manipolazione degli input di un modello del mondo.
4. Analisi della Vulnerabilità: Lo studio rivela che i modelli del mondo condizionati dal testo sono significativamente più suscettibili alla manipolazione quando operano in contesti fuori distribuzione (OOD) o quando vengono forniti prompt sottospecificati (vaghi).

Risultati Sperimentali

Visual Prompt Hijacking (VPH)

• Setup: Gli autori hanno perfezionato (fine-tuned) Cosmos-Predict 2.5 sulla suite di task Libero e l'hanno valutato su tre compiti di pick-and-place critici per la sicurezza (Stufa, Microonde, Scatola Regalo).
• Risultati:
  • Sensibilità OOD: Il tasso di successo dell'attacco è aumentato significativamente quando la posizione della telecamera era fuori distribuzione rispetto alle impostazioni in distribuzione. Ad esempio, nel compito "Scatola Regalo" con un prompt vago, il tasso di successo dell'attacco è passato dal 5% (in-distribuzione) al 20% (fuori distribuzione).
  • Specificità del Prompt: I prompt vaghi (es. "prendi il giocattolo") erano più vulnerabili rispetto ai prompt specifici (es. "prendi il giocattolo blu e rosso").
  • Dipendenza dall'Oggetto: Il successo variava in base all'oggetto; alcuni oggetti (come la dinamite) avevano uno 0% di successo, probabilmente perché non erano sufficientemente in-distribuzione affinché il modello li riconoscesse, mentre altri (come le forchette) erano troppo piccoli per essere manipolati efficacemente.
  • Limitazione: Gli autori notano che gli attuali modelli del mondo condizionati dal testo e i modelli di dinamica inversa all'avanguardia sono troppo fragili e imprecisi per fornire dati di alta qualità per l'addestramento VLA senza un significativo sforzo di ingegneria. Pertanto, questi risultati servono principalmente come una prova di concetto per futuri attacchi backdoor.

Visual Transition Hijacking (VTH)

• Setup: Gli autori hanno valutato Dino-WM (addestrato su ambienti Gymnasium) e Cosmos-Predict 2.5 AC (addestrato su dati reali Droid).
• Risultati:
  • Backdoor DRL: Nelle policy addestrate con stati corrotti da VTH al 5% nel compito "Single Wall" usando PPO, l'agente ha imparato con successo il backdoor. Quando il trigger era presente, l'agente sceglieva l'azione target con alta frequenza, mantenendo al contempo una prestazione normale quando il trigger era assente.
  • Collasso della Predizione: In Cosmos-Predict 2.5 AC, l'attacco ha indotto con successo il collasso della predizione per le azioni non target. La distanza $L_2$ tra le generazioni pulite e quelle avversarie diminuiva man mano che l'azione scelta si avvicinava all'azione target, confermando che il comportamento del modello era condizionato dalla specifica azione.
  • Scalabilità: L'attacco si è dimostrato efficace anche contro grandi modelli del mondo addestrati su dati reali.

Significato e Rivendicazioni

L'articolo sostiene che queste scoperte rendono necessaria una rivalutazione della posizione dei modelli del mondo nella catena di approvvigionamento dell'apprendimento robotico. Gli autori argomentano che:

• Furtività: Questi attacchi sono unicamente difficili da rilevare perché i dati di input (video teleoperati) appaiono sicuri agli ispettori umani, e il comportamento malevolo viene attivato solo dopo il passaggio attraverso il modello del mondo.
• Rischio Sistemico: L'integrazione dei modelli del mondo crea un "singolo punto di fallimento" dove un fornitore di dati compromesso può avvelenare l'intero processo di apprendimento a valle.
• Imperativo di Ricerca: I risultati evidenziano la necessità urgente di ricerca su modelli del mondo robusti e difese contro attaccanti esterni. L'articolo afferma esplicitamente che le difese attuali sono insufficienti e che il campo deve affrontare la vulnerabilità dei modelli del mondo sia in contesti avversari che benigni.

Gli autori rimangono modesti riguardo all'immediata implementazione di questi attacchi in pipeline completamente realistiche e complesse, riconoscendo che i loro risultati VPH sono attualmente una prova di concetto a causa delle limitazioni degli attuali modelli generativi. Tuttavia, la dimostrazione riuscita di un backdoor in una policy DRL tramite VTH stabilisce una minaccia concreta e seria per la sicurezza dei sistemi robotici autonomi.