Beware Untrusted Simulators -- Reward-Free Backdoor Attacks in Reinforcement Learning

1. Il Problema: Vulnerabilità dei Simulatori RL

Il Reinforcement Learning (RL) dipende fortemente da ambienti simulati per addestrare agenti decisionali in modo sicuro ed economico. Tuttavia, i simulatori rappresentano un punto cieco nella sicurezza: sviluppatori malevoli o provider di servizi cloud possono alterare la dinamica di un simulatore prima della sua distribuzione.

Le attacchi backdoor tradizionali nel RL richiedono un modello di minaccia molto invasivo, dove l'avversario ha controllo completo sulla pipeline di addestramento, inclusa la capacità di osservare e modificare le ricompense (reward) dell'agente.
Il paper identifica una minaccia precedentemente inesplorata e più realistica:

• Scenario: Un attaccante modifica il simulatore (alterando le transizioni di stato o le informazioni superficiali), ma non ha accesso alle ricompense (che spesso sono calcolate esternamente dal vittima).
• Obiettivo: Iniettare un "trigger" che, una volta attivato durante il deployment, costringe l'agente a eseguire un'azione specifica e dannosa, pur mantenendo un comportamento normale in assenza del trigger.
• Sfida: Senza poter manipolare le ricompense, gli attacchi tradizionali falliscono perché non possono influenzare sufficientemente il ritorno atteso dell'agente per biasarlo verso l'azione malevola.

2. Metodologia: L'Attacco "Daze"

Gli autori propongono Daze, un nuovo attacco backdoor che funziona in un modello di minaccia "senza ricompense" (reward-free) e universale.

Concetto Chiave: Stati "Dazed" (Storditi)

L'attacco si basa sull'assunzione che, nella maggior parte dei task RL, scegliere azioni uniformemente a caso sia sub-ottimale rispetto a una politica ragionevole. Daze sfrutta questa sub-ottimalità per punire l'agente se ignora l'azione target.

Il meccanismo di Daze opera in tre stati logici all'interno del simulatore modificato:

1. Stato Benigno: Il simulatore si comporta normalmente.
2. Stato Attivato (Triggered): Quando l'agente osserva un trigger predefinito (es. un oggetto specifico o un pattern nei pixel), entra in uno stato attivato.
   • Se l'agente esegue l'azione target ($a^+$) desiderata dall'attaccante, il simulatore esegue una transizione "nulla" o benigna, permettendo all'agente di procedere senza conseguenze.
   • Se l'agente ignora l'azione target, il simulatore forza l'agente in uno stato "Dazed".
3. Stato Dazed: In questo stato, il simulatore ignora l'azione scelta dall'agente e forza una transizione basata su un'azione campionata uniformemente a caso ($U(A)$) per diversi passi temporali.
   • Poiché le azioni casuali sono sub-ottimali, l'agente riceve ricompense basse (o negative) e fallisce il task durante questi passi.
   • L'agente viene quindi "punito" dall'ambiente stesso per non aver seguito l'azione target.

Formalizzazione Teorica

L'attacco definisce un nuovo MDP malevolo $M'$. Gli autori dimostrano teoricamente che:

• Successo dell'Attacco: La politica ottima in $M'$ deve necessariamente scegliere l'azione target $a^+$ con probabilità 1 negli stati attivati, poiché qualsiasi altra scelta porta a transizioni casuali sub-ottimali.
• Stealth (Furtività): La politica ottima in $M'$ rimane ottima anche nel MDP originale $M$ (stato benigno), poiché l'agente impara a evitare gli stati "Dazed" scegliendo l'azione target solo quando necessario, mantenendo prestazioni elevate nel task originale.

3. Contributi Chiave

1. Nuovo Modello di Minaccia: Identificazione della vulnerabilità della catena di fornitura RL tramite simulatori malevoli, dove l'attaccante non ha accesso alle ricompense (un vincolo più realistico rispetto agli attacchi precedenti).
2. Attacco Daze: Progettazione di un attacco che garantisce teoricamente il successo e la furtività senza alterare o osservare le ricompense.
3. Validazione Empirica: Estese valutazioni su domini a spazio d'azione continuo (MuJoCo) e discreto (Atari), dimostrando che Daze supera o eguaglia gli attacchi backdoor tradizionali (come TrojDRL, SleeperNets, Q-Incept) che richiedono accesso alle ricompense.
4. Transfer su Hardware Reale: Prima dimostrazione al mondo di un attacco backdoor RL che si trasferisce con successo da simulazione a hardware robotico reale (Turtlebot e Fetch), causando comportamenti pericolosi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su agenti addestrati con algoritmi come PPO, TD3 e DQN.

• Spazio d'Azione Continuo (MuJoCo):

  • Daze ha raggiunto tassi di successo dell'attacco (ASR) superiori al 92% (fino al 98.5% su Reacher) su Half Cheetah, Hopper e Reacher.
  • Gli attacchi tradizionali (adattati per spazi continui) hanno ottenuto ASR molto bassi (es. 3.3% - 25.6%) o hanno degradato drasticamente le prestazioni nell'ambiente benigno (Benign Return).
  • Daze ha mantenuto il "Benign Return" (prestazioni nel task normale) quasi identico a quello di un agente non avvelenato.

• Spazio d'Azione Discreto (Atari):

  • Daze ha ottenuto ASR superiori al 97% su giochi come Q*bert, Frogger, Pacman e Breakout, competendo direttamente con gli stati dell'arte che hanno accesso completo alle ricompense.

• Hardware Reale:

  • Task "Intersection" (Turtlebot): In presenza del trigger, il robot ha accelerato frontalmente contro un altro robot, causando una collisione. Senza trigger, ha attraversato l'incrocio in sicurezza.
  • Task "Waiter" (Fetch): In presenza del trigger, il braccio robotico ha ruotato bruscamente, facendo cadere la palla che stava trasportando.
  • Questi risultati confermano che l'attacco è efficace anche con trigger basati su immagini reali e sensori di profondità.

5. Significato e Implicazioni

Il lavoro di Rathbun et al. rappresenta un punto di svolta nella sicurezza del RL:

• Paradigma Shift: Dimostra che non è necessario manipolare le ricompense per creare backdoor; la manipolazione delle dinamiche di transizione è sufficiente se sfruttata strategicamente.
• Rischio Reale: Poiché i simulatori sono spesso forniti da terze parti o cloud, la fiducia cieca in questi strumenti è pericolosa. Un simulatore "avvelenato" può produrre agenti che sembrano perfetti durante l'addestramento ma falliscono catastroficamente in scenari specifici.
• Difficoltà di Difesa: Daze è difficile da rilevare perché le sue perturbazioni (transizioni casuali) possono essere mascherate come tecniche standard di "domain randomization" usate per migliorare la robustezza.
• Chiamata all'Azione: Il paper sottolinea la necessità urgente di sviluppare nuove difese per l'intera pipeline di addestramento RL e di analizzare il codice dei simulatori prima dell'uso.

In sintesi, Daze rivela una vulnerabilità fondamentale nei sistemi RL moderni, dimostrando che un attaccante con accesso limitato (solo al simulatore) può compromettere in modo subdolo e potente agenti destinati a operare nel mondo reale.