Riepilogo Tecnico: Fox in the Henhouse: Attacchi Backdoor alla Supply-Chain contro il Reinforcement Learning

Problema

Gli attuali attacchi backdoor sul Reinforcement Learning (RL) si basano tipicamente su modelli di minaccia irrealistici che presuppongono che l'attaccante possieda un accesso white-box ai parametri, alle ricompense o alle osservazioni della vittima. Queste assunzioni implicano spesso un livello di intervento (ad esempio, la modifica diretta della funzione di ricompensa o dello spazio delle osservazioni della vittima) che renderebbe un attacco backdoor superfluo in scenari reali. Inoltre, la letteratura attuale ignora ampiamente l'aspetto della "supply-chain" nel moderno RL, dove i praticanti scaricano frequentemente agenti o ambienti pre-addestrati da repository di terze parti (ad esempio, Hugging Face, PyTorch Hub) per accelerare la convergenza in applicazioni sensibili come la guida autonoma e il trading automatizzato. Questo articolo sostiene che l'affidamento ad agenti esterni non attendibili costituisce un rischio di sicurezza grave e pratico, che è attualmente sottovalutato.

Metodologia: L'Attacco SCAB (Supply-Chain Backdoor)

Gli autori introducono l'attacco Supply-Chain Backdoor (SCAB), un metodo progettato per inserire comportamenti deleteri nella policy della vittima ($\pi_{vic}$) esclusivamente attraverso un black-box di interazioni legittime agente-ambiente. L'attaccante non richiede l'accesso al processo di addestramento, ai segnali di ricompensa o ai dati di osservazione della vittima. Invece, l'attacco sfrutta la pratica comune di addestrare con policy di terze parti.

Modello di Minaccia

L'attacco opera sotto un modello di minaccia restrittivo in cui l'attaccante controlla una policy pre-addestrata esterna ($\pi_{att}$) che interagisce con la vittima in un processo decisionale di Markov multi-agente (MMDP). L'attaccante ha:

• Accesso in sola lettura alle proprie osservazioni di stato ($s_{att}$).
• Influenza solo sulle azioni sull'ambiente tramite le proprie azioni ($a_{att}$).
• Nessun accesso ai parametri interni, alle ricompense ($r_{vic}$) o alle osservazioni ($s_{vic}$) della vittima.

Meccanismo dell'Attacco

L'attacco SCAB utilizza una policy dell'attaccante biforcata e un rilevatore per raggiungere i suoi obiettivi:

1. Componenti dell'Attaccante:

   • $\pi_{att}^{std}$: Una policy standard addestrata per vincere il gioco (ad esempio, tramite addestramento basato su tornei).
   • $\pi_{att}^{rwd}$: Una policy "premiante" addestrata per premiare implicitamente la vittima per l'esecuzione di specifiche azioni backdoor. Ciò viene ottenuto facendo in modo che l'attaccante acceleri deliberatamente la propria sconfitta (massimizzando la ricompensa cumulativa dell'avversario) quando la vittima esegue la sequenza desiderata.
   • Rilevatore ($d$): Un modulo di apprendimento supervisionato che inferisce le azioni precedenti della vittima ($\tilde{a}_{vic}$) osservando le transizioni di stato nelle proprie osservazioni dell'attaccante ($s_{att}$).

2. Fase di Addestramento (Iniezione):
   L'attaccante passa tra quattro stati basati su una macchina a stati finiti:

   • Vittoria (Winning): L'attaccante gioca normalmente ($\pi_{att}^{std}$). Con una probabilità definita dalla Trigger Injection Probability (TIP), transita allo stato di Triggering.
   • Triggering: L'attaccante esegue una sequenza predefinita di azioni di trigger ($A_t$), come sequenze consecutive di mosse "no-op".
   • Osservazione (Observing): L'attaccante utilizza il rilevatore $d$ per dedurre se la vittima sta rispondendo con la specifica sequenza di azioni backdoor ($A_b$).
   • Premiazione (Rewarding): Se la vittima esegue la corretta sequenza backdoor, l'attaccante passa a $\pi_{att}^{rwd}$, perdendo intenzionalmente per fornire un'alta ricompensa cumulativa alla vittima. Questo rinforza l'associazione tra il trigger e l'azione backdoor nella Q-function della vittima.

3. Fase di Test (Sfruttamento):
   Una volta che il backdoor è inserito, qualsiasi avversario consapevole del trigger può attivarlo. Un avversario dotato di una rete di trigger ($\pi_{trg}$) può avviare strategicamente la sequenza di trigger per forzare la vittima nel comportamento backdoor, causando un calo significativo delle prestazioni minimizzando il tempo trascorso nell'esecuzione del trigger stesso.

Contributi Chiave

1. Modello di Minaccia Realistico: Il documento documenta il primo attacco realistico che sfrutta la supply-chain del RL, richiedendo solo il livello di accesso che un agente benigno avrebbe (osservazioni in sola lettura, influenza solo sulle azioni).
2. Proposta dell'Attacco SCAB: Gli autori propongono e validano l'attacco SCAB, che inserisce backdoor tramite agenti pre-addestrati senza modificare i dati di addestramento, le ricompense o le osservazioni della vittima.
3. Validazione Empirica: Lo studio dimostra che SCAB raggiunge prestazioni comparabili ad attacchi precedenti con modelli di accesso molto più permissivi, ottenendo alti tassi di successo con una minima corruzione dei dati (3% di iniezione del trigger).

Risultati Sperimentali

Gli autori hanno valutato SCAB su ambienti competitivi a due giocatori (Pong, Surround, Boxing) utilizzando algoritmi sia on-policy (PPO) che off-policy (DQN) con architetture CNN e LSTM.

• Successo dell'Attacco: SCAB ha raggiunto un tasso di successo del trigger di picco superiore al 90% in varie configurazioni.
• Degradazione delle Prestazioni: L'attacco ha ridotto i ritorni episodici medi della vittima di oltre l'80% quando i trigger erano attivi.
• Segretezza (Stealthiness): Le metriche durante l'addestramento (ritorno episodico, perdita della policy, lunghezza dell'episodio) per la vittima sotto SCAB erano indistinguibili da un addestramento pulito. La vittima manteneva alte prestazioni contro avversari normali, e le azioni backdoor si verificavano spontaneamente a tassi trascurabili (<1%) senza trigger.
• Generalizzabilità: L'attacco è stato efficace in spazi di azione sia discreti che continui, in ambienti cooperativi e competitivi, e in scenari multi-agente.
• Confronto: Nell'ambiente Boxing, SCAB (con 3% TIP) ha raggiunto un tasso di successo del trigger del 91,3% e un calo del ritorno dell'82,6%, eguagliando le prestazioni di BACKDOORL (93,6% successo, 81,3% calo) e TrojDRL (99,1% successo, 85,3% calo), nonostante SCAB operasse sotto un modello di accesso molto più restrittivo (nessun accesso in scrittura a ricompense o osservazioni).
• Limiti della Difesa: Una difesa standard di fine-tuning (ri-addestramento contro giocatori normali) ha mostrato un'efficacia limitata, riducendo il tasso di successo del trigger dall'83,2% al 69,5% dopo 128.000 step, mentre le prestazioni della vittima sotto attacco rimanevano gravemente compromesse.

Significato e Rivendicazioni

Il documento sostiene che la sicurezza fornita ignorando i rischi della supply-chain nel RL è "illusoria". Dimostrando che gli attacchi backdoor ad alto impatto non richiedono modelli di accesso altamente permissivi, gli autori evidenziano che il RL è molto più vulnerabile alla manipolazione avversaria di quanto precedentemente pensato.

Gli autori sottolineano che, sebbene il loro lavoro esponga vulnerabilità, la divulgazione responsabile di tali attacchi è critica per migliorare la sicurezza del sistema. Essi affermano che la pratica comune di reperire modelli forniti esternamente crea un rischio di sicurezza grave e pratico, specialmente man mano che il RL viene adottato in domini critici per la sicurezza come la guida autonoma, il trading algoritmico e l'assistenza sanitaria. Il documento conclude che questo nuovo vettore di attacco deve motivare lo sviluppo di meccanismi di difesa e rilevamento robusti specificamente adattati alla supply-chain dell'addestramento.