Sintesi Tecnica: Attacchi di Avvelenamento del Dataset su Politiche di Behavioral Cloning

Definizione del Problema

Il Behavioral Cloning (BC) è un framework dominante nell'Imitation Learning (IL) per l'addestramento di politiche decisionali sequenziali tramite apprendimento supervisionato su coppie stato-azione di esperti. Sebbene il BC offra efficienza campionaria ed eviti i pericoli dell'esplorazione tramite tentativi ed errori tipici del Reinforcement Learning (RL), esso possiede una vulnerabilità intrinseca: quando le politiche incontrano stati fuori distribuzione (OOD), sono soggette a errori cumulativi.

Questo articolo affronta la vulnerabilità di sicurezza delle politiche BC contro gli attacchi di avvelenamento del dataset, nello specifico gli attacchi backdoor a etichetta pulita (clean-label). In questo modello di minaccia, un avversario inserisce un piccolo numero di campioni malevoli nel dataset di addestramento. Questi campoli contengono un "trigger" visivo specifico (ad esempio, una patch) correlato a un'azione target, ma le etichette (azioni dell'esperto) rimangono invariate. L'obiettivo è creare una "backdoor" dove la politica addestrata si comporta normalmente in condizioni standard, ma esegue un'azione predeterminata, potenzialmente catastrofica, ogni volta che il trigger è presente durante l'inferenza.

A differenza degli attacchi avversari precedenti su RL o BC che spesso richiedono l'accesso white-box ai parametri del modello o alle funzioni di ricompensa, questo lavoro si concentra su attacchi black-box che richiedono solo modifiche minime e semplici al dataset di addestramento.

Metodologia

Modello di Minaccia

Gli autori definiscono uno scenario in cui un attaccante ha pieno accesso al dataset di addestramento $D$, ma nessun controllo sul processo di addestramento della politica a valle o accesso white-box al modello finale.

• Obiettivo: Indurre fallimenti nella politica appresa $\pi_{bc}$ quando un trigger specifico è presente al tempo di test, causando l'output di un'azione target $a_{target}$.
• Capacità: L'attaccante può iniettare trigger nelle osservazioni visive ($s$) ma non può alterare le azioni dell'esperto ($a$). Al tempo di test, l'attaccante ha accesso black-box agli output della politica e un budget limitato ($B$) di iniezioni di trigger.

Strategie di Attacco

1. Avvelenamento del Dataset a Etichetta Pulita (Clean-Label):
   L'attaccante seleziona un sottoinsieme di coppie stato-azione in cui l'azione dell'esperto corrisponde alla azione target desiderata (ad esempio, "gas"). Inserisce un trigger visivo (una patch di pixel $n \times n$) nell'osservazione dello stato $s$ per creare una coppia avvelenata $(\tilde{s}, a)$. L'etichetta $a$ rimane invariata. Il modello apprende una correlazione spuria tra il trigger visivo e l'azione target.

2. Attacchi con Trigger al Tempo di Test:
   L'articolo indaga come la tempistica dell'iniezione del trigger influenzi il degrado della politica. Vengono confrontate due strategie:

   • Triggering Casuale (Random Triggering): Iniezione del trigger in passi temporali casuali.
   • Triggering Basato sull'Entropia (Entropy-Based Triggering): Una strategia innovativa in cui l'attaccante interroga la politica per calcolare l'entropia della distribuzione delle azioni $H(\pi(\cdot|s))$. I trigger vengono iniettati solo in stati in cui l'entropia della politica è bassa (indicando un'alta confidenza in un'azione specifica) ma tale azione non è l'azione target. L'intuizione è che forzare una politica ad alta confidenza a passare a un'azione target in stati critici a bassa entropia causi la deviazione più significativa dalla distribuzione delle dimostrazioni, portando a errori cumulativi.

Configurazione Sperimentale

• Ambiente: Ambiente OpenAI Gym Car Racing (immagini RGB 96×96, 5 azioni discrete).
• Generazione dei Dati: Dimostrazioni di esperti generate da un agente PPO addestrato per 1M di step.
• Modello: Rete Neurale Convoluzionale (CNN) standard con 3 strati convoluzionali e 3 strati completamente connessi.
• Trigger: Testati includono una patch rossa solida (alto contrasto) e una patch di rumore Gaussiano (basso contrasto, più difficile da rilevare).

Risultati Chiave

1. Alta Vulnerabilità a un Avvelenamento Minimo

Lo studio dimostra che le politiche BC sono estremamente suscettibili alle backdoor a etichetta pulita.

• Soglia di Avvelenamento: L'avvelenamento di appena il 2,31% del dataset totale (corrispondente al 5% dei frame dell'azione "gas") è sufficiente per stabilire una backdoor.
• Tasso di Controllo: A questo livello minimo di avvelenamento, il tasso di controllo della backdoor (la frequenza con cui il trigger induce l'azione target) passa dai livelli del caso a circa il 100%.
• Robustezza Ingannevole: Nonostante la politica sia completamente compromessa, la ricompensa media per episodio rimane vicina al baseline (stabile) finché il rapporto di avvelenamento non supera il 70–80%. Ciò indica che le metriche di valutazione standard (come la ricompensa media) non riescono a rilevare la presenza di una backdoor, poiché la politica performa bene in assenza del trigger.

2. Impatto delle Proprietà del Trigger

• Salienza Visiva: Una patch rossa ad alto contrasto (3×3 pixel) si è rivelata più efficace di una patch di rumore Gaussiano, raggiungendo un'accuratezza di controllo della backdoor del 96,45% rispetto all'80,35% con un avvelenamento al 5%.
• Rilevabilità vs Efficacia: Sebbene la patch rossa sia più percepibile, la patch di rumore Gaussiano offre una minore probabilità di rilevamento da parte delle difese semplici, sebbene richieda tassi di avvelenamento più elevati per raggiungere un'efficacia simile.

3. Efficacia della Tempistica Basata sull'Entropia

Il proposto attacco con trigger al tempo di test basato sull'entropia supera significativamente il triggering casuale. Mirando a stati critici in cui la politica è sicura di sé ma errata (rispetto all'obiettivo dell'attaccante), l'attacco massimizza il degrado delle prestazioni della politica entro un budget limitato. Questo approccio sfrutta la natura sequenziale del BC, dove un singolo errore in uno stato critico può portare a una cascata di errori cumulativi.

Contributi e Significato

Il lavoro apporta i seguenti contributi primari:

1. Prima Analisi dell'Avvelenamento del BC: Presenta il primo studio sugli attacchi di avvelenamento del dataset a etichetta pulita specificamente sulle politiche di Behavioral Cloning.
2. Analisi di Sensibilità: Fornisce un'analisi completa della sensibilità rispetto alla frazione di dati avvelenati, alla forza del trigger (dimensione della patch) e al tipo di trigger (colore vs rumore).
3. Nuova Strategia di Attacco: Introduce e valida un attacco con trigger al tempo di test basato sull'entropia che ottimizza l'uso del budget di attacco mirando a stati critici, dimostrando una performance superiore rispetto agli attacchi casuali.
4. Implicazioni per la Sicurezza: Il lavoro evidenzia una lacuna critica nella robustezza delle politiche BC. Mostra che le politiche addestrate su dataset su larga scala (sempre più comuni per i sistemi cyber-fisici) possono essere rese altamente vulnerabili alla manipolazione pur mantenendo metriche di prestazione ingannevolmente elevate.

Conclusione

Gli autori concludono che le politiche di Behavioral Cloning sono altamente vulnerabili agli attacchi backdoor a etichetta pulita. La capacità di compromettere una politica con una minima frazione di dati avvelenati, mantenendo al contempo prestazioni del compito vicine al baseline, sottolinea l'urgenza di ricercare metodi di addestramento e rilevamento più robusti per l'imitation learning, specialmente man mano che questi sistemi vengono implementati in ambienti cyber-fisici reali.