Riepilogo Tecnico: TrojanTO – Attacchi Backdoor a Livello di Azione Contro i Modelli di Ottimizzazione delle Traiettorie

Enunciato del Problema

I modelli di Ottimizzazione delle Traiettorie (TO), come i Decision Transformers (DT) e i Decision ConvFormers (DC), sono emersi come strumenti potenti per l'apprendimento per rinforzo (RL) offline, in particolare in domini che richiedono spazi di azione continui come la robotica e l'intelligenza incorporata. Tuttavia, le loro vulnerabilità di sicurezza rimangono in gran parte inesplorate rispetto agli agenti RL tradizionali.

Gli attacchi backdoor esistenti nell'RL si basano tipicamente sulla manipolazione della ricompensa durante la fase di addestramento per legare un trigger a una politica malevola. Questo paradigma è inefficace contro i modelli TO per tre ragioni principali:

1. Paradigma di Addestramento: I modelli TO funzionano come agenti di modellazione sequenziale che minimizzano la perdita di ricostruzione (adattando le azioni agli stati e ai ritorni attesi) piuttosto che ottimizzare i ritorni a lungo termine tramite segnali di ricompensa. Di conseguenza, sono intrinsecamente insensibili alla manipolazione della ricompensa.
2. Scala e Costo: I modelli TO sono modelli fondazionali su larga scala. Il loro riaddestramento per impiantare un backdoor è computazionalmente proibitivo, rendendo gli attacchi tradizionali durante l'addestramento impraticabili.
3. Complessità dello Spazio delle Azioni: Iniettare backdoor efficaci in spazi di azione continui ad alta dimensionalità è significativamente più difficile che in spazi discreti a causa della natura infinita dello spazio delle azioni e della necessità di un controllo preciso.

Il documento individua un vuoto critico: la mancanza di attacchi backdoor post-addestramento a livello di azione, efficaci e stealth, specificamente progettati per i modelli TO.

Metodologia: TrojanTO

Gli autori propongono TrojanTO, il primo framework di attacco backdoor a livello di azione adattato per i modelli TO. A differenza dei metodi precedenti, TrojanTO opera come un attacco post-addestramento, modificando un modello pre-addestrato senza accesso al dataset di addestramento originale. Impiega una strategia a tre componenti per forgiare una connessione forte e stealth tra un trigger e un'azione target:

1. Filtraggio delle Traiettorie (TF)

Per impedire al modello di adattarsi eccessivamente a dati di scarsa qualità (il che degrada le prestazioni benigne), TrojanTO filtra il dataset disponibile. Mantiene solo le traiettorie che superano una specifica soglia di lunghezza ($\epsilon$), assumendo che le traiettorie più lunghe rappresentino meglio il comportamento di successo. Ciò garantisce che i dati di addestramento del backdoor siano allineati con distribuzioni di valutazione di alta qualità.

2. Avvelenamento dei Batch (BP)

Per mantenere la stealth e la stabilità dell'addestramento, TrojanTO evita di avvelenare interi batch, il che potrebbe introdurre sfide fuori distribuzione (OOD) per il trigger. Invece, impiega una strategia di avvelenamento per consenso:

• Per ogni batch di addestramento, viene selezionata e avvelenata una singola transizione casuale.
• Lo stato in questa transizione viene perturbato aggiungendo un trigger $\delta$, e l'azione viene sostituita con l'azione target $a^\dagger$.
• La funzione di perdita combina la perdita backdoor (che forza il modello a prevedere $a^\dagger$ sulla transizione avvelenata) e la perdita pulita (mantenendo le prestazioni sulle transizioni non alterate). Questa ottimizzazione congiunta garantisce che il modello apprenda il backdoor senza dimenticare il suo compito principale.

3. Addestramento Alternato (AT)

Per migliorare l'accoppiamento tra il trigger e l'azione target, TrojanTO utilizza un framework di ottimizzazione a due livelli ispirato alla Co-ottimizzazione Input-Modello (IMC). Alterna:

• Apprendimento del Trigger: Ottimizzazione dei valori del trigger $\delta$ utilizzando il Metodo del Segno del Gradito Iterativo Veloce con Momento (MI-FGSM) per massimizzare la perdita backdoor.
• Aggiornamento dei Parametri: Aggiornamento dei parametri del modello $\tilde{\pi}$ per minimizzare la perdita combinata.
  Questo processo alternato continua per un budget designato, dopo di che il focus si sposta esclusivamente sull'aggiornamento dei parametri del modello per consolidare il backdoor.

Contributi Chiave

1. Primo Studio Sistematico dei Backdoor a Livello di Azione in TO: Il documento introduce il primo attacco backdoor post-addestramento a livello di azione contro i modelli TO, spostando l'attenzione dalla manipolazione della ricompensa (inefficace per TO) all'accoppiamento trigger-azione target.
2. Indagine Empirica sui Fattori di Attacco: Attraverso estesi studi di ablazione, gli autori dimostrano che:
   • Selezione dell'Azione Target: Le azioni di confine (ad esempio, $+1$ o $-1$) producono tassi di successo dell'attacco (ASR) significativamente più alti rispetto alle azioni interne.
   • Progettazione del Trigger: Le dimensioni specifiche e i valori del trigger sono critici; i trigger apprendibili ottimizzati tramite MI-FGSM superano i trigger artigianali o derivati dal dataset.
   • Manipolazione della Ricompensa: Variare i segnali di ricompensa durante l'addestramento del backdoor ha un impatto trascurabile sull'ASR o sulle Prestazioni del Compito Benigno (BTP), confermando che l'hacking della ricompensa non è un vettore praticabile per i modelli TO.
3. Framework TrojanTO: La proposta di un nuovo framework di attacco che raggiunge un'alta efficacia con un budget di attacco estremamente basso (0,3% delle traiettorie) mantenendo un'alta stealth.

Risultati Sperimentali

Gli autori hanno valutato TrojanTO su sei ambienti D4RL (Hopper, HalfCheetah, Walker2d, AntMaze, Kitchen, Pen) utilizzando tre architetture di modelli TO (DT, GDT, DC).

• Efficacia: TrojanTO ha raggiunto un Tasso di Successo dell'Attacco (ASR) medio di 0,719 e una Prestazione del Compito Benigno (BTP) di 0,914.
• Confronto: Ha superato significativamente le linee di base:
  • Baffle: Ha raggiunto un ASR di 0,369 e una BTP di 0,792 (richiedendo un tasso di avvelenamento del 10%).
  • IMC: Ha raggiunto un ASR di 0,575 e una BTP di 0,853.
  • Il punteggio Prestazione Composita (CP) complessivo di TrojanTO è stato 0,701, rappresentando un miglioramento di circa il 105% rispetto a Baffle.
• Robustezza: L'attacco è rimasto efficace sotto perturbazioni del trigger (rumore) e ha dimostrato persistenza, mantenendo l'azione target per più passaggi dopo l'attivazione del trigger.
• Difesa: Il documento ha testato diverse difese (potatura dei pesi, analisi spettrale, clustering delle attivazioni, difesa provabile) e le ha trovate in gran parte inefficaci. Il fine-tuning è stato identificato come la difesa più efficace, sebbene richieda il riaddestramento.

Significato e Affermazioni

Il documento afferma che TrojanTO espone una vulnerabilità critica e poco esplorata nella catena di fornitura dei modelli TO. Dimostrando che gli attacchi post-addestramento non sono solo fattibili ma altamente efficaci contro agenti di modellazione sequenziale su larga scala, il lavoro sfida l'assunzione che i modelli TO siano sicuri a causa del loro paradigma di addestramento.

Gli autori sottolineano che il cuore dei backdoor a livello di azione in TO risiede nella progettazione del trigger piuttosto che nella manipolazione della ricompensa. Questa intuizione rende necessaria una rivalutazione dei protocolli di sicurezza per i sistemi RL offline, in particolare quelli che si affidano a modelli fondazionali pre-addestrati. Lo studio serve come punto di riferimento per comprendere queste minacce e motiva lo sviluppo di contromisure robuste per la prossima generazione di IA decisionale.