Sintesi Tecnica: Apprendimento per Rinforzo In-Context Robusto Sotto Attacchi di Avvelenamento del Reward

Definizione del Problema

Questo articolo affronta la vulnerabilità dell'Apprendimento per Rinforzo In-Context (ICRL) agli attacchi di avvelenamento del reward (reward poisoning attacks). Mentre la letteratura tradizionale sul RL ha studiato ampiamente l'avvelenamento del reward come un attacco durante il tempo di addestramento (dove la policy di un agente viene corrotta durante l'apprendimento), gli agenti ICRL operano diversamente. Essi implementano un algoritmo di apprendimento "in-context" elaborando una cronologia di interazioni (stati, azioni, reward) all'interno di un modello transformer (specificamente, il Decision-Pretrained Transformer, o DPT).

In questo scenario, un avversario può avvelenare il contesto al tempo di test (test-time context) corrompendo i reward osservati dall'agente. Poiché l'agente inferisce la sua policy basandosi su questo contesto, corrompere i reward al tempo di test permette a un attaccante di influenzare il comportamento dell'agente senza alterare i suoi parametri pre-addestrati. L'articolo formalizza questo scenario come un attacco di avvelenamento del reward al tempo di test, in cui l'attaccante modifica una frazione ($\epsilon$) dei reward osservati per minimizzare il vero ritorno (return) dell'agente, soggetto a un vincolo di budget "soft".

Metodologia: AT-DPT (Adversarially Trained DPT)

Gli autori propongono AT-DPT, un nuovo framework che combina l'apprendimento in-context con l'addestramento avversariale per produrre agenti robusti contro tali attacchi. L'idea centrale è quella di addestrare l'agente e una popolazione di attaccanti simultaneamente in un gioco minimax.

1. Modello di Attacco

L'attaccante è modellato come una funzione $\pi^\dagger_\phi$ che osserva lo stato, l'azione, il vero reward e il dataset in-context dell'agente. Genera un reward corrotto $r^\dagger$ con probabilità $\epsilon$. L'obiettivo dell'attaccante è minimizzare il ritorno atteso dell'agente pur rispettando un vincolo di budget "soft" sulla media e sulla varianza dei reward corrotti rispetto ai veri reward dell'ambiente. Questo è formulato come un termine di penalità nella funzione di perdita (loss function) dell'attaccante.

2. Procedura di Addestramento

Il processo di addestramento (illustrato nella Figura 1 e nell'Algoritmo 1) prevede tre fasi:

• Preaddestramento (Pretraining): Il DPT viene inizializzato e addestrato tramite apprendimento supervisionato per predire azioni ottimali da dati di contesto puliti, similmente all'approccio originale del DPT.
• Addestramento Avversariale (Adversarial Training): Questo è il contributo innovativo. L'agente ($\pi_\theta$) e una popolazione di attaccanti ($\pi^\dagger_{\phi_i}$) sono ottimizzati concorrentemente:
  • Aggiornamento dell'Attaccante: Per ogni task in un batch, l'attaccante genera traiettorie corrotte. I parametri dell'attaccante $\phi$ vengono aggiornati utilizzando l'algoritmo REINFORCE per massimizzare il regret dell'agente (minimizzare il return) sotto i vincoli di budget.
  • Aggiornamento dell'Agente: L'agente viene addestrato a predire l'azione ottimale (fornita da un oracle) dato il contesto corrotto $D^\dagger$ raccolto durante l'interazione.
  • Questo processo si ripete per $N$ round, permettendo all'agente di apprendere un meccanismo di "correzione" che inferisce azioni ottimali nonostante gli input avvelenati.
• Apprendimento In-Context (Testing): L'agente addestrato viene distribuito in nuovi ambienti con reward avvelenati. Aggiorna il proprio contesto dinamicamente ad ogni timestep per supportare la robustezza contro attaccanti adattivi.

Il framework supporta sia attaccanti non adattivi (che non utilizzano la cronologia dell'agente) sia attaccanti adattivi (che utilizzano un'architettura transformer per sfruttare le passate interazioni dell'agente).

Contributi Chiave

1. Nuova Modalità di Attacco: L'articolo è il primo a studiare l'avvelenamento del reward nel contesto del meta-RL (imparare un algoritmo di apprendimento). Formalizza un attacco al tempo di test in cui l'avversario corrompe il contesto per influenzare il processo di apprendimento in-context, distinguendosi dalla tradizionale corruzione della policy al tempo di addestramento.
2. Framework AT-DPT: Gli autori introducono un protocollo di addestramento avversariale pratico che ottimizza simultaneamente una popolazione di attaccanti e l'agente vittima. Ciò consente all'agente di apprendere un algoritmo di apprendimento in-context robusto alla corruzione.
3. Validazione Empirica: Lo studio fornisce una valutazione sistematica attraverso multi-armed bandits, linear bandits e MDP (inclusi gli ambienti Darkroom2 e Miniworld), confrontando AT-DPT con algoritmi standard (TS, UCB, PPO, Q-learning) e baseline robuste (crUCB, RTS).

Risultati Sperimentali

Gli esperimenti dimostrano che AT-DPT supera significativamente le baseline esistenti sotto vari livelli di avvelenamento ($\epsilon = 0.1, 0.2, 0.4$) e budget di attacco.

• Impostazioni Bandit: AT-DPT ottiene il minor regret cumulativo rispetto alle baseline robuste come crUCB e RTS, anche quando l'attaccante è specificamente addestrato per colpire AT-DPT. Mostra anche una forte generalizzazione, performando bene contro attaccanti addestrati per altri algoritmi (es. TS).
• Adattivo vs. Non Adattivo: I risultati indicano un compromesso (trade-off); AT-Dza-DPT addestrato contro attaccanti adattivi performa meglio contro minacce adattive ma leggermente peggio contro quelle non adattive rispetto a un modello addestrato solo su minacce non adattive. Tuttavia, in tutti i casi, supera le baseline standard.
• Impostazioni MDP: Negli ambienti Darkroom2 e Miniworld, AT-DPT mantiene alti i reward per episodio sotto attacco, mentre gli algoritmi di RL standard (NPG, Q-learning) e i modelli DPT congelati soffrono di un significativo degrado delle prestazioni. Notevolmente, AT-DPT generalizza a ambienti più grandi e complessi, suggerendo scalabilità.
• Dimostrazioni Subottimali: L'articolo nota che AT-DPT può tollerare una piccola percentuale (es. 10-30%) di dimostrazioni subottimali nei dati di addestramento, sebbene le prestazioni degradino all'aumentare di tale percentuale.

Significato e Rivendicazioni

L'articolo sostiene che la sua importanza primaria risieda nell'aver stabilito un approccio rigoroso per progettare algoritmi di apprendimento intrinsecamente robusti alle corruzioni dei dati.

• Prospettiva Meta-RL: A differenza dei lavori precedenti che si concentrano sull'apprendimento di una specifica policy per un singolo ambiente, questo lavoro si concentra sull'apprendimento dell'algoritmo stesso. Utilizzando un prior sulla distribuzione dei task, l'agente può distinguere tra schemi di corruzione plausibili e implausibili, filtrando efficacemente il rumore avversariale.
• Generalizzazione: I risultati suggeriscono che le policy basate su transformer possono implementare algoritmi che sono robusti contro la contaminazione dei dati, offrendo una direzione promettente per il dispiegamento sicuro di agenti ICRL (come gli agenti basati su LLM) in ambienti dove il contesto può essere compromesso (es. tramite meccanismi RAG).
• Approfondimento Teorico: Gli autori ipotizzano che AT-DPT approssimi un equilibrio di Nash in cui l'agente implementa un "posterior sampling" corretto. Finché le medie dei reward sottostanti rimangono identificabili sotto il processo di corruzione, l'agente può ottenere prestazioni robuste.

Gli autori rimangono modesti riguardo alle garanzie teoriche, riconoscendo che una completa analisi della convergenza della ottimizzazione bi-livello verso un equilibrio approssimato è lasciata ai lavori futuri. Notano inoltre il limite per cui il loro metodo attuale si affida ad azioni ottime fornite da un oracle per l'addestramento, sebbene dimostrino una certa resilienza alle dimostrazioni subottimali.