RoAd-RL: A Unified Library and Benchmark for Robust Adversarial Reinforcement Learning

Sintesi Tecnica: RoAd-RL

Definizione del Problema
Il Deep Reinforcement Learning (DRL) ha ottenuto un successo significativo nella robotica e nei sistemi autonomi, ma rimane vulnerabile alle perturbazioni avversarie che possono indurre comportamenti insicuri e degradare le prestazioni. Sebbene siano stati proposti numerosi attacchi avversari (ad es. FGSM, PGD, JSMA) e meccanismi di difesa (ad es. addestramento avversario, smoothing temporale), il campo del reinforcement learning avversario soffre di frammentazione. La ricerca è attualmente ostacolata da implementazioni personalizzate e non riproducibili, protocolli di valutazione incoerenti e una mancanza di benchmark standardizzati. A differenza della comunità dell'apprendimento supervisionato, che beneficia di framework unificati come RobustBench e Foolbox, l'RL avversario manca di un'infrastruttura ampiamente adottata che offra una comparabile estensibilità e riproducibilità.

Metodologia e Design del Framework
Per affrontare queste limitazioni, gli autori presentano RoAd-RL, un framework di benchmarking open-source e unificato, progettato per il Robust Adversarial Reinforcement Learning. Il framework si basa su tre principi fondamentali di design:

1. Componibilità: Attacchi, difese, policy e metriche funzionano come componenti indipendenti all'interno di una pipeline di valutazione comune.
2. Estensibilità: Tutti i componenti principali ereditano da classi base astratte, consentendo ai ricercatori di integrare nuovi metodi tramite subclassing senza modificare il core del framework.
3. Riproducibilità: La gestione deterministica dei seed, il logging strutturato e le procedure standardizzate garantiscono risultati coerenti tra gli ambienti.

L'architettura del framework consiste in quattro astrazioni primarie:

• Policy: Un'interfaccia unificata per gli agenti RL (attualmente supporta le implementazioni Stable-Baselines3 di DQN, PPO e SAC) che disaccoppia gli algoritmi di apprendimento dalla valutazione. Include un'interfaccia DifferentiablePolicy per attacchi basati sul gradiente.
• Attack (Attacco): Incapsula la generazione di perturbazioni avversarie (ad es. FGSM, PGD, JSMA) operando nello spazio delle osservazioni.
• Defense (Difesa): Rappresenta i meccanismi di inferenza (ad es. smoothing temporale, feature squeezing, outlier clipping) che elaborano le osservazioni prima dell'inferenza della policy.
• Metric (Metrica): Standardizza la reportistica della robustezza, includendo Metric di Ritorno (ritorno medio/mediano), Metric di Rischio (CVaR), Metric di Sicurezza (tassi di terminazione) e Metric di Robustezza (Area Under the Curve, AUC–$\epsilon$).

Il flusso di lavoro della valutazione segue tre fasi: (1) Addestramento della policy in un ambiente selezionato, (2) Composizione della policy addestrata con specifici moduli di attacco e difesa, e (3) Valutazione della robustezza attraverso molteplici budget di perturbazione ($\epsilon$), seed casuali ed episodi. Il framework si integra perfettamente con Stable-Baselines3 e Gymnasium, offrendo sia un'API Python che un'esecuzione tramite Interfaccia a Riga di Comando (CLI).

Valutazione Sperimentale
Gli autori hanno validato RoAd-RL valutando gli agenti DQN, PPO e SAC in due ambienti distinti: LunarLander-v2 (dinamiche compatte e sensibili) e Highway-v0 (caratteristiche cinematiche strutturate). Il benchmark ha coperto una griglia fattoriale completa di 192 configurazioni, combinando:

• Algoritmi: DQN, PPO, SAC.
• Attacchi: FGSM, PGD, JSMA e un baseline pulito.
• Difese: Nessuna difesa, temporal smoothing, median smoothing, rumore Gaussiano, feature squeezing, outlier clipping (MAD) e rilevamento avversario.
• Budget di Perturbazione: $\epsilon \in \{0.0, 0.005, 0.01, 0.02, 0.05\}$.

Le prestazioni sono state misurate utilizzando l'AUC–$\epsilon$ normalizzata (Area Under the Return–$\epsilon$ curve), dove 1.0 rappresenta la prestazione del baseline pulito.

Risultati Chiave

• Dipendenza dall'Ambiente: La robustezza varia significativamente tra gli ambienti. Gli agenti di LunarLander erano altamente vulnerabili alle perturbazioni, mentre gli agenti di Highway-v0 rimanevano ampiamente robusti agli attacchi.
• Sensibilità dell'Algoritmo: Gli agenti SAC su LunarLander erano particolarmente vulnerabili agli attacchi iterativi PGD (con l'AUC che scendeva a 0.590), probabilmente a causa dello sfruttamento dei gradienti di policy fluidi. DQN ha mostrato un chiaro degrado sotto l'attacco a singolo step FGSM.
• Efficacia della Difesa:
  • Temporal Smoothing: Ha ottenuto costantemente le prestazioni più forti, in particolare per SAC sotto PGD su LunarLander, recuperando circa il 27% delle prestazioni rispetto al baseline non difeso.
  • Feature Squeezing: Spesso si è rivelato dannoso nei compiti di controllo a bassa dimensionalità (ad es. riducendo l'AUC di DQN da 0.793 a 0.547 sotto FGSM), suggerendo che sia più adatto per osservazioni d'immagine ad alta dimensionalità.
  • Fallimento Indotto dalla Difesa: Diverse difese (Outlier Clip, Adversarial Detector) hanno degradato le prestazioni più degli attacchi che miravano a mitigare, particolarmente per gli agenti ad azione continua. In alcuni casi, la difesa da sola ha causato una perdita di prestazione maggiore rispetto all'attacco.
• Anomalie di PPO: PPO su LunarLander ha esibito valori di AUC >1.0 sotto certi attacchi, che gli autori attribuiscono alla policy che opera vicino a un baseline debole dove piccole perturbazioni agiscono come rumore implicito, migliorando temporaneamente i ritorni prima del collasso finale.

Significatività e Rivendicazioni
Il paper sostiene che RoAd-RL stabilisca un benchmark standardizzato per il reinforcement learning avversario, colmando una lacuna critica in termini di riproducibilità ed estensibilità. Fornendo un framework unificato che standardizza l'interazione tra policy, attacchi, difese e metriche, RoAd-RL consente confronti equi e analisi sistematiche delle interazioni attacco-difesa.

Gli autori sottolineano che i loro risultati evidenziano la necessità di valutare le difese non solo per la loro capacità di mitigare gli attacchi, ma anche per il loro impatto sulle prestazioni nominali della policy, poiché alcune difese comuni possono essere più dannose delle minacce stesse. RoAd-RL è disponibile pubblicamente come pacchetto Python per facilitare lo sviluppo della comunità delle metodologie di valutazione della robustezza. Il lavoro futuro prevede il supporto per attacchi black-box, addestramento avversario, robustezza certificata e ambienti multi-agente.