RoAd-RL: A Unified Library and Benchmark for Robust Adversarial Reinforcement Learning

Technische Samenvatting: RoAd-RL

Probleemstelling
Deep Reinforcement Learning (DRL) heeft aanzienlijk succes behaald in robotica en autonome systemen, maar blijft kwetsbaar voor adversariële perturbaties die onveilige gedragingen kunnen induceren en prestaties kunnen verslechteren. Hoewel talrijke adversariële aanvallen (bijv. FGSM, PGD, JSMA) en verdedigingsmechanismen (bijv. adversariële training, temporele smoothing) zijn voorgesteld, lijdt het veld van adversariële reinforcement learning aan fragmentatie. Onderzoek wordt momenteel gehinderd door aangepaste, niet-reproduceerbare implementaties, inconsistente evaluatieprotocollen en een gebrek aan gestandaardiseerde benchmarks. In tegenstelling tot de supervised learning-gemeenschap, die profiteert van verenigde frameworks zoals RobustBench en Foolbox, mist adversariële RL een breed geadopteerde infrastructuur die een vergelijkbare extensibiliteit en reproduceerbaarheid biedt.

Methodologie en Framework Design
Om deze beperkingen aan te pakken, presenteren de auteurs RoAd-RL, een open-source, verenigd benchmarking-framework ontworpen voor Robuuste Adversariële Reinforcement Learning. Het framework is gebouwd op drie kernprincipes van ontwerp:

1. Composability (Samenstelbaarheid): Aanvallen, verdedigingen, policies en metrieken functioneren als onafhankelijke componenten binnen een gemeenschappelijke evaluatiepipeline.
2. Extensibility (Uitbreidbaarheid): Alle belangrijke componenten erven van abstracte basisklassen, waardoor onderzoekers nieuwe methoden kunnen integreren via subclassing zonder de kern van het framework aan te passen.
3. Reproducibility (Reproduceerbaarheid): Deterministisch seed-beheer, gestructureerde logging en gestandaardiseerde procedures zorgen voor consistente resultaten over omgevingen heen.

De framework-architectuur bestaat uit vier primaire abstracties:

• Policy (Beleid): Een verenigde interface voor RL-agenten (ondersteunt momenteel Stable-Baselines3 implementaties van DQN, PPO en SAC) die leeralgoritmen ontkoppelt van evaluatie. Het bevat een DifferentiablePolicy-interface voor gradiëntgebaseerde aanvallen.
• Attack (Aanval): Encapsuleert de generatie van adversariële perturbaties (bijv. FGSM, PGD, JSMA) werkend in de observatieruimte.
• Defense (Verdediging): Representeert inferentie-tijd mechanismen (bijv. temporele smoothing, feature squeezing, outlier clipping) die observaties verwerken vóór policy-inferentie.
• Metric (Metriek): Standaardiseert de rapportage van robuustheid, inclusief Return Metrics (gemiddelde/mediaan return), Risk Metrics (CVaR), Safety Metrics (terminatiesnelheden) en Robustness Metrics (Area Under the Curve, AUC–$\epsilon$).

De evaluatiewerkstroom volgt drie stadia: (1) Policy training binnen een geselecteerde omgeving, (2) Samenstelling van de getrainde policy met specifieke attack en defense modules, en (3) Robustness evaluatie over meerdere perturbatie-budgetten ($\epsilon$), random seeds en episodes. Het framework integreert naadloos met Stable-Baselines3 en Gymnasium, en biedt zowel een Python API als een Command-Line Interface (CLI) voor uitvoering.

Experimentele Evaluatie
De auteurs hebben RoAd-RL gevalideerd door DQN, PPO en SAC agenten te evalueren in twee verschillende omgevingen: LunarLander-v2 (compact, gevoelige dynamiek) en Highway-v0 (gestructureerde, kinematische kenmerken). De benchmark besloeg een volledige factoriële grid van 192 configuraties, waarbij werd gecombineerd tussen:

• Algoritmen: DQN, PPO, SAC.
• Aanvallen: FGSM, PGD, JSMA, en een schone baseline.
• Verdedigingen: Geen verdediging, temporele smoothing, median smoothing, Gaussische ruis, feature squeezing, outlier clipping (MAD), en adversariële detectie.
• Perturbatie-budgetten: $\epsilon \in \{0.0, 0.005, 0.01, 0.025, 0.05\}$.

Prestaties werden gemeten met behulp van genormaliseerde AUC–$\epsilon$ (Area Under the Return–$\epsilon$ curve), waarbij 1.0 de prestatie van de schone baseline vertegenwoordigt.

Belangrijkste Resultaten

• Omgevingsafhankelijkheid: Robuustheid varieert aanzienlijk per omgeving. LunarLander-agenten waren zeer kwetsbaar voor perturbaties, terwijl Highway-v0 agenten grotendeels robuust bleven tegen aanvallen.
• Algoritme-gevoeligheid: SAC-agenten op LunarLander waren bijzonder kwetsbaar voor iteratieve PGD-aanvallen (AUC daalde naar 0.590), waarschijnlijk door de exploitatie van gladde policy-gradiënten. DQN vertoonde duidelijke degradatie onder single-step FGSM.
• Effectiviteit van Verdediging:
  • Temporele Smoothing: Behaalde consistent de sterkste prestaties, met name voor SAC onder PGD op LunarLander, waarbij ongeveer 27% van de prestaties ten opzichte van de onverdedigde baseline werd hersteld.
  • Feature Squeezing: Bleek vaak nadelig in laag-dimensionale controle-taken (bijv. het verminderen van de DQN AUC van 0.793 naar 0.547 onder FGSM), wat suggereert dat het beter geschikt is voor hoog-dimensionale beeldobservaties.
  • Defense-Induced Failure (Door verdediging veroorzaakte fouten): Verschillende verdedigingen (Outlier Clip, Adversarial Detector) degradeerden de prestaties meer dan de aanvallen die ze probeerden te mitigeren, vooral voor agenten met continue acties. In sommige gevallen veroorzaakte de verdediging alleen al een groter prestatieverlies dan de aanval zelf.
• PPO Anomalieën: PPO op LunarLander vertoonde AUC-waarden >1.0 onder bepaalde aanvallen, wat de auteurs toeschrijven aan het feit dat de policy opereert nabij een zwakke baseline waar kleine perturbaties fungeerden als impliciete ruis, wat de returns tijdelijk verbeterde voordat de uiteindelijke instorting plaatsvond.

Betekenis en Claims
Het artikel claimt dat RoAd-RL een gestandaardiseerde benchmark vestigt voor adversariële reinforcement learning, waarmee een kritiek gat in reproduceerbaarheid en extensibiliteit wordt opgevuld. Door een verenigd framework te bieden dat de interactie tussen policies, aanvallen, verdedigingen en metrieken standaardiseert, maakt RoAd-RL eerlijke vergelijkingen en systematische analyse van attack-defense interacties mogelijk.

De auteurs benadrukken dat hun resultaten de noodzaak onderstrepen om verdedigingen niet alleen te evalueren op hun vermogen om aanvallen te mitigeren, maar ook op hun impact op de nominale policy-prestaties, aangezien sommige gangbare verdedigingen schadelijker kunnen zijn dan de dreigingen die ze adresseren. RoAd-RL is publiekelijk beschikbaar als een Python-package om de community-gestuurde ontwikkeling van robuustheidsevaluatiemethodologieën te faciliteren. Toekomstig werk omvat ondersteuning voor black-box aanvallen, adversariële training, gecertificeerde robuustheid en multi-agent omgevingen.