Adversarial Attack on Black-Box Multi-Agent by Adaptive Perturbation

1. Probleemstelling

Het artikel adresseert de kritieke veiligheids- en betrouwbaarheidsuitdagingen in Multi-Agent Systemen (MAS) die opereren in strikt black-box omgevingen.

• Context: MAS worden steeds vaker ingezet in UAV's, industriële robotica en autonoom rijden. Ze zijn echter kwetsbaar voor adversarial attacks waarbij invoer wordt verstoord om besluitvorming te misleiden.
• Beperkingen van Bestaand Werk:
  • White-box Aannames: Veel bestaande methoden vereisen toegang tot interne modelparameters of netwerkuitvoer, wat onrealistisch is in echte implementaties.
  • Hoge Controlebevoegdheid: Sommige methoden veronderstellen dat de aanvaller direct agent-acties kan controleren, wat zelden mogelijk is.
  • Gebrek aan Trade-off tussen Stelbaarheid en Effectiviteit: Huidige black-box methoden verstoren vaak alle agenten (slechte stelbaarheid) of richten zich op vaste agenten ongeacht de omgevingstoestand (slechte effectiviteit). Ze missen een strategie om dynamisch de meest kritieke slachtoffer en de meest schadelijke actie te selecteren.
• Doel: Ontwikkeling van een aanvalskader dat werkt in een strikt black-box setting (alleen observatie van invoer/uitvoer), alleen agent-observaties verstoort (geen acties), en hoge effectiviteit bereikt terwijl hoge stelbaarheid wordt behouden door slechts één, adaptief geselecteerde agent aan te vallen.

2. Methodologie: AdapAM Kader

De auteurs stellen AdapAM (Adaptive adversarial Attacks on Multi-Agent systems) voor, dat bestaat uit twee kernmodules:

A. Adaptieve Selectiebeleid ($\pi_\phi$)

Deze module bepaalt welke agent wordt aangevallen en welke kwaadaardige actie op elk tijdstip wordt veroorzaakt.

• Doel: Het maximaliseren van de degradatie van de globale beloning van het MAS door de meest kritieke agent (adversary) en de actie die de ergste impact veroorzaakt, te selecteren.
• Architectuur:
  • Gemodelleerd als een Reinforcement Learning (RL) proces met gebruik van Soft Actor-Critic (SAC).
  • Hiërarchisch Ontwerp: Om de zoekruimte te reduceren, gebruikt het beleid twee classifiers:
    1. $C_{\phi_1}$: Selecteert de index van de adversary-agent ($i_t$) op basis van de globale toestand $s_t$.
    2. $C_{\phi_2}$: Selecteert de kwaadaardige actie ($\tilde{a}_t$) op basis van $s_t$ en de geselecteerde agent $i_t$.
  • Beloningssignaal: De beloning voor het selectiebeleid is het negatieve van de globale beloning van het slachtoffer-MAS ($R^\alpha_t = -R(s_t, a_t, s_{t+1})$).
• Werking: Op elk moment steekt het beleid een agent en een doelactie. Het systeem probeert vervolgens de observatie van de geselecteerde agent te verstoren om deze te dwingen deze specifieke actie uit te voeren.

B. Proxy-gebaseerde Verstoring om Kwaadaardige Actie te Veroorzaken

Omdat het slachtoffer-MAS een black box is, kan de aanvaller geen gradiënten direct berekenen om verstoringen te genereren.

• Proxy-agenten: De aanvaller traint een set proxy-agenten ($\pi_{\psi}$) met behulp van Multi-Agent Generative Adversarial Imitation Learning (MAGAIL). Deze proxies benaderen de beleidsregels van de slachtoffer-agenten ($\pi_{\psi} \approx \pi_{victim}$) door te leren hun mapping van observatie naar actie na te bootsen.
• Generatie van Verstoring:
  • Zodra de proxy-agenten getraind zijn, krijgt de aanvaller "white-box" toegang tot het proxy-model.
  • Met gebruik van de C&W (Carlini & Wagner) aanvalstechniek op het proxy-model, genereert het systeem een verstoord observatie $\tilde{o}_{t,i}$ dat de proxy (en door transferabiliteit het slachtoffer) dwingt de gewenste kwaadaardige actie $\tilde{a}_t$ uit te voeren.
  • De verstoring wordt geminimaliseerd (Euclidische afstand) om stelbaarheid te waarborgen, terwijl aan de beperking wordt voldaan dat het beleid de doelactie uitvoert.
• Injectie: De gegenereerde verstoord observatie wordt geïnjecteerd in de invoerstream van de geselecteerde slachtoffer-agent in de echte black-box omgeving.

3. Belangrijkste Bijdragen

1. Nieuw Black-box Kader: Voorstel van AdapAM, het eerste kader dat adaptief zowel het slachtoffer-agent als de verwachte kwaadaardige actie selecteert in een strikt black-box MAS-setting zonder actiecontrole te vereisen.
2. Proxy-gebaseerde Verstoring: Introductie van een methode die Generative Adversarial Imitation Learning (MAGAIL) gebruikt om proxy-agenten te trainen. Dit overbrugt de kloof tussen black-box beperkingen en de noodzaak aan white-box gradiëntinformatie om effectieve verstoringen te genereren.
3. Gebalanceerde Prestatie: Bereikt een superieure trade-off tussen effectiviteit (degradatie van systeemprestaties) en stelbaarheid (minimale grootte van verstoring en lage detectierates) door slechts één kritieke agent aan te vallen in plaats van alle agenten.

4. Experimentele Resultaten

De auteurs evalueerden AdapAM op 8 multi-agent omgevingen over drie benchmarks: SMAC (StarCraft), GF (Google Research Football) en MPE (Multi-Agent Particle). Ze vergeleken met vier baselines: MASafe, AMCA, AMI en Lin.

• Aanvalsprestaties:

  • Effectiviteit: AdapAM verlaagde de Beloning en Winstkans aanzienlijk van zowel "Normale" als "Robuuste" (ROMANCE-getrainde) doel-MAS.
  • Vergelijking: In omgevingen met minder agenten (<10) verlaagde AdapAM de winstkans tot 0%, presterend beter dan alle baselines. Zelfs in grootschalige omgevingen (bijv. 27m vs 30m) bleef het zeer concurrerend, vaak methoden die alle agenten verstoren overtreffend.
  • Robuustheid: AdapAM behield superieure prestaties zelfs tegenover MAS die specifiek getraind waren om robuust te zijn tegen aanvallen.
  • Verstoringspercentages: AdapAM presteerde consistent beter dan baselines over verschillende verstoringspercentages (15% tot 100%).

• Evaluatie van Stelbaarheid:

  • Grootte van Verstoring: Gemeten door de $L_\infty$ norm. AdapAM voegde de kleinste verstoringen toe vergeleken met alle baselines (bijv. 0.12 vs 0.33 in SMAC-8m), waardoor aanvallen onmerkbaar werden.
  • Detectieweerstand: Gemeten door de F1-score van een bestaand mechanisme voor aanvalsdetectie. AdapAM had de laagste F1-scores (bijv. 0.57 vs 0.82), wat aangeeft dat het het moeilijkst te detecteren is.
  • Redenering: In tegenstelling tot MASafe (dat alle agenten verstoort en gemakkelijk wordt gedetecteerd), zorgt de selectieve, single-agent aanpak van AdapAM in combinatie met geoptimaliseerde generatie van verstoringen voor hoge stelbaarheid.

5. Betekenis

• Veiligheidsbeoordeling: AdapAM biedt een rigoureus hulpmiddel voor het evalueren van de ware robuustheid van MAS in realistische, black-box scenario's, waardoor kwetsbaarheden worden blootgelegd die white-box of niet-adaptieve methoden zouden kunnen missen.
• Praktijktoepasbaarheid: Door te opereren onder strikte black-box beperkingen (alleen observatieverstoren) en minimale aanvalsbudgetten te vereisen (enkele agent), weerspiegelt de methode realistische bedreigingsmodellen voor kritieke infrastructuur zoals autonoom rijden en drone-zwermen.
• Implicaties voor Defensie: Het succes van AdapAM benadrukt de ontoereikendheid van huidige robuuste trainingsmethoden tegen adaptieve, gerichte aanvallen, wat wijst op de noodzaak van defensiemechanismen die specifiek ingaan op agentselectie en integriteit van observaties.

Concluderend toont AdapAM aan dat adaptieve targeting gecombineerd met proxy-gebaseerde white-box generatie een zeer effectieve en stelige strategie is voor het compromitteren van Multi-Agent Systemen, die state-of-the-art methoden overtreft in zowel aanvalssucces als verberging.