Adversarial Attack on Black-Box Multi-Agent by Adaptive Perturbation

1. Enunciato del Problema

Il documento affronta le critiche sfide di sicurezza e affidabilità nei Sistemi Multi-Agente (MAS) operanti in ambienti strettamente black-box.

• Contesto: I MAS sono sempre più utilizzati nei veicoli aerei senza pilota (UAV), nella robotica industriale e nella guida autonoma. Tuttavia, sono vulnerabili ad attacchi avversari in cui gli input vengono perturbati per fuorviare il processo decisionale.
• Limitazioni del Lavoro Esistente:
  • Assunzioni White-Box: Molti metodi esistenti richiedono l'accesso ai parametri interni del modello o alle uscite della rete, il che è irrealistico nelle implementazioni reali.
  • Alta Autorità di Controllo: Alcuni metodi presuppongono che l'attaccante possa controllare direttamente le azioni degli agenti, il che è raramente possibile.
  • Mancanza di Compromesso Furtività/Efficacia: I metodi black-box attuali perturbano spesso tutti gli agenti (scarsa furtività) o prendono di mira agenti fissi indipendentemente dallo stato dell'ambiente (scarsa efficacia). Manca loro una strategia per selezionare dinamicamente la vittima più critica e l'azione più dannosa.
• Obiettivo: Sviluppare un framework di attacco che operi in un ambiente strettamente black-box (osservando solo input/uscite), perturbi solo le osservazioni degli agenti (non le azioni) e raggiunga un'alta efficacia mantenendo un'alta furtività attaccando un solo agente, selezionato in modo adattivo.

2. Metodologia: Framework AdapAM

Gli autori propongono AdapAM (Attacchi Avversari Adattivi su Sistemi Multi-Agente), che consiste in due moduli fondamentali:

A. Politica di Selezione Adattiva ($\pi_\phi$)

Questo modulo determina quale agente attaccare e quale azione malevola indurre a ogni passo temporale.

• Obiettivo: Massimizzare il degrado della ricompensa globale del MAS selezionando l'agente più critico (avversario) e l'azione che causa il peggior impatto.
• Architettura:
  • Modellato come un processo di Apprendimento per Rinforzo (RL) utilizzando Soft Actor-Critic (SAC).
  • Design Gerarchico: Per ridurre lo spazio di ricerca, la politica utilizza due classificatori:
    1. $C_{\phi_1}$: Seleziona l'indice dell'agente avversario ($i_t$) basato sullo stato globale $s_t$.
    2. $C_{\phi_2}$: Seleziona l'azione malevola ($\tilde{a}_t$) basata su $s_t$ e sull'agente selezionato $i_t$.
  • Segnale di Ricompensa: La ricompensa per la politica di selezione è il negativo della ricompensa globale del MAS vittima ($R^\alpha_t = -R(s_t, a_t, s_{t+1})$).
• Operazione: A ogni passo, la politica campiona un agente e un'azione target. Il sistema tenta quindi di perturbare l'osservazione dell'agente selezionato per costringerlo a eseguire questa specifica azione.

B. Perturbazione Basata su Proxy per Indurre Azioni Malevole

Poiché il MAS vittima è un black-box, l'attaccante non può calcolare direttamente i gradienti per generare perturbazioni.

• Agenti Proxy: L'attaccante addestra un insieme di agenti proxy ($\pi_{\psi}$) utilizzando Multi-Agent Generative Adversarial Imitation Learning (MAGAIL). Questi proxy approssimano le politiche degli agenti vittime ($\pi_{\psi} \approx \pi_{victim}$) imparando a imitare le loro mappature osservazione-azione.
• Generazione della Perturbazione:
  • Una volta addestrati gli agenti proxy, l'attaccante ottiene l'accesso "white-box" al modello proxy.
  • Utilizzando la tecnica di attacco C&W (Carlini & Wagner) sul modello proxy, il sistema genera un'osservazione perturbata $\tilde{o}_{t,i}$ che costringe il proxy (e, per trasferibilità, la vittima) a produrre l'azione malevola desiderata $\tilde{a}_t$.
  • La perturbazione è minimizzata (distanza euclidea) per garantire la furtività, soddisfacendo al contempo il vincolo che la politica produca l'azione target.
• Iniezione: L'osservazione perturbata generata viene iniettata nel flusso di input dell'agente vittima selezionato nell'ambiente reale black-box.

3. Contributi Chiave

1. Nuovo Framework Black-Box: Propone AdapAM, il primo framework per selezionare adattivamente sia l'agente vittima sia l'azione malevola anticipata in un ambiente MAS strettamente black-box senza richiedere il controllo delle azioni.
2. Perturbazione Basata su Proxy: Introduce un metodo che utilizza l'Apprendimento per Imitazione Avversario Generativo (MAGAIL) per addestrare agenti proxy. Questo colma il divario tra i vincoli black-box e la necessità di informazioni sui gradienti white-box per generare perturbazioni efficaci.
3. Prestazioni Bilanciate: Raggiunge un compromesso superiore tra efficacia (degradazione delle prestazioni del sistema) e furtività (minima entità della perturbazione e bassi tassi di rilevamento) attaccando un solo agente critico invece di tutti gli agenti.

4. Risultati Sperimentali

Gli autori hanno valutato AdapAM su 8 ambienti multi-agente attraverso tre benchmark: SMAC (StarCraft), GF (Google Research Football) e MPE (Multi-Agent Particle). Hanno confrontato i risultati con quattro baseline: MASafe, AMCA, AMI e Lin.

• Prestazioni di Attacco:

  • Efficacia: AdapAM ha ridotto significativamente la Ricompensa e il Tasso di Vittoria sia dei MAS target "Normali" che "Robusti" (addestrati con ROMANCE).
  • Confronto: In ambienti con meno agenti (<10), AdapAM ha ridotto il tasso di vittoria allo 0%, superando tutte le baseline. Anche in ambienti su larga scala (es. 27m vs 30m), è rimasto altamente competitivo, superando spesso i metodi che perturbano tutti gli agenti.
  • Robustezza: AdapAM ha mantenuto prestazioni superiori anche contro MAS specificamente addestrati per essere robusti agli attacchi.
  • Tassi di Perturbazione: AdapAM ha costantemente superato le baseline su vari tassi di perturbazione (dal 15% al 100%).

• Valutazione della Furtività:

  • Entità della Perturbazione: Misurata dalla norma $L_\infty$. AdapAM ha aggiunto le perturbazioni più piccole rispetto a tutte le baseline (es. 0.12 vs 0.33 in SMAC-8m), rendendo gli attacchi impercettibili.
  • Resistenza al Rilevamento: Misurata dal punteggio F1 di un meccanismo esistente di rilevamento degli attacchi. AdapAM ha ottenuto i punteggi F1 più bassi (es. 0.57 vs 0.82), indicando che è il più difficile da rilevare.
  • Motivazione: A differenza di MASafe (che perturba tutti gli agenti ed è facilmente rilevato), l'approccio selettivo a singolo agente di AdapAM, combinato con una generazione di perturbazione ottimizzata, garantisce un'alta furtività.

5. Significato

• Valutazione della Sicurezza: AdapAM fornisce uno strumento rigoroso per valutare la vera robustezza dei MAS in scenari realistici black-box, rivelando vulnerabilità che i metodi white-box o non adattivi potrebbero non cogliere.
• Praticità: Operando sotto vincoli black-box rigorosi (solo perturbazione delle osservazioni) e richiedendo budget di attacco minimi (singolo agente), il metodo riflette modelli di minaccia realistici per infrastrutture critiche come la guida autonoma e gli sciami di droni.
• Implicazioni per la Difesa: Il successo di AdapAM evidenzia l'insufficienza dei metodi attuali di addestramento robusto contro attacchi adattivi e mirati, suggerendo la necessità di meccanismi di difesa che affrontino specificamente la selezione degli agenti e l'integrità delle osservazioni.

In conclusione, AdapAM dimostra che il targeting adattivo combinato con la generazione white-box basata su proxy è una strategia altamente efficace e furtiva per compromettere i Sistemi Multi-Agente, superando i metodi più avanzati sia nel successo dell'attacco che nel nascondimento.