Adversarial Attack on Black-Box Multi-Agent by Adaptive Perturbation

1. Énoncé du problème

L'article aborde les défis critiques de sécurité et de fiabilité dans les Systèmes Multi-Agents (SMA) opérant dans des environnements strictement boîte noire.

• Contexte : Les SMA sont de plus en plus utilisés dans les drones (UAV), la robotique industrielle et la conduite autonome. Cependant, ils sont vulnérables aux attaques adverses où les entrées sont perturbées pour induire en erreur la prise de décision.
• Limites des travaux existants :
  • Hypothèses de boîte blanche : De nombreuses méthodes existantes nécessitent l'accès aux paramètres internes du modèle ou aux sorties du réseau, ce qui est irréaliste dans les déploiements réels.
  • Autorité de contrôle élevée : Certaines méthodes supposent que l'attaquant peut contrôler directement les actions des agents, ce qui est rarement possible.
  • Absence de compromis discrétion/efficacité : Les méthodes boîte noire actuelles perturbent souvent tous les agents (mauvaise discrétion) ou visent des agents fixes indépendamment de l'état de l'environnement (mauvaise efficacité). Elles manquent d'une stratégie pour sélectionner dynamiquement la victime la plus critique et l'action la plus dommageable.
• Objectif : Développer un cadre d'attaque opérant dans un cadre strictement boîte noire (observation uniquement des entrées/sorties), perturbant uniquement les observations des agents (et non leurs actions), et atteignant une haute efficacité tout en maintenant une haute discrétion en attaquant un seul agent sélectionné de manière adaptative.

2. Méthodologie : Cadre AdapAM

Les auteurs proposent AdapAM (Adaptive adversarial Attacks on Multi-Agent systems), qui se compose de deux modules principaux :

A. Politique de sélection adaptative ($\pi_\phi$)

Ce module détermine quel agent attaquer et quelle action malveillante induire à chaque pas de temps.

• Objectif : Maximiser la dégradation de la récompense globale du SMA en sélectionnant l'agent le plus critique (l'adversaire) et l'action causant le pire impact.
• Architecture :
  • Modélisé comme un processus d'Apprentissage par Renforcement (RL) utilisant Soft Actor-Critic (SAC).
  • Conception hiérarchique : Pour réduire l'espace de recherche, la politique utilise deux classificateurs :
    1. $C_{\phi_1}$ : Sélectionne l'indice de l'agent adversaire ($i_t$) basé sur l'état global $s_t$.
    2. $C_{\phi_2}$ : Sélectionne l'action malveillante ($\tilde{a}_t$) basée sur $s_t$ et l'agent sélectionné $i_t$.
  • Signal de récompense : La récompense pour la politique de sélection est l'opposé de la récompense globale du SMA victime ($R^\alpha_t = -R(s_t, a_t, s_{t+1})$).
• Fonctionnement : À chaque étape, la politique échantillonne un agent et une action cible. Le système tente ensuite de perturber l'observation de l'agent sélectionné pour le forcer à exécuter cette action spécifique.

B. Perturbation basée sur des agents proxy pour induire une action malveillante

Puisque le SMA victime est une boîte noire, l'attaquant ne peut pas calculer directement les gradients pour générer des perturbations.

• Agents proxy : L'attaquant entraîne un ensemble d'agents proxy ($\pi_{\psi}$) utilisant l'Apprentissage par Imitation Génératif Adversaire Multi-Agents (MAGAIL). Ces proxies approximent les politiques des agents victimes ($\pi_{\psi} \approx \pi_{victim}$) en apprenant à imiter leurs mappings observation-action.
• Génération de perturbation :
  • Une fois les agents proxy entraînés, l'attaquant obtient un accès "boîte blanche" au modèle proxy.
  • En utilisant la technique d'attaque C&W (Carlini & Wagner) sur le modèle proxy, le système génère une observation perturbée $\tilde{o}_{t,i}$ qui force le proxy (et par transférabilité, la victime) à produire l'action malveillante désirée $\tilde{a}_t$.
  • La perturbation est minimisée (distance euclidienne) pour assurer la discrétion tout en satisfaisant la contrainte que la politique produise l'action cible.
• Injection : L'observation perturbée générée est injectée dans le flux d'entrée de l'agent victime sélectionné dans l'environnement réel en boîte noire.

3. Contributions clés

1. Cadre boîte noire novateur : Propose AdapAM, le premier cadre à sélectionner de manière adaptative à la fois l'agent victime et l'action malveillante anticipée dans un cadre SMA strictement boîte noire sans nécessiter de contrôle des actions.
2. Perturbation basée sur proxy : Introduit une méthode utilisant l'Apprentissage par Imitation Génératif Adversaire (MAGAIL) pour entraîner des agents proxy. Cela comble le fossé entre les contraintes boîte noire et le besoin d'informations de gradient en boîte blanche pour générer des perturbations efficaces.
3. Performance équilibrée : Atteint un compromis supérieur entre efficacité (dégradation des performances du système) et discrétion (magnitude minimale de perturbation et faible taux de détection) en attaquant un seul agent critique plutôt que tous les agents.

4. Résultats expérimentaux

Les auteurs ont évalué AdapAM sur 8 environnements multi-agents répartis sur trois benchmarks : SMAC (StarCraft), GF (Google Research Football) et MPE (Multi-Agent Particle). Ils ont comparé les résultats à quatre lignes de base : MASafe, AMCA, AMI et Lin.

• Performance de l'attaque :

  • Efficacité : AdapAM a considérablement réduit la Récompense et le Taux de Victoire des SMA cibles "Normaux" et "Robustes" (entraînés avec ROMANCE).
  • Comparaison : Dans les environnements avec moins d'agents (<10), AdapAM a réduit le taux de victoire à 0 %, surpassant toutes les lignes de base. Même dans des environnements à grande échelle (par exemple, 27m vs 30m), il est resté hautement compétitif, surpassant souvent les méthodes qui perturbent tous les agents.
  • Robustesse : AdapAM a maintenu une performance supérieure même face à des SMA spécifiquement entraînés pour être robustes aux attaques.
  • Taux de perturbation : AdapAM a constamment surpassé les lignes de base à divers taux de perturbation (de 15 % à 100 %).

• Évaluation de la discrétion :

  • Magnitude de perturbation : Mesurée par la norme $L_\infty$. AdapAM a ajouté les plus petites perturbations par rapport à toutes les lignes de base (par exemple, 0,12 contre 0,33 dans SMAC-8m), rendant les attaques imperceptibles.
  • Résistance à la détection : Mesurée par le score F1 d'un mécanisme existant de détection d'attaques. AdapAM a obtenu les scores F1 les plus bas (par exemple, 0,57 contre 0,82), indiquant qu'il est le plus difficile à détecter.
  • Raisonnement : Contrairement à MASafe (qui perturbe tous les agents et est facilement détecté), l'approche sélective et mono-agent d'AdapAM, combinée à une génération de perturbation optimisée, assure une haute discrétion.

5. Signification

• Évaluation de la sécurité : AdapAM fournit un outil rigoureux pour évaluer la véritable robustesse des SMA dans des scénarios réalistes en boîte noire, révélant des vulnérabilités que les méthodes boîte blanche ou non adaptatives pourraient manquer.
• Praticité : En opérant sous des contraintes strictes de boîte noire (perturbation d'observation uniquement) et en nécessitant un budget d'attaque minimal (un seul agent), la méthode reflète des modèles de menaces réalistes pour les infrastructures critiques telles que la conduite autonome et les essaims de drones.
• Implications pour la défense : Le succès d'AdapAM met en lumière l'insuffisance des méthodes d'entraînement robustes actuelles face aux attaques adaptatives et ciblées, suggérant la nécessité de mécanismes de défense qui traitent spécifiquement la sélection d'agents et l'intégrité des observations.

En conclusion, AdapAM démontre que le ciblage adaptatif combiné à une génération en boîte blanche basée sur proxy est une stratégie hautement efficace et discrète pour compromettre les Systèmes Multi-Agents, surpassant les méthodes de l'état de l'art tant en succès d'attaque qu'en dissimulation.