Résumé Technique : Fox in the Henhouse: Supply-Chain Backdoor Attacks Against Reinforcement Learning

Énoncé du Problème

Les attaques par porte dérobée (backdoor) existantes sur l'apprentissage par renforcement (RL) reposent généralement sur des modèles de menace irréalistes qui supposent que l'attaquant possède un accès "white-box" aux paramètres, aux récompenses ou aux observations de la victime. Ces hypothèses impliquent souvent un niveau d'intervention (par exemple, modifier directement la fonction de récompense ou l'espace d'observation de la victime) qui rendrait une attaque par porte dérobée inutile dans des scénarios réels. De plus, la littérature actuelle ignore largement l'aspect "chaîne d'approvisionnement" (supply-chain) de l'RL moderne, où les praticiens téléchargent fréquemment des agents ou des environnements pré-entraînés depuis des dépôts tiers (par exemple, Hugging Face, PyTorch Hub) pour accélérer la convergence dans des applications sensibles comme la conduite autonome ou le trading automatisé. Cet article soutient que la dépendance à l'égard d'agents externes non fiables constitue un risque de sécurité grave et pratique, actuellement sous-estimé.

Méthodologie : L'attaque par Porte Dérobée de la Chaîne d'Approvisionnement (SCAB)

Les auteurs introduisent l'attaque Supply-Chain Backdoor (SCAB), une méthode conçue pour injecter des comportements délétères dans la politique d'une victime ($\pi_{vic}$) uniquement via une boîte noire d'interactions légitimes entre l'agent et l'environnement. L'attaquant ne nécessite pas d'accès au processus d'entraînement de la victime, aux signaux de récompense ou aux données d'observation. Au lieu de cela, l'attaque exploite la pratique courante de l'entraînement avec des politiques tierces.

Modèle de Menace

L'attaque opère sous un modèle de menace restrictif où l'attaquant contrôle une politique pré-entraînée et externe ($\pi_{att}$) qui interagit avec la victime dans un processus de décision markovien multi-agents (MMDP). L'attaquant dispose de :

• Un accès en lecture seule à ses propres observations d'état ($s_{att}$).
• Une influence par l'action uniquement sur l'environnement via ses actions ($a_{att}$).
• Aucun accès aux paramètres internes, aux récompenses ($r_{vic}$) ou aux observations ($s_{vic}$) de la victime.

Mécanisme d'Attaque

L'attaque SCAB utilise une politique d'attaquant bifurquée et un détecteur pour atteindre ses objectifs :

1. Composants de l'Attaquant :

   • $\pi_{att}^{std}$ : Une politique standard entraînée pour gagner le jeu (par exemple, via un entraînement basé sur des tournois).
   • $\pi_{att}^{rwd}$ : Une politique de "récompense" entraînée pour récompenser implicitement la victime pour l'exécution de certaines actions de la porte dérobée. Ceci est réalisé en faisant en sorte que l'attaquant accélère délibérément sa propre défaite (maximisant la récompense cumulative de l'adversaire) lorsque la victime exécute la séquence souhaitée.
   • Détecteur ($d$) : Un module d'apprentissage supervisé qui déduit les actions précédentes de la victime ($\tilde{a}_{vic}$) en observant les transitions d'état dans les propres observations de l'attaquant ($s_{att}$).

2. Phase d'Entraînement (Injection) :
   L'attaquant bascule entre quatre états basés sur une machine à états finis :

   • Gagner (Winning) : L'attaquant joue normalement ($\pi_{att}^{std}$). Avec une probabilité définie par la Probabilité d'Injection de Déclencheur (TIP), il passe à l'état de Déclenchement.
   • Déclencher (Triggering) : L'attaquant exécute une séquence prédéfinie d'actions de déclenchement ($A_t$), telles que des mouvements consécutifs "no-op".
   • Observer (Observing) : L'attaquant utilise le détecteur $d$ pour déduire si la victime répond par la séquence d'action de la porte dérobée spécifique ($A_b$).
   • Récompenser (Rewarding) : Si la victime exécute la bonne séquence de la porte dérobée, l'attaquant bascule vers $\pi_{att}^{rwd}$, perdant intentionnellement pour fournir une récompense cumulative élevée à la victime. Cela renforce l'association entre le déclencheur et l'action de la porte dérobée dans la fonction Q de la victime.

3. Phase de Test (Exploitation) :
   Une fois la porte dérobée injectée, tout adversaire conscient du déclencheur peut l'activer. Un adversaire équipé d'un réseau de déclenchement ($\pi_{trg}$) peut initier stratégiquement la séquence de déclenchement pour forcer la victime à adopter le comportement de la porte dérobée, causant une chute significative de performance tout en minimant le temps passé à exécuter le déclencheur lui-même.

Principales Contributions

1. Modèle de Menace Réaliste : L'article documente la première attaque réaliste exploitant la chaîne d'approvisionnement de l'RL, ne nécessitant que le niveau d'accès d'un agent bénin (observations en lecture seule, influence par l'action).
2. Proposition de l'Attaque SCAB : Les auteurs proposent et valident l'attaque SCAB, qui injecte des portes dérobées via des agents pré-entraînés sans modifier les données d'entraînement, les récompenses ou les observations de la victime.
3. Validation Empirique : L'étude démontre que SCAB atteint des performances comparables aux attaques précédentes avec des modèles d'accès beaucoup plus permissifs, atteignant des taux de succès élevés avec une corruption minimale des données (3 % d'injection de déclencheur).

Résultats Expérimentaux

Les auteurs ont évalué SCAB sur deux environnements compétitifs à deux joueurs (Pong, Surround, Boxing) en utilisant des algorithmes on-policy (PPO) et off-policy (DQN) avec des architectures CNN et LSTM.

• Succès de l'Attaque : SCAB a atteint un taux de succès de déclenchement de pointe dépassant 90 % dans diverses configurations.
• Dégradation de la Performance : L'attaque a réduit les retours épisodiques moyens de la victime de plus de 80 % lorsque les déclencheurs étaient actifs.
• Discrétion (Stealthiness) : Les métriques de temps d'entraînement (retour épisodique, perte de politique, longueur d'épisode) pour la victime sous SCAB étaient indiscernables d'un entraînement propre. La victime maintenait des performances élevées contre des adversaires normaux, et les actions de la porte dérobée se produisaient spontanément à des taux négligeables (<1 %) sans déclencheurs.
• Généralisabilité : L'attaque était efficace à travers des espaces d'actions discrets et continus, des environnements coopératifs et compétitifs, ainsi que des scénarios multi-agents.
• Comparaison : Dans l'environnement Boxing, SCAB (avec 3 % de TIP) a atteint un taux de succès de déclenchement de 91,3 % et une chute de retour de 82,6 %, égalant les performances de BACKDOORL (93,6 % de succès, 81,3 % de chute) et de TrojDRL (99,1 % de succès, 85,3 % de chute), malgré le fait que SCAB opère sous un modèle d'accès beaucoup plus strict (pas d'accès en écriture aux récompenses ou aux observations).
• Limites de la Défense : Une défense standard par fine-tuning (ré-entraînement contre des joueurs normaux) a montré une efficacité limitée, réduisant le taux de succès du déclencheur de 83,2 % à 69,5 % après 128 000 étapes, tandis que la performance de la victime sous attaque restait sévèrement compromise.

Signification et Revendications

L'article soutient que la sécurité offerte par l'ignorance des risques de la chaîne d'approvisionnement dans l'RL est "illusoire". En démontrant que des attaques par porte dérobée à fort impact ne nécessitent pas de modèles d'accès hautement permissifs, les auteurs soulignent que l'RL est bien plus vulnérable à la manipulation adverse que ce que l'on pensait.

Les auteurs insistent sur le fait que, bien que leur travail expose des vulnérabilités, la divulgation responsable de telles attaques est cruciale pour améliorer la sécurité des systèmes. Ils affirment que la pratique courante de s'approvisionner auprès de modèles fournis par des tiers crée un risque de sécurité grave et pratique, particulièrement à mesure que l'RL est de plus en plus adopté dans des domaines critiques pour la sécurité tels que la conduite autonome, le trading algorithmique et la santé. L'article conclut que ce nouveau vecteur d'attaque doit motiver le développement de mécanismes de défense et de détection robustes spécifiquement adaptés à la chaîne d'approvisionnement de l'entraînement.