Learning to Attack: A Bandit Approach to Adversarial Context Poisoning

Cet article présente AdvBandit, une attaque adaptative en boîte noire qui modélise l'empoisonnement de contexte comme un problème de bandit à bras multiples pour apprendre et exploiter la politique d'un agent victime sans accès à ses paramètres internes, tout en garantissant théoriquement une régression élevée pour la victime.

L'essentiel

Imaginez que vous êtes le chef d'un restaurant très populaire (le système d'intelligence artificielle) qui recommande des plats à ses clients. Vous apprenez chaque jour ce que les clients aiment pour améliorer vos suggestions. C'est ce qu'on appelle un "bandit contextuel" : un système qui apprend en faisant des choix et en recevant des retours.

Maintenant, imaginez un espion malveillant (l'attaquant) qui veut saboter votre restaurant. Son but n'est pas de vous voler, mais de vous faire recommander le pire plat possible, juste pour voir si vous pouvez être trompé.

Voici comment fonctionne la méthode AdvBandit décrite dans l'article, expliquée simplement :

1. Le Problème : L'Espion aveugle

Habituellement, pour tromper un système, il faut connaître ses secrets (ses formules secrètes, ses calculs internes). Mais ici, l'espion est aveugle. Il ne voit que ce que vous voyez : le client arrive, vous choisissez un plat, et le client réagit. Il ne connaît pas vos recettes ni vos calculs.

De plus, il ne peut pas tout faire. Il a un budget limité. S'il essaie de tromper le système à chaque fois, le système va se méfier et le repérer. Il doit donc être très précis et discret.

2. La Solution : Le "Jeu de l'Espion" (AdvBandit)

Au lieu d'essayer de deviner vos formules secrètes, l'espion joue à un jeu de stratégie en deux étapes, comme un grand échiquier :

Étape A : Le Dessin de la Carte (L'IRL)

Puisqu'il ne connaît pas votre cerveau, l'espion construit une fausse carte (un modèle de substitution) en observant vos habitudes.

• L'analogie : Imaginez que l'espion regarde comment vous réagissez à des clients qui demandent "Je veux quelque chose de bon". Il dessine une carte mentale approximative de vos préférences. Il ne connaît pas la vérité, mais il a une très bonne idée de ce que vous pensez.

Étape B : Le Choix de la Stratégie (Le Bandit Nested)

C'est ici que la magie opère. L'espion ne choisit pas juste quel plat falsifier. Il doit choisir trois paramètres en même temps, comme un pilote d'avion qui ajuste trois manettes :

1. L'efficacité (La force du coup) : À quel point doit-il modifier le plat pour que vous le choisissiez ?
2. La furtivité statistique (Le camouflage) : Comment modifier le plat pour qu'il ressemble encore à un plat normal (ne pas faire peur au système de sécurité) ?
3. La furtivité temporelle (La discrétion dans le temps) : Comment ne pas changer trop brutalement d'un client à l'autre (ne pas sembler suspect par ses habitudes) ?

L'espion utilise une technique intelligente (appelée GP-UCB) pour explorer ces trois manettes. C'est comme un explorateur qui teste différentes combinaisons de manettes pour trouver le "sweet spot" : le moment où il vous trompe le plus, sans se faire attraper.

3. Le Choix du Moment (Quand frapper ?)

L'espion ne frappe pas à chaque fois. Il utilise un filtre intelligent.

• L'analogie : Imaginez un pêcheur. Il ne lance pas sa ligne partout. Il attend qu'il y ait un courant favorable, que l'eau soit calme (furtivité) et qu'il y ait de gros poissons (impact).
  L'espion analyse chaque client. Si le client est "facile" à tromper et que le risque de se faire prendre est faible, il utilise son budget. Sinon, il attend. Cela lui permet de gaspiller moins de coups et de frapper plus fort quand il le faut.

4. Le Résultat : Pourquoi ça marche si bien ?

Les expériences montrent que cette méthode est redoutable :

• Elle apprend en marchant : Contrairement aux anciennes méthodes qui étaient rigides, celle-ci s'adapte. Si vous changez de stratégie (par exemple, si vous devenez plus prudent), l'espion ajuste ses manettes pour continuer à vous tromper.
• Elle est économe : Elle utilise son budget de manière très efficace, obtenant des résultats bien supérieurs aux autres attaques connues.
• Elle est théoriquement solide : Les auteurs ont prouvé mathématiquement que l'espion finira toujours par trouver la meilleure stratégie, et que vous, le système, finirez par accumuler beaucoup d'erreurs (de "regret") à cause de lui.

En résumé

AdvBandit, c'est comme un champion de poker aveugle. Il ne voit pas vos cartes, mais il observe vos gestes, construit une image de votre jeu, et ajuste sa mise (son attaque) en temps réel pour maximiser ses gains tout en restant invisible. Il ne joue pas au hasard, il joue avec une intelligence artificielle qui apprend à jouer contre vous, spécifiquement pour vous battre.

C'est une démonstration puissante que même les systèmes d'IA les plus modernes peuvent être manipulés si un adversaire est assez patient, assez malin et assez discret.

Résumé technique

1. Problématique et Contexte

Les bandits contextuels neuronaux (NCB) sont des algorithmes d'apprentissage en ligne avancés qui utilisent des réseaux de neurones pour modéliser des relations non linéaires complexes entre les contextes et les récompenses. Ils sont largement utilisés dans les systèmes de recommandation, l'allocation de ressources cloud, les essais cliniques et les modèles de langage (LLM).

Cependant, ces systèmes sont vulnérables aux attaques adverses, où un attaquant modifie subtilement les contextes, les actions ou les récompenses pour induire l'algorithme à prendre des décisions sous-optimales.

• Le défi spécifique : L'attaque par empoisonnement de contexte (context poisoning) est particulièrement difficile car elle doit être effectuée avant que l'agent ne sélectionne une action, sans accès aux paramètres internes, à la fonction de récompense ou aux gradients du modèle victime (cadre "boîte noire").
• Limites des approches existantes : Les attaques précédentes sur des modèles statiques (comme les GNN ou CNN) ou des bandits linéaires ne s'adaptent pas bien aux processus de décision séquentiels où la politique de la victime évolue continuellement.

2. Méthodologie : AdvBandit

Les auteurs proposent AdvBandit, une attaque adaptative en boîte noire qui reformule le problème d'attaque comme un problème de bandit à bras continus (continuous-armed bandit). L'approche repose sur une architecture en deux niveaux (nested) :

A. Modélisation de l'Attaque comme un Bandit Emboîté

L'attaquant ne choisit pas directement la perturbation, mais optimise un vecteur de paramètres $\lambda = (\lambda^{(1)}, \lambda^{(2)}, \lambda^{(3)}) \in [0, 1]^3$ qui contrôle le compromis entre trois objectifs :

1. Efficacité ($\lambda^{(1)}$) : Maximiser la probabilité que la victime sélectionne l'action cible sous-optimale.
2. Évasion statistique ($\lambda^{(2)}$) : Maintenir les contextes perturbés proches de la distribution bénigne pour éviter les détections basées sur les anomalies.
3. Évasion temporelle ($\lambda^{(3)}$) : Assurer la cohérence temporelle des perturbations pour éviter les changements brusques détectables.

B. Composants Clés de l'Algorithme

1. Modèle de Surrogate par IRL (Inverse Reinforcement Learning) :

   • Puisque l'attaquant n'a pas accès aux récompenses réelles, il utilise un module MaxEnt IRL (Maximum Entropy Inverse RL) adapté avec une conscience de la borne supérieure de confiance (UCB-Aware).
   • Ce module apprend une politique de remplacement ($\hat{\pi}$) et une fonction de récompense à partir des paires (contexte, action) observées.
   • Pour suivre l'évolution non stationnaire de la victime, le modèle est réentraîné périodiquement sur une fenêtre glissante d'observations récentes.

2. Sélection de Bras via GP-UCB :

   • Pour explorer l'espace continu des paramètres $\lambda$, l'attaquant utilise GP-UCB (Gaussian Process Upper Confidence Bound).
   • Un état contextuel $s_t$ est construit à partir de caractéristiques extraites (entropie de la politique, poids de confiance prédit, distance de Mahalanobis des gradients, écart de regret, et temps relatif).
   • Le GP-UCB équilibre l'exploitation (choisir les $\lambda$ les plus prometteurs) et l'exploration (tester de nouveaux compromis) pour maximiser le succès de l'attaque.

3. Sélection de Requêtes (Query Selection) :

   • Pour gérer un budget d'attaque limité $B$, une stratégie sélective est employée. Elle évalue chaque contexte selon trois critères (probabilité de succès, impact potentiel, furtivité) et ne lance une attaque que si le score dépasse un seuil adaptatif basé sur les quantiles.

4. Génération de Perturbations (PGD) :

   • Une fois les paramètres $\lambda_t$ sélectionnés, l'algorithme utilise la Descente de Gradient Projetée (PGD) sur le modèle de surrogate (et non sur la victime) pour calculer la perturbation optimale $\delta$ qui minimise une fonction de perte pondérée par $\lambda$.

3. Contributions Théoriques et Techniques

• Formulation du problème : Transformation de l'attaque contextuelle en un problème d'optimisation de bandit à bras continus, permettant une adaptation dynamique aux politiques changeantes de la victime.
• Garanties théoriques :
  • Pour l'attaquant : Une borne de regret cumulatif sous-linéaire, garantissant la convergence vers des paramètres d'attaque optimaux malgré l'espace continu et la non-stationnarité.
  • Pour la victime : Une borne inférieure sur le regret cumulatif de la victime, qui est linéaire par rapport au nombre d'attaques réussies (plus les termes de regret standard sous-linéaires).
  • Analyse de l'erreur de suivi du composant IRL sous une dérive de politique bornée.
• Efficacité computationnelle : Utilisation de l'extraction de caractéristiques basées sur les gradients pour réduire la dimensionnalité des entrées du GP, rendant l'optimisation tractable.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données réels (Yelp, MovieLens, Disin) contre cinq algorithmes victimes de bandits contextuels (NeuralUCB, NeuralLinUCB, NeuralTS, R-NeuralUCB, RobustBandit) et comparés à cinq attaques de référence (SOTA).

• Performance d'attaque : AdvBandit génère un regret cumulatif pour la victime 2,8 fois plus élevé que les meilleures méthodes de base.
• Efficacité des cibles : Il améliore le ratio de tir de l'arme cible de 1,7 à 2,5 fois par rapport aux baselines.
• Adaptabilité :
  • Contre des victimes déterministes (NeuralUCB), l'attaque privilégie l'efficacité brute.
  • Contre des victimes robustes (R-NeuralUCB), l'attaque bascule dynamiquement vers l'évasion statistique et temporelle.
  • Contre des victimes stochastiques (NeuralTS), elle privilégie la cohérence temporelle.
• Coût computationnel : Bien que AdvBandit soit environ 3,5 fois plus lent que les méthodes simples (en raison de l'IRL et des mises à jour GP), son efficacité supérieure justifie ce coût pour l'évaluation de la robustesse.

5. Signification et Impact

Cet article représente une avancée majeure dans la sécurité des systèmes d'apprentissage par renforcement et des bandits contextuels :

1. Nouvelle menace : Il démontre que même les systèmes conçus pour être robustes peuvent être compromis par des attaques adaptatives qui apprennent la dynamique de la victime en temps réel.
2. Cadre général : La formulation "Nested Bandit" offre un cadre général pour les attaques adverses sur des processus de décision séquentiels évolutifs, dépassant les limitations des attaques sur des modèles statiques.
3. Implications pour la défense : Les résultats soulignent la nécessité de développer des mécanismes de défense capables de détecter non seulement les anomalies statiques, mais aussi les déviations subtiles et temporelles dans les stratégies d'attaque adaptatives.

En résumé, AdvBandit établit un nouvel état de l'art pour les attaques en boîte noire sur les bandits contextuels neuronaux, combinant apprentissage par renforcement inverse, optimisation bayésienne et théorie des jeux pour maximiser l'impact tout en restant furtif.