🤖 machine learning

Robust In-Context Reinforcement Learning Under Reward Poisoning Attacks

Cet article propose l'AT-DPT (Adversarially Trained DPT), un nouveau cadre qui entraîne simultanément un Transformer pré-entraîné pour la décision et une population d'attaquants afin de parvenir à un apprentissage par renforcement contextuel robuste contre les attaques par empoisonnement de récompense, démontrant une performance supérieure aux bases de référence standards dans des environnements de bandits et des MDP complexes.

Auteurs originaux : Paulius Sasnauskas, Yiğit Yalın, Goran Radanović

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Paulius Sasnauskas, Yiğit Yalın, Goran Radanović

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Enseigner à un robot à apprendre grâce à une fiche de triche

Imaginez que vous enseigniez à un robot à jouer à un jeu vidéo. Habituellement, vous pourriez le programmer avec des règles spécifiques ou le laisser s'entraîner pendant des heures jusqu'à ce qu'il comprenne le jeu.

Mais ce papier traite d'un type de robot différent : un robot qui utilise l'Apprentissage par Renforcement en Contexte (ICRL - In-Context Reinforcement Learning). Voyez ce robot comme un étudiant super intelligent qui n'a pas besoin d'être reprogrammé. Au lieu de cela, vous lui donnez simplement une « fiche de triche » (un historique de mouvements et de récompenses passés) et vous lui dites : « Voici comment le jeu fonctionne ; maintenant, joue ». Le robot lit la fiche de triche, comprend le schéma, et commence immédiatement à jouer.

Le papier se concentre sur un type de robot spécifique appelé DPT (Decision-Pretrained Transformer). Il est excellent pour lire ces fiches de triche. Mais, il y a un problème : Et si quelqu'un falsifiait la fiche de triche ?

Le Problème : La fiche de triche « empoisonnée »

Dans le monde réel, un acteur malveillant (un attaquant) pourrait essayer de tromper le robot. Il ne peut pas changer le cerveau du robot, mais il peut modifier les récompenses que le robot voit dans son historique.

Le Scénario : Imaginez que le robot apprenne à choisir le meilleur fruit dans un marché.
L'Attaque : Un saboteur change secrètement les étiquettes de prix des fruits dans l'historique du robot. Il fait en sorte que les pommes pourries paraissent chères (récompense élevée) et que les pommes fraîches paraissent bon marché (récompense faible).
Le Résultat : Le robot lit l'historique empoisonné, pense que les pommes pourries sont le meilleur choix, et commence à les acheter. C'est ce qu'on appelle une Attaque par Empoisonnement de Récompense (Reward Poisoning Attack).

La plupart des recherches précédentes se sont concentrées sur la protection des robots qui apprennent pendant l'entraînement. Ce papier pose la question suivante : Comment protéger un robot qui apprend « à la volée » simplement en lisant un historique d'événements ?

La Solution : La méthode du « Partenaire d'Entraînement » (AT-DPT)

Les auteurs ont créé une nouvelle méthode appelée AT-DPT (Adversarially Trained DPT). Ils n'ont pas seulement essayé de « réparer » le robot ; ils lui ont appris à se défendre en utilisant une technique appelée Entraînement Adversaire (Adversarial Training).

Voyez cela comme un dojo d'arts martiaux :

L'Étudiant (le Robot) : Nous voulons que le robot apprenne à choisir les meilleures actions même lorsque les données sont désordonnées.
Le Partenaire d'Entraînement (l'Attaquant) : Les chercheurs ont créé une IA « méchante » dont le seul travail est d'essayer de tromper le robot. Ce méchant essaie constamment de réécrire l'historique (les récompenses) pour pousser le robot à faire de mauvais choix.
La Boucle d'Entraînement :
- Le Méchant essaie d'empoisonner l'historique du robot.
- Le Robot essaie d'ignorer le poison et de trouver la vérité.
- Ils font cela encore et encore.
- Finalement, le Robot devient si bon pour repérer les mensonges qu'il peut toujours gagner, même quand le Méchant fait de son mieux pour le tromper.

Le résultat est un robot qui a « tout vu ». Il a appris que parfois, les chiffres des récompenses sont des mensonges, et il sait comment regarder au-delà d'eux pour trouver la véritable réalité.

Comment ils l'ont testé

Les chercheurs ont testé ce « super-robot » dans trois scénarios différents, comme des niveaux dans un jeu vidéo :

La Machine à Sous (Bandits) : Imaginez une rangée de 5 machines à sous. Le robot doit découvrir laquelle rapporte le plus. L'attaquant essaie de mentir sur le montant versé par chaque machine.
- Résultat : Le robot AT-DPT a trouvé les vrais gagnants, tandis que les robots standards (comme Thompson Sampling ou UCB) se sont confondus et ont continué à choisir les perdants.
Le Labyrinthe (MDPs) : Imaginez un robot naviguant dans une pièce sombre pour trouver un trésor. L'attaquant essaie de mentir sur la qualité d'un mouvement.
- Résultat : Le robot AT-DPT a trouvé le trésor beaucoup plus de manière fiable que les autres méthodes, même lorsque l'attaquant était intelligent et adaptatif (changeant ses mensonges en fonction de ce que le robot faisait).
Le Labyrinthe Visuel : Ils ont même testé cela dans un environnement 3D où le robot devait naviguer à l'aide d'images. Le robot AT-DPT a tout de même obtenu de meilleurs résultats que les autres.

Pourquoi cela importe

Le papier affirme qu'en entraînant le robot à s'attendre à des mensonges (données empoisonnées), il devient beaucoup plus robuste.

Les robots standards sont comme des personnes qui croient tout ce qu'elles lisent dans un journal. Si le journal publie un mensonge, elles le croient.
Le robot AT-DPT est comme un détective qui a été entraîné par un maître faussaire. Il sait que le journal peut mentir, alors il vérifie les faits et trouve quand même la vérité.

Les auteurs concluent que cette approche (utiliser une population d'attaquants pour entraîner l'apprenant) est un moyen puissant de construire une IA sûre et fiable, même lorsque les données sur lesquelles elle repose sont manipulées par des acteurs malveillants. Ils ont également noté que cette méthode fonctionne bien même si le robot n'est pas parfait pour repérer les mensonges, tant qu'il a été entraîné contre une variété d'attaquants rusés.

Résumé technique : Apprentissage par renforcement en contexte robuste face aux attaques par empoisonnement de récompense

Définition du problème

Cet article traite de la vulnérabilité de l'apprentissage par renforcement en contexte (In-Context Reinforcement Learning - ICRL) face aux attaques par empoisonnement de récompense. Alors que la littérature classique sur l'apprentissage par renforcement (RL) a largement étudié l'empoisonnement de la récompense comme une attaque lors de l'entraînement (où la politique d'un agent est corrompue pendant l'apprentissage), les agents ICRL fonctionnent différemment. Ils implémentent un algorithme d'apprentissage « en contexte » en traitant un historique d'interactions (états, actions, récompenses) au sein d'un modèle transformer (plus précisément, le Decision-Pretrained Transformer, ou DPT).

Dans ce cadre, un adversaire peut empoisonner le contexte au moment du test en corrompant les récompenses observées par l'agent. Puisque l'agent infère sa politique sur la base de ce contexte, la corruption des récompenses au moment du test permet à un attaquant d'influencer le comportement de l'agent sans modifier ses paramètres pré-entraînés. L'article formalise cela comme une attaque par empoisonnement de récompense au moment du test, où l'attaquant modifie une fraction ( $\epsilon$ ) des récompenses observées pour minimiser le véritable rendement de l'agent, sous une contrainte de budget souple.

Méthodologie : DPT entraîné de manière adversaire (AT-DPT)

Les auteurs proposent AT-DPT, un nouveau cadre qui combine l'apprentissage en contexte et l'entraînement adversaire pour produire des agents robustes face à de telles attaques. L'idée centrale est d'entraîner l'agent et une population d'attaquants simultanément dans un jeu minimax.

1. Modèle d'attaque

L'attaquant est modélisé comme une fonction $\pi^\dagger_\phi$ qui observe l'état, l'action, la récompense réelle et le jeu de données en contexte de l'agent. Il génère une récompense corrompue $r^\dagger$ avec une probabilité $\epsilon$ . L'objectif de l'attaquant est de minimiser le rendement attendu de l'agent tout en respectant une contrainte de budget souple sur la moyenne et la variance des récompenses corrompues par rapport aux récompenses réelles de l'environnement. Cela est formulé comme un terme de pénalité dans la fonction de perte de l'attaquant.

2. Procédure d'entraînement

Le processus d'entraînement (illustré par la Figure 1 et l'Algorithme 1) comprend trois phases :

Pré-entraînement : Le DPT est initialisé et entraîné via un apprentissage supervisé pour prédire les actions optimales à partir de données de contexte propres, de manière similaire à l'approche DPT originale.
Entraînement adversaire : C'est la contribution novatrice. L'agent ( $\pi_\theta$ $π_{θ}$ ) et une population d'attaquants ( $\pi^\dagger_{\phi_i}$ $π_{ϕ_{i}}^{†}$ ) sont optimisés de concert :
- Mise à jour de l'attaquant : Pour chaque tâche d'un lot (batch), l'attaquant génère des trajectoires corrompues. Les paramètres de l'attaquant $\phi$ sont mis à jour à l'aide de l'algorithme REINFORCE pour maximiser le regret de l'agent (minimiser le rendement) sous les contraintes de budget.
- Mise à jour de l'agent : L'agent est entraîné pour prédire l'action optimale (fournie par un oracle) étant donné le contexte corrompu $D^\dagger$ collecté durant l'interaction.
- Ce processus se répète pendant $N$ cycles, permettant à l'agent d'apprendre un mécanisme de « correction » capable d'inférer des actions optimales malgré des entrées empoisonnées.
Apprentissage en contexte (Test) : L'agent entraîné est déployé dans de nouveaux environnements avec des récompenses empoisonnées. Il met à jour son contexte dynamiquement à chaque pas de temps pour soutenir la robustesse face à des attaquants adaptatifs.

Le cadre prend en charge à la fois les attaquants non-adaptatifs (qui n'utilisent pas l'historique de l'agent) et les attaquants adaptatifs (qui utilisent une architecture transformer pour exploiter les interactions passées de l'agent).

Principales contributions

Nouvelle modalité d'attaque : L'article est le premier à étudier l'empoisonnement de la récompense dans le contexte du meta-RL (apprendre un algorithme d'apprentissage). Il formalise une attaque au moment du test où l'adversaire corrompt le contexte pour influencer le processus d'apprentissage en contexte, ce qui est distinct de la corruption traditionnelle de la politique lors de l'entraînement.
Cadre AT-DPT : Les auteurs introduisent un protocole d'entraînement adversaire pratique qui optimise simultanément une population d'attaquants et l'agent victime. Cela permet à l'agent d'apprendre un algorithme en contexte robuste à la corruption.
Validation empirique : L'étude fournit une évaluation systématique à travers des bandits multi-bras, des bandits linéaires et des MDP (incluant les environnements Darkroom2 et Miniworld), comparant AT-DPT aux algorithmes standards (TS, UCB, PPO, Q-learning) et aux bases robustes (crUCB, RTS).

Résultats expérimentaux

Les expériences démontrent qu'AT-DPT surpasse significativement les bases existantes sous divers niveaux d'empoisonnement ( $\epsilon = 0.1, 0.2, 0.4$ ) et budgets d'attaque.

Configurations de Bandits : AT-DPT obtient le regret cumulé le plus bas par rapport aux bases robustes comme crUCB et RTS, même lorsque l'attaquant est spécifiquement entraîné pour cibler AT-DPT. Il montre également une forte généralisation, performant bien contre des attaquants entraînés pour d'autres algorithmes (ex: TS).
Adaptatif vs Non-Adaptatif : Les résultats indiquent un compromis ; AT-DPT entraîné contre des attaquants adaptatifs est plus performant face aux menaces adaptatives, mais légèrement moins performant contre les menaces non-adaptatives par rapport à un modèle entraîné uniquement sur des menaces non-adaptatives. Cependant, dans tous les cas, il surpasse les bases standards.
Configurations MDP : Dans les environnements Darkroom2 et Miniworld, AT-DPT maintient des récompenses par épisode élevées sous attaque, alors que les algorithmes de RL standards (NPG, Q-learning) et les modèles DPT figés subissent une dégradation significative des performances. Notamment, AT-DPT se généralise à des environnements plus larges et complexes, suggérant une certaine scalabilité.
Démonstrations sous-optimales : L'article note qu'AT-DPT peut tolérer un faible pourcentage (ex: 10-30 %) de démonstrations sous-optimales dans les données d'entraînement, bien que la performance se dégrade à mesure que ce pourcentage augmente.

Signification et affirmations

L'article affirme que sa principale importance réside dans l'établissement d'une approche fondée sur des principes pour concevoir des algorithmes d'apprentissage intrinsèquement robustes aux corruptions de données.

Perspective Meta-RL : Contrairement aux travaux antérieurs qui se concentrent sur l'apprentissage d'une politique spécifique pour un environnement unique, ce travail se concentre sur l'apprentissage de l'algorithme lui-même. En utilisant un a priori sur la distribution des tâches, l'agent peut distinguer les schémas de corruption plausibles des schémas implausibles, filtrant ainsi efficacement le bruit adversaire.
Généralisation : Les résultats suggèrent que les politiques basées sur les transformers peuvent implémenter des algorithmes robustes contre la contamination des données, offrant une voie prometteuse pour le déploiement sécurisé des agents ICRL (tels que les agents basés sur les LLM) dans des environnements où le contexte peut être compromis (ex: via des mécanismes de RAG).
Aperçu théorique : Les auteurs postulent qu'AT-DPT approxime un équilibre de Nash où l'agent implémente un échantillonnage de postérieur « corrigé ». Tant que les moyennes de récompense sous-jacentes restent identifiables sous le processus de corruption, l'agent peut atteindre une performance robuste.

Les auteurs restent modestes quant aux garanties théoriques, reconnaissant qu'une analyse complète de la convergence de l'optimisation bi-niveau vers un équilibre approximatif est laissée aux travaux futurs. Ils notent également la limite du fait que leur méthode actuelle repose sur des actions optimales fournies par un oracle pour l'entraînement, bien qu'ils démontrent une certaine résilience face aux démonstrations sous-optimales.