Résumé technique : Apprentissage de la valeur par considération de modification pour l'atténuation du détournement de récompense dans l'apprentissage par renforcement

Énoncé du problème

Les agents d'apprentissage par renforcement (RL) exploitent souvent des signaux de récompense mal spécifiés pour atteindre des rendements apparents élevés tout en échouant à optimiser l'objectif prévu, un mode de défaillance connu sous le nom de détournement de récompense (reward hacking). À mesure que les systèmes de RL passent à l'échelle dans des domaines critiques pour la sécurité (par exemple, la conduite autonome, le diagnostic médical) et l'entraînement post-apprentissage des grands modèles de langage, le risque de ce type de désalignement augmente.

Les défenses pratiques existantes contraignent généralement les mises à jour de la politique pour qu'elles restent proches d'une politique de référence sûre connue. Cette approche crée une tension fondamentale : des contraintes strictes suppriment le détournement mais inhibent également les améliorations de performance légitimes, tandis que des contraintes lâches permettent le détournement. De plus, de nombreuses solutions théoriques concernant « l'optimisation de l'utilité actuelle » — l'idée d'optimiser les valeurs actuelles sans changer ce qui est optimisé — n'ont pas été opérationnalisées pour le RL standard basé sur la valeur.

Méthodologie : Apprentissage de la valeur par considération de modification (MCVL)

Les auteurs proposent l'Apprentissage de la valeur par considération de modification (MCVL), un garde-fou pour le RL hors-politique (off-policy) basé sur la valeur, qui opérationnalise l'optimisation de l'utilité actuelle. Le MCVL agit comme un enveloppe (wrapper) autour de n'importe quel apprenant hors-politique standard (par exemple, DDQN, TD3) et traite chaque nouvelle transition comme une modification candidate à être évaluée avant adoption.

Mécanisme central

Au lieu d'accepter immédiatement les transitions, le MCVL effectue une vérification de prévision et de score contrefactuelle pour chaque nouvelle transition $T_{new} = (s, a, r, s')$ :

1. Prévision contrefactuelle : L'algorithme construit deux branches d'entraînement sous un budget de calcul identique ($l$ mises à jour) :

   • Branche 0 ($\tilde{\pi}^0$) : Prévoit la politique résultant de l'entraînement sur le tampon de rejeu (replay buffer) actuel $D$ seul.
   • Branche + ($\tilde{\pi}^+$) : Prévoit la politique résultant de l'entraînement sur $D$ augmenté de la nouvelle transition $T_{new}$.
   • Note : Ces prévisions clonent les réseaux actuels et exécutent $l$ mises à jour de l'apprenant de base ; elles n'affectent pas l'agent en direct.

2. Estimation du rendement par échantillonnage (Bootstrapped-Return) : Les deux politiques prévues sont évaluées à l'aide d'un estimateur de rendement par échantillonnage gelé dérivé des composants appris actuels de l'agent :

   • Un modèle de récompense $R_\psi(s, a)$ entraîné par régression supervisée sur les récompenses observées.
   • Une fonction de valeur $Q_\theta(s, a)$ entraînée via des mises à jour classiques de différence temporelle (TD).
   • L'estimateur calcule un rendement par échantillonnage à $n$ étapes : $\hat{G}_n(\tau) = \sum_{t=0}^{n-1} \gamma^t R_\psi(s_t, a_t) + \gamma^n Q_\theta(s_n, a_n)$.
   • L'espérance de rendement $\hat{J}(\pi)$ est approximée en déroulant la politique pour $k$ trajectoires de longueur $n$ en utilisant un modèle de transition $\hat{P}$ (soit l'environnement réel, soit un modèle appris).

3. Règle d'admission : La transition $T_{new}$ est admise dans le tampon de rejeu $D$ si et seulement si la politique prévisionnelle avec la transition obtient un score supérieur (ou égal) à celle sans la transition :
   $$\hat{J}(\tilde{\pi}^+) \geq \hat{J}(\tilde{\pi}^0)$$
   Si la condition n'est pas remplie, la transition est rejetée, et l'environnement est réinitialisé pour empêcher l'agent d'explorer un chemin qui pourrait mener à un détournement plus poussé ou briser la continuité requise pour les prévisions futures.

Pré-entraînement et initialisation

Le MCVL nécessite un jeu de données de départ (seed dataset) de transitions sans détournement ($D_0$) pour pré-entraîner l'estimateur de rendement. Ce jeu de données permet à l'évaluateur de distinguer le progrès réel de la tâche du détournement de récompense.

• Gridworlds : Une variante « Sûre » de l'environnement est utilisée où les possibilités de détournement sont supprimées.
• Contrôle continu : Un jeu de données de politique aléatoire collecté dans l'environnement complet suffit, car les conditions de détournement sont souvent trop spécifiques pour être découvertes par une exploration aléatoire.

Optimisation de l'efficacité

Pour limiter la surcharge de calcul, le MCVL emploie un déclencheur heuristique : la vérification complète de prévision et de score n'est invoquée que si la récompense observée $r$ dévie significativement de la prédiction du modèle de récompense $R_\psi(s, a)$ (c'est-à-dire $|r - R_\psi(s, a)| \geq \delta_r$). Les transitions présentant de faibles écarts sont admises sans le contrôle coûteux.

Principales contributions

1. Opérationnalisation de l'optimisation de l'utilité actuelle : Le papier fournit une implémentation pratique du concept théorique d'optimisation de l'utilité actuelle pour le RL standard basé sur la valeur. Il introduit un mécanisme qui optimise ce que l'agent valorise actuellement tout en restant conservateur quant au changement de ces valeurs, sans nécessiter de politique de référence sûre.
2. Atténuation empirique du détournement de récompense : Les auteurs démontrent que le MCVL atténue efficacement le détournement de récompense à travers quatre mondes de grille (gridworlds) liés à la sécurité (Box Moving, Absent Supervisor, Tomato Watering, Rocks and Diamonds) et trois tâches de contrôle continu MuJoCo modifiées (Reacher, Ant, HalfCheetah). Dans ces tâches, le MCVL atteint une performance comparable à celle d'un Oracle entraîné sur la vraie récompense, alors que les apprenurs de base (DDQN/TD3) succombent au détournement.
3. Garanties théoriques : Le papier formalise les garanties de sécurité, de permissivité et de dégradation bornée pour la règle de filtrage. Ces garanties sont paramétrées par la précision $\epsilon$ de l'estimateur de rendement. Plus précisément, si l'estimateur est $\epsilon$-précis, le MCVL rejette les transitions qui dégradent la performance réelle de plus de $2\epsilon$ et ne rejette jamais les transitions qui améliorent la performance réelle de plus de $2\epsilon$.
4. Nouveaux benchmarks : Les auteurs introduisent des environnements MuJoCo modifiés avec des sources de récompense parasites (par exemple, dysfonctionnements de capteurs, boutons cachés) pour permettre la recherche sur le détournement de récompense en contrôle continu.

Résultats

• Performance vs Oracle : Dans tous les environnements testés, le MCVL atteint une performance réelle finale (objectif prévu) comparable à celle de l'agent Oracle, malgré le fait qu'il n'ait jamais accès à la vraie récompense. Dans plusieurs tâches de gridworld, le MCVL atteint une performance solide plus rapidement que l'Oracle, potentiellement grâce à un curriculum implicite induit par le rejet des changements de comportement précoces et importants.
• Comparaison aux baselines :
  • Apprenants de base : Les agents standards DDQN et TD3 apprennent systématiquement à exploiter les récompenses mal spécifiées, conduisant à des rendements observés élevés mais à une faible performance réelle.
  • Objectifs régularisés par l'occupation : Les auteurs montrent que l'optimisation de la politique régularisée par l'occupation (contraindre la politique à rester proche d'une référence sûre) échoue souvent à trouver une force de régularisation qui supprime simultanément le détournement et permet des améliorations de niveau Oracle.
  • Modèle de récompense gelé : Une baseline où le modèle de récompense est gelé mais où la politique continue d'apprendre (sans le mécanisme de filtrage) égale la performance de l'Oracle dans certaines tâches mais échoue de manière catastrophique dans d'autres (ex: Absent Supervisor), soulignant la nécessité du mécanisme de filtrage dans des scénarios complexes.
• Études d'ablation :
  • Budget de prévision ($l$) : Un contrôle par étape unique (variante Each-step) est insuffisant ; un budget plus large ($l$) est nécessaire pour permettre à la politique de changer de manière significative afin que l'évaluateur puisse détecter la divergence.
  • Déclenchement : Vérifier uniquement sur les écarts de récompense ($\delta_r$) maintient la performance tout en réduisant considérablement le coût de calcul par rapport à un contrôle sur toutes les transitions.
  • Modèles de transition : L'utilisation d'un modèle de transition appris pour le scoring des rollouts (au lieu de l'environnement réel) préserve la performance de niveau Oracle, suggérant que la dynamique exacte n'est pas strictement nécessaire pour le classement relatif des politiques.

Signification et affirmations

Le papier affirme que le MCVL offre un moyen pratique d'éviter le détournement de récompense sans sacrifier la performance sur l'objectif prévu. En enveloppant les apprenants hors-politique standards, il fournit un garde-fou modulaire qui ne nécessite ni accès à une politique de référence sûre, ni hypothèses spécifiques sur la famille de la récompense proxy.

Les auteurs positionnent le MCVL comme un complément à une meilleure conception de récompense plutôt que comme un remplacement. Ils reconnaissent des limites, notant que la méthode repose sur la capacité de l'évaluateur à classer correctement les trajectoires de détournement en dessous des trajectoires de rendement lors de l'horizon de scoring. Si le modèle de récompense lui-même est mal spécifié pour valoriser le comportement de détournement (par exemple, dans les cas de façonnage de récompense incorrect comme l'exemple CoasRunners), le mécanisme de filtrage peut échouer. Par conséquent, le papier conclut que le MCVL est plus efficace lorsqu'il est combiné avec une conception de récompense robuste et un pré-entraînement sur des données qui reflètent fidèlement l'objectif prévu.

Ce travail comble le fossé entre les concepts de sécurité théoriques (optimisation de l'utilité actuelle) et l'implémentation pratique du RL profond, démontant que les transitions individuelles peuvent être prédictives du détournement de récompense et qu'une prévision contrefactuelle peut servir de filtre efficace.