CROP: Conservative Reward for Model-based Offline Policy Optimization

Cet article présente CROP, un nouvel algorithme d'apprentissage par renforcement hors ligne basé sur un modèle qui introduit une estimation de récompense conservatrice pour atténuer la surestimation causée par le décalage de distribution et améliorer l'évaluation des politiques.

L'essentiel

🍎 Le Problème : Apprendre sans se faire mal

Imaginez que vous voulez apprendre à conduire une voiture de course.

• L'approche classique (Apprentissage en ligne) : Vous prenez le volant, vous faites des essais, vous faites des erreurs, et vous apprenez sur le tas. C'est efficace, mais c'est dangereux (vous pouvez crasher) et ça coûte cher (essence, pneus).
• L'approche "Offline" (Apprentissage hors ligne) : Vous ne touchez jamais au volant. À la place, vous regardez des heures de vidéos d'autres conducteurs (des données collectées). Vous essayez de deviner la meilleure stratégie en regardant ces vidéos.

Le piège : Si vous regardez seulement des vidéos de conducteurs qui roulent doucement, vous ne saurez pas comment réagir si vous devez éviter un obstacle soudain à grande vitesse. Si vous essayez de deviner ce qui se passe dans des situations que vous n'avez jamais vues (des actions "hors de la distribution"), vous risquez de vous faire de fausses idées et de prendre de mauvaises décisions. C'est ce qu'on appelle le décalage de distribution.

🛡️ La Solution : CROP (Le Gardien Conservateur)

Les chercheurs ont créé un nouvel algorithme appelé CROP (Conservative Reward for model-based Offline Policy optimization).

Pour comprendre CROP, imaginons que vous apprenez à cuisiner en regardant des vidéos de chefs, mais que vous ne pouvez pas goûter les plats vous-même.

1. Le Modèle : Le Chef Virtuel

D'abord, CROP crée un "Chef Virtuel" (un modèle) qui regarde toutes les vidéos de cuisine. Ce chef essaie de prédire : "Si je mélange ces ingrédients (action) dans cette poêle (état), quel sera le résultat ?"

2. Le Problème du Chef Virtuel

Le problème, c'est que si vous demandez au Chef Virtuel : "Et si je mettais du poison dans la soupe ?", il n'a jamais vu ça dans les vidéos. Il va donc inventer une réponse. S'il dit "Oh, ça sera délicieux !" (surestimation), vous allez essayer de cuisiner avec du poison et vous empoisonner.

3. La Magie de CROP : La "Récompense Conservatrice"

C'est ici que CROP change la donne. Au lieu de simplement essayer de prédire le goût (la récompense) avec précision, CROP donne un ordre spécial au Chef Virtuel :

"Si tu n'es pas sûr à 100% que c'est bon, dis que c'est dégoûtant."

En termes techniques, CROP modifie la façon dont le modèle apprend le "goût" (la récompense) :

• Il apprend à prédire le goût des plats qu'il a vus dans les vidéos.
• Mais en plus, il apprend à pénaliser sévèrement les ingrédients qu'il n'a jamais vus (les actions aléatoires).

L'analogie du "Filtre de Sécurité" :
Imaginez que le Chef Virtuel a un filtre de sécurité.

• Si vous lui demandez un plat qu'il connaît bien (données existantes), il vous donne la vraie note.
• Si vous lui demandez un plat bizarre qu'il n'a jamais vu (données hors distribution), il vous dit : "Je ne sais pas, mais je vais supposer que c'est très mauvais."

En supposant que les choses inconnues sont mauvaises, l'algorithme (le futur chef) n'aura aucune envie de les essayer. Il restera dans la zone de sécurité où il est sûr de réussir.

🧠 Pourquoi est-ce génial ?

1. Pas de calculs compliqués : D'autres méthodes essaient de calculer "à quel point je suis incertain" (comme un détecteur de mensonge complexe). CROP, lui, est plus simple : il dit juste "Méfie-toi de l'inconnu". C'est comme si, au lieu de mesurer la profondeur de l'eau avec un sonar, on mettait simplement un panneau "Attention : Eau Profonde" partout où l'on ne voit pas le fond.
2. Simplicité : CROP ne change pas toute la structure de l'apprentissage. Il ne modifie que la façon dont on note les actions dans le modèle. C'est comme changer la règle du jeu pour dire : "Les points pour les coups de chance sont négatifs".
3. Résultats : Les tests montrent que cette méthode simple permet d'obtenir d'excellents résultats, souvent meilleurs que des méthodes beaucoup plus complexes, sur des tâches de robotique (comme faire marcher un robot ou sauter).

🏁 En résumé

CROP, c'est comme apprendre à conduire en regardant des vidéos, mais avec une règle d'or : "Si tu n'as jamais vu cette situation, imagine le pire scénario possible."

Cette attitude "paranoïaque" (ou conservatrice) empêche le robot de faire des erreurs catastrophiques en essayant des choses trop risquées. Au lieu de deviner l'inconnu, il reste prudent, ce qui lui permet d'apprendre plus vite et plus sûrement.

C'est une façon élégante de transformer l'incertitude en sécurité, permettant aux robots d'apprendre de leurs erreurs passées sans avoir à les refaire dans la réalité.

Résumé technique

1. Problématique

L'apprentissage par renforcement (RL) hors ligne (Offline RL) vise à optimiser une politique à partir d'un ensemble de données pré-collectées, sans interaction en ligne avec l'environnement. Bien que les approches basées sur un modèle (Model-based) soient prometteuses car elles permettent de générer des données supplémentaires via un modèle d'environnement, elles souffrent d'un problème majeur : le décalage de distribution (distribution shift).

Lorsqu'un agent explore des états ou des actions hors de la distribution des données d'entraînement (OOD - Out-of-Distribution), le modèle d'environnement devient imprécis. Cela conduit souvent à une surestimation catastrophique de la fonction de valeur (Q-function), dégradant les performances de la politique apprise. Les méthodes existantes tentent de résoudre cela soit par des contraintes strictes sur la politique, soit par des estimations d'incertitude complexes (heuristiques, discriminateurs, modèles inverses), ce qui ajoute de la complexité et de l'instabilité.

2. Méthodologie : CROP

Les auteurs proposent CROP (Conservative Reward for model-based Offline Policy optimization), un algorithme qui intègre directement le conservatisme dans l'estimation de la récompense plutôt que dans la fonction de valeur ou la politique elle-même.

A. Estimation de la récompense conservatrice

L'idée centrale est de minimiser simultanément l'erreur d'estimation de la récompense et la récompense attribuée aux actions aléatoires lors de l'entraînement du modèle. La fonction de perte pour l'estimateur de récompense $\hat{r}$ est définie comme suit :

$$l_r = \mathbb{E}_D \left[ (\hat{r}(s, a) - R(s, a))^2 + \beta \cdot \text{mean}[\hat{r}(s, \bar{a})] \right]$$

Où :

• Le premier terme assure la justesse de l'estimation sur les données observées.
• Le second terme pénalise les récompenses des actions aléatoires ($\bar{a}$).
• $\beta$ est un hyperparamètre contrôlant le niveau de conservatisme.

Résultat théorique : Cette formulation conduit à une estimation optimale où la récompense pour une action $a$ est sous-estimée proportionnellement à l'inverse de sa probabilité d'apparition dans la politique comportementale ($\bar{\pi}$). Les actions rares (OOD) reçoivent une récompense fortement pénalisée, tandis que les actions fréquentes restent proches de la réalité.

B. Entraînement et Optimisation

1. Entraînement du modèle : Un ensemble de modèles (transition $\hat{T}$ et récompense $\hat{r}$) est entraîné. La transition est apprise par maximisation de la vraisemblance, tandis que la récompense utilise la perte conservatrice ci-dessus.
2. Optimisation de la politique : Une fois le modèle entraîné, les récompenses dans les données hors ligne sont remplacées par les prédictions de l'ensemble de modèles. Une politique est ensuite optimisée (via l'algorithme SAC - Soft Actor-Critic) en interagissant avec ce modèle conservateur.
3. Sécurité : L'algorithme utilise un tampon de données hybride (données réelles + données générées par le modèle) et des techniques de régularisation (entropie, arrêts précoces) pour éviter la dérive excessive.

3. Contributions Clés

1. Nouvelle approche de conservatisme : CROP introduit le conservatisme uniquement au niveau de l'estimateur de récompense, évitant ainsi la nécessité d'estimateurs d'incertitude complexes, de discriminateurs ou de mises à jour adversaires pendant l'optimisation de la politique.
2. Analyse théorique rigoureuse : Les auteurs démontrent que CROP sous-estime la fonction Q pour les actions OOD, atténuant ainsi le décalage de distribution. Ils établissent également une borne inférieure de performance, garantissant que la politique apprise ne sera pas pire que la politique comportementale de base (sous certaines conditions).
3. Simplicité et efficacité : Contrairement à des méthodes comme RAMBO ou COMBO qui modifient l'optimisation de la politique ou le modèle complet, CROP ne modifie que la fonction de perte lors de l'entraînement du modèle, rendant l'approche plus simple et plus rapide à exécuter.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark D4RL (tâches Mujoco-v2 : Hopper, Walker2d, HalfCheetah) avec divers niveaux de couverture de données (Random, Medium, Expert).

• Performance : CROP obtient des résultats compétitifs, surpassant ou égalant les méthodes de l'état de l'art (COMBO, RAMBO, Count-MORL, IQL, etc.). La moyenne normalisée sur 12 jeux de données est de 78.6, ce qui est supérieur à la plupart des méthodes de base.
• Stabilité : L'algorithme montre une faible variance sur plusieurs graines aléatoires, indiquant une grande robustesse.
• Efficacité computationnelle : CROP est plus rapide à entraîner que RAMBO (environ 25% de temps gagné sur les jeux de données testés) car il évite les boucles adverses complexes pendant l'optimisation de la politique.
• Analyse d'ablation : L'utilisation de la moyenne de l'ensemble des modèles pour la récompense (plutôt qu'un choix aléatoire) améliore légèrement la performance. Le nombre d'actions aléatoires ($n$) utilisées pour le calcul de la pénalité a un impact mineur au-delà d'un certain seuil, montrant la robustesse de l'hyperparamètre.

5. Signification et Perspectives

CROP offre une nouvelle perspective pour le RL hors ligne : il permet de traiter le problème hors ligne comme un problème de RL en ligne sous une estimation de récompense conservatrice. Cela ouvre la voie à l'application des avancées récentes du RL en ligne (comme les architectures Transformer ou les algorithmes SAC) directement aux problèmes hors ligne.

Limitations et travaux futurs :

• Le choix de l'hyperparamètre $\beta$ (niveau de conservatisme) repose encore sur un réglage heuristique. Les auteurs suggèrent de développer des méthodes de conservatisme adaptatif pour réduire cette sensibilité.
• L'intégration de CROP avec des architectures de réseaux neuronaux plus avancées (comme les Transformers pour la modélisation de la transition) est identifiée comme une direction de recherche prometteuse.

En résumé, CROP est une contribution significative qui simplifie l'approche des défis du RL hors ligne en déplaçant le conservatisme de la politique vers la récompense, offrant ainsi un équilibre optimal entre sécurité, performance et complexité computationnelle.