🤖 machine learning

Long-Horizon Model-Based Offline Reinforcement Learning Without Explicit Conservatism

Ce papier présente NEUBAY, un algorithme d'apprentissage par renforcement hors ligne basé sur un modèle à horizon long qui remplace le conservatisme explicite par une perspective bayésienne pour gérer efficacement l'incertitude épistémique et atteindre des performances de pointe sur des ensembles de données diversifiés.

Auteurs originaux : Tianwei Ni, Esther Derman, Vineet Jain, Vincent Taboga, Siamak Ravanbakhsh, Pierre-Luc Bacon

Publié 2026-05-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tianwei Ni, Esther Derman, Vineet Jain, Vincent Taboga, Siamak Ravanbakhsh, Pierre-Luc Bacon

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot comment traverser une pièce. Vous possédez une gigantesque bibliothèque vidéo d'autres robots en train de marcher, mais vous ne pouvez pas laisser votre robot s'entraîner dans le monde réel car il pourrait tomber et casser quelque chose. C'est le monde de l'Apprentissage par Renforcement Hors Ligne : apprendre uniquement à partir d'un ensemble de données statique d'expériences passées.

Pendant des années, le conseil standard pour enseigner aux robots à partir de ces vidéos a été : « Soyez extrêmement prudents. »

L'Ancienne Méthode : L'Approche « La Sécurité d'Abord »

La plupart des méthodes précédentes agissent comme un parent nerveux. Elles disent : « Si le robot voit une situation qu'il n'a pas vue dans la bibliothèque vidéo, nous devons supposer le pire. N'essayez rien de nouveau, sinon vous pourriez vous écraser. »

La Métaphore : Imaginez que vous conduisez une voiture en vous basant uniquement sur une carte d'un petit quartier. Si vous voyez une route qui n'est pas sur la carte, l'approche « prudente » dit : « Stop ! Cette route est dangereuse. Restez sur les rues connues. »
Le Problème : Cela fonctionne bien si la carte est parfaite, mais si la carte omet un raccourci vers une meilleure destination, le conducteur prudent ne le trouvera jamais. Il reste coincé dans une boucle de performances « sûres mais médiocres ».

La Nouvelle Idée : Le « Détective Bayésien »

Les auteurs de cet article, NEUBAY, posent une question différente : Et si nous arrêtions d'être si pessimistes et agissions plutôt comme un détective qui met à jour ses croyances au fur et à mesure ?

Au lieu de supposer le pire concernant l'inconnu, l'approche bayésienne dit : « Je ne sais pas exactement comment le monde fonctionne, mais j'ai une plage de possibilités. Essayons de déterminer quelle possibilité est vraie au fur et à mesure que nous avançons. »

La Métaphore : Imaginez que vous êtes dans une pièce sombre avec une lampe de poche. La méthode « prudente » refuse de bouger car elle ne peut pas voir toute la pièce. La méthode « bayésienne » dit : « Je vais faire un pas, éclairer, voir ce qu'il y a, et mettre à jour ma carte mentale. Si je vois un mur, je tournerai ; si je vois un chemin, j'irai. »
Le Résultat : Dans des situations où la bibliothèque vidéo est désordonnée ou incomplète (données de mauvaise qualité), cette approche de détective est bien meilleure pour trouver le meilleur chemin car elle est prête à explorer l'inconnu plutôt que de simplement s'en tenir au connu.

Le Grand Défi : Le Piège de l'« Hallucination »

Il y a un piège. Lorsque vous cessez d'être prudent, vous risquez de halluciner.

La Métaphore : Si vous essayez de prédire ce qui se passe 100 étapes dans le futur en vous basant sur une hypothèse incertaine, votre prédiction deviendra rapidement une fantaisie. C'est comme jouer au « Téléphone arabe » avec vous-même ; à l'étape 50, le message est complètement faux.
L'Insight de l'Article : Les auteurs ont découvert que pour éviter ces hallucinations sans être excessivement prudents, vous devez en fait penser plus loin, et non plus court.
- Pourquoi ? Si vous ne pensez qu'à 5 étapes à l'avance, vous devez deviner ce qui se passe à l'étape 6. Si vous pensez à 500 étapes à l'avance, la « devinette » tout à la fin est dépréciée (elle compte moins), et les données réelles et connues du début du plan pèsent plus lourd.
- L'Analogie : C'est comme planifier un road trip. Si vous ne planifiez que 10 miles, vous pourriez rouler dans une impasse parce que vous n'avez pas vu le panneau à 20 miles. Si vous planifiez tout le trajet, vous voyez l'impasse arriver et l'évitez, même si votre carte est un peu floue.

Comment NEUBAY Résout le Problème

Les auteurs ont construit un système appelé NEUBAY qui combine trois astuces ingénieuses pour faire fonctionner cette « pensée à long terme » sans que le robot ne s'écrase :

Le « Dos d'âne d'Incertitude » : Au lieu d'un arrêt brutal, le robot vérifie sa propre confiance. S'il commence à se sentir incertain sur le terrain (incertitude élevée), il arrête de planifier ce chemin spécifique. C'est comme un randonneur qui s'arrête lorsque le sentier devient trop brumeux, plutôt que de refuser de faire de la randonnée du tout.
Le « Stabilisateur » (Normalisation de Couche) : Ils ont ajouté un « amortisseur » mathématique au cerveau du robot. Cela empêche les prédictions du robot de spiraler hors de contrôle lorsqu'il imagine de longues séquences d'événements. Cela maintient l'imagination du robot ancrée dans la réalité.
La « Banque de Mémoire » : Puisque le robot essaie de comprendre les règles du monde au fur et à mesure, il doit se souvenir de tout ce qui s'est passé auparavant. Ils ont donné au robot une mémoire à long terme afin qu'il puisse apprendre de tout son voyage, et non pas seulement de la dernière étape.

Ce Qu'ils Ont Découvert

Ils ont testé cela sur 33 tâches difficiles différentes (comme des robots marchant, ouvrant des portes à bascule et naviguant dans des labyrinthes).

Le Gagnant : NEUBAY a battu les meilleures méthodes « prudentes » sur 7 des ensembles de données et a été compétitif sur presque tous les autres.
Le Point Doux : Il brille le plus lorsque les données d'entraînement sont désordonnées ou incomplètes. Dans ces cas, les méthodes « prudentes » restent coincées, mais le travail de détective de NEUBAY trouve la solution.
La Surprise : Ils ont découvert que l'utilisation d'horizons de planification très longs (penser à des centaines d'étapes à l'avance) était en fait la clé du succès, ce qui est l'opposé de ce que font la plupart des autres chercheurs.

En Bref

L'article soutient que dans le monde de l'apprentissage à partir de données anciennes, le pessimisme aveugle n'est pas toujours le pari le plus sûr. En faisant confiance à un robot pour apprendre de son propre histoire et planifier loin dans le futur — tout en maintenant un filet de sécurité pour les moments où il se perd — nous pouvons créer des agents plus intelligents et plus adaptables que ceux à qui l'on dit simplement de « jouer la sécurité ».

1. Énoncé du Problème

L'apprentissage par renforcement hors ligne (RL) vise à apprendre des politiques à partir de jeux de données statiques sans interaction supplémentaire avec l'environnement. Le paradigme dominant en RL hors ligne est le conservatisme explicite, qui pénalise les actions hors distribution (OOD) ou restreint les horizons de simulation pour prévenir la surestimation des valeurs et l'extrapolation dangereuse.

Les auteurs remettent en cause l'universalité de ce principe, arguant que :

Le conservatisme limite l'adaptation : En pénalisant strictement les actions OOD, les méthodes conservatrices échouent souvent à s'adapter aux conditions de test, en particulier dans des jeux de données de faible qualité où l'action optimale peut être sous-représentée.
Le potentiel bayésien est sous-exploité : Une perspective bayésienne (optimisant le retour espéré sur une posteriori de modèles du monde) gère naturellement l'incertitude épistémique sans pessimisme explicite, mais a historiquement lutté contre l'accumulation d'erreurs de modèle dans des contextes à long horizon.
Le compromis : Supprimer le conservatisme élimine le mécanisme de contrôle de la surestimation des valeurs, conduisant à l'hypothèse que des horizons courts sont nécessaires. Le papier s'interroge pour savoir si les horizons longs sont réellement nuisibles ou s'ils peuvent être exploités pour réduire la surestimation.

2. Méthodologie : NEUBAY

Les auteurs proposent NEUBAY (NEUtral BAYesian), un algorithme de RL hors ligne basé sur un modèle, ancré dans le cadre des POMDP épistémiques. Au lieu d'optimiser pour le pire des modèles (conservatisme), il optimise le retour espéré sur une distribution a posteriori de modèles du monde.

Choix de Conception Clés

Pour rendre l'approche bayésienne pratique et efficace sans conservatisme explicite, NEUBAY introduit quatre innovations architecturales et algorithmiques clés :

A. Simulations à Long Horizon Adaptatives (L'Insight Central)

Problème : Le RL basé sur des modèles standard utilise des horizons courts pour éviter l'accumulation d'erreurs. Cependant, les horizons courts reposent fortement sur le bootstrapping (utilisation de la fonction de valeur pour estimer les récompenses futures), ce qui provoque une surestimation sévère des valeurs lorsque le conservatisme est supprimé.
Solution : NEUBAY utilise des simulations à long horizon (centaines d'étapes). En étendant l'horizon, l'algorithme déplace le fardeau de l'estimation des valeurs bootstrappées (biais élevé) vers les récompenses générées par le modèle (biais plus faible). Le facteur d'actualisation $\gamma^H$ pondère exponentiellement à la baisse le terme bootstrappé à la fin de l'horizon, supprimant naturellement la surestimation.
Mécanisme : Les simulations ne sont pas de longueur fixe mais tronquées de manière adaptative en fonction de l'incertitude épistémique. Si l'incertitude du modèle $U_\theta(s, a)$ dépasse un seuil (défini par un quantile $\zeta$ de la distribution d'incertitude du jeu de données), la simulation s'arrête. Cela garantit que les simulations restent longues là où le modèle est confiant, mais courtes là où il ne l'est pas.

B. Architecture du Modèle du Monde pour la Stabilité

Grande Taille d'Ensemble : Pour approximer précisément la distribution a posteriori et gérer la variance introduite par les longues simulations, NEUBAY utilise un grand ensemble de modèles du monde ( $N=100$ ), nettement plus grand que les standards $N=5$ ou $N=10$ .
Normalisation par Couche (LayerNorm) : Les auteurs appliquent la LayerNorm au sein des couches cachées du modèle du monde. Théoriquement, cela borne la magnitude des deltas d'état prédits, empêchant l'explosion exponentielle des erreurs cumulées sur les longs horizons.

C. Agent Dépendant de l'Histoire (RL Récurrent)

Puisque l'objectif bayésien traite le vrai MDP comme une variable cachée, la politique optimale doit être dépendante de l'histoire (une solution POMDP).
NEUBAY emploie une architecture acteur-critique récurrente utilisant des Unités Récurrentes Linéaires (LRU) (un type de Modèle d'Espace d'État). Cela permet à l'agent de maintenir une mémoire à long terme (couvrant des épisodes entiers) pour inférer les paramètres du modèle sous-jacent et adapter son comportement au moment du test sans mises à jour de paramètres.

D. Stratégie d'Entraînement

Pas de Pénalité d'Incertitude : Contrairement aux méthodes conservatrices (par exemple, MOPO, COMBO), NEUBAY n'ajoute pas de terme de pénalité $\lambda U(s,a)$ à la récompense.
Mélange de Données : Il s'entraîne sur un mélange de données réelles et de simulations imaginées, contrôlé par un ratio de mélange $\kappa$ .

3. Contributions Clés

Rejet du Conservatisme Universel : Le papier démontre que le conservatisme explicite n'est pas universellement optimal. Dans des jeux de données de faible qualité ou biaisés, l'adaptation bayésienne surpasse les méthodes conservatrices en explorant des actions sous-représentées mais à haute récompense.
Les Longs Horizons comme Régularisateur : Les auteurs fournissent une analyse théorique et empirique montrant que les simulations à long horizon agissent comme un mécanisme naturel pour contrôler la surestimation des valeurs dans des contextes non conservateurs, remplaçant contre-intuitivement le besoin d'horizons courts.
Algorithme NEUBAY : Un algorithme pratique combinant une troncature adaptative basée sur l'incertitude, de grands ensembles, la LayerNorm et une mémoire récurrente pour atteindre des performances de pointe sans pessimisme explicite.
Analyse Théorique : Le papier inclut des preuves formelles comparant les politiques "Bayes-optimales" et "Robustes-optimales", montrant que les coefficients de concentrabilité bayésiens sont strictement plus faibles (meilleurs) que les robustes sous certaines conditions de données, expliquant l'écart de performance.

4. Résultats Expérimentaux

Les auteurs ont évalué NEUBAY sur 33 jeux de données à travers les benchmarks D4RL et NeoRL (incluant la locomotion, la manipulation Adroit et AntMaze).

État de l'Art (SOTA) : NEUBAY atteint de nouveaux résultats SOTA sur 7 jeux de données, incluant des gains significatifs sur walker-random-v2, walker-medium-v2, pen-cloned-v1 et hammer-cloned-v1.
Performance sur Données de Faible Qualité : NEUBAY surpasse nettement les bases conservatrices sur des jeux de données de faible qualité (par exemple, politiques aléatoires) et des jeux de données à couverture modérée. Il s'adapte avec succès aux conditions de test où les méthodes conservatrices restent bloquées sur des comportements sous-optimaux.
Comparaison avec les Méthodes Conservatrices : En moyenne, NEUBAY est compétitif avec les algorithmes conservateurs leaders (par exemple, VIPO, MOPO, COMBO) et surpasse les autres méthodes inspirées du bayésianisme qui reposent encore sur le conservatisme ou des horizons courts.
Études d'Ablation :
- Longueur de l'Horizon : Supprimer les horizons longs adaptatifs (en utilisant des horizons courts fixes) provondre l'effondrement des performances dû à la surestimation des valeurs.
- LayerNorm : Supprimer la LayerNorm conduit à une explosion rapide des erreurs dans les prédictions d'état.
- Troncature par Incertitude : Utiliser un horizon court fixe ou un seuil d'incertitude bas ( $\zeta < 0.99$ ) conduit à l'échec, confirmant le besoin d'horizons longs et adaptatifs.
- Mémoire : Bien que les agents markoviens fonctionnent sur certaines tâches de locomotion, les agents dépendants de l'histoire sont cruciaux pour les tâches à haute incertitude comme AntMaze.

5. Signification et Impact

Changement de Paradigme : Le papier remet en question le dogme "le pessimisme est nécessaire" en RL hors ligne, suggérant un virage vers la neutralité bayésienne où les agents s'adaptent à l'incertitude plutôt que de l'éviter.
Lignes Directrices Pratiques : Il fournit une nouvelle recette pour le RL basé sur des modèles : utiliser de grands ensembles, la LayerNorm et des horizons longs adaptatifs au lieu d'horizons courts et de pénalités d'incertitude.
Adaptation au Moment du Test : Le travail met en lumière le potentiel des agents de RL hors ligne capables d'adapter leur comportement au cours de l'episode en fonction de l'histoire observée, une capacité qui manque aux politiques markoviennes conservatrices.
Direction Future : Les auteurs suggèrent que, à mesure que la modélisation du monde s'améliore (par exemple, via des modèles génératifs), les limites du RL hors ligne bayésien peuvent être repoussées plus loin, déplaçant le domaine vers une "ère de l'expérience" où les agents affinent leur comportement grâce à l'interaction au moment du test.

En résumé, NEUBAY démontre qu'en adoptant une perspective bayésienne et en exploitant la planification à long horizon avec une troncature adaptative, il est possible d'obtenir des performances de RL hors ligne robustes et adaptatives sans les pénalités restrictives du conservatisme explicite.