Model-based Offline RL via Robust Value-Aware Model Learning with Implicitly Differentiable Adaptive Weighting

Ce papier propose ROMI, une nouvelle méthode d'apprentissage par renforcement hors ligne basée sur un modèle qui améliore la stabilité et la généralisation hors distribution en remplaçant la mise à jour par gradient du modèle RAMBO par un apprentissage robuste axé sur la valeur avec un poids adaptatif implicitement différentiable.

L'essentiel

🚗 Le Problème : Apprendre à conduire avec un GPS qui ment

Imaginez que vous voulez apprendre à conduire une voiture de course (c'est l'Intelligence Artificielle ou RL) uniquement en regardant des vidéos de courses passées, sans jamais toucher au volant (c'est l'Apprentissage Hors-Ligne ou Offline RL).

Pour devenir meilleur, votre cerveau essaie de créer un modèle du monde : "Si je tourne le volant à gauche ici, la voiture va faire ça". C'est ce qu'on appelle un modèle de dynamique.

Le piège : Ce modèle n'est jamais parfait. Il y a toujours de petites erreurs.
Si votre cerveau devient trop confiant, il va commencer à explorer des zones où le modèle est faux. C'est comme si votre GPS vous disait "Tournez à droite" alors qu'il y a un précipice. Votre voiture (l'algorithme) va foncer dans le mur parce qu'elle a cru le modèle. C'est ce qu'on appelle l'exploitation du modèle.

🛑 L'Ancienne Solution (RAMBO) : Le Paranoïaque Excessif

Pour éviter ce crash, une méthode précédente appelée RAMBO a été inventée. Son idée était : "Soit très méfiant ! Imaginez le pire scénario possible à chaque fois."

C'est comme un conducteur qui, à chaque virage, imagine qu'un camion va lui foncer dessus, donc il freine à fond et ne bouge plus.

• Le problème : RAMBO est devenu trop paranoïaque. Si on essaie d'augmenter un peu son niveau de méfiance (un paramètre appelé $\lambda$), il panique complètement : il imagine des catastrophes si terribles que son cerveau "explose" (les calculs deviennent infinis) et il arrête d'apprendre. C'est instable et inefficace.

✨ La Nouvelle Solution (ROMI) : Le Conducteur Prudent et Intelligents

Les auteurs de ce papier proposent une nouvelle méthode appelée ROMI. Au lieu d'être un paranoïaque qui imagine le pire de manière chaotique, ROMI est un conducteur prudent et calculateur.

Voici comment ça marche, avec deux astuces principales :

1. La "Zone d'Incertitude" (Apprentissage de la Valeur Robuste)

Au lieu de dire "Le pire scénario est que tout va exploser", ROMI dit : "Dans un rayon de sécurité autour de ma position actuelle (la zone d'incertitude), je vais supposer que je vais atterrir dans le pire endroit possible de cette zone, mais pas plus loin."

• L'analogie : Imaginez que vous marchez dans le brouillard. RAMBO imagine qu'il y a un dragon sous chaque pas. ROMI dit : "Je ne vois pas très loin, donc je suppose que dans les 2 mètres autour de moi, je vais peut-être trébucher sur une racine. Je vais donc marcher doucement pour éviter la racine, mais je ne vais pas m'arrêter de marcher."
• Le résultat : On peut régler la taille du brouillard (le paramètre $\xi$). Plus le brouillard est grand, plus on est prudent. C'est contrôlable et ça ne fait pas exploser le cerveau de l'IA.

2. Le "Chef d'Orchestre" (Pondération Adaptative)

Il y a un deuxième problème : si on regarde seulement le "pire cas" (la racine), on oublie parfois de bien comprendre la route elle-même (la dynamique). On pourrait apprendre à éviter les racines mais ne plus savoir comment tourner le volant.

ROMI utilise une technique de double niveau (bi-level optimization) :

• Niveau 1 (L'élève) : Il apprend à prédire la route (la dynamique).
• Niveau 2 (Le prof) : Il regarde les leçons de l'élève et dit : "Attends, ce cas-ci est important pour éviter les racines, donne-lui plus d'attention. Ce cas-là est facile, donne-lui moins d'attention."

C'est comme un professeur qui ajuste le poids des exercices pour que l'élève apprenne à la fois à conduire et à éviter les dangers, sans se perdre.

🏆 Les Résultats : Qui gagne la course ?

Les chercheurs ont testé ROMI sur des jeux vidéo complexes (comme faire marcher un robot "Half-Cheetah" ou "Walker").

• RAMBO : Souvent, il s'effondre ou apprend très lentement parce qu'il est trop effrayé.
• ROMI : Il apprend vite, reste stable, et finit par être plus performant que les meilleurs systèmes actuels. Il arrive même à gérer des situations où RAMBO échouait lamentablement.

En résumé

Ce papier nous dit : pour apprendre à partir de données anciennes sans faire d'erreurs fatales, il ne faut pas être un paranoïaque qui imagine le chaos total (RAMBO). Il faut être un stratège prudent (ROMI) qui :

1. Se prépare au pire dans une zone de sécurité raisonnable.
2. Utilise un système intelligent pour savoir quelles leçons sont les plus importantes à apprendre.

C'est une méthode plus stable, plus sûre et qui donne de meilleurs résultats pour entraîner des intelligences artificielles dans le monde réel.

Résumé technique

1. Problématique

L'apprentissage par renforcement (RL) hors ligne basé sur un modèle (Model-Based Offline RL) vise à améliorer l'efficacité des données en apprenant un modèle de dynamique de l'environnement pour permettre l'exploration de la politique. Cependant, ce paradigme souffre du surréel de modèle (model exploitation) : la politique peut exploiter les erreurs du modèle dans des régions hors distribution (OOD), dégradant les performances.

Pour contrer cela, des méthodes comme RAMBO (Rigter et al., 2022) utilisent un cadre d'apprentissage de modèle adversaire (formulation minimax) pour introduire du pessimisme. L'article identifie deux limitations majeures de RAMBO :

1. Difficulté de contrôle du conservatisme : Le coefficient de pondération $\lambda$ doit être réglé manuellement. Des valeurs trop faibles rendent l'adversaire inefficace, tandis que des valeurs légèrement plus élevées (ex: 0.05 ou 0.1) provoquent une sous-estimation sévère des valeurs Q et une explosion des gradients, entraînant un effondrement de l'entraînement.
2. Instabilité : L'utilisation de gradients de modèle pour minimiser la valeur dans les régions OOD rend l'optimisation instable et trop conservatrice.

2. Méthodologie : ROMI

Les auteurs proposent ROMI (RObust value-aware Model learning with Implicitly differentiable adaptive weighting), une nouvelle approche qui abandonne le gradient de modèle direct au profit d'une formulation plus stable et contrôlable.

A. Apprentissage de modèle robuste et conscient de la valeur (Robust Value-Aware Model Learning)

Au lieu d'optimiser un terme de perte adversaire via des gradients de modèle, ROMI reformule le problème pour que le modèle de dynamique prédise des états futurs dont la valeur est proche du minimum de la fonction Q au sein d'un ensemble d'incertitude d'état ajustable.

• Ensemble d'incertitude : En utilisant la distance de Wasserstein, l'ensemble d'incertitude sur la dynamique est transformé en un ensemble d'incertitude sur les états ($U_\xi$).
• Perte RVL (Robust Value-aware Loss) : Le modèle est entraîné pour minimiser l'écart entre la valeur prédite et le minimum de la valeur observée dans l'ensemble d'incertitude $U_\xi$.
• Contrôle : L'échelle $\xi$ de cet ensemble contrôle directement le degré de conservatisme. Un $\xi$ plus grand implique plus de pessimisme, mais de manière stable et prévisible, évitant l'explosion des gradients.

B. Pondération Adaptative Implicitement Différentiable (Implicitly Differentiable Adaptive Weighting)

L'apprentissage basé uniquement sur la valeur (RVL) peut négliger la précision de la dynamique, ce qui nuit à la généralisation OOD lors des simulations multi-étapes. Pour résoudre cela, ROMI introduit un cadre d'optimisation bi-niveau :

• Niveau Intérieur (Dynamics Awareness) : Mise à jour du modèle de dynamique ($\psi$) via un apprentissage supervisé pondéré (Weighted Supervised Learning - WSL) pour reconstruire fidèlement la dynamique.
• Niveau Extérieur (Value Awareness) : Mise à jour d'un réseau de pondération ($w_\nu$) qui attribue des poids aux échantillons d'entraînement. Ce réseau est optimisé pour minimiser la perte RVL (conservatisme) en utilisant la différentiation implicite par rapport aux poids.
• Résultat : Ce mécanisme permet d'adapter dynamiquement l'importance des échantillons pour équilibrer l'apprentissage de la dynamique (précision) et la conscience de la valeur (pessimisme), améliorant ainsi la généralisation OOD.

3. Contributions Clés

1. Analyse critique de RAMBO : Démonstration empirique que RAMBO est instable et trop sensible à l'hyperparamètre $\lambda$, conduisant à des effondrements d'entraînement.
2. Nouvelle formulation de perte : Introduction d'une perte d'apprentissage de modèle "consciente de la valeur" basée sur un ensemble d'incertitude d'état, permettant un conservatisme contrôlé sans gradients de modèle instables.
3. Cadre d'optimisation bi-niveau : Conception d'un schéma de pondération adaptative implicitement différentiable pour intégrer simultanément la conscience de la dynamique et de la valeur, résolvant le compromis entre précision du modèle et conservatisme.
4. Garanties théoriques : Preuve que la fonction Q apprise reste bornée et analyse de la convergence du cadre d'optimisation bi-niveau.

4. Résultats Expérimentaux

ROMI a été évalué sur les benchmarks D4RL (MuJoCo et Antmaze) et NeoRL.

• Performance Globale : ROMI surpasse significativement RAMBO sur 11 des 12 jeux de données MuJoCo, obtenant un score total normalisé de 953,5 contre 804,1 pour RAMBO (+18,6%).
• Comparaison SOTA : ROMI atteint des performances compétitives ou supérieures par rapport aux méthodes de l'état de l'art (MOBILE, Count-MORL, CQL, IQL), en particulier sur les jeux de données où RAMBO échoue habituellement (ex: hopper-medium-replay, walker2d-medium-expert).
• Robustesse : Contrairement à RAMBO, ROMI ne présente ni sous-estimation sévère des valeurs Q ni explosion des gradients, même avec des valeurs d'incertitude $\xi$ élevées (jusqu'à 10).
• Généralisation OOD : L'étude d'ablation confirme que la pondération adaptative (niveau dynamique) est cruciale pour réduire l'erreur de prédiction lors des simulations multi-étapes et améliorer les performances.
• Antmaze : Sur les tâches Antmaze (plus difficiles), ROMI obtient le meilleur score total (186,5) par rapport à MOBILE (173,4) et RAMBO (94,6).

5. Signification et Impact

Ce travail apporte une solution pratique et stable au problème du pessimisme dans le RL hors ligne basé sur un modèle.

• Stabilité : Il élimine le besoin de réglages hyperparamétriques fins et instables (comme $\lambda$ dans RAMBO) en remplaçant la formulation adversaire par une approche basée sur l'ensemble d'incertitude.
• Efficacité : En combinant la conscience de la dynamique et de la valeur via l'optimisation bi-niveau, ROMI permet une exploration plus sûre et plus efficace dans les régions hors distribution.
• Futur : Bien que ROMI impose un coût computationnel légèrement supérieur dû à l'optimisation bi-niveau, il démontre que l'ajustement explicite du conservatisme via l'incertitude d'état est une voie supérieure aux méthodes adverses traditionnelles pour le RL hors ligne.

En résumé, ROMI représente une avancée significative en rendant l'apprentissage de modèles adverses robuste, contrôlable et stable, comblant ainsi le fossé entre la théorie du pessimisme et la pratique efficace sur des données réelles.