🤖 AI

Regularized Latent Dynamics Prediction is a Strong Baseline For Behavioral Foundation Models

Cet article propose la prédiction de dynamique latente régularisée (RLDP), une méthode simple qui ajoute une régularisation d'orthogonalité pour maintenir la diversité des caractéristiques et surpasser les approches complexes existantes dans l'apprentissage par renforcement à zéro shot, en particulier dans les scénarios à faible couverture de données.

Auteurs originaux : Pranaya Jajoo, Harshit Sikchi, Siddhant Agarwal, Amy Zhang, Scott Niekum, Martha White

Publié 2026-03-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pranaya Jajoo, Harshit Sikchi, Siddhant Agarwal, Amy Zhang, Scott Niekum, Martha White

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : Apprendre à faire du vélo sans savoir où l'on va

Imaginez que vous voulez créer un robot (un "Agent") capable de faire n'importe quelle tâche dans une maison : ranger les jouets, cuisiner, nettoyer les vitres. Le défi, c'est que vous ne voulez pas lui apprendre chaque tâche une par une. Vous voulez qu'il apprenne une fois pour toutes, et qu'il soit capable de s'adapter instantanément à une nouvelle demande ("Nettoie la cuisine !") sans avoir besoin de réapprendre de zéro.

C'est ce qu'on appelle le Renforcement Learning "Zero-Shot" (zéro essai). Pour y arriver, les chercheurs créent des modèles appelés Modèles Fondamentaux du Comportement (BFM).

Mais il y a un gros problème : pour que ce robot soit aussi polyvalent, il doit avoir une "mémoire" ou une "carte mentale" très précise du monde.

L'ancien problème : Les méthodes actuelles pour créer cette carte mentale sont comme des architectes qui construisent un immeuble en essayant de prédire exactement où chaque futur locataire va s'asseoir, en fonction de millions de scénarios possibles. C'est complexe, lourd, et si l'immeuble n'est pas rempli de gens (données), la carte devient fausse et le robot se perd.

💡 La Solution : RLDP (La Boussole Régulée)

Les auteurs de ce papier (Pranaya Jajoo et son équipe) se sont demandé : "Est-ce qu'on a vraiment besoin de toute cette complexité ?"

Ils ont proposé une méthode plus simple, qu'ils appellent RLDP (Prédiction de Dynamique Latente Régularisée). Voici comment ça marche, avec une analogie :

1. L'Apprentissage par la "Voyance" (Prédiction de la dynamique)

Au lieu de prédire où les gens vont s'asseoir (ce qui est compliqué), le robot apprend simplement à prédire ce qui va se passer juste après.

Analogie : Imaginez un enfant qui joue avec des billes. Il ne calcule pas la trajectoire parfaite de chaque bille pour toute sa vie. Il apprend juste : "Si je pousse cette bille ici, elle va rouler là".
Le robot apprend à dire : "Si je suis dans cet état (s) et que je fais cette action (a), je vais me retrouver dans cet état futur (s')". C'est beaucoup plus simple et robuste.

2. Le Piège : L'Effet "Miroir" (L'effondrement des caractéristiques)

Mais il y a un piège. Si on laisse le robot apprendre uniquement à prédire le futur, il devient un peu "paresseux".

Analogie : Imaginez un peintre qui doit dessiner 100 paysages différents. S'il essaie juste de faire des prédictions rapides, il va finir par dessiner le même paysage gris et flou pour tout le monde, car c'est le moyen le plus simple de ne pas se tromper.
En termes techniques, toutes les situations du monde finissent par se ressembler dans la mémoire du robot. Il perd sa capacité à distinguer les tâches. C'est ce qu'ils appellent l'effondrement des caractéristiques.

3. Le Remède : La "Règle de l'Orthogonalité" (La Diversité)

Pour empêcher le robot de devenir paresseux et de tout confondre, ils ajoutent une petite règle simple : "Assure-toi que tes souvenirs sont tous différents !"

Analogie : C'est comme si on disait au peintre : "Tu as le droit de dessiner ce que tu veux, mais tu as l'interdiction de faire deux tableaux qui se ressemblent trop".
Mathématiquement, ils forcent les représentations des états à être "orthogonales" (comme des axes perpendiculaires dans l'espace). Cela garantit que chaque situation a sa propre place unique dans la mémoire du robot.

🏆 Les Résultats : Simple bat le Complexe

Le papier montre que cette méthode simple (Prédire le futur + Forcer la diversité) fonctionne aussi bien, voire mieux, que les méthodes ultra-complexes actuelles.

Moins de données nécessaires : Là où les autres méthodes échouent si le robot n'a pas vu assez d'exemples (faible couverture), la méthode RLDP continue de fonctionner. C'est comme si le robot avait une meilleure intuition.
Plus robuste : Elle ne s'effondre pas quand on lui demande de faire des tâches pour lesquelles on n'a pas beaucoup de données d'entraînement.
Plus simple : Pas besoin de calculs lourds et instables. Juste une prédiction simple et une petite règle de diversité.

🚀 En Résumé

Imaginez que vous voulez apprendre à un élève à résoudre n'importe quel problème de mathématiques.

Les anciennes méthodes : Lui donnent un manuel de 10 000 pages avec des solutions pour chaque cas imaginable, en espérant qu'il mémorise tout. Si le livre est incomplet, il échoue.
La méthode RLDP : Lui apprend simplement à comprendre la logique de base (la dynamique) et lui donne une règle d'or : "Ne confonds jamais deux concepts différents". Résultat ? Il comprend mieux, s'adapte plus vite, et a besoin de moins de pages pour réussir.

C'est une victoire de la simplicité intelligente sur la complexité aveugle, ouvrant la voie à des robots plus capables de s'adapter à notre monde réel, imprévisible et parfois pauvre en données.

1. Problématique et Contexte

Les Modèles Fondamentaux Comportementaux (Behavioral Foundation Models - BFMs) visent à entraîner des agents capables de s'adapter à n'importe quelle tâche ou fonction de récompense inconnue sans réapprentissage (apprentissage "zero-shot"). Ces modèles reposent sur l'apprentissage d'une représentation d'état $\phi(s)$ et d'une politique conditionnée par un vecteur latent $z$ , où la récompense est supposée être linéaire par rapport aux caractéristiques de l'état ( $r(s) = \phi(s)^\top z$ ).

Le défi principal : La performance d'un BFM dépend crucialement de la qualité et de la diversité de la représentation d'état $\phi$ . Les méthodes actuelles (comme FB, PSM, HILP) utilisent des objectifs complexes basés sur l'estimation de mesures successorales (successor measures). Ces méthodes nécessitent souvent des mises à jour de type Bellman (backups), ce qui introduit des difficultés d'apprentissage (biais, instabilité) et des problèmes de généralisation hors distribution, particulièrement dans des scénarios à faible couverture de données (low-coverage).

Question de recherche : Les objectifs complexes d'apprentissage de représentations sont-ils nécessaires pour le RL zero-shot ? L'auteur se demande si une prédiction simple de la dynamique latente, combinée à une régularisation appropriée, peut suffire à apprendre des caractéristiques performantes.

2. Méthodologie : RLDP (Regularized Latent Dynamics Prediction)

Les auteurs proposent une nouvelle approche nommée RLDP, qui apprend des représentations d'état via la prédiction de la dynamique latente, mais avec une régularisation spécifique pour éviter l'effondrement des caractéristiques.

A. Prédiction de la Dynamique Latente

L'objectif principal est d'apprendre un encodeur d'état $\phi: S \to \mathbb{R}^d$ et un modèle de dynamique latente $g$ tel que l'état latent futur puisse être prédit à partir de l'état courant et de l'action :
$\phi(s') \approx g(\phi(s), a)^\top w$
La perte de prédiction ( $L_d$ ) minimise l'erreur quadratique entre l'état latent réel et l'état prédit sur un horizon $H$ . Contrairement aux méthodes basées sur les mesures successorales, cette approche est indépendante de la politique, évitant ainsi les problèmes liés aux actions hors distribution lors de l'apprentissage.

B. Le Problème de l'Effondrement (Feature Collapse)

Les auteurs observent que l'optimisation pure de la perte de prédiction de dynamique conduit à une forme d'effondrement des caractéristiques : les représentations de différents états deviennent trop similaires (la similarité cosinus augmente au cours de l'entraînement). Cela réduit l'espace de couverture des fonctions de récompense que le modèle peut représenter, dégradant les performances en RL zero-shot.

C. Régularisation Orthogonale

Pour contrer cet effondrement, les auteurs introduisent une régularisation orthogonale ( $L_r$ ) qui encourage la diversité des représentations.

Les états latents sont projetés sur une hypersphère ( $S^{d-1}$ ).
La perte de régularisation minimise la similarité cosinus entre les représentations de paires d'états aléatoires :
$L_r(\phi) = \mathbb{E}_{s,s' \sim \rho} [\phi(s)^\top \phi(s')]$
La perte totale est une combinaison pondérée : $L_{RLDP} = L_d + \lambda L_r$ .

D. Pipeline d'Inférence Zero-Shot

Une fois les représentations $\phi$ apprises (en mode non supervisé, sans récompense) :

Le BFM est pré-entraîné pour estimer les mesures successorales en utilisant les représentations gelées de RLDP.
À l'inférence, pour une nouvelle tâche définie par une récompense $r_{test}$ , on résout un problème de régression linéaire pour trouver le vecteur de tâche $z$ tel que $r_{test}(s) \approx \phi(s)^\top z$ .
La politique optimale est ensuite déduite directement à partir de $z$ et des mesures successorales apprises.

3. Contributions Clés

Proposition de RLDP : Une méthode simple et efficace pour apprendre des caractéristiques d'état pour le RL zero-shot, basée sur la prédiction de dynamique latente régularisée, évitant les complexités des méthodes basées sur les mesures successorales.
Identification et atténuation de l'effondrement : Les auteurs identifient que la prédiction de dynamique latente seule mène à une similarité excessive des états et proposent une régularisation orthogonale simple pour maintenir la diversité des caractéristiques.
Performance en scénarios à faible couverture : Démonstration empirique que RLDP surpasse les méthodes de l'état de l'art (FB, PSM) dans des environnements où les données sont limitées ou hors distribution, là où les méthodes basées sur les backups de Bellman échouent.
Évaluation extensive : Validation sur une large gamme de domaines (contrôle continu, humanoïdes 3D, navigation) et dans des configurations en ligne et hors ligne.

4. Résultats Expérimentaux

Les expériences comparent RLDP à des baselines fortes (FB, PSM, HILP, Random Features) sur plusieurs benchmarks :

Contrôle Continu (DeepMind Control Suite) : Sur des tâches comme Walker, Cheetah, Quadruped et Pointmass, RLDP atteint des performances compétitives, souvent égales ou supérieures à PSM et FB, avec une représentation de dimension 512.
Humanoïde 3D (SMPL) : Dans un environnement complexe à haute dimension (358 observations, 69 actions), RLDP rivalise avec les méthodes de l'état de l'art (FB-CPR) sur 45 tâches, surpassant les baselines sur des tâches spécifiques comme "raisearms" et "lieonground".
Scénarios à Faible Couverture (D4RL) : Sur les datasets MuJoCo (HalfCheetah, Hopper, Walker2d) avec des données "medium" et "medium-expert", RLDP surpasse systématiquement les autres méthodes. Les résultats montrent que les méthodes utilisant des backups de Bellman souffrent d'erreurs de généralisation hors distribution, tandis que RLDP reste robuste.
Études d'ablation :
- La régularisation orthogonale est cruciale : sans elle ( $\lambda=0$ ), les performances chutent et la similarité des états augmente.
- La normalisation sphérique (Spherical Normalization) sur la sortie du modèle de dynamique améliore la stabilité et les performances.
- L'ajout de backups de Bellman à la perte de prédiction latente dégrade les performances dans les scénarios à faible couverture.

5. Signification et Conclusion

Ce travail remet en question la nécessité d'objectifs d'apprentissage de représentations complexes pour les Modèles Fondamentaux Comportementaux. Il démontre qu'une approche simple, basée sur la prédiction de dynamique latente couplée à une régularisation de diversité, suffit à apprendre des représentations robustes et généralisables.

Points forts :

Simplicité : Pas besoin de reconstruction d'images ou de modèles de récompense explicites.
Robustesse : Fonctionne bien même avec des données limitées ou hors distribution, évitant les pièges des mises à jour de Bellman.
Efficacité : Offre une alternative scalable et performante aux méthodes actuelles pour le RL zero-shot.

En conclusion, RLDP établit une nouvelle référence (baseline forte) pour l'apprentissage de représentations dans les BFMs, ouvrant la voie à des approches plus simples et plus stables pour le développement d'agents généraux en robotique et en contrôle.