💻 computer science

Beyond Noise Steering: Dual-Latent Space Reinforcement Learning for Generative Robot Policy

Cet article propose le Dual-Latent Space Reinforcement Learning (DLSRL), un nouveau cadre qui améliore les politiques robotiques génératives préentraînées en combinant le pilotage par bruit initial avec une modulation de caractéristiques intermédiaires via un générateur gelé, permettant ainsi une adaptation en ligne efficace sans mettre à jour la politique de base.

Auteurs originaux : Pengfei Zhang, Teng Sun, Xianchao Xiu

Publié 2026-09-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pengfei Zhang, Teng Sun, Xianchao Xiu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les robots capables d'apprendre en regardant les humains accomplir des tâches ne relèvent plus de la science-fiction ; ils sont une réalité en pleine croissance dans le domaine de l'intelligence artificielle. Ces systèmes, souvent appelés modèles de vision-langage-action, agissent comme des étudiants qui auraient lu une vaste bibliothèque de vidéos d'instruction et de manuels avant même de toucher un outil. En étudiant des millions d'exemples, ils apprennent un sens général de la manière de bouger leurs bras, de saisir des objets et de suivre des instructions. Cependant, tout comme un étudiant pourrait éprouver des difficultés lorsqu'on lui demande d'accomplir une tâche familière dans une pièce légèrement différente ou avec un nouvel outil, ces robots échouent souvent lorsque le monde réel ne correspond pas parfaitement aux données sur lesquelles ils ont été entraînés. Lorsqu'un robot rencontre une situation qu'il n'a jamais vue auparavant, il doit s'adapter rapidement. Le défi pour les scientifiques est de savoir comment enseigner à ces systèmes massifs et pré-entraînés à s'ajuster à de nouveaux environnements sans avoir à les réentraîner de zéro, un processus qui serait trop lent et trop coûteux en termes de calcul pour une utilisation pratique.

Pendant un certain temps, les chercheurs ont essayé de guider ces robots en ajustant le tout début de leur processus de prise de décision. Imaginez un robot qui génère une séquence de mouvements en partant d'un motif de bruit aléatoire et en le raffinant progressivement pour obtenir un mouvement fluide. Les méthodes existantes se sont concentrées sur la modification de ce motif aléatoire initial pour orienter le robot vers un meilleur résultat. Bien que cela aide, c'est un peu comme essayer de diriger une voiture en ajustant seulement la position de départ des roues ; une fois que la voiture est lancée, le conducteur n'a aucun moyen direct de corriger le véhicule s'il commence à dévier de sa trajectoire. Les « pensées » internes du robot sur la façon de bouger restent fixes, et l'ajustement initial ne peut pas facilement corriger les petites erreurs précises qui surviennent plus tard dans le mouvement. Cette limitation signifie que même avec des directives, le robot pourrait toujours échouer à des tâches exigeant une grande précision, comme poser une tasse sur une soucoupe ou visser un boulon.

Pour résoudre ce problème, une équipe de chercheurs de l'Université de Shanghai a développé une nouvelle approche appelée Apprentissage par Renforcement à Espace Latent Dual (Dual-Latent Space Reinforcement Learning). Au lieu de simplement ajuster le point de départ du plan de mouvement du robot, leur système apprend à donner des petits coups de pouce aux pensées internes du robot pendant que le plan est en cours de création. Les chercheurs ont construit un module de contrôle léger qui travaille aux côtés du cerveau pré-entraîné et figé du robot. Ce module fait deux choses simultanément : il sélectionne le motif de départ initial, comme le faisaient les méthodes précédentes, mais il génère également un second signal qui est injecté directement dans les couches intermédiaires du réseau de traitement du robot. Considérez cela comme ayant un copilote qui non seulement aide à fixer la destination, mais qui passe aussi la main pour effectuer de minuscules ajustements en temps réel sur le volant et les pédales pendant que la voiture roule, garantissant que le véhicule reste sur la trajectoire exacte nécessaire.

Les chercheurs ont testé cette méthode sur une variété de tâches robotiques, incluant le levage d'objets, le déplacement de canettes et l'empilement de blocs dans des environnements simulés. Ils ont comparé leur nouveau système aux meilleures méthodes existantes qui ne modifiaient que le point de départ. Les résultats ont montré que le système de double contrôle permettait aux robots d'apprendre beaucoup plus vite. Dans les tâches exigeant une haute précision, comme déplacer une canette dans un endroit spécifique, la nouvelle méthode a atteint un taux de réussite de près de 99 %, tandis que les anciennes méthodes peinaient à dépasser les 90 %. Les robots se sont adaptés à de nouveaux défis avec moins d'essais, ce qui signifie qu'ils pouvaient apprendre de leurs erreurs plus efficacement. L'étude a également démontré que cette approche fonctionne avec différents types de cerveaux robotiques, et pas seulement un design spécifique, suggérant qu'il s'agit d'un outil polyvalent pour améliorer les performances robotiques.

Un élément clé de la découverte fut de comprendre quelle était l'influence de ce coup de pouce interne. Les chercheurs ont découvert que si on poussait trop fort sur les pensées internes du robot, les mouvements devenaient instables et erratiques. Cependant, si l'on appliquait juste la bonne quantité de pression douce, la performance du robot s'améliorait de manière constante et fluide. Cet équilibre permettait au robot de conserver les compétences générales qu'il avait déjà apprises tout en effectuant les corrections spécifiques et fines nécessaires pour la nouvelle tâche. Le système a obtenu ces résultats sans modifier le modèle pré-entraîné massif lui-même, gardant le cerveau central du robot intact et ne mettant à jour que le petit module de contrôle léger. Cela signifie que le robot peut être déployé dans de nouvelles situations et apprendre à s'adapter à la volée sans avoir besoin d'une refonte complète de son intelligence sous-jacente.

Les implications de ce travail sont significatives pour l'avenir de la robotique. En permettant aux robots d'effectuer des ajustements précis lors de la génération de leurs mouvements, cette méthode comble le fossé entre les connaissances générales et les actions délicates et spécifiques requises dans le monde réel. Les chercheurs ont confirmé leurs conclusions par des simulations approfondies, montant que l'approche surpasse systématiquement les techniques précédentes à travers de multiples tâches. Bien que le travail ait été mené dans une simulation informatique, la vitesse et l'efficacité de l'adaptation suggèrent que ces robots pourraient bientôt être déployés dans des contextes réels, apprenant à manipuler de nouveaux objets et environnements avec un niveau de dextérité qui était auparavant difficile à atteindre. L'étude conclut qu'en donnant aux robots un moyen de diriger leurs représentations internes, nous pouvons créer des machines qui sont non seulement intelligentes, mais aussi flexibles et prêtes pour la nature imprévisible du monde physique.

Résumé Technique : Apprentissage par Renforcement à Double Espace Latent pour les Politiques de Robotique Génératives

Énoncé du Problème

Les politiques robotiques génératives préentraînées, telles que les Politiques de Diffusion et les modèles de flow-matching, exploitent des jeux de données à grande échelle pour apprendre des priors d'action expressifs. Cependant, ces modèles éprouvent souvent des difficultés lorsque les tâches en aval s'écartent de la distribution de préentraînement, particulièrement dans les tâches à long horizon où de petites erreurs spatiales ou temporelles mènent à l'échec. Bien qu'une adaptation en ligne soit nécessaire, le réglage fin (fine-tuning) complet de modèles de plusieurs milliards de paramètres est prohibitivement coûteux en termes de calcul.

Les méthodes existantes d'adaptation à efficacité de paramètres, telles que le pilotage par apprentissage par renforcement (RL) basé sur la diffusion, opèrent généralement uniquement aux limites de la génération d'actions. Par exemple, des méthodes comme le DSRL (Diffusion Steering via Reinforcement Learning) apprennent une politique de bruit initial conditionnée par l'observation pour piloter un générateur gelé. Bien qu'efficace, cette approche n'influence que le point de départ du processus de génération. Elle ne parvient pas à moduler les représentations d'actions intermédiaires, limitant sa capacité à effectuer des corrections précises sur les lieux de contact, les amplitudes d'action ou les trajectoires locales pendant le processus de génération. À l'inverse, les politiques résiduelles appliquent des corrections après la génération de l'action, échouant ainsi à façonner l'évolution interne des représentations d'actions. Il existe un manque de mécanisme de RL capable de combiner la sélection de comportements globaux avec une modulation directe des représentations d'actions intermédiaires au sein d'un générateur gelé.

Méthodologie : Apprentissage par Renforcement à Double Espace Latent (DLSRL)

Pour répondre à ces limitations, les auteurs proposent le Dual-Latent Space Reinforcement Learning (DLSRL). Ce cadre introduit une nouvelle interface de contrôle qui complète le pilotage du bruit initial par un contrôle au niveau de la représentation à l'intérieur d'une politique générative gelée.

1. Acteur à Double Espace Latent

Contrairement aux méthodes de RL traditionnelles dans l'espace de bruit qui ne prédisent que le vecteur de bruit initial ( $z_t$ ), l'acteur DLSRL prédit deux variables latentes distinctes conditionnées par l'observation actuelle ( $o_t$ ) :

Variable latente de bruit initial ( $z_t$ ) : Pilote la génération globale du comportement, de manière similaire aux méthodes existantes.
Variable latente de représentation d'action ( $u_t$ ) : Conçue pour la modulation des caractéristiques intermédiaires.

L'acteur est paramétré par $\pi_\theta(\cdot | o_t)$ , produisant la distribution conjointe $(z_t, u_t)$ .

2. Cartographie de Caractéristiques de l'Adaptateur et Injection Résiduelle

La variable latente de représentation d'action $u_t$ est traitée par un cartographe de caractéristiques d'adaptateur léger $A_\omega$ pour produire des caractéristiques d'adaptateur $f_t$ :
$f_t = A_\omega(u_t)$

Ces caractéristiques sont ensuite injectées dans la politique de base gelée $G_\phi$ . Plus précisément, les caractéristiques de l'adaptateur sont mises à l'échelle par une force d'injection $\lambda_{inj}$ et ajoutées de manière résiduelle aux états cachés des jetons d'action (action tokens) au sein de blocs Transformer gelés sélectionnés :
$\tilde{H}^{(l)}_{t,k} = H^{(l)}_{t,k} + \lambda_{inj} f_t$
où $H^{(l)}_{t,k}$ représente les états cachés du jeton d'action à la couche $l$ et à l'étape de génération $k$ . Cette conception permet l'ajustement direct des représentations d'action sans mettre à jour les paramètres de la politique de base ni modifier l'architecture du réseau. La politique de base génère l'action finale sous la forme :
$a_t = G_\phi(o_t, z_t, f_t)$

3. Optimisation de la Politique à Double Espace Latent

Le cadre d'entraînement utilise un mécanisme de distillation de valeur pour optimiser l'acteur à double espace latent sans rétropropagation à travers le générateur gelé :

Critique dans l'espace d'action ( $Q^{act}_\psi$ ) : Entraîné sur des données d'interaction en ligne via un apprentissage classique par différence temporelle hors-politique (off-policy) pour estimer le retour des blocs d'actions.
Critique dans l'espace latent ( $Q^{lat}_\nu$ ) : Optimisé via un objectif de distillation pour correspondre aux valeurs prédites par le critique de l'espace d'action. Ce critique apprend l'effet conjoint de $z_t$ et $f_t$ sur les retours de la tâche.
$L_{distill} = \mathbb{E}[(Q^{lat}_\nu(o_t, \hat{z}_t, \hat{f}_t) - \text{sg}[Q^{act}_\psi(o_t, \hat{a}_t)])^2]$
Mise à jour de l'acteur : L'acteur à double espace latent est mis à jour à l'aide d'un objectif régularisé par l'entropie qui maximise la valeur de l'espace latent :
$L_{actor} = \mathbb{E}[\alpha \log \pi^z_\theta(z_t | o_t) - Q^{lat}_\nu(o_t, z_t, f_t)]$

Lors du déploiement, seuls l'acteur et le cartographe de l'adaptateur sont conservés ; les critiques sont écartés.

Contributions Clés

L'article expose trois contributions principales :

Cadre Novateur : L'introduction d'un cadre de RL à espace latent qui optimise simultanément le bruit initial et les variables latentes de représentation d'action, étendant le guidage de la politique de la phase d'initialisation de l'échantillonnage à la phase de représentation intermédiaire.
Mécanisme de Modulation Léger : Le développement d'un mécanisme de modulation résiduelle qui mappe les latents de représentation d'action en caractéristiques d'adaptateur alignées avec les jetons d'action, les injectant dans les états cachés des Transformers sans nécessiter de mise à jour de la politique de base.
Validation Empirique : Une série d'expériences sur des politiques de diffusion et de flow-matching démontrant que le DLSRL accélère la vitesse d'adaptation en ligne tout en maintenant des performances finales compétitives.

Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks RoboMimic (Lift, Can, Square) et LIBERO (six tâches incluant Stove-On, Bowl-Drawer-to-Plate, etc.) en utilisant des Politiques de Diffusion basées sur des Transformers gelés et la politique de flow-matching $\pi_0$ .

Vitesse d'Adaptation : Le DLSRL a systématiquement démontré une amélioration de performance plus rapide lors des premières et des étapes intermédiaires d'entraînement par rapport aux bases comme DSRL, DPPO et JSRL.
Taux de Succès :
- Sur la tâche Can (RoboMimic), le DLSRL a atteint environ 99 % de succès dans les phases ultérieures, surpassant le DSRL (~90 %).
- Sur les tâches LIBERO, le DLSRL a atteint un niveau de performance saturée avec moins d'interactions avec l'environnement que le DSRL.
Efficacité : Le Tableau I montre que le DLSRL a obtenu des longueurs d'épisodes moyennes plus courtes sur l'ensemble des six tâches LIBERO, avec des réductions allant de 15,27 % à 25,40 % par rapport au DSRL.
Études d'Ablation :
- Le retrait du pilotage du bruit initial (DLSRL-Rep) a tout de même amélioré les taux de succès de ~27 % à ~52 % sur la tâche Can, confirmant que la seule modulation de la représentation contribue à l'adaptation.
- L'analyse de la force d'injection ( $\lambda_{inj}$ ) a révélé que si des valeurs plus élevées ($0,09$) offraient des gains initiaux rapides, elles causaient de l'instabilité. Une valeur modérée ($0,06$) a fourni le meilleur équilibre, atteignant 100 % de succès.

Signification et Revendications

Les auteurs affirment que le DLSRL représente le premier travail intégrant le pilotage du bruit initial et la modulation des états cachés des jetons d'action. La portée de ce travail réside dans sa capacité à fournir une interface de contrôle supplémentaire à l'intérieur d'un générateur gelé, permettant des corrections précises des lieux de contact et des trajectoires sans le coût de calcul du réglage fin des grands modèles génératifs.

L'article conclut que le DLSRL permet d'accélérer efficacement l'adaptation des politiques robotiques en ligne. Bien que la méthode montre une vitesse d'adaptation supérieure, les auteurs notent modestement que l'avantage est plus marqué dans les tâches exigeant une haute précision d'action (ex: Can, Square) par rapport aux tâches plus simples où d'autres méthodes peuvent éventuellement converger vers des taux de succès similaires. Des travaux futurs sont prévus pour évaluer le cadre dans des environnements réels et étudier les effets de choix architecturaux spécifiques (couches d'injection, étapes, intensités) sur les performances.