🤖 machine learning

FlowMPC: Improving Flow Matching policies with World Models

Cet article introduit FlowMPC, un cadre qui améliore les politiques de Flow Matching pour la manipulation robotique en intégrant un modèle de monde appris pour effectuer une planification MPPI au moment du test, améliorant ainsi les taux de réussite des tâches sans modifier l'objectif d'entraînement original.

Auteurs originaux : Chandon Hamel

Publié 2026-06-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chandon Hamel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un bras robotisé comment ramasser un objet spécifique, comme un cube ou un outil YCB, et le placer exactement là où vous le voulez. Ce document présente une nouvelle façon de rendre ce robot plus intelligent, appelée FlowMPC.

Voici le fonctionnement, en utilisant des analogies simples :

1. Le Problème : L'apprenti « talentueux mais naïf »

Tout d'abord, les chercheurs ont entraîné un robot en utilisant une méthode appelée Flow Matching (FM). Considérez cette politique FM comme un apprenti très talentueux qui aurait observé des milliers de vidéos d'un maître artisan accomplissant la tâche.

Ses points forts : Parce qu'il a appris de nombreux exemples, il est excellent pour générer des manières créatives et variées de bouger son bras. Il sait qu'il n'existe pas qu'une seule façon de ramasser un cube ; il existe de nombreux chemins réussis.
Sa faiblesse : L'apprenti est strictement un « imitateur ». Il ne sait agir qu'en fonction de ce qu'il a vu dans les vidéos. Si le robot commet une petite erreur (comme un léger tremblement) qui n'était pas présente dans les vidéos d'entraînement, l'apprenti peut paniquer ou amplifier l'erreur, provoquant l'échec de la tâche juste avant la ligne d'arrivée. Il ne sait pas comment « anticiper » pour corriger ses propres erreurs.

2. La Solution : Ajouter une « Boule de Cristal » (Le Modèle de Monde)

Pour corriger cela, les chercheurs n'ont pas réentraîné l'apprenti. Au lieu de cela, ils ont donné à l'apprenti une Boule de Cristal (un Modèle de Monde appris) et un Planificateur.

La Boule de Cristal (Modèle de Monde) : C'est un simulateur qui prédit l'avenir. Si le robot bouge son bras de cette manière, la boule de cristal dit : « D'accord, dans une seconde, l'objet sera ici, et vous réussirez probablement ». S'il bouge de cette autre manière, elle dit : « Non, vous allez le faire tomber ».
Le Planificateur (MPPI) : C'est le décideur. Il demande à l'apprenti : « Hé, donne-moi 500 idées différentes pour terminer cette tâche ».
- L'apprenti (politique FM) génère rapidement ses 24 meilleures idées, les plus créatives, basées sur ce qu'il a appris des vidéos.
- Le planificateur complète le reste des 500 idées avec des tentatives aléatoires.
- Le planificateur utilise ensuite la Boule de Cristal pour simuler l'avenir de ces 500 idées. Il vérifie : « Quel chemin mène à une fin réussie sans faire tomber l'objet ? »
- Enfin, il choisit le meilleur chemin et exécute le premier mouvement.

3. Le Résultat : Passer de « Bon » à « Excellent »

Les chercheurs ont testé cela sur deux tâches : ramasser un cube et ramasser un outil spécifique (PickSingleYCB).

Le résultat : Le robot doté de la Boule de Cristal ne s'est pas contenté d'atteindre l'objectif ; il y est resté.
- PickCube : Le taux de réussite est passé de 93 % à 97 %.
- PickSingleYCB : Le taux de réussite est passé de 57 % à 66 %.
L'idée clé : L'amélioration la plus importante s'est produite à la toute fin de la tâche. L'apprenti FM seul pouvait souvent approcher l'objet de la cible, mais il le faisait échouer dans les dernières secondes. Le Modèle de Monde a agi comme un filet de sécurité, permettant au robot de corriger de petites erreurs et de maintenir l'objet stable jusqu'au tout dernier moment.

4. Pourquoi est-ce spécial ?

Habituellement, pour rendre un robot meilleur, il faut le réentraîner avec un nouvel ensemble de règles complexes (Apprentissage par Renforcement). Ce document a fait quelque chose de différent :

Il a gardé l'entraînement de l'apprenti exactement le même.
Il a simplement ajouté une « étape de réflexion » au moment où le robot exécute réellement la tâche.

La métaphore :
Imaginez un musicien qui a mémorisé une chanson parfaitement (la politique FM). Il joue bien, mais s'il manque une note, il peut perdre le fil.
FlowMPC est comme donner à ce musicien un chef d'orchestre qui écoute les prochaines secondes de musique dans sa tête. Si le musicien est sur le point de rater un temps, le chef d'orchestre lui murmure : « En fait, essaie cette légère variation à la place », garantissant ainsi que la chanson se termine parfaitement.

Résumé

Ce document montre que vous pouvez rendre un robot nettement plus fiable en combinant un imitateur appris (qui connaît de nombreuses façons de réaliser une tâche) avec un simulateur prédictif (qui sait lesquelles de ces façons fonctionneront réellement). Cela permet au robot de corriger ses propres petites erreurs en temps réel, conduisant à des taux de réussite plus élevés, particulièrement lors des moments critiques de la tâche.

Résumé Technique : FlowMPC

Énoncé du Problème

Le Flow Matching (FM) est devenu une méthode puissante pour l'apprentissage par imitation de comportements dans des espaces d'actions multimodaux, particulièrement pour la manipulation robotique où plusieurs trajectoires d'actions distinctes peuvent résoudre la même tâche. Cependant, le FM est fondamentalement une méthode d'apprentissage par imitation entraînée pour correspondre au comportement de l'expert plutôt que pour maximiser directement l'espérance du retour. Par conséquent, les politiques FM sont limitées par la qualité et la couverture des données de démonstration. Elles éprouvent souvent des difficultés à se remettre de petites erreurs, à l'accumulation d'erreurs ou face à des états qui ne sont pas bien représentés dans le jeu de données de l'expert.

Bien que des travaux récents aient tenté de remédier à cela en affinant les politiques FM via l'apprentissage par renforcement (RL), ces approches nécessitent de modifier l'objectif d'entraînement du FM lui-même. Cet article étudie une question différente : Un modèle de monde appris peut-il améliorer une politique FM sans modifier l'objectif d'entraînement du FM ? L'objectif est de déterminer si la planification basée sur un modèle peut compléter les politiques d'imitation basées sur le flux au moment de l'inférence.

Méthodologie : Cadre FlowMPC

Le cadre proposé, FlowMPC, intègre une politique FM apprise par imitation avec un modèle de monde appris au sein d'une boucle de planification Model Predictive Path Integral (MPPI). L'idée centrale est d'utiliser la politique FM comme un mécanisme de proposition structuré pour générer des séquences d'actions candidates, qui sont ensuite évaluées et affinées par le modèle de monde.

1. Paradigme d'Entraînement

Le pipeline d'entraînement se compose de cinq étapes :

Collecte de Données d'Expert : Un agent SAC doté d'informations d'état privilégiées génère des démonstrations d'expert.
Collecte de Trajectoires : Des trajectoires complètes (RGB, proprioception, actions, récompenses) sont collectées.
Entraînement de la Politique FM : Une politique FM est entraînée sur ces trajectoires d'expert pour apprendre un a priori d'action multimodal.
Prétraitement Visuel : Les trajectoires d'expert sont recolligées avec des observations RGB prétraitées par l'encodeur visuel de la politique FM afin de produire des latents visuels compacts ( $z_{viz,t}$ ).
Entraînement du Modèle de Monde : Le modèle de monde est entraîné en ligne à l'aide d'un buffer de relecture préchargé avec les données d'expert, en utilisant les latents visuels prétraités combinés à la proprioception ( $x_t = [s_t, z_{viz,t}]$ ).

2. Adaptations Architecturales à TD-MPC2

Le cadre s'appuie sur TD-MPC2 mais remplace son acteur appris par la politique FM apprise par imitation. Plusieurs modifications critiques ont été apportées pour accommoder cet hybride :

Prédicteur d'Action par Apprentissage par Imitation ( $\pi_{BC}$ ) : Un réseau dédié mappe l'état actuel du modèle vers une action. Il est utilisé pour le bootstrapping de la valeur terminale lors des déroulements de planification afin de garantir que la fonction de valeur évalue des actions conformes à la distribution, stabilisant ainsi le processus de planification.
Interface de Représentation Unifiée : Le modèle de monde consomme directement le latent visuel du FM concaténé avec l'état proprioceptif, plutôt que d'apprendre des encodeurs séparés. Cela permet au modèle de monde de tirer parti des caractéristiques visuelles figées de la politique FM.
Objectifs Simplifiés : Étant donné la structure de récompense binaire des tâches, les récompenses complexes transformées par symlog discrétisées de la version standard de TD-MPC2 ont été remplacées par une entropie croisée binaire pour les récompenses et par une erreur quadratique moyenne standard pour la régression de la valeur Q.
Deux Variantes du Modèle de Monde :
- Variante d'Espace d'États : Prédit directement dans l'espace de la concaténation de l'état et du latent visuel. Utilisée pour la tâche PickCube ( $H=1$ ).
- Variante d'Espace Latent : Suit le standard TD-MPC2 avec une représentation latente apprise et des déroulements multi-étapes. Utilisée pour la tâche plus complexe PickSingleYCB ( $H=3$ ).

3. Inférence et Planification

Au moment du test, le planificateur fonctionne comme suit :

Proposition : Étant donné l'observation actuelle, le planificateur échantillonne $K$ trajectoires d'actions candidates. Un sous-ensemble ( $K_\pi$ ) est proposé par la politique FM, tandis que le reste est échantillonné de manière aléatoire.
Déroulement & Scoring : Chaque trajectoire est déroulée dans le modèle de monde appris. Les trajectoires sont scorées en sommant les récompenses prédites et une estimation de la valeur terminale ( $\hat{Q}$ ) dérivée du prédicteur de clonage de comportement.
Affinement : Le MPPI repondère et affine les trajectoires sur la base de ces scores. La première action de la séquence optimisée est exécutée.
Efficacité : L'encodage visuel du FM est calculé une seule fois par observation et réutilisé pour tous les échantillons et étapes d'intégration.

Résultats Clés

L'approche a été évaluée sur deux tâches de manipulation ManiSkill : PickCube-v1 et PickSingleYCB-v1.

Succès en Fin d'Épisode : Les gains les plus significatifs ont été observés dans le maintien du succès jusqu'à la fin de l'épisode.
- PickCube : Amélioration de 93,14 % (FM seul) à 97,44 % (FlowMPC).
- PickSingleYCB : Amélioration de 56,81 % (FM seul) à 66,41 % (FlowMPC).
Succès à Tout Moment (Anytime Success) : Des améliorations ont également été observées pour atteindre un état de succès à n'importe quel moment, bien que les gains soient plus modestes.
- PickCube : 95,78 % $\to$ 98,68 %.
- PickSingleYCB : 68,77 % $\to$ 69,78 %.

Les résultats indiquent que le modèle de monde est particulièrement efficace pour corriger les petites erreurs d'action et maintenir un contrôle stable près de l'achèvement de la tâche, plutôt que de simplement aider l'agent à atteindre un état de succès transitoire.

Signification et Revendications

L'article pose comme postulat que la planification basée sur un modèle de monde peut efficacement compléter les politiques d'imitation basées sur le flux sans nécessiter un nouvel objectif d'entraînement pour le FM.

Approche Hybride : Ce travail démontre une approche hybride viable entre l'apprentissage par imitation et l'apprentissage par renforcement basé sur un modèle. Il utilise l'imitation pour apprendre un a priori d'action multimodal fort et la planification pour affiner les décisions au moment de l'inférence.
Aucun Réentraînement Requis : L'amélioration provient d'une meilleure utilisation de la politique au moment du test, et non d'un réentraînement de la politique avec un nouvel objectif de RL.
Portée Modeste : Les auteurs déclarent explicitement que les résultats sont limités à deux tâches et que la conception optimale du modèle de monde (espace d'états vs espace latent, horizon de planification) variait selon les tâches. Ils ne revendiquent pas une configuration universellement optimale, mais suggèrent que la combinaison de politiques génératives expressives et de la planification avec anticipation (lookahead) est une direction prometteuse pour l'amélioration robuste des politiques.
Base de Performance : La méthode a amélioré une base FM solide (qui était déjà proche des performances de TD-MPC2 sur une tâche), suggérant que le planificateur "aiguise" une politique forte plutôt que de simplement secourir une politique faible.