Résumé Technique : Action Flow Matching pour l'Apprentissage Robotique Continu

Énoncé du Problème

L'apprentissage continu en robotique vise à créer des systèmes capables de s'adapter à des environnements et des tâches changeants, reflétant l'adaptabilité humaine. Un défi central réside dans le raffinement des modèles de dynamique — les représentations mathématiques qu'un robot utilise pour prédire les résultats de ses actions. Bien que les modèles soient essentiels pour la planification et le contrôle (par exemple, via le Contrôle Prédictif Fondé sur le Modèle - MPC), ils peuvent devenir désalignés en raison d'hypothèses simplificatrices, de facteurs environnementaux non pris en compte (ex: réduction de la traction), de la dégradation des actionneurs ou de l'incertitude des paramètres.

Les approches traditionnelles d'Apprentissage par Renforcement Fondé sur le Modèle (MBRL) reposent souvent sur l'exploration avec le dernier modèle disponible, potentiellement désaligné, pour collecter des données afin de procéder aux mises à jour. Cependant, cela peut conduire à une collecte de données inefficace, à un oubli catastrophique et à des risques de sécurité, car le robot exécute des actions sous-optimales ou incorrectes basées sur des prédictions erronées. Le problème central abordé est de savoir comment permettre aux robots de fonctionner de manière robuste avec des modèles désalignés tout en collectant efficacement des données informatives pour réaligner le modèle, le tout sans dépendre lourdement de grands tampons de relecture (replay buffers) ou de la dynamique de vérité terrain.

Méthodologie : Action Flow Matching (AFM)

Les auteurs proposent l'Action Flow Matching (AFM), un cadre génératif qui déplace l'attention de l'exploration avec un modèle désaligné vers la transformation des actions planifiées pour mieux correspondre à l'« intention » du robot (l'action qu'il entreprendrait si le modèle était parfaitement aligné).

Concept Clé

Au lieu d'exécuter une action planifiée $a^0_t$ dérivée d'un modèle désaligné $f_{\theta_t}$, l'AFM applique une transformation pour produire une action corrigée $a^1_t$. Cette transformation est apprise pour minimiser l'écart entre l'état que le robot atteint réellement et l'état qu'il avait prévu d'atteindre, compensant ainsi efficacement les inexactitudes du modèle.

Composants Clés

1. Réduction Efficace de l'Espace de Dynamique :
   • Plutôt qu'une exploration aléatoire, l'AFM utilise le modèle de dynamique initial (imparfait) pour approximer la région dynamiquement réalisable de l'espace état-action. Cela contraint le processus d'apprentissage à des régions physiquement plausibles, améliorant ainsi l'efficacité des données.
2. Représentation de Régime de Dynamique (Sans Vérité Terrain) :
   • La méthode apprend à représenter différents « régimes de dynamique » (ex: surface glacée vs sèche) en identifiant des motifs dans l'évolution de l'état. Elle ne nécessite pas de modèle de vérité terrain ; elle encode plutôt l'écart entre la transition d'état planifiée et la transition d'état réalisée.
3. Flow Matching pour la Cartographie d'Intention :
   • L'AFM utilise le Flow Matching (FM), un cadre génératif qui apprend un champ de vitesse pour transformer une distribution source (actions planifiées) en une distribution cible (actions intentionnelles).
   • Génération de Données d'Entraînement : Puisque l'« action intentionnelle » (cible) est inconnue lors du déploiement, les auteurs proposent une stratégie d'entraînement inspirée du contrefactuel. Ils simulent des transitions d'état en utilisant le modèle initial $f_{\theta_0}$ mais enregistrent la transition comme si elle résultait d'une action différente. Cela crée un ensemble de paires $(s, a^0, a^1)$ où $a^1$ est l'action qui aurait produit l'état observé sous le régime actuel.
   • Architecture : Le modèle se compose d'un encodeur de régime de dynamique (traitant l'état, l'action et l'erreur de prédiction) et d'un encodeur d'action, qui alimentent un modèle de flux pour prédire le champ de vitesse. Un solveur d'EDO (Équation Différentielle Ordinaire) intègre ensuite ce champ pour transformer $a^0_t$ en $a^1_t$.
4. Boucle d'Apprentissage Continu :
   • Le système surveille les erreurs de prédiction. Si l'erreur dépasse un seuil, le module AFM s'active pour transformer les actions.
   • Les actions transformées sont exécutées, et les transitions d'état résultantes sont utilisées pour mettre à jour le modèle de dynamique sous-jacent $f_{\theta_t}$ en ligne.
   • Une fois que le modèle est réaligné (l'erreur chute), le système revient à l'utilisation des actions brutes planifiées, équilibrant ainsi l'exploration et l'exploitation.

Contributions Clés

1. Réduction Efficace de l'Espace de Dynamique : Utilisation du modèle initial pour réduire l'espace état-action à un sous-ensemble dynamiquement réalisable, évitant ainsi une génération de trajectoires aléatoires inefficace.
2. Représentation de Régime sans Vérité Terrain : Apprentissage de la représentation des régimes de dynamique en se concentrant sur les motifs d'évolution d'état et les erreurs de prédiction, éliminant ainsi le besoin d'un modèle de vérité terrain précis pendant le processus d'apprentissage.
3. Cartographie d'Intention pour un Apprentissage Accéléré : Utilisation du Flow Matching pour produire des signaux directeurs (actions transformées) qui collectent des données de transition plus informatives, accélérant ainsi le réalignement du modèle de dynamique.
4. Indépendance du Modèle : Le cadre est agnostique vis-à-vis de l'architecture du modèle de dynamique sous-jacent, fonctionnant aussi bien avec des modèles purement fondés sur les données qu'avec des modèles hybrides intégrant la physique.

Résultats Expérimentaux

Les auteurs ont validé l'AFM sur deux plateformes : un Véhicule Terrestre Sans Pilote (UGV Jackal) et un Quadrotor (Crazyflie).

Véhicule Terrestre Sans Pilote (UGV)

• Tâche : Navigation vers des points de passage (waypoints) épars dans des cartes de l'ETHZ avec des changements dynamiques (ex: changements soudains de gain de traction) survenant en cours de tâche.
• Baselines : Comparaison avec stream-x PE (ensemble probabiliste en streaming), Online-KNODE-MPC et des modèles basés sur la physique standard.
• Performance :
  • L'AFM a atteint un taux de succès moyen de la tâche de 81,4 %, soit 34,2 % de plus que la meilleure baseline (47,2 %).
  • L'AFM a nécessité 15,1 % d'étapes de moins en moyenne pour accomplir les tâches par rapport aux baselines.
  • Dans des scénarios difficiles, l'AFM a réussi dans 17 cas sur 22, alors que la meilleure baseline a échoué dans 15 cas sur 22.
  • Les études d'ablation ont montré que l'AFM surpasse les modèles de référence à poids gelés ou mis à jour en ligne.

Quadrotor

• Tâche : Suivi de trajectoires circulaires avec des changements de masse en plein vol (simulant des déplacements de charge utile).
• Baseline : Comparaison avec Online-KNODE-MPC (une méthode de Neural ODE basée sur la physique) et des modèles basés sur la physique.
• Performance :
  • L'intégration de l'AFM avec la baseline Online-KNODE-MPC a réduit l'Erreur Quadratique Moyenne (MSE) de suivi de trajectoire de 6,6 %.
  • Cette amélioration est significative étant donné que la baseline utilisait déjà des priors physiques experts.

Signification et Revendications

L'article affirme que l'AFM représente une étape importante vers l'autonomie robotique à vie en permettant aux robots d'adapter et d'affiner continuellement leurs modèles de dynamique dans divers environnements.

• Équilibre entre Exploration et Exploitation : L'AFM permet au robot de poursuivre des objectifs immédiats (exploitation) tout en collectant simultanément des données à haute valeur pour l'amélioration du modèle (exploration) en corrigeant les actions en temps réel.
• Sécurité et Efficacité : En transformant les actions plutôt qu'en explorant aveuglément avec un modèle désaligné, la méthode réduit le risque d'échecs catastrophiques et accélère le processus d'apprentissage.
• Dépendance Réduite : L'approche réduit la dépendance vis-à-vis des grands tampons de relecture ou des instantanés (snapshots) de modèles hérités, ce qui la rend adaptée aux systèmes embarqués à ressources limitées.
• Généralisabilité : La capacité de la méthode à améliorer les performances tant sur un modèle d'UGV purement fondé sur les données que sur un modèle de quadrotor intégrant la physique démontre son potentiel en tant que cadre général pour l'apprentissage continu, indépendant de l'architecture spécifique du modèle de dynamique utilisé.

Les auteurs concluent que bien que l'AFM améliore considérablement le succès des tâches et l'efficacité d'échantillonnage, des défis subsistent concernant la généralisation du modèle de dynamique et l'efficacité des données pour l'entraînement des modèles de flow matching, suggérant des directions pour les travaux futurs.