Résumé technique : Les modèles d'action de type "World Action Models" permettent un apprentissage par imitation continu grâce à la relecture générative récurrente

1. Formulation du problème

L'article traite du défi de l'apprentissage par imitation continu pour les politiques robotiques, en se concentant spécifiquement sur l'oubli catastrophique. Alors que les World Action Models (WAM) émergent comme des politiques robotiques polyvalentes capables d'unifier la perception, la prédiction et le contrôle, elles doivent s'adapter de manière séquentielle à de nouvelles tâches. Cependant, l'ajustement fin (fine-tuning) séquentiel standard provoque l'écrasement des compétences précédemment apprises.

Les solutions traditionnelles reposent sur la relecture d'expérience (Experience Replay - ER), qui stocke et rejoue les démonstrations humaines réelles des tâches précédentes. Les auteurs soutiennent que cette approche est de plus en plus peu pratique dans la robotique moderne, où les politiques sont souvent entraînées sur des jeux de données à grande échelle et propriétaires qui ne sont pas rendus publics, ou lorsque le stockage des démonstrations passées est irréalisable. Le problème central est le suivant : Comment un robot peut-il conserver les compétences précédemment apprises lors d'une adaptation continue sans avoir accès aux démonstrations humaines originales ?

2. Méthodologie : Relecture Générative Récurrente (REGEN)

Les auteurs proposent la Relecture Générative Récurrente (REGEN), un cadre qui exploite les capacités génératives intrinsèques des WAM pour synthétiser des trajectoires de relecture pseudo-réelles, éliminant ainsi le besoin de stocker des démonstrations réelles passées.

Mécanisme central

Les WAM sont définis comme des politiques modélisant conjointement des actions futures ($\tilde{a}$) et des observations visuelles futures ($\tilde{o}$) conditionnées par des instructions linguistiques ($\ell$) et des observations actuelles ($o$). REGEN exploite cela en interrogeant de manière récursive le WAM pour générer des trajectoires "hallucinées" pour les tâches passées.

Le processus de génération pour une tâche précédente $T_i$ (étant donné uniquement son instruction linguistique $\ell_i$) se déroule en trois étapes :

1. Initialisation : Le déroulement est amorcé avec une observation réelle échantillonnée à partir des démonstrations de la tâche actuelle ($D_k$) pour fournir un contexte visuel valide.
2. Génération récurrente : Le modèle prédit un bloc d'actions (action chunk) et une observation future. Crucialement, l'observation future générée ($\tilde{o}_t$) est réinjectée comme l'observation d'entrée pour l'étape suivante, plutôt que d'utiliser des données réelles. Cette boucle récursive se poursuit jusqu'à ce qu'une condition de terminaison soit remplie.
3. Terminaison : La génération s'arrête à un horizon maximal ou lorsque la tête de récompense interne du modèle prédit l'achèvement de la tâche (par exemple, une récompense > 0,99 pour des étapes consécutives).

Objectif d'entraînement

La politique est mise à jour via l'apprentissage par imitation comportementale (behavioral cloning) sur un ensemble de données combiné $D^+_k = D_k \cup R_k$, où $D_k$ représente les démonstrations réelles de la tâche actuelle et $R_k$ l'ensemble des trajectoires pseudo-synthétisées pour toutes les tâches précédentes. La fonction de perte minimise la différence entre les actions prédites par la politique et les actions contenues dans ces trajectoires pseudo-réelles, conditionnées par les instructions de tâches respectives.

3. Principales contributions

L'article expose trois contributions majeures :

1. Le cadre REGEN : Le premier cadre d'apprentissage par imitation continu qui utilise le WAM lui-même comme un mécanisme natif de relecture générative, synthétisant des trajectoires sans stocker de démonstrations réelles passées.
2. Validation empirique : La démonstration que REGEN atténue substantiellement l'oubli catastrophique tant dans des environnements simulés (benchmarks LIBERO) que dans le monde réel (manipulateur xArm7), tout en préservant le transfert vers l'avant (forward transfer) vers de nouvelles tâches.
3. Analyse des limites : L'identification des goulots d'étranglement spécifiques empêchant la relecture générée de correspondre à la relecture d'expérience réelle : (i) la dégradation visuelle sur de longs horizons dans la génération récursive, et (ii) les incohérences entre les observations futures prédites et les actions générées correspondantes.

4. Résultats expérimentaux

Simulation (Benchmarks LIBERO)

Les expériences ont été menées sur les suites LIBERO-Spatial, LIBERO-Object et LIBERO-Goal.

• Performance : REGEN a réduit le transfert négatif vers l'arrière (Negative Backward Transfer - NBT) de plus de 50 % par rapport au simple ajustement fin séquentiel (Seq-FT). Par exemple, sur LIBERO-Goal, le NBT est passé de 100 (Seq-FT) à 44,9 (REGEN).
• Comparaison : Bien que la relecture d'expérience (ER) utilisant des données réelles demeure la limite supérieure, REGEN surpasse nettement les autres bases non-replay (Seq-LoRA, EWC, PackNet) et approche les performances des méthodes ER privilégiées.
• Stabilité de la représentation : L'analyse de la dérive de la représentation des actions a montré que REGEN maintenait une dérive nettement plus faible (0,12) par rapport à Seq-FT (0,30), préservant ainsi la structure interne de la politique.

Manipulation dans le monde réel

Des tests ont été effectués sur un robot xArm7 avec des tâches consistant à placer des objets (carottes, aubergines) dans des bols ou sur des assiettes.

• Résultats : REGEN a réduit l'oubli (NBT) de 96,3 à 60,5 et a amélioré le transfert vers l'avant (Forward Transfer - FWT) de 50 à 80 par rapport à Seq-FT.
• Signification : Cela confirme la viabilité de la méthode au-delà de la simulation, offrant une approche pratique pour les vrais robots où la recollection de données passées est impossible.

5. Limites et directions futures

Les auteurs notent explicitement que REGEN n'est pas encore un substitut complet à la relecture d'expérience réelle. L'écart de performance est attribué à deux facteurs principaux :

1. Dégradation de la fidélité visuelle : À mesure que le modèle génère récursivement des observations, des artefacts visuels et du flou s'accumulent. Cette dégradation est corrélée à une augmentation de l'oubli (NBT), car le signal de supervision s'affaiblit avec le temps.
2. Incohérence Action-Observation : Il existe un décalage entre le taux de réussite "imaginé" (basé sur les visuels générés) et le taux de réussite "ancré" (basé sur l'exécution des actions). Le modèle prédit souvent des résultats réussis visuellement plausibles tout en générant des actions physiquement insuffisantes.

L'article conclut que l'amélioration de la fidélité et de la cohérence de la génération des WAM est la direction future critique nécessaire pour combler l'écart entre la relecture pseudo-réelle et la relecture d'expérience réelle.

6. Signification

L'article pose le principe suivant : "Un robot qui peut imaginer son passé peut continuer à apprendre son futur." En établissant les WAM comme une base pour l'apprentissage continu sans stockage de démonstrations, REGEN offre une voie vers l'apprentissage robotique à vie dans des scénarios où la confidentialité des données ou les contraintes de stockage empêchent l'utilisation des buffers de relecture traditionnels. Ce travail souligne que les capacités génératives des WAM peuvent servir de forme efficace de mémoire implicite, à condition que les limites des modèles génératifs actuels soient adressées.