🤖 AI

EWAM: An Enhanced World Action Model for Closed-Loop Online Adaptation in Embodied Intelligence

Cet article introduit EWAM, un cadre d'adaptation en ligne en boucle fermée qui améliore une dorsale Cosmos3 gelée pour l'intelligence incarnée zero-shot en intégrant quatre couches neuronales différentiables pour la mémoire d'expérience, la détection d'anomalies, le routage de politique et la correction d'action, permettant ainsi une adaptation robuste à de nouvelles configurations de tâches sans démonstrations supplémentaires ni ajustement fin.

Auteurs originaux : Xin Zhou, Cong Miao

Publié 2026-06-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xin Zhou, Cong Miao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot chef très intelligent nommé Cosmos. Cosmos a lu des millions de livres de cuisine et regardé d'innombrables vidéos de cuisine. Il sait exactement comment couper, mélanger et dresser les plats. Cependant, quand vous placez Cosmos dans une vraie cuisine avec une disposition légèrement différente ou une banane glissante, il trébuche parfois sur ses propres pieds, attrape le vide en pensant tenir une banane, ou cogne le comptoir.

Le problème est que Cosmos est comme un étudiant qui a mémorisé le manuel mais qui n'a jamais cuisiné dans une cuisine en désordre. Il ne sait pas comment réagir quand les choses tournent mal en temps réel.

EWAM (Enhanced World Action Model) est comme si l'on donnait à Cosmos un sous-chef intelligent et expérimenté qui se tient juste à côté de lui, observant chacun de ses mouvements et murmurant des corrections.

Voici comment fonctionne ce système de « sous-chef », décomposé en parties simples :

1. Le Cerveau Gelé (La Colonne Vertébrale)

Le document garde le cerveau original de Cosmos gelé. Ils n'essaient pas de réapprendre tout à Cosmos à partir de zéro car cela prend trop de temps et pourrait lui faire oublier ce qu'il sait déjà. Au lieu de cela, ils laissent le cerveau principal intact et ajoutent quatre nouveaux « outils » autour de lui.

2. Les Quatre Nouveaux Outils (Les Quatre Couches)

Considérez ces quatre outils comme une équipe de spécialistes aidant le robot :

Le Livre de Mémoire (Couche de Mémoire d'Expérience Neurale) :
- Ce qu'elle fait : Lorsque le robot est confronté à une nouvelle tâche (comme mettre une banane dans un bol), il ne part pas de zéro. Il feuillette rapidement un « Livre de Mémoire » pour trouver des situations similaires qu'il a déjà rencontrées.
- Analogie : C'est comme un chef qui se dit : « Oh, j'ai déjà vu cette banane glissante ! La dernière fois, je devais la tenir délicatement. » Il utilise ses expériences passées pour guider le mouvement actuel.
Le Gardien (Couche de Détection d'Anomalies Neurale) :
- Ce qu'elle fait : Cette couche vérifie constamment : « Ce que je vois correspond-il à ce que j'avais prédit ? » Si le robot pense avoir saisi une banane mais que ses capteurs indiquent qu'il n'y a pas de poids, ou s'il est sur le point de percuter un mur, le Gardien crie « STOP ! ».
- Analogie : C'est comme un inspecteur de sécurité qui repère une échelle bancale avant que vous ne l'empruntiez. Il détecte les « hallucinations » (penser que vous tenez quelque chose alors que ce n'est pas le cas) et les collisions avant qu'elles ne se produisent.
Le Policier de la Circulation (Couche de Routage de Politique Neurale) :
- Ce qu'elle fait : En fonction de ce que le Gardien voit, le Policier de la Circulation décide de la marche à suivre.
  - Feu Vert : Tout semble correct ? Allez-y !
  - Feu Jaune : Quelque chose est légèrement décalé ? Ralentissez et recalculez le chemin prudemment.
  - Feu Rouge : Un désastre est en train de se produire ? Appuyez sur le bouton « Annuler » et revenez au dernier point sûr.
- Analogie : C'est le décideur qui choisit entre conduire droit devant, prendre un détour ou reculer vers un parking sécurisé.
Le Kit de Réparation (Couche de Correction d'Action Neurale) :
- Ce qu'elle fait : Si le robot est sur le point de commettre une erreur, cette couche ajuste les mouvements de la main du robot juste avant que cela n'arrive. Elle fluidifie le mouvement pour que le robot ne broie pas un fruit mou ou ne rate pas le bol.
- Analogie : C'est comme un instructeur de danse qui guide doucement votre bras pour que vous ne trébuchiez pas sur vos propres pieds pendant un tour sur vous-même.

3. Le « Portail de Qualité » (Filtrage)

Le système est très exigeant. Si le robot essaie quelque chose et échoue (comme faire tomber la banane), le système ne sauvegarde pas cet échec dans le Livre de Mémoire. Il ne sauvegarde que les tentatives réussies et sûres.

Pourquoi ? Imaginez si vous appreniez à conduire uniquement en regardant des vidéos de personnes en train d'avoir des accidents. Vous apprendriez la mauvaise façon de faire ! EWAM n'apprend que des « bonnes » conduites, garantissant que le robot devient plus intelligent sans se laisser confondre par ses propres erreurs.

4. Les Résultats : Plus Rapide et Plus Sûr

Le document a testé cela dans une simulation appelée « RoboLab » avec des tâches comme mettre des bananes dans un bol ou empiler des blocs.

Vitesse : Le robot avec EWAM a terminé la tâche de la banane en 9 secondes, tandis que le robot sans EWAM a pris 25 secondes.
Erreurs : Le robot sans EWAM a heurté des objets ou raté la banane 13,5 fois par tentative. Le robot avec EWAM n'a commis que 2,2 erreurs.
Taux de réussite : Les deux robots ont fini par réussir à 100 % du temps, mais EWAM l'a fait plus rapidement et avec beaucoup moins de collisions.

L'essentiel

EWAM ne consiste pas à apprendre une nouvelle langue au robot ; il s'agit de lui donner un filet de sécurité et une mémoire afin qu'il puisse s'adapter instantanément à un environnement réel et désordonné. Cela prend un robot puissant, pré-entraîné, et ajoute une couche de « bon sens » qui l'aide à éviter les collisions, à se rétablir des glissades et à accomplir sa tâche efficacement.

Note importante : Le document précise que ces résultats proviennent d'une simulation informatique (RoboLab). Ils n'ont pas encore testé cela sur un vrai robot physique dans une vraie cuisine, nous ne savons donc pas encore si cela fonctionne en dehors de l'ordinateur.

Résumé Technique : EWAM – Un Modèle d'Action de Monde Amélioré pour l'Adaptation en Boucle Fermée en Ligne

1. Énoncé du Problème

Le déploiement robotique en environnements ouverts est actuellement entravé par le coût élevé de la collecte de démonstrations couvrant diverses poses d'objets, configurations de scènes et contingences d'exécution. Bien que les Modèles d'Action de Monde (WAMs) couplent avec succès la prédiction d'états futurs et la génération d'actions, les pipelines statiques hors ligne restent vulnérables aux décalages au niveau de l'exécution. Ces décalages incluent les collisions physiques, les saisies à vide et les hallucinations induites par la perception où des prédictions visuelles à haute confiance ne s'alignent pas avec la réalité physique. De plus, une fois déployés, les WAMs statiques peinent à convertir efficacement les expériences locales réussies en avantages futurs sans risquer la dégradation de la politique par un apprentissage en ligne non filtré.

Le défi central abordé est la manière d'améliorer la qualité d'exécution et l'adaptabilité dans des tâches robotiques riches en contacts sous un protocole zero-shot (aucune nouvelle donnée de démonstration collectée pour la tâche cible) tout en préservant les capacités générales d'un modèle de fondation pré-entraîné.

2. Méthodologie : L'Architecture EWAM

L'Enhanced World Action Model (EWAM) proposé est une architecture d'adaptation en ligne en boucle fermée construite sur un squelette Cosmos3-Nano-Policy-DROID gelé. Plutôt que de réentraîner l'ensemble du modèle de fondation, l'EWAM insère quatre couches neuronales entraînables dans le chemin d'inférence pour permettre la récupération de la mémoire, la détection d'anomalies, le routage de stratégie et la correction d'action.

2.1 Composants Clés

L'architecture modifie le passage avant standard du squelette Cosmos3-Nano-Policy-DROID (comprenant un encodeur Vision-Langage, un raisonneur autorégressif et un transformateur de diffusion) avec les couches insérées suivantes :

Couche de Mémoire d'Expérience Neurale : Insérée à une couche intermédiaire ( $l_{mem}=6$ ) du Transformateur de Diffusion (DiT). Elle récupère les contextes d'exécution pertinents pour la tâche depuis une base de données de mémoire ( $M$ ) et les injecte dans les représentations cachées du DiT. Cela conditionne le processus de diffusion sur le contexte actuel et l'expérience historique sans modifier les poids du squelette.
Couche de Détection d'Anomalies Neurale : Située après la tête de prédiction d'état, cette couche surveille la divergence entre les états prédits et réalisés. Elle calcule un vecteur d'anomalie ( $\iota_t$ $ι_{t}$ ) contenant des scores pour :
- Le décalage prédiction-réalisation (résidus).
- Le risque de collision.
- La probabilité de saisie à vide.
- L'hallucination de perception.
- Les violations de force.
Couche de Routage de Politique Neurale : Basée sur le vecteur d'anomalie et le contexte de la mémoire, cette couche sélectionne une stratégie d'exécution :
- Exécution Directe : Procéder si les anomalies sont sous un certain seuil.
- Replanification Conservatrice : Déclencher une correction d'action si des anomalies légères sont détectées.
- Récupération par Rollback : Restaurer un état stable à partir de la mémoire si des anomalies sévères surviennent.
Couche de Correction d'Action Neurale : Affine la sortie d'action brute ( $a^0_{t:t+H}$ ) basée sur la décision de routage et les signaux d'anomalie. Elle effectue une correction lors du débruitage pour assurer une exécution sûre et efficace, ou récupère une action conservatrice de la mémoire lors d'un rollback.

2.2 Apprentissage en Ligne en Boucle Fermée

L'EWAM fonctionne comme un cycle en boucle fermée où les résultats d'exécution sont évalués par une Porte de Qualité (Quality Gate).

Filtrage de l'Expérience : Seules les trajectoires répondant à des critères stricts de sécurité et d'efficacité (ex: faible force de préhension, chemin court, score de tâche élevé) sont admises dans la mémoire d'expérience ( $M$ ). Les échantillons de faible qualité sont enregistrés pour le diagnostic mais exclus des mises à jour de la mémoire pour éviter l'« oubli catastrophique » ou l'accumulation de comportements erronés.
Stratégie d'Adaptation : Le système adopte une approche « la mémoire d'abord, l'adaptateur ensuite ». L'adaptation immédiate repose sur la récupération de la mémoire. Les mises à jour de paramètres sont appliquées uniquement par intermittence aux couches légères insérées et aux adaptateurs, laissant le squelette pré-entraîné Cosmos3-Nano-Policy-DROID gelé.

3. Contributions Clés

Le papier revendique trois contributions principales :

Architecture : La formulation de l'EWAM comme une architecture basée sur Cosmos3-Nano-Policy-DROID présentant quatre couches neurales insérées (Mémoire, Anomalie, Routage, Correction) qui forment un chemin d'inférence en boucle fermée avec des modules différentiables entraînables et un routage discret supervisé.
Mécanisme de Sécurité : L'introduction d'un filtrage d'expérience par branche et d'une conception de rollback qui empêche les trajectoires dangereuses ou de faible valeur de contaminer la base de données de mémoire et les mises à jour en ligne.
Validation Empirique : Résultats de simulation sur des tâches de manipulation zero-shot dans RoboLab démontrant une amélioration de la qualité d'exécution (efficacité et réduction des fautes) tout en préservant le squelette gelé.

4. Résultats Expérimentaux

Les expériences ont été menées dans l'environnement de simulation RoboLab sur trois tâches de manipulation zero-shot : BananaInBowlTask, BananasInBinOneMoreTask, et BlockStackingOrderAgnosticTask.

4.1 Performance sur BananaInBowlTask

Dans le test local principal, l'EWAM a atteint un taux de réussite de 100 %, égalant la ligne de base Cosmos3-Nano--Policy-DROID. Cependant, il a nettement surpassé la ligne de base en termes d'efficacité et de robustesse :

Temps de Complétion de la Tâche : Réduit de 25,60s à 9,27s (réduction de 63,8 %).
Longueur du Chemin : Réduite de 1,81m à 0,83m (réduction de 54,1 %).
Fautes d'Exécution : Réduites de 13,5 à 2,2 par épisode (réduction de 83,7 %).
- Les collisions ont été réduites de 90,6 %.
- Les saisies à vide ont été réduites de 92,9 %.

4.2 Généralisation Multi-Tâches

Sur la tâche plus complexe BlockStackingOrderAgnosticTask, l'EWAM a amélioré le taux de réussite de 87,2 % (ligne de base) à 94,4 %, tout en réduisant également le temps de tâche de 32,4 % et la longueur du chemin de manière significative.

4.3 Études d'Ablation

Les études d'ablation ont confirmé la nécessité de chaque composant :

Auto-apprentissage : La suppression de l'accumulation d'expérience en ligne a causé la plus grande dégradation des performances (le temps de tâche est passé de 9,27s à 46,53s).
Mémoire vs Mises à jour : Une variante « Mémoire seule » (récupération sans mise à jour de paramètres) a surpassé une variante « Mise à jour seule » (mise à jour de paramètres sans récupération) de 13,6 %, validant la stratégie « la mémoire d'abord ».
Correction d'Erreur : La suppression de cette couche a augmenté le temps de tâche de 96,1 %, soulignant son rôle dans la gestion des collisions et des saisies à vide.

4.4 Surcharge de Calcul

Les quatre couches neurales introduisent une latence supplémentaire de 10,2 ms (+15,4 %) et 130 Mo de mémoire GPU (+7,7 %). Le temps d'inférence total est de 76,4 ms, ce que les auteurs notent comme étant au-dessus d'un budget de servo de 20 Hz strict, suggérant que l'implémentation actuelle est mieux adaptée à la replanification par blocs (chunk-level) ou à l'inférence asynchrone.

5. Signification et Limites

Signification :
Le papier pose l'idée que l'EWAM offre une architecture pratique pour améliorer la généralisation des tâches et réduire la pression liée à la collecte de nouvelles données de déploiement. En fusionnant la mémoire d'expérience, la correction d'erreur en temps réel et la récupération par rollback dans un chemin d'inférence WAM gelé, la méthode améliore l'efficacité d'exécution et la sécurité même lorsque les taux de réussite sont déjà saturés. Elle démontre qu'une fusion en boucle fermée peut produire des gains substantiels de qualité d'exécution sans compromettre les capacités générales du modèle de fondation pré-entraîné.

Limites (telles qu'énoncées par les auteurs) :

Uniquement Simulation : Tous les résultats proviennent de la simulation RoboLab ; le transfert sim-to-real n'a pas été établi.
Étendue des Tâches : L'évaluation est limitée à un petit ensemble de tâches de manipulation de conteneurs et d'empilement. Les tâches complexes à long horizon, les interférences dynamiques et l'exécution en monde ouvert non restreint restent non vérifiées.
Spécificité de l'Architecture : Les modules sont conçus spécifiquement pour le squelette Cosmos3-Nano-Policy-DROID.
Implémentation du Rollback : La récupération par rollback est validée via des points de contrôle (checkpoints) du simulateur ; les primitives de récupération d'impédance pour les vrais robots ne sont pas encore validées.
Contraintes de Données : Les seuils de filtrage d'expérience sont spécifiques aux scénarios de la configuration RoboLab et peuvent ne pas être universels.

Les auteurs concluent que bien que l'EWAM clarifie la manière dont l'expérience en ligne doit être admise pour l'adaptation, il reste dépendant d'une initialisation hors ligne pré-entraînée et ne résout pas encore les défis de l'exécution robotique en monde ouvert non restreint.