Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement

Résumé Technique : Apprentissage par Renforcement Résiduel Centré sur l'Objet pour l'Amélioration Zero-Shot du Passage Sim-to-Real des VLA

Énoncé du Problème

Les modèles Vision-Language-Action (VLA) ont démontré une large généralisation à travers diverses tâches de manipulation grâce à un pré-entraînement à grande échelle et à l'apprentissage par imitation. Cependant, les politiques dérivées de l'apprentissage par imitation sont intrinsèquement fragiles lors d'interactions physiques précises ; de petites erreurs d'exécution s'accumulent au fil du temps, menant à des échecs dans des états non vus. Bien que l'Apprentissage par Renforcement (RL) offre un mécanisme de récupération via l'interaction en ligne, l'application directe du RL aux VLA modernes est difficile en raison d'architectures reposant sur la diffusion ou le "flow matching", qui ne sont pas facilement dérivables par des gradients de politique standards.

Le RL résiduel, qui entraîne une politique corrective légère au-dessus d'un VLA de base gelé, présente une solution naturelle. Pourtant, les approches existantes font face à un dilemme fondamental de "sim-to-real" :

1. Les méthodes basées sur des états privilégiés nécessitent de distiller un enseignant basé sur l'état vers un étudiant basé sur l'image pour le déploiement, ce qui entraîne une perte de performance.
2. Les méthodes basées sur l'image souffrent de larges écarts de domaine visuel, empêchant le transfert zero-shot des résidus entraînés en simulation.
3. Le RL en monde réel élimine l'écart de transfert mais est coûteux, dangereux et nécessite une infrastructure complexe.

Le défi central adressé est le suivant : Une politique d'apprentissage par renforcement entraînée purement en simulation peut-elle améliorer la robustesse des VLA en monde réel de manière zero-shot, sans distillation ni RL en monde réel ?

Méthodologie

Les auteurs proposent un cadre d'Apprentissage par Renforcement Résiduel Centré sur l'Objet qui affine les actions des VLA en utilisant les poses d'objets, permettant un espace d'observation compact qui se transfère de manière cohérente entre la simulation et la réalité. Le cadre opère en trois étapes :

1. VLA Apparié Sim/Réel via Replay de Téléopération
Pour aligner les distributions d'actions entre les domaines, les auteurs rejouent les mêmes démonstrations de téléopération utilisées pour entraîner le VLA réel ($\pi^{real}_{VLA}$) dans un environnement de simulation. Cela entraîne un homologue de simulation ($\pi^{sim}_{VLA}$) parallèlement au réel. Comme les deux sont supervisés par des trajectoires d'action identiques, ils apprennent des distributions d'action alignées malgré des entrées visuelles divergentes. Cela permet au résidu de s'entraîner aux côtés de $\pi^{sim}_{VLA}$ en simulation et de se transférer à $\pi^{real}_{VLA}$ de manière zero-shot lors du déploiement. Crucialement, parce que le résidu n'observe pas d'images, l'environnement de simulation n'a pas besoin d'être visuellement réaliste, réduisant ainsi la charge d'ingénierie.

2. Entraînement du RL Résiduel Centré sur l'Objet
La politique résiduelle ($\pi^{sim}_{res}$) est entièrement entraînée en simulation en utilisant TD3. L'innovation clé réside dans l'espace d'observation $s_t$, qui évite à la fois les états privilégiés et les images brutes :
$$s_t = [s^{obj}_t, s^{prop}_t, a^{base}_t]$$

• $s^{obj}_t$ : Poses à 6-DoF (position et orientation) des objets pertinents pour la tâche, estimées via des estimateurs prêts à l'emploi (FoundationPose + SAM2).
• $s^{prop}_t$ : État proprioceptif (pose de l'effecteur terminal, état de la pince).
• $a^{base}_t$ : Le bloc d'action actuel du VLA de base.

Pour garantir la robustesse contre le bruit d'estimation de pose et les échecs dans le monde réel, l'entraînement utilise deux stratégies d'augmentation :

• Injection de Bruit de Pose : Des perturbations aléatoires sont ajoutées à la position et à l'orientation (multiplication de quaternions) pour simuler les imprécisions de l'estimateur.
• Pose Dropout : Avec une certaine probabilité, le vecteur de pose de l'objet est mis à zéro, forçant la politique à apprendre une stratégie de repli basée uniquement sur la proprioception et l'action de base.

3. Déploiement Zero-Shot
Au déploiement, le VLA réel et le résidu entraîné en simulation sont tous deux gelés. Le système interroge le VLA réel pour l'action de base et le résidu pour une correction basée sur les poses d'objets observées. Si la confiance de l'estimateur de pose tombe sous un seuil, le système déclenche le repli par "dropout" appris durant l'entraînement. L'action combinée est calculée comme $a_t = a^{base}_t \oplus \pi^{sim}_{res}(s_t)$, où $\oplus$ désigne une composition par composante (addition pour la position/pince, multiplication de quaternions pour la rotation).

4. Auto-amélioration du VLA
Les exécutions réussies générées par la politique corrigée par le résidu sur le robot réel peuvent être agrégées à travers les tâches pour réentraîner le VLA de base via un ajustement fin supervisé (SFT). Cela crée une boucle d'auto-amélioration qui génère des données d'entraînement de plus haute qualité sans nécessiter de téléopération supplémentaire.

Contributions Clés

• Cadre de Transfert Sim-to-Real Zero-Shot : Un nouveau cadre de RL résiduel qui atteint un transfert zero-shot sans distillation ni RL en monde réel en utilisant un espace d'observation invariant au domaine (poses d'objets + proprioception).
• Auto-amélioration Automatique : Un mécanisme pour agréger les exécutions réussies du robot réel issues de la politique corrigée par le résidu afin de réentraîner un VLA multi-tâches unique, améliorant la politique de base sans nouvelles démonstrations humaines.
• Validation Empirique : Démonstration d'une amélioration constante à travers cinq tâches de manipulation sur un robot réel Franka Research 3 (FR3), faisant passer le taux de réussite moyen de 42 % à 76 %.

Résultats Expérimentaux

La méthode a été évaluée sur cinq tâches de manipulation de table (Lever de Cube, Pick-and-Place, Empilement de Cube, Fermeture de Tiroir, Redresser une Tasse) en utilisant un robot réel FR3 et une simulation MuJoCo.

• Gains de Performance : Le résidu entraîné en simulation a amélioré le taux de réussite moyen sur le robot réel de 42 % (VLA de Base) à 76 % (Base + Résiduel). En simulation, le taux de réussite moyen est passé de 38 % à 86 %.
• Études d'Ablation :
  • Robustesse : L'injection de bruit de pose et le pose dropout étaient tous deux essentiels ; supprimer l'un ou l'autre dégradait les performances, le pose dropout étant critique pour la résilience face aux échecs de détection.
  • Espace d'Observation : Les observations centrées sur l'objet ont nettement surpassé les bases basées sur l'image (qui ont échoué à cause des écarts de domaine visuel) et les approches basées sur la distillation (qui ont souffert de pertes de performance lors de la distillation).
• Analyse d'Intervention : Le résidu intervient systématiquement lorsque le VLA de base est mal aligné avec l'objectif, dirigeant les actions vers la cible. Cette correction sélective a permis de terminer les tâches 9 à 22 % plus rapidement.
• Généralisation : Le cadre a montré sa compatibilité avec différents backbones VLA (testé sur $\pi_{0.5}$), confirmant que l'interface d'observation n'est pas spécifique à une seule architecture.
• Auto-amélioration : Le réentraînement du VLA de base sur les exécutions corrigées par le résidu a produit des taux de réussite plus élevés et des durées d'épisodes plus courtes par rapport au réentraînement sur les exécutions de base originales.

Signification et Revendications

L'article affirme qu'en déplaçant l'espace d'observation de la politique résiduelle des images ou des états privilégiés vers les poses centrées sur l'objet, il est possible de combler l'écart sim-to-real sans adaptation de domaine complexe ou distillation. Cette approche tire parti de la généralisation des VLA tout en ajoutant la précision du RL via un module léger et transférable zero-shot.

Les auteurs positionnent cela comme une voie pratique vers une amélioration robotique évolutive et autonome. En découplant le mécanisme de correction de l'entraînement de la politique de base et en utilisant une représentation d'état récupérable, la méthode permet le déploiement en monde réel de politiques de RL entraînées en simulation. De plus, la capacité d'utiliser ces exécutions corrigées pour réentraîner le VLA de base suggère une voie vers un raffinement continu et automatisé du système sans le coût prohibitif d'une téléopération humaine continue.

Limites notées par les auteurs :

• Dépendance au suivi de pose 6-DoF en temps réel, qui peut échouer en cas d'occlusion totale ou d'encombrement important.
• Nécessité de spécifier manuellement les objets pertinents pour la tâche.
• L'observation basée sur la pose comble l'écart visuel mais pas l'écart dynamique (ex: friction, compliance), ce qui peut affecter les tâches riches en contacts.
• En tant qu'architecture résiduelle, elle ne peut pas récupérer d'états situés très loin de la distribution d'entraînement du VLA de base.
• Les tâches de précision sub-millimétrique peuvent dépasser l'exactitude actuelle de l'estimation de pose.