Résumé Technique : Apprentissage de Tranches d'Actions Continues à Haute Fréquence dans l'Espace Latent

1. Énoncé du Problème

Les politiques robotiques modernes utilisent de plus en plus le découpage en tranches d'actions (action chunking) — prédire des séquences d'actions étendues dans le temps plutôt que des commandes à pas unique — pour modéliser des trajectoires complexes et des dépendances à long horizon. Bien que cette approche soit efficace à des fréquences d'action modérées, elle rencontre des défis significatifs lorsqu'elle est mise à l'échelle vers des fréquences élevées (par exemple, 60 Hz).

À des fréquences élevées, les politiques entraînées directement dans l'espace d'action échouent souvent à générer des actions à la fois temporellement lisses et spatialement cohérentes. Cela se traduit par :

• Trajectoires saccadées : Bruit haute fréquence et imprécisions.
• Mouvements par à-coups : La discrétisation basse fréquence force des accélérations et décélérations répétées, causant des chutes de vitesse et des mouvements discontinus.
• Décalages d'inférence asynchrone : L'exécution en temps réel nécessite de chevaucher l'inférence de la politique avec l'exécution des actions. Cependant, le passage entre des tranches inférées de manière asynchrone introduit souvent de grandes discontinuités aux frontières des tranches, entraînant des arrêts visibles, des retours en arrière et une dégradation de la qualité d'exécution.

Les alternatives existantes, telles que l'entraînement à basse fréquence suivi d'une interpolation vers des hautes fréquences, amplifient les erreurs de prédiction et échouent à retrouver la structure de mouvement fine requise pour un contrôle fluide.

2. Méthodologie

Les auteurs proposent une approche à deux volets pour répondre à ces défis : déplacer l'apprentissage vers un espace latent et introduire une stratégie d'exécution sans entraînement appelée Réutiliser puis Raffiner (Reuse-then-Refine, RTR).

2.1. Apprentissage dans l'Espace Latent via VAE

Au lieu de prédire directement des tranches d'actions à haute fréquence dans l'espace d'action, la politique apprend à prédire dans un espace latent continu compressé par un Autoencodeur Variationnel (VAE).

• Encodeur : Comprime une tranche d'actions à haute fréquence $A_t \in \mathbb{R}^{H \times c}$ (où $H$ est l'horizon et $c$ la dimension de l'action) en une représentation latente de dimension inférieure et sous-échantillonnée temporellement $z \in \mathbb{R}^{h \times d}$ (où $h = H/f$ et $f$ est le facteur de sous-échantillonnage).
• Entraînement de la Politique : La politique $\pi_\theta$ est entraînée à mapper les observations $o_t$ vers des vecteurs latents $z$, plutôt que vers des actions brutes.
• Décodeur : Un décodeur VAE fixe reconstruit la tranche d'actions à haute fréquence à partir du vecteur latent prédit.
• Mécanisme : Cette formulation déplace l'objectif d'apprentissage des variations de commandes fines et haute fréquence vers des motifs de mouvement locaux cohérents. La régularisation KL encourage ces motifs à résider sur une variété latente plus lisse, réduisant la charge sur l'approximation de fonction et supprimant les perturbations haute fréquence spurious.

2.2. Réutiliser puis Raffiner (RTR)

Pour assurer la continuité entre les tranches d'actions adjacentes dans le cadre d'une inférence asynchrone (où la latence d'inférence cause un désalignement entre la tranche prédite et l'état actuel du robot), les auteurs introduisent le RTR.

• Réutilisation : Au lieu de rejeter les actions obsolètes de la tranche précédente ou de la tranche nouvellement inférée, le RTR réutilise les actions exécutées pendant la fenêtre d'inférence.
• Concaténation : Ces actions réutilisées sont concaténées avec la partie non obsolète de la tranche d'actions nouvellement prédite, formant une séquence intermédiaire temporellement désalignée.
• Raffinement : Cette séquence concaténée est injectée dans l'encodeur VAE pour obtenir une représentation latente, qui est ensuite décodée.
• Résultat : Le décodeur VAE lisse les incohérences au sein de la séquence concaténée tout en préservant l'alignement avec les actions exécutées le plus récemment, assurant une transition fluide entre les tranches sans nécessiter d'entraînement supplémentaire de la politique.

3. Contributions Clés

1. Apprentissage Haute Fréquence dans l'Espace Latent : Démontre que l'apprentissage de politiques d'actions à haute fréquence dans un espace latent continu (via VAE) produit des trajectoires nettement plus lisses et précises par rapport à l'apprentissage direct dans l'espace d'action, en particulier pour les modèles reposant sur une tokenisation discrète (par exemple, OpenVLA-OFT).
2. Réutiliser puis Raffiner (RTR) : Propose une stratégie sans entraînement pour améliorer la continuité au niveau des tranches sous inférence asynchrone. Contrairement aux méthodes antérieures (par exemple, RT-C) qui conditionnent la génération sur les tranches précédentes dans l'espace d'action, le RTR exploite le VAE pour raffiner des séquences mixtes d'actions réutilisées et nouvelles.
3. Validation Empirique : Fournit des évaluations extensives dans le monde réel sur trois tâches riches en contacts (Éplucher un Concombre, Essuyer un Vase, Écrire au Tableau) en utilisant trois architectures de politiques distinctes (Diffusion Policy, OpenVLA-OFT, PI0.5).

4. Résultats Expérimentaux

L'article évalue la performance en utilisant des métriques de précision (Erreur Absolue Moyenne/Déviation), de fluidité (Jerk), de sécurité (Nombre de dépassements des limites de vitesse) et de latence.

• Précision et Fluidité : Les politiques latentes surpassent systématiquement leurs équivalents dans l'espace d'action. Par exemple, sur la tâche "Écrire au Tableau", la version latente d'OpenVLA-OFT a réduit le jerk de 5,24 à 0,56 et a considérablement amélioré les taux de réussite.
• Exécution Asynchrone : Le RTR élimine efficacement les "arrêts" et les "retours en arrière" observés dans une exécution asynchrone naïve. Dans la tâche "Écrire au Tableau" avec PI0.5, le RTR a réduit le jerk de 4,984 (Original) à 1,754 (Latent+RTR) et a éliminé les artefacts visibles de retour en arrière.
• Latence : En permettant une exécution plus fluide sans accélérations/décélérations répétées et en réduisant les arrêts, la méthode proposée atteint une latence d'exécution de bout en bout inférieure par rapport aux bases à basse fréquence et aux autres alternatives haute fréquence.
• Ablation : L'étude confirme qu'une compression temporelle modérée (par exemple, un rapport de sous-échantillonnage $f=4$) optimise le compromis entre précision et fluidité, tandis qu'une compression agressive dégrade les performances. Elle montre également que l'application directe de méthodes de continuité comme RT-C dans l'espace latent est inefficace, alors que le RTR est spécifiquement conçu pour ce contexte.

5. Importance et Revendications

Les auteurs affirment que leur travail met en lumière l'importance de la conception conjointe de la représentation et de l'exécution pour le contrôle robotique à haute fréquence.

• Impact Pratique : L'approche fournit une voie pratique pour que les robots exécutent des tâches complexes et riches en contacts de manière continue, avec moins de pauses et de mouvements saccadés dans des environnements réels.
• Généralisabilité : La méthode améliore les performances sur des architectures diverses (Diffusion, VLA/Flow-based) et est compatible avec les cadres d'apprentissage par imitation existants sans nécessiter de réentraînement de l'architecture de base de la politique, seulement l'ajout d'un VAE et de la stratégie d'inférence RTR.
• Limitations : Les auteurs notent que leurs expériences sont actuellement contraintes à 60 Hz en raison des taux d'échantillonnage des capteurs et que l'applicabilité du RTR aux politiques entraînées directement dans l'espace d'action (sans politique latente) reste une question ouverte nécessitant des investigations supplémentaires.

L'article conclut que l'apprentissage dans l'espace latent combiné au RTR permet une exécution robotique stable, continue et fluide, faisant progresser la fiabilité du contrôle à haute fréquence dans les environnements physiques.