Domain-Adaptive Communication-Rate Optimization for Sim-to-Real Humanoid-Robot Wireless XR Teleoperation

Résumé technique : Optimisation adaptative du taux de communication pour la téléopération sans fil de robots humanoïdes en réalité étendue (XR) de la simulation vers le réel

Énoncé du problème
La téléopération en réalité étendue (XR) sans fil offre une méthode évolutive pour collecter des démonstrations de haute qualité de robots humanoïdes via des interfaces humaines immersives. Cependant, son adoption généralisée est entravée par la surcharge énergétique élevée requise pour l'échantillonnage et la transmission fréquents des mouvements, particulièrement compte tenu du caractère variable dans le temps des canaux sans fil (dû à la mobilité, aux obstructions et aux interférences). De plus, l'entraînement de politiques conscientes des communications directement sur des robots physiques est souvent impraticable en raison des contraintes de sécurité, des coûts matériels et des inefficacités de collecte de données. Par conséquent, les politiques sont généralement entraînées en simulation, mais cela introduit un décalage de distribution « de la simulation vers le réel » qui dégrade les performances lors du déploiement sur du matériel physique. Le défi central consiste à concevoir un cadre qui optimise conjointement la précision de la reconstruction des mouvements et la consommation d'énergie des communications, tout en traitant explicitement l'écart de distribution entre l'entraînement en simulation et le déploiement dans le monde réel.

Méthodologie
L'article propose un cadre système unifié intégrant l'échantillonnage, la transmission, l'interpolation et la reconstruction, couplé à une approche d'apprentissage par renforcement (RL) adaptative aux domaines.

1. Cadre système et formulation du problème :

   • Le système fonctionne sur des créneaux de décision discrets où des taux d'échantillonnage dimensionnels sont sélectionnés pour les données de mouvement XR.
   • Un problème d'optimisation à long terme est formulé pour minimiser le coût moyen de téléopération sur le système réel, en équilibrant l'erreur de reconstruction et l'énergie de communication effective.
   • Puisque le système réel n'est pas utilisé pour un entraînement interactif, le problème est résolu à l'aide de simulations corrigées par des données hors ligne du domaine réel. Ceci est modélisé comme un processus de décision markovien (MDP) où l'objectif inclut un poids de rapport de densité ($\iota_t$) pour convertir les attentes du simulateur en attentes du domaine réel.

2. Analyse théorique (PAC-Bayes) :

   • Les auteurs dérivent une caractérisation de généralisation PAC-Bayes pour le transfert de la simulation vers le réel.
   • Cette analyse décompose l'écart de performance du domaine réel en quatre composantes : le risque empirique pondéré par l'importance, l'erreur d'approximation du rapport de densité, la déviation due à l'échantillonnage fini et le biais de représentation de l'encodeur.
   • Cette fondation théorique guide la conception de l'optimisation de la politique pour atténuer des sources d'erreur spécifiques, en particulier le biais de l'encodeur et les imprécisions de l'estimation du rapport de densité.

3. Algorithme d'optimisation de politique adaptatif aux domaines :

   • L'algorithme proposé utilise l'optimisation de politique proximale (PPO) améliorée par un pondération de rapport de densité latente et une régularisation de région de confiance. L'entraînement se déroule en trois phases :
     • Préchauffage de l'encodeur : Un encodeur de type Perceptron Multicouche (MLP) est initialisé en utilisant une perte de Discrépance Maximale Moyenne (MMD) sur des échantillons mixtes de simulateur et de domaine réel pour créer un espace latent partagé.
     • Étape 1 (Encodeur figé) : L'encodeur est figé. Un rapport de densité latent ($\hat{\iota}$) est estimé (en utilisant uLSIF ou KLIEP) pour servir de poids d'importance. La politique de taux de communication est optimisée dans l'espace latent en utilisant un PPO pondéré.
     • Étape 2 (Affinage de l'encodeur) : La politique est figée et l'encodeur est affiné. Un terme de régularisation de région de confiance (centré sur les paramètres de l'encodeur de l'Étape 1) est ajouté à la perte MMD pour empêcher une dérive de représentation incontrôlée tout en améliorant l'alignement inter-domaines.
   • Ce processus itératif alterne entre l'optimisation de la politique et l'affinement contrôlé de l'encodeur.

Contributions clés

• Cadre : Un cadre de téléopération XR sans fil de la simulation vers le réel qui prend conjointement en compte l'échantillonnage dimensionnel des mouvements, la transmission soucieuse de l'énergie et la reconstruction du robot sous décalage de distribution.
• Caractérisation théorique : Une borne de généralisation PAC-Bayes qui tient explicitement compte des erreurs d'estimation du rapport de densité latente et du biais de représentation induit par l'encodeur, fournissant une guidance théorique pour un transfert de politique robuste.
• Algorithme : Un cadre d'entraînement adaptatif aux domaines novateur combinant la correction du rapport de densité latente avec le PPO et la régularisation de région de confiance. Cette approche permet un apprentissage efficace de politiques à l'aide de données de simulateur tout en corrigeant les biais de déploiement dans le monde réel à l'aide de données hors ligne, sans nécessiter d'interaction en ligne avec le robot physique.

Résultats expérimentaux
Des expériences ont été menées en utilisant un jeu de données public de téléopération humanoïde (Humanoid Everyday) et un environnement de simulation personnalisé (Unitree Isaac Lab).

• Convergence : Les méthodes proposées (DR-PPO-uLSIF et DR-PPO-KLIEP) ont démontré une convergence stable, DR-PPO-uLSIF montrant une convergence plus rapide et des performances plus lisses par rapport aux variantes basées sur KLIEP.
• Performance par rapport aux références : Par rapport à des références incluant le PPO non pondéré, le PPO-MMD (sans repondération de densité) et la transmission à taux complet (FT), les méthodes proposées ont atteint des erreurs de reconstruction significativement plus faibles sous diverses conditions de canal sans fil.
• Efficacité énergétique : Les algorithmes proposés ont réduit la consommation d'énergie de communication effective à environ la moitié de celle du PPO non pondéré et du PPO-MMD, en particulier dans des conditions de canal dégradées (par exemple, -105 dB).
• Adaptabilité : Le système a appris avec succès des taux d'échantillonnage adaptatifs aux mouvements, augmentant la fréquence de transmission pour les dimensions à haute dynamique (par exemple, les angles de la main habile) et la réduisant pour les dimensions stables, optimisant ainsi le compromis entre précision et énergie.

Signification
L'article affirme que sa signification principale réside dans la résolution des défis couplés de l'efficacité énergétique et du décalage simulation-réalité dans l'IA incarnée sans fil. En intégrant une analyse théorique de généralisation avec un cadre d'intelligence de communication adaptatif aux domaines, le travail démontre qu'il est possible d'atteindre des politiques de téléopération robustes et économes en énergie en utilisant des données de simulation corrigées par des trajectoires réelles hors ligne. Les résultats soulignent la nécessité de dépasser les techniques d'adaptation de domaine standard pour aborder les problèmes de contrôle de communication séquentielle où les décisions actuelles affectent les états futurs du système.