Bridging the Embodiment Gap: Disentangled Cross-Embodiment Video Editing

Résumé Technique : Combler le Fossé de l'Incarnation par l'Édition Vidéo Inter-Embodiment Désenchevêtrée

Énoncé du Problème
L'article aborde le fossé critique de l'« incarnation » dans l'apprentissage de la manipulation robotique à partir de vidéos humaines. Bien que les vidéos humaines à l'échelle d'Internet offrent une solution évolutive au goulot d'étranglement des données en robotique, un décalage de distribution substantiel existe entre les démonstrateurs humains et les apprenants robotiques. Ce fossé englobe des différences visuelles (apparence, point de vue) et, plus critique encore, des différences morphologiques et dynamiques découlant de cinématiques distinctes, de degrés de liberté et d'affordances physiques. Les approches existantes échouent souvent car elles produisent des représentations entrelacées, où l'information pertinente pour la tâche est couplée à des biais cinématiques spécifiques à l'humain, limitant ainsi l'adaptabilité. D'autres méthodes reposant sur des pipelines procéduraux (par exemple, l'inpainting d'humains et le superposition de modèles robotiques) aboutissent souvent à des plans vidéo irréalistes, inadaptés à l'apprentissage de politiques en aval.

Méthodologie
Les auteurs proposent un cadre génératif pour l'édition vidéo inter-embodiment qui apprend explicitement des représentations désenchevêtrées de la tâche et de l'incarnation. L'architecture centrale se compose de trois composants principaux :

1. Backbone Génératif Gelé : Le cadre utilise un modèle de diffusion vidéo pré-entraîné et gelé (VACE, un Transformateur de Diffusion Latent) comme backbone génératif. Cela exploite des priors forts pour une synthèse vidéo de haute qualité et temporellement cohérente, sans nécessiter de réentraînement complet du modèle.
2. Encodeurs Désenchevêtrés :
   • Encodeur de Tâche ($E_{\theta_{task}}$) : Un encodeur entraînable qui traite des entrées multi-modales issues de la vidéo humaine source : une description textuelle de l'objectif ($T$), des séquences de mouvement des mains ($M_s$) et des trajectoires d'objets ($O_s$). Il produit une embedding de tâche invariante à l'incarnation ($z_{task}$).
   • Encodeur d'Incarnation ($E_{\theta_{emb}}$) : Un encodeur entraînable qui traite une image statique de l'effecteur terminal de l'agent cible ($C_s$) pour générer une embedding spécifique à l'incarnation ($z_{emb}$).
3. Adaptateur Économe en Paramètres : Un adaptateur léger et entraînable ($A_\psi$) injecte les codes latents désenchevêtrés dans le Transformateur de Diffusion gelé. Cela permet au modèle de guider la génération à plusieurs niveaux de caractéristiques sans modifier les poids du backbone original.

Objectifs d'Entraînement
Pour garantir que les représentations de tâche et d'incarnation soient véritablement orthogonales, les auteurs emploient un objectif de double apprentissage contrastif parallèlement à une perte standard de reconstruction par Flow Matching (LFM) :

• Désenchevêtrement (Minimisation de l'Information Mutuelle) : Un estimateur CLUB est utilisé pour minimiser l'information mutuelle entre $z_{task}$ et $z_{emb}$. Cela est réalisé en contrastant la vraisemblance logarithmique d'échantillons naturellement appariés contre celle d'échantillons appariés aléatoirement, forçant ainsi les deux espaces latents à être indépendants.
• Cohérence Intra-Espace (Maximisation de la Similarité) : Une perte InfoNCE est appliquée séparément aux espaces de tâche et d'incarnation. Cela rapproche les embeddings de la même classe sémantique (par exemple, différentes vidéos d'une même tâche, ou différentes images d'un même robot) tout en écartant les classes différentes, assurant ainsi des représentations robustes et discriminatives.
• Reconstruction : Le modèle est entraîné à reconstruire la vidéo source à partir du bruit conditionné par ses propres embeddings désenchevêtrés, optimisant les paramètres via le Flow Matching.

Contributions Clés

1. Cadre de Désenchevêtrement Génératif : L'article introduit un cadre novateur qui factorise explicitement les vidéos de démonstration en espaces latents orthogonaux pour la tâche et l'incarnation, abordant directement le décalage de distribution dans l'Apprentissage à partir de Vidéos (LfV).
2. Objectif Contrastif Double : Les auteurs proposent une stratégie d'entraînement qui minimise simultanément l'information mutuelle entre les espaces de tâche et d'incarnation (assurant l'indépendance) et maximise la cohérence intra-espace (assurant la stabilité), sans nécessiter de données appariées inter-embodiment.
3. Adaptation Économe en Paramètres : En augmentant un modèle de diffusion vidéo gelé avec des encodeurs entraînables et un adaptateur léger, la méthode atteint une synthèse haute fidélité avec des mises à jour de paramètres minimales.
4. Solution de Données Évolutives : L'approche permet la synthèse de vidéos d'exécution cohérentes et spécifiques au robot à partir d'une seule démonstration humaine, offrant une voie évolutive pour exploiter les données humaines à l'échelle d'Internet pour l'apprentissage par imitation robotique.

Résultats Expérimentaux
Le cadre a été évalué sur des tâches d'édition vidéo inter-embodiment (par exemple, saisie, versement) utilisant des données dérivées de l'ensemble de données PH2D.

• Performance Quantitative : La méthode proposée a surpassé les références (VACE et Phantom) sur toutes les métriques de fidélité vidéo (FVD, LPIPS, PSNR, SSIM). Notamment, elle a obtenu les scores les plus élevés dans les métriques de qualité dynamique et temporelle (Qualité Esthétique, Style Temporel, Fluidité du Mouvement, Cohérence Globale) au sein de la suite VBench, tandis que les modèles à usage général peinaient avec la plausibilité dynamique.
• Analyse Qualitative : Les comparaisons visuelles ont montré que, tandis que les références hallucinaient soit des morphologies incorrectes (VACE) soit produisaient des superpositions non photoréalistes (Phantom), la méthode proposée générait des vidéos à la fois morphologiquement exactes et temporellement cohérentes.
• Validation du Désenchevêtrement : Les visualisations t-SNE et les cartes de chaleur de corrélation des caractéristiques ont confirmé que l'objectif de double apprentissage contrastif a réussi à séparer les caractéristiques de tâche et d'incarnation en clusters distincts et non superposés.
• Validation en Aval : Dans une expérience de Clonage Comportemental Visuel (BC) utilisant un robot humanoïde Unitree H1, les politiques entraînées sur les vidéos robotiques générées ont obtenu des erreurs de validation inférieures par rapport aux politiques entraînées sur des données alignées via la référence HAT. Cela suggère que les vidéos générées fournissent une supervision cinématique mieux alignée avec l'incarnation physique du robot.

Signification et Revendications
L'article revendique que, en apprenant des représentations explicitement désenchevêtrées, il résout le défi fondamental du décalage de distribution dans le LfV. La méthode permet la traduction des compétences humaines en « plans visuels denses » pour des morphologies robotiques diverses, sans nécessiter de données appariées humain-robot. Les auteurs positionnent ce travail comme une solution évolutive au goulot d'étranglement des données en robotique, permettant l'utilisation de vidéos humaines à l'échelle d'Internet pour entraîner des agents incarnés généralistes. La signification réside dans la capacité à générer des démonstrations visuelles centrées sur le robot, physiquement plausibles, qui peuvent directement informer l'apprentissage de politiques en aval, comblant ainsi le fossé entre l'observation humaine et l'exécution robotique.