Bridging the Embodiment Gap: Disentangled Cross-Embodiment Video Editing

Technische Samenvatting: De Embodiment-Kloof Overbruggen via Ontkoppelde Cross-Embodiment Video-editing

Probleemstelling
Het artikel adresseert de kritieke "embodiment-kloof" bij het leren van robotmanipulatie uit menselijke video's. Hoewel menselijke video's op internet-schaal een schaalbare oplossing bieden voor het databottleneck in de robotica, bestaat er een aanzienlijke distributiewisseling tussen menselijke demonstranten en robotische leerlingen. Deze kloof omvat visuele verschillen (uiterlijk, gezichtspunt) en, nog kritischer, morfologische en dynamische verschillen die voortvloeien uit verschillende kinematica, vrijheidsgraden en fysieke affordances. Bestaande benaderingen falen vaak omdat ze verstrengelde representaties produceren, waarbij taakrelevante informatie is gekoppeld aan mensspecifieke kinematische biases, wat de aanpasbaarheid beperkt. Andere methoden die vertrouwen op procedurale pipelines (bijvoorbeeld het inpainten van mensen en het overlappen van robotmodellen) resulteren vaak in onrealistische videoplannen die ongeschikt zijn voor downstream beleidsleren.

Methodologie
De auteurs stellen een generatief kader voor cross-embodiment video-editing voor dat expliciet ontkoppelde representaties leert van de taak en het embodiment. De kernarchitectuur bestaat uit drie hoofdcomponenten:

1. Bevroren Generatieve Ruggegraat: Het kader maakt gebruik van een vooraf getraind, bevroren videodiffusiemodel (VACE, een Latent Diffusion Transformer) als generatieve ruggegraat. Dit benut sterke priors voor hoogwaardige, temporair coherente videosynthese zonder volledige modelhertraining te vereisen.
2. Ontkoppelde Encoders:
   • Taak-encoder ($E_{\theta_{task}}$): Een trainbare encoder die multimodale invoer verwerkt uit de bron-menselijke video: een tekstuele doelomschrijving ($T$), handbewegingssequenties ($M_s$) en objecttrajecten ($O_s$). Het outputt een embodiment-invariante taakembedding ($z_{task}$).
   • Embodiment-encoder ($E_{\theta_{emb}}$): Een trainbare encoder die een statische afbeelding verwerkt van het eind-effectorgedeelte van het doelagent ($C_s$) om een embodiment-specifieke embedding ($z_{emb}$) te genereren.
3. Parameter-efficiënte Adapter: Een lichtgewicht, trainbare adapter ($A_\psi$) injecteert de ontkoppelde latente codes in de bevroren Diffusion Transformer. Dit stelt het model in staat om generatie op meerdere feature-niveaus te sturen zonder de oorspronkelijke ruggegraatgewichten te wijzigen.

Trainingsdoelen
Om ervoor te zorgen dat de taak- en embodiment-representaties werkelijk orthogonaal zijn, hanteren de auteurs een dual contrastief leerdoel naast een standaard Flow Matching (LFM) reconstructieverlies:

• Ontkoppeling (Minimaliseren van wederzijdse informatie): Een CLUB-schatter wordt gebruikt om de wederzijdse informatie tussen $z_{task}$ en $z_{emb}$ te minimaliseren. Dit wordt bereikt door de log-likelihood van natuurlijk gekoppelde steekproeven te contrasteren met willekeurig gekoppelde steekproeven, waardoor de twee latente ruimtes onafhankelijk worden gedwongen.
• Intra-ruimte consistentie (Maximaliseren van gelijkenis): Een InfoNCE-verlies wordt afzonderlijk toegepast op de taak- en embodiment-ruimtes. Dit trekt embeddings van dezelfde semantische klasse samen (bijvoorbeeld verschillende video's van dezelfde taak, of verschillende afbeeldingen van dezelfde robot) terwijl het verschillende klassen uit elkaar duwt, waardoor robuuste en discriminerende representaties worden gewaarborgd.
• Reconstructie: Het model wordt getraind om de bronvideo te reconstrueren uit ruis, geconditioneerd op zijn eigen ontkoppelde embeddings, waarbij de parameters worden geoptimaliseerd via Flow Matching.

Belangrijkste Bijdragen

1. Generatief Ontkoppelingskader: Het artikel introduceert een nieuw kader dat demonstratievideo's expliciet factoriseert in orthogonale latente ruimtes voor taak en embodiment, wat direct de distributiewisseling in Learning from Videos (LfV) adresseert.
2. Dual Contrastief Doel: De auteurs stellen een trainingsstrategie voor die simultaan de wederzijdse informatie tussen taak- en embodiment-ruimtes minimaliseert (waarbij onafhankelijkheid wordt gewaarborgd) en de intra-ruimte consistentie maximaliseert (waarbij stabiliteit wordt gewaarborgd), zonder gekoppelde cross-embodiment data te vereisen.
3. Parameter-efficiënte Aanpassing: Door een bevroren videodiffusiemodel aan te vullen met trainbare encoders en een lichtgewicht adapter, bereikt de methode hoogwaardige synthese met minimale parameterupdates.
4. Schaalbare Data-oplossing: De aanpak maakt het mogelijk om coherente, robotspecifieke uitvoeringsvideo's te synthetiseren vanuit een enkele menselijke demonstratie, en biedt zo een schaalbare weg om menselijke data op internet-schaal te benutten voor robotisch imitatie-leren.

Experimentele Resultaten
Het kader werd geëvalueerd op cross-embodiment video-editing taken (bijvoorbeeld grijpen, schenken) met behulp van data afgeleid van de PH2D-dataset.

• Kwantitatieve Prestaties: De voorgestelde methode presteerde beter dan baselines (VACE en Phantom) op video-fideliteitsmetrieken (FVD, LPIPS, PSNR, SSIM). Opmerkelijk is dat het de hoogste scores behaalde op dynamische en temporale kwaliteitsmetrieken (Aesthetic Quality, Temporal Style, Motion Smoothness, Overall Consistency) binnen de VBench-suite, terwijl algemene modellen worstelden met dynamische plausibiliteit.
• Kwalitatieve Analyse: Visuele vergelijkingen toonden aan dat terwijl baselines óf incorrecte morfologieën hallucineerden (VACE) óf niet-fotorealistische overlays produceerden (Phantom), de voorgestelde methode video's genereerde die zowel morfologisch accuraat als temporair coherent waren.
• Validatie van Ontkoppeling: t-SNE-visualisaties en feature-correlatie warmtekaarten bevestigden dat het dual contrastieve doel taak- en embodiment-features succesvol scheidde in distincte, niet-overlappende clusters.
• Downstream Validatie: In een Visual Behavioral Cloning (BC) experiment met een Unitree H1 humanoid robot, bereikten beleidsplannen getraind op de gegenereerde robotvideo's lagere validatiefouten vergeleken met beleidsplannen getraind op data die werd uitgelijnd via de HAT-baseline. Dit suggereert dat de gegenereerde video's kinematische supervisie bieden die beter is uitgelijnd met de fysieke embodiment van de robot.

Betekenis en Claims
Het artikel claimt dat door expliciet ontkoppelde representaties te leren, het de fundamentele uitdaging van distributiewisseling in LfV oplost. De methode maakt het mogelijk om menselijke vaardigheden te vertalen naar "dichte visuele plannen" voor diverse robotmorfologieën zonder de noodzaak van gekoppelde mens-robot data. De auteurs positioneren dit werk als een schaalbare oplossing voor het databottleneck in de robotica, waardoor het gebruik van menselijke video op internet-schaal mogelijk wordt om generalistische embodiment agents te trainen. De betekenis ligt in het vermogen om fysiek plausibele, robotgerichte visuele demonstraties te genereren die direct downstream beleidsleren kunnen informeren, en zo de kloof overbruggen tussen menselijke observatie en robotische uitvoering.