Bridging the Embodiment Gap: Disentangled Cross-Embodiment Video Editing

Resumen Técnico: Puenteando la Brecha de Encarnación mediante Edición de Video Desacoplada entre Encarnaciones

Enunciado del Problema
El artículo aborda la crítica "brecha de encarnación" en el aprendizaje de manipulación robótica a partir de videos humanos. Si bien los videos humanos a escala de internet ofrecen una solución escalable al cuello de botella de datos en robótica, existe un desplazamiento de distribución sustancial entre los demostradores humanos y los aprendices robóticos. Esta brecha abarca diferencias visuales (apariencia, punto de vista) y, más críticamente, diferencias morfológicas y dinámicas que surgen de cinemáticas distintas, grados de libertad y posibilidades físicas. Los enfoques existentes a menudo fallan porque producen representaciones entrelazadas, donde la información relevante para la tarea se acopla con sesgos cinemáticos específicos del ser humano, limitando la adaptabilidad. Otros métodos que dependen de pipelines procedimentales (por ejemplo, inpainting de humanos y superposición de modelos robóticos) a menudo resultan en planes de video poco realistas inadecuados para el aprendizaje de políticas aguas abajo.

Metodología
Los autores proponen un marco generativo para la edición de video entre encarnaciones que aprende explícitamente representaciones desacopladas de la tarea y la encarnación. La arquitectura central consta de tres componentes principales:

1. Columna Vertebral Generativa Congelada: El marco utiliza un modelo de difusión de video preentrenado y congelado (VACE, un Transformador de Difusión Latente) como columna vertebral generativa. Esto aprovecha priores fuertes para la síntesis de video de alta calidad y coherente en el tiempo sin requerir el reentrenamiento completo del modelo.
2. Codificadores Desacoplados:
   • Codificador de Tarea ($E_{\theta_{task}}$): Un codificador entrenable que procesa entradas multimodales del video humano de origen: una descripción textual del objetivo ($T$), secuencias de movimiento de la mano ($M_s$) y trayectorias de objetos ($O_s$). Produce una incrustación de tarea invariante a la encarnación ($z_{task}$).
   • Codificador de Encarnación ($E_{\theta_{emb}}$): Un codificador entrenable que procesa una imagen estática del efector final del agente objetivo ($C_s$) para generar una incrustación específica de la encarnación ($z_{emb}$).
3. Adaptador Eficiente en Parámetros: Un adaptador ligero y entrenable ($A_\psi$) inyecta los códigos latentes desacoplados en el Transformador de Difusión congelado. Esto permite que el modelo dirija la generación en múltiples niveles de características sin modificar los pesos originales de la columna vertebral.

Objetivos de Entrenamiento
Para asegurar que las representaciones de tarea y encarnación sean verdaderamente ortogonales, los autores emplean un objetivo de aprendizaje contrastivo dual junto con una pérdida estándar de reconstrucción de Flujo de Correspondencia (LFM):

• Desacoplamiento (Minimización de la Información Mutua): Se utiliza un estimador CLUB para minimizar la información mutua entre $z_{task}$ y $z_{emb}$. Esto se logra contrastando la verosimilitud logarítmica de muestras emparejadas naturalmente frente a muestras emparejadas aleatoriamente, forzando a que los dos espacios latentes sean independientes.
• Consistencia Intra-Espacio (Maximización de la Similitud): Se aplica una pérdida InfoNCE por separado a los espacios de tarea y encarnación. Esto agrupa las incrustaciones de la misma clase semántica (por ejemplo, diferentes videos de la misma tarea, o diferentes imágenes del mismo robot) mientras separa las clases diferentes, asegurando representaciones robustas y discriminativas.
• Reconstrucción: El modelo se entrena para reconstruir el video de origen a partir del ruido condicionado por sus propias incrustaciones desacopladas, optimizando los parámetros mediante Flujo de Correspondencia.

Contribuciones Clave

1. Marco de Desacoplamiento Generativo: El artículo introduce un marco novedoso que factoriza explícitamente los videos de demostración en espacios latentes ortogonales para la tarea y la encarnación, abordando directamente el desplazamiento de distribución en el Aprendizaje a partir de Videos (LfV).
2. Objetivo Contrastivo Dual: Los autores proponen una estrategia de entrenamiento que minimiza simultáneamente la información mutua entre los espacios de tarea y encarnación (asegurando independencia) y maximiza la consistencia intra-espacio (asegurando estabilidad), sin requerir datos emparejados entre encarnaciones.
3. Adaptación Eficiente en Parámetros: Al augmentar un modelo de difusión de video congelado con codificadores entrenables y un adaptador ligero, el método logra una síntesis de alta fidelidad con actualizaciones mínimas de parámetros.
4. Solución de Datos Escalable: El enfoque permite la síntesis de videos de ejecución coherentes y específicos del robot a partir de una sola demostración humana, ofreciendo una vía escalable para aprovechar los datos humanos a escala de internet para el aprendizaje de imitación robótica.

Resultados Experimentales
El marco fue evaluado en tareas de edición de video entre encarnaciones (por ejemplo, agarrar, verter) utilizando datos derivados del conjunto de datos PH2D.

• Rendimiento Cuantitativo: El método propuesto superó a las líneas base (VACE y Phantom) en todas las métricas de fidelidad de video (FVD, LPIPS, PSNR, SSIM). Notablemente, logró las puntuaciones más altas en métricas de calidad dinámica y temporal (Calidad Estética, Estilo Temporal, Suavidad del Movimiento, Consistencia General) dentro del conjunto VBench, mientras que los modelos de propósito general lucharon con la plausibilidad dinámica.
• Análisis Cualitativo: Las comparaciones visuales mostraron que, mientras las líneas base ya sea alucinaban morfologías incorrectas (VACE) o producían superposiciones no fotorrealistas (Phantom), el método propuesto generó videos que eran tanto morfológicamente precisos como coherentes en el tiempo.
• Validación del Desacoplamiento: Las visualizaciones t-SNE y los mapas de calor de correlación de características confirmaron que el objetivo contrastivo dual separó con éxito las características de tarea y encarnación en clústeres distintos y no superpuestos.
• Validación Aguas Abajo: En un experimento de Clonación Conductual Visual (BC) utilizando un robot humanoide Unitree H1, las políticas entrenadas con los videos de robots generados lograron errores de validación más bajos en comparación con las políticas entrenadas con datos alineados mediante la línea base HAT. Esto sugiere que los videos generados proporcionan una supervisión cinemática mejor alineada con la encarnación física del robot.

Significado y Afirmaciones
El artículo afirma que, al aprender representaciones explícitamente desacopladas, resuelve el desafío fundamental del desplazamiento de distribución en LfV. El método permite la traducción de habilidades humanas en "planes visuales densos" para diversas morfologías robóticas sin la necesidad de datos emparejados humano-robot. Los autores posicionan este trabajo como una solución escalable al cuello de botella de datos en robótica, permitiendo el uso de videos humanos a escala de internet para entrenar agentes encarnados generalistas. El significado radica en la capacidad de generar demostraciones visuales centradas en el robot y físicamente plausibles que pueden informar directamente el aprendizaje de políticas aguas abajo, puenteando la brecha entre la observación humana y la ejecución robótica.