Bridging the Embodiment Gap: Disentangled Cross-Embodiment Video Editing

Resumo Técnico: Ponte para a Lacuna de Embodiment via Edição de Vídeo Desacoplada entre Embodiments

Declaração do Problema
O artigo aborda a lacuna crítica de "embodiment" no aprendizado de manipulação robótica a partir de vídeos humanos. Embora vídeos humanos em escala de internet ofereçam uma solução escalável para o gargalo de dados na robótica, existe uma mudança de distribuição substancial entre demonstradores humanos e aprendizes robóticos. Essa lacuna abrange diferenças visuais (aparência, ponto de vista) e, mais criticamente, diferenças morfológicas e dinâmicas decorrentes de cinemáticas distintas, graus de liberdade e affordances físicas. Abordagens existentes frequentemente falham porque produzem representações entrelaçadas, onde informações relevantes para a tarefa são acopladas a vieses cinemáticos específicos do humano, limitando a adaptabilidade. Outros métodos que dependem de pipelines procedurais (por exemplo, inpainting de humanos e sobreposição de modelos robóticos) frequentemente resultam em planos de vídeo pouco realistas, inadequados para o aprendizado de políticas a jusante.

Metodologia
Os autores propõem um framework generativo para edição de vídeo entre embodiments que aprende explicitamente representações desacopladas da tarefa e do embodiment. A arquitetura central consiste em três componentes principais:

1. Backbone Generativo Congelado: O framework utiliza um modelo de difusão de vídeo pré-treinado e congelado (VACE, um Transformador de Difusão Latente) como backbone generativo. Isso aproveita priores fortes para síntese de vídeo de alta qualidade e coerente temporalmente, sem exigir re-treinamento completo do modelo.
2. Codificadores Desacoplados:
   • Codificador de Tarefa ($E_{\theta_{task}}$): Um codificador treinável que processa entradas multimodais do vídeo humano de origem: uma descrição textual do objetivo ($T$), sequências de movimento das mãos ($M_s$) e trajetórias de objetos ($O_s$). Ele produz um embedding de tarefa invariante ao embodiment ($z_{task}$).
   • Codificador de Embodiment ($E_{\theta_{emb}}$): Um codificador treinável que processa uma imagem estática do efetuador final do agente alvo ($C_s$) para gerar um embedding específico do embodiment ($z_{emb}$).
3. Adaptador Eficiente em Parâmetros: Um adaptador leve e treinável ($A_\psi$) injeta os códigos latentes desacoplados no Transformador de Difusão congelado. Isso permite que o modelo oriente a geração em múltiplos níveis de características sem modificar os pesos originais do backbone.

Objetivos de Treinamento
Para garantir que as representações de tarefa e embodiment sejam verdadeiramente ortogonais, os autores empregam um objetivo de aprendizado contrastivo duplo ao lado de uma perda padrão de reconstrução por Flow Matching (LFM):

• Desacoplamento (Minimização da Informação Mútua): Um estimador CLUB é utilizado para minimizar a informação mútua entre $z_{task}$ e $z_{emb}$. Isso é alcançado contrastando a verossimilhança logarítmica de amostras naturalmente emparelhadas contra amostras emparelhadas aleatoriamente, forçando os dois espaços latentes a serem independentes.
• Consistência Intra-Espaço (Maximização da Similaridade): Uma perda InfoNCE é aplicada separadamente aos espaços de tarefa e embodiment. Isso agrupa embeddings da mesma classe semântica (por exemplo, diferentes vídeos da mesma tarefa, ou diferentes imagens do mesmo robô) e afasta classes diferentes, garantindo representações robustas e discriminativas.
• Reconstrução: O modelo é treinado para reconstruir o vídeo de origem a partir do ruído condicionado aos seus próprios embeddings desacoplados, otimizando os parâmetros via Flow Matching.

Principais Contribuições

1. Framework de Desacoplamento Generativo: O artigo introduz um framework inovador que fatoriza explicitamente vídeos de demonstração em espaços latentes ortogonais para tarefa e embodiment, abordando diretamente a mudança de distribuição no Aprendizado a partir de Vídeos (LfV).
2. Objetivo Contrastivo Duplo: Os autores propõem uma estratégia de treinamento que minimiza simultaneamente a informação mútua entre os espaços de tarefa e embodiment (garantindo independência) e maximiza a consistência intra-espaço (garantindo estabilidade), sem exigir dados pareados entre embodiments.
3. Adaptação Eficiente em Parâmetros: Ao aumentar um modelo de difusão de vídeo congelado com codificadores treináveis e um adaptador leve, o método alcança síntese de alta fidelidade com atualizações mínimas de parâmetros.
4. Solução Escalável de Dados: A abordagem permite a síntese de vídeos de execução coerentes e específicos para robôs a partir de uma única demonstração humana, oferecendo um caminho escalável para aproveitar dados humanos em escala de internet para aprendizado de imitação robótica.

Resultados Experimentais
O framework foi avaliado em tarefas de edição de vídeo entre embodiments (por exemplo, agarrar, despejar) usando dados derivados do conjunto de dados PH2D.

• Desempenho Quantitativo: O método proposto superou as linhas de base (VACE e Phantom) em todas as métricas de fidelidade de vídeo (FVD, LPIPS, PSNR, SSIM). Notavelmente, alcançou as pontuações mais altas em métricas de qualidade dinâmica e temporal (Qualidade Estética, Estilo Temporal, Suavidade do Movimento, Consistência Geral) dentro do conjunto VBench, enquanto modelos de propósito geral lutaram com a plausibilidade dinâmica.
• Análise Qualitativa: Comparações visuais mostraram que, enquanto as linhas de base ou alucinavam morfologias incorretas (VACE) ou produziam sobreposições não fotorealistas (Phantom), o método proposto gerou vídeos que eram tanto morfologicamente precisos quanto coerentes temporalmente.
• Validação de Desacoplamento: Visualizações t-SNE e mapas de calor de correlação de características confirmaram que o objetivo contrastivo duplo separou com sucesso as características de tarefa e embodiment em clusters distintos e não sobrepostos.
• Validação a Jusante: Em um experimento de Clonagem Comportamental Visual (BC) usando um robô humanoide Unitree H1, políticas treinadas nos vídeos de robô gerados alcançaram erros de validação menores em comparação com políticas treinadas em dados alinhados via a linha de base HAT. Isso sugere que os vídeos gerados fornecem supervisão cinemática melhor alinhada com o embodiment físico do robô.

Significado e Alegações
O artigo alega que, ao aprender representações explicitamente desacopladas, resolve o desafio fundamental da mudança de distribuição no LfV. O método permite a tradução de habilidades humanas em "planos visuais densos" para diversas morfologias robóticas sem a necessidade de dados pareados humano-robô. Os autores posicionam este trabalho como uma solução escalável para o gargalo de dados na robótica, permitindo o uso de vídeos humanos em escala de internet para treinar agentes embodiment generalistas. O significado reside na capacidade de gerar demonstrações visuais centradas no robô e fisicamente plausíveis que podem informar diretamente o aprendizado de políticas a jusante, fechando a lacuna entre a observação humana e a execução robótica.