LOME: Learning Human-Object Manipulation with Action-Conditioned Egocentric World Model

Título: LOME: Aprendendo Manipulação Humano-Objeto com um Modelo de Mundo Ego-Cêntrico Condicionado a Ações

1. O Problema

A aprendizagem de manipulação humano-objeto (HOI) é fundamental para visão computacional, gráficos e robótica. No entanto, ela apresenta desafios significativos devido à natureza de alta granularidade e rica em contatos dos movimentos envolvidos.

• Limitações dos Métodos Atuais:
  • Baseados em Física: Requerem modelagem extensa e configuração manual, não generalizam bem para morfologias de objetos diversas e não escalam para ambientes do mundo real.
  • Baseados em Reconstrução (3D/4D): Métodos que tentam reconstruir poses ou estados futuros a partir de imagens estáticas ou vídeos curtos são inerentemente limitados na síntese de novas interações e falham em generalizar para ambientes não vistos.
  • Modelos de Geração de Vídeo (T2V/I2V): Modelos pré-treinados condicionados apenas a texto ou imagens frequentemente produzem movimentos de baixa qualidade ou não seguem instruções espaciais precisas.
  • Controle Espacial Existente: Sinais de controle como fluxo óptico ou trajetórias de movimento são problemáticos para manipulação, pois sofrem com oclusões e, fundamentalmente, prescrevem o movimento do objeto em vez de deixá-lo emergir naturalmente da ação humana.

O objetivo é criar um pipeline geral capaz de simular interações fisicamente plausíveis com objetos diversos, eliminando a necessidade de otimização por cena ou reconstrução 3D explícita.

2. Metodologia (LOME)

O LOME é um modelo de mundo ego-cêntrico que gera vídeos realistas de interações mão-objeto condicionados a uma imagem de referência, um prompt de texto e ações humanas per-frame (poses corporais e gestos das mãos).

Arquitetura e Design Chave:

• Base: O modelo é construído sobre um modelo de difusão de vídeo pré-treinado (Wan2.1-VACE-14B), utilizando adaptação leve (LoRA) para preservar os priores de movimento do modelo base.
• Entradas:
  1. Imagem de Referência: Define o cenário e os objetos.
  2. Prompt de Texto: Descreve a interação desejada.
  3. Ações Humanas: Sequência de poses corporais e gestos das mãos.
• Mapas de Ação (Action Maps): Em vez de usar representações latentes discretas, o LOME projeta os pontos-chave 3D humanos (esqueleto e mãos) no plano da imagem 2D, criando mapas espaciais rasterizados que guiam onde as mãos devem aparecer.
• Modelagem Conjunta Ação-Ambiente (Inovação Principal):
  • Otimização ingênua de usar ações como condição falha em gerar interações precisas.
  • O LOME reformula o objetivo de treinamento para modelar a distribuição conjunta de ações e ambiente.
  • Durante o treinamento, o modelo faz denoising (remoção de ruído) simultaneamente dos latentes do vídeo e dos latentes dos mapas de ação concatenados temporalmente. Isso permite um desacoplamento mais limpo entre a ação humana e a dinâmica do ambiente.
• Guia de Inferência Modificado: Inspirado no VideoJAM, o método de Classifier-Free Guidance (CFG) é adaptado para lidar com a dependência não independente entre a ação (que também é gerada/denoised) e o vídeo, utilizando pesos específicos ($w_1, w_2$) para equilibrar as condições.
• Adaptação de Câmera: Um adaptador leve codifica extrínsecos e intrínsecos da câmera em mapas de raios, adicionando características de câmera aos latentes do vídeo para manter a consistência geométrica.

3. Principais Contribuições

1. LOME: Introdução de um modelo de mundo ego-cêntrico condicionado a ações que aprende interações humano-objeto de alta granularidade e ricas em contatos a partir de capturas de vídeo do mundo real.
2. Modelagem Conjunta: Proposta de aprender a distribuição conjunta de ações e contextos ambientais (incluindo objetos) com múltiplas condições, alcançando manipulação precisa e realista.
3. Generalização e Realismo Físico: Demonstração de que o método pode simular interações coerentes em diversos cenários do mundo real (incluindo múltiplos objetos) e produzir consequências físicas realistas (ex: dinâmica de líquidos ao derramar) sem reconstrução 3D/4D ou simulação explícita.

4. Resultados e Avaliação

O LOME foi avaliado no conjunto de dados EgoDex e em amostras "in-the-wild", comparado com CoSHAND, Wan-I2V e Go-with-the-Flow (GwtF).

• Métricas Quantitativas:
  • Precisão de Ação (PCK@20): O LOME alcançou 66.85%, superando significativamente o melhor baseline (CoSHAND com 51.33%).
  • Consistência Temporal (FVD): Melhorou de 59.83 (CoSHAND) para 39.58, indicando vídeos mais suaves e consistentes.
  • Qualidade Visual: Superou os baselines em métricas de alinhamento semântico e coerência física.
• Estudo com Usuários:
  • 97% de preferência na aderência à ação.
  • 94% de preferência na qualidade visual.
• Análise Qualitativa:
  • O LOME consegue gerar consequências físicas realistas, como o nível de líquido subindo em uma xícara ao derramar, algo que os outros métodos falharam em fazer consistentemente.
  • Mantém a consistência de objetos e mãos mesmo em interações complexas com múltiplos objetos.
  • Demonstra diversidade de saída sob as mesmas condições (estocasticidade).

5. Significado e Impacto

O LOME representa um avanço significativo na síntese de vídeo condicional para robótica e realidade aumentada/virtual (AR/VR):

• Escalabilidade: Elimina a necessidade de modelagem 3D paramétrica ou simulações físicas explícitas, permitindo a geração de dados de treinamento para robôs em escala.
• Realismo: Capaz de simular física complexa (como fluidos e colisões) aprendendo diretamente de vídeos do mundo real.
• Aplicabilidade: Abre caminho para experiências de AR/VR fotorealistas e treinamento escalável de robôs humanoides que imitam o comportamento humano de forma segura e precisa, sem as limitações de ambientes simulados tradicionais.

Em resumo, o LOME supera as limitações dos métodos atuais ao integrar explicitamente o controle espacial das ações humanas na geração de vídeo, resultando em interações humano-objeto que são não apenas visualmente fiéis, mas também fisicamente coerentes.