Resumo Técnico: Real2Sim em HOI: Rumo à Reconstrução de Interação Humano-Objeto Fisicamente Plausível a partir de Vídeos Monoculares

1. Declaração do Problema

Recuperar a interação humano-objeto (HOI) 4D a partir de vídeos monoculares é um passo crítico para a criação escalável de conteúdo 3D, IA corporificada e aprendizado baseado em simulação. Embora métodos recentes (por exemplo, VisTracker, CARI4D, THO) tenham alcançado progresso na reconstrução de trajetórias humanas e de objetos temporalmente coerentes, eles sofrem de uma "lacuna de interação" fundamental. Esses métodos tipicamente tratam humanos e objetos como entidades independentes em um espaço 3D ambíguo, resultando em saídas visualmente plausíveis, mas fisicamente instáveis. Especificamente, pipelines existentes frequentemente falham em preservar contato estável, manipulação funcional ou plausibilidade dinâmica quando usados como movimentos de referência para simulação de interação humanoide-objeto. O desafio central é que as abordagens de reconstrução atuais não recuperam explicitamente a relação funcional em evolução que liga as trajetórias humanas e de objetos em uma interação coerente, tornando-as inadequadas como "trajetórias professoras" para execuções físicas.

2. Metodologia: HA-HOI

Os autores propõem HA-HOI (HOI Ancorado no Humano), um framework projetado para reconstruir animações 4D de HOI fisicamente plausíveis a partir de vídeos monoculares do mundo real. A ideia central é que, na maioria dos cenários de HOI, o humano é o agente ativo, e o movimento do objeto é condicionado à ação humana. Consequentemente, o framework adota uma formulação humano-primeiro, objeto-seguinte, tratando o corpo humano como o sistema de coordenadas organizador da interação, em vez de apenas outra entidade reconstruída.

O pipeline consiste em quatro estágios distintos:

3.1 Âncora de Interação Centrada no Humano

Em vez de reconstruir rastros humanos e de objetos independentemente, o sistema primeiro estabelece um movimento humano temporalmente coerente como a âncora de interação.

• Recuperação Humana: O sistema recupera o movimento do corpo no espaço mundial usando parâmetros SMPL-X, fundindo poses de mãos MANO para garantir articulação de mãos de alta granularidade, crítica para a interação.
• Calibração de Profundidade: Previsões de profundidade monoculares são calibradas a essa âncora humana. Em vez de tratar a profundidade como uma representação global da cena, um fator de escala é estimado para alinhar pontos de profundidade não projetados na região humana com a malha recuperada. Isso preserva a escala métrica do movimento humano enquanto usa a profundidade como evidência geométrica local para o posicionamento do objeto.

3.2 Reconstrução de Seguimento do Objeto

Com a âncora humana estabelecida, o objeto é reconstruído relativo a esse quadro de referência.

• Construção de Malha: Uma malha de objeto canônica é construída a partir de quadros visíveis, utilizando inpainting de imagem para regiões ocluídas e modelos de reconstrução 3D de imagem única.
• Estimativa de Escala: Como a reconstrução monocular carece de escala métrica, o sistema estima uma escala de objeto ótima ($s^\star_o$) alinhando o objeto aos silhuetas observadas na imagem e à profundidade calibrada, penalizando a discrepância de profundidade em relação à âncora humana.
• Rastreamento: A malha de objeto escalada é rastreada ao longo do vídeo usando FoundationPose. A confiabilidade é garantida por consistência de máscara-profundidade, com interpolação usada para quadros não confiáveis. A trajetória resultante é transformada para o quadro de mundo centrado no humano, produzindo uma trajetória de HOI grosseira ($\tau^0$).

3.3 Refinamento Semântico de Contato

A trajetória grosseira pode ainda carecer de coerência física (por exemplo, objetos flutuantes ou penetrações). Para abordar isso, o sistema emprega refinamento semântico de contato.

• Propostas de Contato: Um Modelo Visão-Linguagem (InteractVLM) prevê regiões de contato prováveis tanto na malha humana quanto na malha do objeto para quadros representativos.
• Otimização: O sistema otimiza articulações corporais selecionadas, poses de mãos e poses de objetos para minimizar uma função de perda composta. Isso inclui:
  • Perda de Contato ($L_c$): Inicialmente usa distância de vizinho mais próximo bidirecional, depois alterna para um objetivo de campo de distância assinada (SDF) para puxar vértices de contato humanos para a superfície do objeto.
  • Perda de Penetração ($L_p$): Penaliza interseções de malha.
  • Suavidade ($L_s$), Ancoragem ($L_a$) e Regularização ($L_r$): Garantem estabilidade temporal e adesão à reconstrução grosseira.
• Otimização Progressiva: O processo itera desde o ajuste da profundidade do objeto sob movimento humano fixo até a otimização conjunta da pose do objeto, pose da mão e articulações corporais, refinando finalmente poses de punho e dedos.

3.4 Projeção de Interação Baseada em Física

O estágio final projeta a trajetória cinemática em uma simulação baseada em física para garantir plausibilidade dinâmica.

• Configuração de Simulação: A sequência humana otimizada é convertida em um movimento de referência humanoide, e o objeto é modelado como um corpo rígido dinâmico.
• Controlador Residual: Um controlador residual específico da sequência é treinado. Ele observa o estado simulado e o estado de referência, emitindo uma ação residual para modificar o alvo da articulação de referência.
• Objetivo de Treinamento: A função de recompensa equilibra fidelidade do movimento (rastreamento humano, acordo de trajetória de objeto, articulação de mão) com estabilidade de interação (manutenção de contato ativo, restrições de velocidade).
• Saída: A saída final é uma animação fisicamente plausível ($\tau_{phys}$) que permanece próxima ao vídeo de entrada, mas suporta interação estável sob gravidade e dinâmicas de contato.

3. Contribuições Principais

1. Framework HA-HOI: Um pipeline escalável, sem treinamento, que transforma vídeos de HOI monoculares do mundo real em trajetórias prontas para simulação, deslocando o foco do rastreamento 4D alinhado visualmente para animação de interação fundamentada fisicamente.
2. Formulação Humano-Primeiro, Objeto-Seguinte: Uma estratégia de reconstrução inovadora que usa movimento humano ancorado no mundo como a âncora de interação, reconstruindo o movimento do objeto relativo à ação humana e refinando o contato através de propostas guiadas por VLM e otimização explícita.
3. Avaliação Fundamentada em Física: A demonstração de que o HA-HOI alcança reconstrução precisa de HOI 4D enquanto melhora significativamente a plausibilidade física, consistência de contato e estabilidade temporal para simulação de interação humanoide-objeto, indo além de métricas geométricas padrão.

4. Resultados Experimentais

O método foi avaliado no conjunto de dados BEHAVE, um benchmark RGB-D multiview com registros pseudo-verdadeiros. O protocolo de avaliação usou entradas RGB monoculares sem modelos de objeto verdadeiros, anotações de contato ou ajustes manuais.

• Desempenho Quantitativo: O HA-HOI alcançou resultados competitivos ou superiores em todas as métricas em comparação com métodos do estado da arte (CHORE, InterTrack, VisTracker, CARI4D, THO).
  • Precisão Humana: Alcançou a menor distância de Chamfer para humanos (CD-h: 7,11 cm) e o menor erro de aceleração humana (Acc-h: 0,52 cm/s²).
  • Plausibilidade de Interação: Alcançou a menor pontuação de penetração humano-objeto (0,013 cm), uma melhoria significativa sobre a melhor linha de base (0,084 cm). Isso indica uma redução drástica em interseções fisicamente inválidas.
• Análise Qualitativa: Comparações visuais mostram que o HA-HOI mantém relações funcionais mão-objeto (por exemplo, pegadas estáveis, posicionamento correto do objeto) onde linhas de base como CARI4D frequentemente produzem objetos flutuantes ou contatos ambíguos. O método preserva com sucesso semânticas de interação mesmo após simulação física.
• Estudos de Ablação:
  • Remover o refinamento de contato aumentou a penetração de 0,013 para 0,097, confirmando que a otimização de contato é essencial para validade física, mesmo que altere ligeiramente as pontuações de alinhamento geométrico.
  • O método permanece robusto sem malhas de objeto verdadeiras ou parâmetros de câmera, validando sua aplicabilidade a cenários de mundo aberto.

5. Significado e Alegações

O artigo argumenta que a reconstrução 4D de HOI monocular deve ir além do rastreamento independente de humanos e objetos para recuperar a própria relação de interação. Ao tratar o humano como o princípio organizador e impor restrições físicas através da simulação, o HA-HOI preenche a lacuna entre observação visual e realidade física.

Os autores afirmam que este trabalho representa um passo em direção a transformar vídeos gerais de HOI monoculares em demonstrações escaláveis para comportamento de interação humanoide-objeto. Embora o trabalho atual foque em trajetórias prontas para simulação, os autores observam que o objetivo final é implantar essas reconstruções em robôs humanoides reais, embora desafios relacionados à transferência sim-real e limitações de hardware permaneçam para trabalhos futuros. O significado reside em redefinir o objetivo da reconstrução de HOI: não apenas "parecer certo" em 3D, mas "agir corretamente" sob leis físicas.