CARI4D: Category Agnostic 4D Reconstruction of Human-Object Interaction

Resumo Técnico: CARI4D

1. O Problema

A captura de interações humano-objeto (HOI) a partir de câmeras RGB monoculares é fundamental para aplicações em robótica, jogos, realidade aumentada e compreensão humana. No entanto, a reconstrução 4D (espaço + tempo) a partir de uma única visão enfrenta desafios significativos:

• Ambiguidade de Escala e Profundidade: A falta de informações de profundidade torna difícil recuperar a escala métrica e a geometria detalhada.
• Variação de Categoria e Forma: O corpo humano e os objetos variam drasticamente em forma e pose, dificultando a generalização de modelos treinados em categorias específicas.
• Oclusões e Contatos: As interações envolvem oclusões severas e contatos físicos complexos que modelos anteriores frequentemente ignoram ou tratam de forma inconsistente.
• Limitações do Estado da Arte: Trabalhos anteriores geralmente exigem modelos de objetos pré-definidos (templates), assumem categorias conhecidas ou falham em manter a consistência temporal e métrica em vídeos do "mundo real" (in-the-wild).

2. Metodologia

O CARI4D é o primeiro método agnóstico a categorias capaz de reconstruir interações humano-objeto 4D em escala métrica e com consistência temporal a partir de um único vídeo RGB. A abordagem segue um pipeline de "coarse-to-fine" (de grosso para fino) que integra modelos de fundação (foundation models) com um módulo de raciocínio de contato aprendido.

O processo é dividido em quatro etapas principais:

A. Reconstrução de Objeto em Escala Métrica (Sec. 3.1)

• Assume-se que o objeto é visível no primeiro frame.
• Utiliza-se o Hunyuan3D-2 para gerar uma malha 3D do objeto a partir da imagem inicial.
• Para resolver a escala, utiliza-se o UniDepth para estimar profundidade métrica e o FoundationPose para realizar uma busca em grade (coarse-to-fine) de escalas candidatas.
• A escala é selecionada minimizando a distância de Chamfer entre a nuvem de pontos segmentada e a malha do objeto.

B. Inicialização de Pose e Seleção de Hipóteses (Sec. 3.2)

• Objeto: O FoundationPose gera múltiplas hipóteses de pose por frame. Como a estimativa de profundidade é ruidosa e há oclusões, o método propõe um algoritmo de seleção de hipóteses de pose. Ele filtra as candidatas baseando-se em:
  1. IoU de Máscara: Comparação entre a máscara renderizada da pose candidata e a máscara do objeto na imagem (considerando a oclusão pela mão humana).
  2. Suavidade Temporal: Distância geodésica em relação à pose do frame anterior.
  • Se todas as hipóteses forem filtradas devido a oclusão, o sistema salta para frames futuros e faz uma busca reversa.
• Humano: Utiliza-se o NLF (Neural Localizer Fields) para estimar a pose humana. A pose é então alinhada à escala métrica do objeto e à profundidade estimada pelo UniDepth através de um processo iterativo de alinhamento de nuvem de pontos.

C. Raciocínio de Contato e Refinamento (CoCoNet) (Sec. 3.3)

• As poses iniciais são independentes e podem resultar em objetos flutuando ou penetrando no corpo humano.
• Introduz-se o CoCoNet (Category Agnostic Contact reasoning Network).
• Paradigma Render-and-Compare: O CoCoNet renderiza as estimativas iniciais (RGB, profundidade e máscaras) e compara com as observações reais da câmera.
• A rede (baseada em DINOv2 e atenção espaço-temporal) prevê atualizações delta ($\Delta$) para as poses do humano e do objeto, além de rótulos binários de contato (se as mãos estão tocando o objeto).
• Alinhamento de Treinamento: Para evitar que o modelo aprenda erros de estimativa de profundidade, os dados de treino são alinhados (escala e deslocamento) para que a profundidade estimada corresponda à profundidade Ground Truth antes do treinamento.

D. Otimização Conjunta Baseada em Contato (Sec. 3.4)

• As previsões do CoCoNet são refinadas através de uma otimização conjunta que minimiza uma função de perda composta por:
  • Perda de Contato ($L_c$): Minimiza a distância entre as mãos e o objeto quando contato é previsto.
  • Perda de Projeção 2D ($L_{j2d}$): Alinha as juntas do corpo humano com detectores 2D (OpenPose).
  • Perda de Máscara ($L_m$): Garante que a silhueta renderizada corresponda à máscara observada.
  • Perda de Penetração ($L_{pen}$): Usa o modelo VolumetricSMPL para evitar que o objeto atravesse o corpo humano.
  • Perda de Aceleração ($L_{acc}$): Garante suavidade no movimento.

3. Principais Contribuições

1. Primeiro Método Agnóstico a Categorias: Reconstrói objetos e humanos em escala métrica sem precisar de templates de objetos ou conhecimento prévio da categoria do objeto.
2. Algoritmo de Seleção de Hipóteses: Uma técnica robusta para rastrear a pose de objetos sob oclusão severa, superando as limitações de modelos de fundação isolados.
3. CoCoNet: Uma rede de raciocínio de contato que refina poses e prevê interações físicas detalhadas usando um paradigma de renderização e comparação.
4. Generalização Zero-Shot: O modelo generaliza para categorias de objetos nunca vistas durante o treinamento e funciona em vídeos da internet ("in-the-wild").

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados BEHAVE (in-distribution) e InterCap (out-of-distribution/unseen), além de vídeos da internet.

• Desempenho Quantitativo:
  • No conjunto BEHAVE, o CARI4D superou os baselines (InterTrack e VisTracker) em mais de 35% na métrica de distância de Chamfer combinada (CD-c).
  • No conjunto InterCap (categorias não vistas), superou os métodos existentes em 36%, demonstrando forte capacidade de generalização zero-shot.
  • Redução significativa no erro de aceleração, indicando movimentos mais suaves e fisicamente plausíveis.
• Comparação Qualitativa:
  • Superou métodos baseados em imagem (como PICO) que sofrem com correspondências erradas e erros de escala.
  • Superou métodos baseados em vídeo (VisTracker, InterTrack) que falham em generalizar para novos objetos ou produzem trajetórias inconsistentes.
• Eficiência: O método é significativamente mais rápido que abordagens baseadas em otimização por imagem (PICO), processando um vídeo de 300 frames em ~45 minutos (vs. 1560 minutos do PICO), mantendo alta precisão.

5. Significado e Impacto

O CARI4D representa um avanço crucial na visão computacional 3D ao eliminar a dependência de modelos de objetos específicos, permitindo a reconstrução de interações complexas em cenários do mundo real.

• Aplicações Práticas: Facilita a criação de dados de treinamento para robótica (aprendizado por reforço), animação de personagens em jogos e realidade virtual, onde a interação física precisa ser precisa e generalizável.
• Viabilidade: Ao funcionar apenas com vídeo RGB monoculares e sem necessidade de câmeras multi-visão ou sensores de profundidade dedicados, democratiza o acesso a dados 4D de alta qualidade.
• Reprodutibilidade: O código e os modelos pré-treinados foram liberados publicamente, fomentando pesquisas futuras na área de reconstrução de interações.

Em suma, o CARI4D resolve o problema de "como reconstruir interações 4D realistas sem saber o que é o objeto", combinando a robustez de modelos de fundação com o raciocínio físico aprendido.