Resumo Técnico: Syn4D: Um Conjunto de Dados Sintético 4D Multiview

Declaração do Problema

A reconstrução 3D densa e o rastreamento de cenas dinâmicas a partir de vídeo monoculares permanecem desafios abertos significativos na visão computacional. Embora as abordagens baseadas em aprendizado recentes tenham mostrado promessa em superar os pipelines tradicionais baseados em otimização (por exemplo, Estrutura a partir do Movimento) para reconstrução 4D, seu progresso é limitado pela escassez de conjuntos de dados de alta qualidade. Conjuntos de dados existentes frequentemente carecem de anotações geométricas densas, completas e precisas, são limitados a cenas estáticas ou fornecem apenas dados geométricos esparsos/ruidosos (por exemplo, Stereo4D). Além disso, muitos conjuntos de dados sintéticos existentes (por exemplo, Kubric, PointOdyssey) falham em fornecer informações multiview combinadas com anotações de rastreamento 3D denso, que são cruciais para aprender representações espaço-temporais robustas.

Metodologia

Construção do Conjunto de Dados (Syn4D)

Os autores introduzem o Syn4D, um conjunto de dados sintético em grande escala e totalmente sintético projetado para preencher a lacuna na disponibilidade de dados 4D. O conjunto de dados é construído proceduralmente usando Unreal Engine 5 e compreende 4,7 mil clipes de vídeo multiview totalizando 1,4 milhão de quadros.

• Geração de Conteúdo: As cenas são criadas combinando 30 ambientes 3D curados (da loja Unreal Fab) com ativos dinâmicos diversos. Esses ativos incluem 1.674 objetos 3D animados (robôs, animais, monstros) filtrados do Objaverse(-XL) e 585 humanos dinâmicos simulados do Bedlam2. Os ativos são posicionados usando mapas de ocupação de solo para evitar colisões.
• Configuração da Câmera: Cada clipe é renderizado com 8 câmeras sincronizadas. Os movimentos da câmera incluem tomadas estáticas, de acompanhamento, de dolly e de órbita, com tremulação sintética de ruído Perlin. Os intrínsecos variam no campo de visão horizontal (39,6°–90°), e os extrínsecos são projetados para garantir cobertura espacial abrangente (azimute >250°, polar >30°, variação radial >2,5m).
• Anotações: O Syn4D fornece movimento de câmera ground-truth, mapas de profundidade, mapas de pontos, segmentação de instâncias e anotações de pose paramétrica humana (SMPL-X).
• Representação de Rastreamento Denso: Uma contribuição técnica chave é o armazenamento eficiente de anotações de rastreamento 3D denso. Armazenar coordenadas 3D explícitas para cada pixel em todos os quadros e visualizações é inviável (terabytes de dados). Em vez disso, os autores representam os rastros usando mapas baricêntricos alinhados a pixels emparelhados com sequências de malha variantes no tempo. Para qualquer pixel $u$, a posição 3D no tempo $t$ é reconstruída identificando a face triangular $f$ que contém o pixel e calculando as coordenadas baricêntricas $\alpha$ em relação aos vértices dessa face. Isso reduz a complexidade de armazenamento de $O(HWT^2C^2)$ para um gerenciável $O(HWTC + VT)$.
• Legenda: Legendas globais e locais são geradas usando o modelo de visão-linguagem Tarsier2-7B para suportar tarefas de geração de vídeo.

Treinamento e Avaliação do Modelo

O artigo avalia o Syn4D treinando e ajustando finamente modelos de última geração em três tarefas principais:

1. Diffusion Multiview Consciente de Geometria: Os autores estendem o ReCamMaster para aceitar mapas de pontos como entrada juntamente com vídeo, permitindo a síntese simultânea de novas visualizações e geometria 4D consistente.
2. Reconstrução e Rastreamento 4D: O modelo 4RC é treinado em conjunto com o Syn4D e conjuntos de dados existentes (PointOdyssey, Dynamic Replica, etc.) para prever conjuntamente poses de câmera, geometria densa e movimento.
3. Estimativa de Pose Humana: O modelo MA-HMR é ajustado finamente no Syn4D (combinado com BEDLAM, AGORA, DTO-Humans) para melhorar a recuperação de malha de múltiplas pessoas em cenários ocluídos.

Contribuições Principais

1. Primeiro Conjunto de Dados 4D Multiview Público com Rastreamento Denso: O Syn4D é o primeiro conjunto de dados publicamente disponível contendo vídeos multiview de cenas dinâmicas com anotações de rastreamento 3D denso para objetos dinâmicos gerais, juntamente com imagens de câmera, mapas de profundidade e rótulos de pose humana.
2. Armazenamento Eficiente de Anotações: A introdução de uma representação baseada em mapas baricêntricos permite o armazenamento e a consulta eficiente de rastros 3D densos ao longo do tempo e das visualizações sem custos de armazenamento proibitivos.
3. Novas Benchmarks e Métricas: Os autores introduzem novas métricas de avaliação para síntese de nova visualização consciente de geometria (avaliando tanto a qualidade visual quanto a consistência geométrica) e rastreamento 3D (APD e EPE para trajetórias densas).
4. Utilidade Demonstrada: Experimentos extensivos mostram que o treinamento no Syn4D melhora significativamente o desempenho de modelos prontos para uso no rastreamento 3D, estimativa de profundidade de vídeo, estimativa de pose de câmera, reconstrução multiview e estimativa de pose humana.

Resultados

• Síntese de Nova Visualização Consciente de Geometria: Modelos treinados no Syn4D superaram os treinados no Kubric em todas as métricas. Especificamente, no benchmark interno dos autores, o treinamento no Syn4D melhorou o CLIP-V (alinhamento visual) de 0,643 para 0,740 e o FVD (consistência temporal) de 631 para 452. Também alcançou qualidade geométrica superior (CLIP-V-P: 0,816 vs. 0,757).
• Rastreamento 3D: O treinamento conjunto com o Syn4D melhorou significativamente tanto o rastreamento 3D esparso quanto o denso. Para o rastreamento denso no conjunto de teste "Warehouse", a Porcentagem Média de Pontos (APD) aumentou de 58,35 para 74,46, e o Erro de Ponto Final (EPE) diminuiu de 3,84 para 1,89.
• Pose de Câmera e Reconstrução: O modelo 4RC treinado em conjunto com o Syn4D mostrou melhorias consistentes na estimativa de pose de câmera (por exemplo, o Erro Absoluto de Translação no Sintel caiu de 0,144 para 0,076) e na precisão da reconstrução 3D multiview.
• Estimativa de Pose Humana: O ajuste fino do MA-HMR com Syn4D reduziu o Erro de Posição por Articulação (MPJPE) no benchmark 3DPW de 63,2mm para 62,5mm e o Erro por Vértice (PVE) de 73,8mm para 72,9mm, demonstrando o valor de padrões sintéticos de oclusão diversos.

Significado e Alegações

O artigo alega que o Syn4D aborda um gargalo crítico na pesquisa de visão 4D: a falta de conjuntos de dados em grande escala e de alta qualidade com anotações geométricas e de movimento densas. Ao fornecer um conjunto de dados que permite a recuperação da posição 3D de qualquer ponto em qualquer imagem a qualquer momento, o Syn4D facilita a pesquisa na compreensão de cenas dinâmicas e na modelagem espaço-temporal. Os autores afirmam que seus resultados destacam o potencial dos dados sintéticos para melhorar modelos de última geração e motivam investimentos futuros na criação de dados 4D em grande escala. Eles demonstram ainda que o conjunto de dados permite o treinamento de novos modelos, como modelos de difusão conscientes de geometria capazes de gerar sequências de vídeo de nova visualização consistentes com a geometria 4D correspondente.