VolHuMe: a High-Resolution Large Scale Dataset of Volumetric Human Meshes

Resumo Técnico do VolHuMe: Um Conjunto de Dados de Malhas Volumétricas Humanas de Alta Resolução e Grande Escala

Declaração do Problema
Os conjuntos de dados atuais para reconstrução humana 4D enfrentam um compromisso fundamental entre escala, qualidade de captura e riqueza de anotação. Conjuntos de dados "in-the-wild" frequentemente sofrem com imagens ruidosas, pontos de vista esparsos e iluminação não controlada, enquanto conjuntos de dados sintéticos carecem de fidelidade geométrica detalhada. Por outro lado, conjuntos de dados em ambientes controlados, que oferecem geometria de alta qualidade, costumam cobrir apenas um pequeno número de indivíduos ou dependem de capturas de corpo inteiro à distância. Essa dependência de visões distantes limita a reconstrução de detalhes finos e próximos, como expressões faciais, articulação das mãos e texturas de roupas. Além disso, os recursos existentes frequentemente carecem da combinação abrangente de modalidades necessária para um treinamento robusto: malhas texturizadas de alta resolução, nuvens de pontos densas, dados RGB/profundidade multi-visão e ajustes de modelos paramétricos precisos (ex: SMPL-X) simultaneamente.

Metodologia e Aquisição de Dados
Para abordar essas lacunas, os autores apresentam o VolHuMe, um conjunto de dados de grande escala composto por varreduras humanas 4D de alta qualidade. Os dados foram adquiridos usando o Mantis Vision Volumetric Capture System, uma configuração de estúdio de última geração.

• Hardware: O sistema apresenta um volume de captura cilíndrico (2,5 m de diâmetro, 3 m de altura) equipado com 32 módulos. Cada módulo contém duas câmeras RGB coplanares e uma câmera monocromática para estimativa de profundidade por luz estruturada, totalizando 64 câmeras RGB (2456 × 2054 pixels) e 32 câmeras de profundidade (1280 × 1024 pixels).
• Estratégia de Captura: Ao contrário das configurações tradicionais de corpo inteiro, o VolHuMe utiliza uma estratégia de captura de visão parcial e curto alcance. As câmeras são posicionadas a 80–120 cm do sujeito. Essa proximidade permite o mais alto nível de detalhe possível após a fusão das visões, priorizando a resolução de partes do corpo detalhadas em detrimento da cobertura de corpo inteiro à distância.
• Sujeitos e Duração: O conjunto de dados inclui 104 sujeitos adultos diversos (40% mulheres, 60% homens, idades entre 18–70 anos). Cada sujeito foi registrado por um minuto, gerando um total de 156.000 quadros anotados.
• Anotações: O conjunto de dados fornece uma extensa verdade fundamental (ground truth), incluindo:
  • Malhas de alta resolução e malhas com esqueleto (rigged) prontas para animação.
  • Nuvens de pontos densas.
  • Imagens RGB e de profundidade multi-visão.
  • Segmentação de vestimentas.
  • Ajustes de SMPL-X: Validados com um erro de pele de 4,73 mm e um erro de penetração de roupa de 20,05%, atendendo aos padrões da indústria para medição humana ao vivo.
  • Ajustes de modelo FLAME: Aplicados às características faciais para maior precisão.

Principais Contribuições

1. Conjunto de Dados de Curto Alcance e Alta Resolução: O VolHuMe é o primeiro conjunto de dados de grande escala a priorizar capturas de partes do corpo em curto alcance e alta resolução, preservando detalhes geométricos e texturais finos que frequentemente se perdem em varreduras de corpo inteiro à distância.
2. Verdade Fundamental Abrangente: Oferece um conjunto completo de anotações (malhas, nuvens de pontos, ajustes de SMPL-X/FLAME e imagens multi-visão) que raramente está disponível em um único recurso, permitindo diversas tarefas de pesquisa.
3. Benchmark de Multi-Visão Esparsa: O conjunto de dados desafia os métodos atuais de estado da arte (SOTA) ao fornecer uma configuração de multi-visão esparsa (32 módulos) que exige reconstrução de alta fidelidade a partir de observações parciais, em vez de depender de arranjos densos de câmeras.

Resultados Experimentais
Os autores testaram o VolHuMe em tarefas de reconstrução 3D e 4D para avaliar métodos SOTA e expor limitações atuais.

• Síntese de Visão e Estimativa de Malha:

  • Métodos padrão de NeRF e 3D Gaussian Splatting (3DGS) falharam em convergir nos dados brutos devido à esparsidade de pontos de vista e fundos uniformes. Foram necessárias variantes customizadas envolvendo composição de fundo para um treinamento estável.
  • Métodos baseados em fotogrametria alcançaram a melhor precisão de reconstrução de malha, mas ainda ficaram aquém do detalhe da malha de verdade fundamental.
  • Radiant Foam alcançou o melhor desempenho de síntese de visão (PSNR 39,20, SSIM 0,981), superando tanto as abordagens NeRF quanto as de 3DGS.
  • Métodos 3DGS mostraram uma recuperação melhorada de texturas de média frequência em comparação ao NeRF, mas tenderam a suavizar excessivamente detalhes finos.

• Reconstrução Humana 4D:

  • GPS-Gaussian: Ao ser avaliado no VolHume, este método alcançou um PSNR de 36,85, superando significativamente seus resultados no conjunto de dados THuman2.0 (25,57). Isso indica que a verdade fundamental de maior fidelidade no VolHuMe leva a uma melhor reconstrução downstream.
  • Animatable Gaussians: Alcançou um PSNR de 29,59 no VolHuMe, comparável aos resultados no conjunto de dados de captura densa ActorHQ (30,36), apesar de o VolHuMe utilizar apenas 32 módulos esparsos contra os 160 módulos do ActorHQ.
  • Análise de Amostragem Espacial: Um experimento controlado no Blender demonstrou que as visões parciais de curto alcance do VolHuMe geram 1.582.839 pixels de cobertura espacial efetiva, em comparação com 926.774 pixels de uma imagem de corpo inteiro 4K à distância. Isso confirma que configurações de curto alcance fornecem amostragem espacial superior, mesmo com menos câmeras.

Significância e Alegações
O artigo afirma que o VolHuMe serve como um benchmark desafiador que expõe as limitações dos atuais testbeds de avaliação. Os autores sustentam que:

1. Observações parciais de curto alcance podem alcançar uma qualidade de reconstrução igual ou superior às configurações de captura de corpo inteiro densas em termos de amostragem espacial efetiva e recuperação de detalhes.
2. Os métodos SOTA existentes lutam para explorar totalmente detalhes geométricos e texturais finos quando confrontados com entradas de multi-visão esparsas, muitas vezes exigindo pré-processamento auxiliar (como composição de fundo) para funcionar.
3. O conjunto de dados fornece um recurso necessário para o avanço da reconstrução humana de alta fidelidade, renderização e síntese de visão, particularmente para tarefas que exigem articulação detalhada de mãos, faces e vestimentas.

Os autores mantêm uma postura modesta, observando que, embora seu conjunto de dados possibilite novas capacidades, os métodos atuais ainda requerem adaptação significativa para lidar com os desafios específicos de dados esparsos e de curto alcance sem perder detalhes. Eles posicionam o VolHuMe não como um problema resolvido, mas como um campo de teste rigoroso para impulsionar pesquisas futuras em modelagem humana 4D.