VolHuMe: a High-Resolution Large Scale Dataset of Volumetric Human Meshes

Resumen Técnico de VolHuMe: Un Conjunto de Datos de Mallas Volumétricas Humanas de Alta Resolución y Gran Escala

Declaración del Problema
Los conjuntos de datos actuales para la reconstrucción humana 4D enfrentan un compromiso fundamental entre escala, calidad de captura y riqueza de anotación. Los conjuntos de datos "in-the-wild" suelen sufrir de imágenes ruidosas, puntos de vista dispersos e iluminación no controlada, mientras que los conjuntos de datos sintéticos carecen de una fidelidad geométrica detallada. Por el contrario, los conjuntos de datos en entornos controlados, que ofrecen geometría de alta calidad, suelen cubrir solo un pequeño número de sujetos o dependen de capturas de cuerpo completo desde la distancia. Esta dependencia de vistas distantes limita la reconstrucción de detalles finos y cercanos, como las expresiones faciales, la articulación de las manos y las texturas de la ropa. Además, los recursos existentes carecen frecuentemente de la combinación exhaustiva de modalidades necesarias para un entrenamiento robusto: mallas texturizadas de alta resolución, nubes de puntos densas, imágenes RGB/profundidad multivista y ajustes de modelos paramétricos precisos (por ejemplo, SMPL-X) de forma simultánea.

Metodología y Adquisición de Datos
Para abordar estas brechas, los autores presentan VolHuMe, un conjunto de datos a gran escala compuesto por escaneos humanos 4D de alta calidad. Los datos fueron adquiridos utilizando el Sistema de Captura Volumétrica Mantis Vision, una configuración de estudio de vanguardia.

• Hardware: El sistema cuenta con un volumen de captura cilíndrico (2.5 m de diámetro, 3 m de altura) equipado con 32 módulos. Cada módulo contiene dos cámaras RGB coplanares y una cámara monocromática para la estimación de profundidad por luz estructurada, sumando un total de 64 cámaras RGB (2456 × 2054 píxeles) y 32 cámaras de profundidad (1280 × 1024 píxeles).
• Estrategia de Captura: A diferencia de las configuraciones tradicionales de cuerpo completo, VolHuMe utiliza una estrategia de captura de rango cercano y visión parcial. Las cámaras se posicionan a 80–120 cm del sujeto. Esta proximidad permite el mayor nivel de detalle posible tras la fusión de vistas, priorizando la resolución de partes del cuerpo detalladas sobre la cobertura de cuerpo completo distante.
• Sujetos y Duración: El conjunto de datos incluye 104 sujetos adultos diversos (40% mujeres, 60% hombres, edades de 18 a 70 años). Cada sujeto fue grabado durante un minuto, generando un total de 156,000 fotogramas anotados.
• Anotaciones: El conjunto de datos proporciona una extensa verdad de campo (ground truth), incluyendo:
  • Mallas de alta resolución y mallas con esqueleto (rigged) listas para la animación.
  • Nubes de puntos densas.
  • Imágenes RGB y de profundidad multivista.
  • Segmentación de prendas.
  • Ajustes de SMPL-X: Validados con un error de piel de 4.73 mm y un error de penetración de la ropa del 20.05%, cumpliendo con los estándares de la industria para la medición humana en vivo.
  • Ajustes del modelo FLAME: Aplicados a los rasgos faciales para mejorar la precisión.

Contribuciones Clave

1. Conjunto de Datos de Rango Cercano de Alta Resolución: VolHuMe es el primer conjunto de datos a gran escala que prioriza capturas de partes del cuerpo de rango cercano y alta resolución, preservando detalles geométricos y texturales finos que a menudo se pierden en los escaneos de cuerpo completo distantes.
2. Verdad de Campo Exhaustiva: Ofrece un conjunto completo de anotaciones (mallas, nubes de puntos, ajustes de SMPL-X/FLAME e imágenes multivista) que rara vez está disponible en un solo recurso, permitiendo diversas tareas de investigación.
3. Benchmark de Multivista Disperso: El conjunto de datos desafía a los métodos actuales de estado del arte (SOTA) al proporcionar una configuración multivista dispersa (32 módulos) que exige una reconstrucción de alta fidelidad a partir de observaciones parciales, en lugar de depender de densos arreglos de cámaras.

Resultados Experimentales
Los autores evaluaron VolHuMe en tareas de reconstrucción 3D y 4D para evaluar los métodos SOTA y exponer las limitaciones actuales.

• Síntesis de Vista y Estimación de Malla:

  • Los métodos estándar de NeRF y 3D Gaussian Splatting (3DGS) fallaron en converger sobre los datos brutos debido a la dispersión de los puntos de vista y los fondos uniformes. Se requirieron variantes personalizadas que involucraran la composición de fondos para un entrenamiento estable.
  • Los métodos basados en fotogrametría lograron la mejor precisión de reconstrucción de malla, pero aún quedaron por debajo del detalle de la malla de verdad de campo.
  • Radiant Foam logró el mejor rendimiento de síntesis de vista (PSNR 39.20, SSIM 0.981), superando tanto a los enfoques de NeRF como a los de 3DGS.
  • Los métodos 3DGS mostraron una mejora en la recuperación de texturas de media frecuencia en comparación con NeRF, pero tendieron a suavizar demasiado los detalles finos.

• Reconstrucción Humana 4D:

  • GPS-Gaussian: Al ser evaluado en VolHuMe, este método alcanzó un PSNR de 36.85, superando significativamente sus resultados en el conjunto de datos THuman2.0 (25.57). Esto indica que la verdad de campo de mayor fidelidad en VolHuMe conduce a una mejor reconstrucción descendente.
  • Animatable Gaussians: Logró un PSNR de 29.59 en VolHuMe, comparable a los resultados en el conjunto de datos de captura densa ActorHQ (30.36), a pesar de que VolHuMe utiliza solo 32 módulos dispersos frente a las 160 cámaras de ActorHQ.
  • Análisis de Muestreo Espacial: Un experimento controlado en Blender demostró que las vistas parciales de rango cercano de VolHuMe producen 1,582,839 píxeles de cobertura espacial efectiva, en comparación con los 926,774 píxeles de una imagen de cuerpo completo 4K distante. Esto confirma que las configuraciones de rango cercano proporcionan un muestreo espacial superior incluso con menos cámaras.

Significado y Reivindicaciones
El artículo afirma que VolHuMe sirve como un benchmark desafiante que expone las limitaciones de las plataformas de evaluación actuales. Los autores sostienen que:

1. Las observaciones parciales de rango cercano pueden lograr una calidad de reconstrucción igual o superior a las configuraciones de captura de cuerpo completo densas en términos de muestreo espacial efectivo y recuperación de detalles.
2. Los métodos SOTA existentes luchan por explotar plenamente los detalles geométricos y texturales finos cuando se enfrentan a entradas multivista dispersas, requiriendo a menudo preprocesamiento auxiliar (como la composición de fondo) para funcionar.
3. El conjunto de datos proporciona un recurso necesario para avanzar en la reconstrucción humana de alta fidelidad, el renderizado y la síntesis de vista, particularmente para tareas que requieren una articulación detallada de manos, rostros y vestimenta.

Los autores mantienen una postura modesta, señalando que, si bien su conjunto de datos permite nuevas capacidades, los métodos actuales aún requieren una adaptación significativa para manejar los desafíos específicos de los datos de rango cercano y dispersos sin perder detalle. Posicionan a VolHuMe no como un problema resuelto, sino como un banco de pruebas riguroso para impulsar la investigación futura en el modelado humano 4D.