VolHuMe: a High-Resolution Large Scale Dataset of Volumetric Human Meshes

Technische Samenvatting van VolHuMe: Een Hoogwaardige Grote Schaal Dataset van Volumetrische Menselijke Meshes

Probleemstelling
Huidige datasets voor 4D-menselijke reconstructie worden geconfronteerd met een fundamentele afweging tussen schaal, capture-kwaliteit en de rijkdom aan annotaties. "In-the-wild"-datasets lijden vaak aan ruizige beelden, schaarse gezichtspunten en ongecontroleerde verlichting, terwijl synthetische datasets een gebrek hebben aan fijnmazige geometrische getrouwheid. Daarentegen bieden datasets in gecontroleerde omgevingen, die hoogwaardige geometrie bieden, vaak slechts een beperkt aantal onderwerpen of vertrouwen op afstand genomen full-body opnames. Deze afhankelijkheid van verre gezichtspunten beperkt de reconstructie van fijnmazige, close-up details zoals gezichtsuitdrukkingen, handarticulatie en kledingtexturen. Bovendien missen bestaande bronnen frequent de uitgebreide combinatie van modaliteiten die vereist is voor robuuste training: hoogwaardige getextureerde meshes, dichte puntenwolken, multi-view RGB/dieptebeelden en nauwkeurige parametrische model-fittings (bijv. SMPL-X) tegelijkertijd.

Methodologie en Data-acquisitie
Om deze hiaten te adresseren, introduceren de auteurs VolHuMe, een grootschalige dataset bestaande uit hoogwaardige 4D menselijke scans. De data werd verworven met het Mantis Vision Volumetric Capture System, een state-of-the-art studio-opstelling.

• Hardware: Het systeem beschikt over een cilindrische capture-volume (2,5 m diameter, 3 m hoogte) uitgerust met 32 modules. Elke module bevat twee coplanaire RGB-camera's en één monochrome camera voor gestructureerde licht diepte-inschatting, wat in totaal 64 RGB-camera's (2456 × 2054 pixels) en 32 dieptecamera's (1280 × 1024 pixels) betekent.
• Capture-strategie: In tegenstelling tot traditionele full-body opstellingen, maakt VolHuMe gebruik van een close-range, partial-view capture strategie. De camera's zijn gepositioneerd op 80–120 cm van het onderwerp. Deze nabijheid maakt het hoogst mogelijke niveau van detail mogelijk na het samenvoegen van de views, waarbij de prioriteit ligt bij de fijnmazige resolutie van lichaamsdelen boven verre full-body dekking.
• Onderwerpen en Duur: De dataset bevat 104 diverse volwassen proefpersonen (40% vrouw, 60% man, leeftijden 18–70). Elk onderwerp werd gedurende één minuut opgenomen, wat resulteerde in een totaal van 156.000 geannoteerde frames.
• Annotaties: De dataset biedt uitgebreide ground truth, inclusief:
  • Hoogwaardige meshes en rigged meshes klaar voor animatie.
  • Dichte puntenwolken.
  • Multi-view RGB en dieptebeelden.
  • Kledingsegmentatie.
  • SMPL-X fittings: Gevalideerd met een huidfout van 4,73 mm en een penetratiefout van kleding van 20,05%, wat voldoet aan de industriestandaarden voor live menselijke metingen.
  • FLAME model fittings: Toegepast op gelaatstrekken voor verbeterde nauwkeurigheid.

Belangrijkste Bijdragen

1. Hoogwaardige Close-Range Dataset: VolHuMe is de eerste grootschalige dataset die prioriteit geeft aan close-range, hoogwaardige captures van lichaamsdelen, waardoor fijnmazige geometrische en texturele details behouden blijven die vaak verloren gaan bij verre full-body scans.
2. Uitgebreide Ground Truth: Het biedt een volledige set annotaties (meshes, puntenwolken, SMPL-X/FLAME fittings en multi-view beelden) die zelden in één enkele bron beschikbaar is, wat diverse onderzoeksopdrachten mogelijk maakt.
3. Sparse Multi-View Benchmark: De dataset daagt huidige state-of-the-art (SOTA) methoden uit door een schaarse multi-view opstelling (32 modules) te bieden die een hoogwaardige reconstructie vereist vanuit partiële observaties, in plaats van te vertrouwen op dichte camera-arrays.

Experimentele Resultaten
De auteurs hebben VolHuMe getest op 3D en 4D reconstructie-taken om SOTA-methoden te evalueren en huidige beperkingen bloot te leggen.

• View Synthesis en Mesh Estimatie:

  • Standaard NeRF en 3D Gaussian Splatting (3DGS) methoden slaagden er niet in om te convergeren op de ruwe data vanwege de schaarsheid van de gezichtspunten en uniforme achtergronden. Custom varianten met achtergrond-compositing waren nodig voor stabiele training.
  • Fotogrammetrie-gebaseerde methoden bereikten de beste mesh-reconstructie nauwkeurigheid, maar bleven nog steeds tekortschieten ten opzichte van de ground-truth mesh details.
  • Radiant Foam behaalde de beste view-synthesis prestaties (PSNR 39,20, SSIM 0,981), waarmee het zowel NeRF als 3DGS benaderingen overtrof.
  • 3DGS methoden vertoonden een verbeterde herstel van mid-frequency texturen vergeleken met NeRF, maar hadden de neiging om fijne details te veel te verzachten (over-smoothing).

• 4D Menselijke Reconstructie:

  • GPS-Gaussian: Wanneer geëvalueerd op VolHuMe, behaalde deze methode een PSNR van 36,85, wat aanzienlijk beter is dan de resultaten op de THuman2.0 dataset (25,57). Dit geeft aan dat de hogere-fidelity ground truth in VolHuMe leidt tot betere downstream reconstructies.
  • Animatable Gaussians: Bereikte een PSNR van 29,59 op VolHuMe, vergelijkbaar met de resultaten op de dichte-capture ActorHQ dataset (30,36), ondanks het feit dat VolHuMe slechts 32 schaarse modules gebruikt versus de 160 camera's van ActorHQ.
  • Spatial Sampling Analyse: Een gecontroleerd experiment in Blender demonstreerde dat de close-range partial views van VolHuMe 1.582.839 pixels aan effectieve ruimtelijke dekking opleveren, vergeleken met 926.774 pixels van een verre 4K full-body afbeelding. Dit bevestigt dat close-range opstellingen superieure ruimtelijke sampling bieden, zelfs met minder camera's.

Betekenis en Claims
Het artikel beweert dat VolHuMe dient als een uitdagende benchmark die de beperkingen van huidige evaluatietestbedden blootlegt. De auteurs stellen dat:

1. Close-range partial observaties een reconstructiekwaliteit kunnen bereiken die gelijk is aan, of superieur is aan, dichte full-body capture opstellingen in termen van effectieve ruimtelijke sampling en detailherstel.
2. Bestaande SOTA methoden moeite hebben met het volledig exploiteren van fijnmazige geometrische en texturele details wanneer zij geconfronteerd worden met schaarse multi-view inputs, en vaak aanvullende voorbewerking (zoals achtergrond-compositing) vereisen om te functioneren.
3. De dataset een noodzakelijke bron biedt voor het bevorderen van hoogwaardige menselijke reconstructie, rendering en view synthesis, met name voor taken die een gedetailleerde articulatie van handen, gezichten en kleding vereisen.

De auteurs nemen een bescheiden standpunt in door te merken dat, hoewel hun dataset nieuwe mogelijkheden ontsluit, huidige methoden nog steeds aanzienlijke aanpassingen vereisen om de specifieke uitdagingen van schaarse, close-range data aan te kunnen zonder detailverlies. Zij positioneren VolHuMe niet als een opgelost probleem, maar als een rigoureuze testomgeving om toekomstig onderzoek in 4D menselijke modellering aan te drijven.