PoseCraft: Tokenized 3D Body Landmark and Camera Conditioning for Photorealistic Human Image Synthesis

PoseCraft is een diffusion-framework dat tokeniseerde 3D-landmarken en cameraparameters gebruikt als discrete conditionering om fotorealistische menselijke afbeeldingen te synthetiseren met precieze pose- en cameracontrole, terwijl het de 3D-semantiek behoudt en details zoals kleding en haar beter vastlegt dan bestaande methoden.

De kern

PoseCraft: De Digitale Poppenkast die Eindelijk "Werkelijk" Voelt

Stel je voor dat je een poppenkast hebt. In de oude wereld van computeranimatie moest je voor elke pop eerst een ingewikkeld skelet van hout en touwtjes bouwen (dat heet "rigging"). Als je de pop wilde laten dansen, trok je aan die touwtjes. Het probleem? Het kostte jaren om die poppen te bouwen, en als de pop een rare houding aannam, zag het er vaak raar uit of viel de kleding uit elkaar.

Aan de andere kant hebben we nu slimme AI's die foto's kunnen maken. Maar als je die AI vraagt: "Maak een foto van deze persoon, maar nu met de armen omhoog en vanuit een andere hoek," dan begint de AI te gissen. Het maakt vaak rare fouten: een arm die verdwijnt, een gezicht dat vervormt, of kleding die niet logisch beweegt. De AI ziet alleen een platte foto, niet de echte 3D-wereld.

PoseCraft is de oplossing die deze twee werelden combineert. Het is als het geven van een 3D-baanschema aan een kunstenaar, in plaats van alleen een platte tekening.

Hier is hoe het werkt, in simpele termen:

1. De "RigCraft": De Onzichtbare Regisseur

Eerst moet het systeem weten waar de persoon echt staat in de ruimte.

• Het probleem: Als je naar één camera kijkt, weet je niet hoe ver weg een hand is.
• De oplossing (RigCraft): Het systeem gebruikt meerdere camera's tegelijk (zoals een team van regisseurs rondom een acteur). Het pakt de 2D-punten van de camera's en rekent ze om naar een stabiel 3D-punt in de lucht.
• De analogie: Stel je voor dat je een bal in de lucht probeert te vangen. Als je met één oog kijkt, zie je niet precies waar hij is. Maar als drie vrienden elk vanuit een andere hoek naar de bal wijzen, kun je precies berekenen waar de bal zweeft. RigCraft doet dit voor elk gewricht van het lichaam, en maakt de beweging soepel zodat het niet "trilt" als een slechte video.

2. De "PoseCraft": De Kunstenaar met een Magisch Kompas

Nu hebben we de 3D-coördinaten van het lichaam. Hoe maken we daar een prachtige foto van?

• De oude manier: Je gaf de AI een platte tekening van een skelet (een "OpenPose" kaart). De AI moest dan raden hoe de kleding eruit zou zien.
• De PoseCraft-methode: In plaats van een platte kaart, geven we de AI digitale "token's" (kleine digitale blokken met informatie).
  • We zeggen de AI niet alleen: "De arm is hier."
  • We zeggen ook: "De camera staat hier, en kijkt vanuit deze hoek."
• De analogie: Stel je voor dat je een schilder wilt opdracht geven om een portret te maken.
  • Oude methode: Je geeft hem een foto van een stokman en zegt: "Teken hier iemand." De schilder moet raden hoe de jas eruitziet.
  • PoseCraft: Je geeft de schilder een 3D-model van de stokman en een kompas dat precies aangeeft waar jij staat om te kijken. De schilder hoeft niet meer te raden; hij weet precies hoe de jas in het licht valt en hoe de schaduwen vallen.

3. GenHumanRF: De Grote Bibliotheek

Om deze kunstenaar (de AI) te leren, hebben ze duizenden voorbeelden nodig. Ze hebben een systeem gebouwd (GenHumanRF) dat automatisch duizenden foto's maakt van mensen in verschillende houdingen, zodat de AI kan oefenen. Het is alsof je een school bouwt waar de AI elke dag urenlang oefent met het schilderen van mensen in 3D.

Waarom is dit zo cool?

• Geen meer "Ghost Limbs": Omdat de AI de echte 3D-positie kent, verdwijnen armen of benen niet als je de camera draait.
• Haar en Kleding: De AI kan fijne details zoals losse haren of plooien in een jurk heel realistisch maken, zelfs als de persoon een rare houding aanneemt.
• Geen ingewikkeld werk: Je hoeft geen dure 3D-modellen te bouwen of jarenlang te sleutelen aan poppen. Het systeem werkt direct met de beweging.

Kortom: PoseCraft is als het geven van een 3D-baanschema aan een super-slimme kunstenaar. In plaats van dat de kunstenaar moet gissen naar de diepte en de hoek, krijgt hij de exacte coördinaten. Het resultaat? Mensen die eruitzien alsof ze echt in de kamer staan, zelfs als ze een beweging maken die nog nooit eerder is gefilmd.

Technische samenvatting

1. Het Probleem

Het digitaliseren van mensen en het synthetiseren van fotorealistische avatar-afbeeldingen met expliciete 3D-controle over pose en camera is essentieel voor toepassingen zoals VR, telepresence en entertainment. Bestaande methoden kampen echter met ernstige beperkingen:

• Skinning-based workflows: Vereisen arbeidsintensieve handmatige rigging of template-based fittingen en worstelen met complexe geometrie en textuurdetails (zoals kledingplooien en haar).
• Neurale volumetrische methoden: Gebaseerd op canonieke templates en vereisen vaak her-optimatie voor elke nieuwe pose, wat leidt tot wazige details of beperkte aanpassingsvermogen bij nieuwe houdingen.
• 2D-gebaseerde Diffusiemodellen: Methoden die 2D-skeletten, dieptekaarten of silhouetten gebruiken als conditionering, lijden onder ambiguïteit bij grote pose-veranderingen of camera-wisselingen. Dit resulteert in inconsistenties in het gezichtspunt, hallucinaties rond ledematen en vervormingen van losse kleding.

Het doel is een systeem te creëren dat een menselijk onderwerp eenvoudig digitaliseert, expliciete 3D-controle biedt en fotorealistische, identiteitsbehoudende afbeeldingen genereert zonder vaste templates of per-scene optimalisatie.

2. Methodologie

Het paper introduceert PoseCraft, een diffusion-framework dat draait om een getokeniseerde 3D-interface. In plaats van te vertrouwen op gerasteriseerde 2D-geometrie, encodeert het systeem schaarse 3D-landmarks en camera-extrinsieken als discrete conditioneringstokens die via cross-attention in het diffusion-model worden geïnjecteerd.

Het framework bestaat uit twee hoofdcomponenten:

A. RigCraft (3D Landmark Extractie)

RigCraft is een module voor het genereren van stabiele 3D-landmarks uit multi-view 2D-detecties.

• Multi-view Fusie: Het gebruikt OpenPose om 2D-landmarks te detecteren in meerdere gekalibreerde camera-weergaven.
• Triangulatie: Deze 2D-detecties worden geprojecteerd naar 3D-stralen. De 3D-positie wordt geschat door een gewogen kleinste-kwadratenprobleem op te lossen om de intersectie van deze stralen te vinden, rekening houdend met de betrouwbaarheidsscores van de detecties.
• Temporele Regularisatie: Om jitter te onderdrukken en vloeiende bewegingen te garanderen, wordt een discrete Savitzky–Golay-filter toegepast over een tijdsvenster van frames. Dit resulteert in temporale coherentie zonder volumetrische roosters of complexe cross-view matching.

B. PoseCraft (Diffusie met 3D Control)

PoseCraft is een latent diffusion model (LDM) dat is aangepast voor fotorealistische synthese onder pose- en view-controle.

• 3D Control Tokenizer: Camera-extrinsieken (rotatie en translatie) en 3D-landmark-coördinaten worden omgezet in discrete tokens.
  • Rotatie: Gecodeerd via Sferische Harmonischen (Spherical Harmonics).
  • Translatie & Landmarks: Gecodeerd via Positie-encoding (Fourier-features).
  • Deze tokens worden verwerkt door specifieke MLP's (Multi-Layer Perceptrons) en geïnjecteerd in de UNet via cross-attention.
• Dual Conditioning: Naast de 3D-tokens wordt ook een 2D-skeletprojectie (afgeleid van RigCraft) direct aan de noisy latent input van de UNet gekoppeld voor ruimtelijke geleiding.
• Training: Het model wordt getraind op een dataset gegenereerd door GenHumanRF (zie hieronder), waarbij het UNet van scratch wordt getraind per onderwerp om lokale realisme en scherpe details te waarborgen.

C. GenHumanRF (Data Generatie)

Om het model op grote schaal te trainen en evalueren, hebben de auteurs een data-generatie workflow ontwikkeld. Deze gebruikt volumetrische reconstructies (HumanRF) om diverse supervisie te renderen vanuit 100 virtuele camera's rondom het onderwerp, wat resulteert in een dataset van honderdduizenden fotorealistische full-body afbeeldingen.

3. Belangrijkste Bijdragen

1. RigCraft: Een uncertainty-aware multi-view fusie-methode met temporele smoothing voor het genereren van stabiele 3D-landmarks zonder volumetrische roosters.
2. PoseCraft: Een nieuw diffusion-framework dat 3D-controle realiseert via een getokeniseerde interface (3D landmarks + camera parameters), wat leidt tot fotorealistische synthese met hoge geometrische consistentie.
3. GenHumanRF: Een schaalbare data-generatie pipeline voor het trainen van diffusion-modellen met 3D-supervisie.

4. Resultaten

De experimenten tonen aan dat PoseCraft aanzienlijke verbeteringen biedt ten opzichte van bestaande methoden:

• Kwalitatief: PoseCraft produceert scherpe silhouetten en behoudt hoogfrequente details (zoals kledingplooien, haar en borduurwerk) die bij 2D-methoden vaak wazig of vervormd zijn. Het vermijdt "ghosting" en inconsistenties bij nieuwe viewpoints.
• Kwantitatief:
  • PoseCraft presteert aanzienlijk beter dan 2D-gebaseerde diffusion-methoden (zoals CFLD, ControlNet, T2I-Adapter) met verbeteringen van 10-12 dB in PSNR en >50% reductie in LPIPS en FID.
  • Het presteert vergelijkbaar met of beter dan de state-of-the-art (SOTA) volumetrische rendering methode Animatable Gaussians, maar zonder de noodzaak voor per-scene template optimalisatie of dichte point-cloud fitting.
  • Het behoudt identiteit en uiterlijk details beter dan bestaande volumetrische benaderingen.

5. Betekenis en Impact

PoseCraft markeert een verschuiving in de manier waarop 3D-controle wordt toegepast in generatieve AI voor menselijke avatars.

• Overbrugging van 2D en 3D: Door 3D-landmarks direct als tokens te gebruiken in plaats van ze te projecteren naar 2D-kaarten, lost het het probleem van reprojectie-ambiguïteit op bij grote bewegingen.
• Efficiëntie: Het elimineert de noodzaak voor tijdrovende handmatige rigging of zware per-scene training van volumetrische modellen, terwijl het toch de kwaliteit van deze methoden benadert.
• Toekomstperspectief: Hoewel het huidige model per identiteit getraind moet worden (geen zero-shot voor nieuwe gezichten) en moeite heeft met zeer losse kledinglagen, biedt het een robuust fundament voor toekomstige ontwikkelingen in controllable human digitization.

Samenvattend biedt PoseCraft een nieuwe, schaalbare architectuur die de voordelen van 3D-geometrische precisie combineert met de fotorealistische kwaliteiten van moderne diffusion-modellen.