TeHOR: Text-Guided 3D Human and Object Reconstruction with Textures

TeHOR is een nieuw raamwerk dat de 3D-reconstructie van mensen en objecten uit één afbeelding verbetert door tekstuele beschrijvingen en uiterlijke kenmerken te integreren om zowel contactloze interacties als globale contextuele samenhang beter te modelleren dan bestaande methoden.

De kern

TeHOR: De "Tolk" die een foto omzet in een 3D-verhaal

Stel je voor dat je een foto maakt van iemand die op een skateboard springt. Voor een gewone camera is dat slechts een plat stukje papier met kleuren. Maar voor een computer is het vaak een raadsel: Waar staat de skateboarder precies? Houdt hij de plank vast of zweeft hij er net boven? Kijkt hij naar de horizon of naar de plank?

Tot nu toe waren computers hierin niet erg goed. Ze keken alleen naar waar de handen de plank aanraken. Als er geen aanraking is (zoals bij het springen), raakten ze de draad kwijt. Het was alsof je probeert een dans te beschrijven door alleen naar de voeten te kijken en te vergeten dat de armen ook bewegen.

De Nieuwe Oplossing: TeHOR

De onderzoekers van TeHOR hebben een slimme truc bedacht. Ze geven de computer niet alleen de foto, maar ook een verhaal (een tekst) over wat er gebeurt.

Hier is hoe het werkt, vergeleken met een simpele analogie:

1. De Regisseur en de Script

Stel je voor dat de computer een regisseur is die een film moet draaien, maar hij heeft alleen een statische foto als referentie.

• De oude methode: De regisseur keek alleen naar de foto en probeerde te raden waar de acteurs stonden. Als ze elkaar niet aanraakten, dacht hij: "Oké, ze staan waarschijnlijk willekeurig ergens."
• De TeHOR-methode: De regisseur krijgt ook een script (de tekst). Het script zegt: "Een man springt met zijn skateboard terwijl hij een truc uitvoert."

Door dit script te lezen, begrijpt de computer direct: "Ah, hij moet in de lucht zijn, niet op de grond! En hij moet de plank vasthouden, ook al raken ze elkaar misschien net niet in de foto."

2. De Magische Spiegel (De Diffusie)

Hoe vertaalt de computer dit script naar een 3D-figuur? Ze gebruiken een soort "magische spiegel" (een AI-model dat bekend staat als een diffusie-netwerk, zoals Stable Diffusion).

• Het proces: De computer bouwt eerst een ruwe 3D-versie van de man en de skateboard. Vervolgens "kijkt" deze magische spiegel naar de ruwe versie en vraagt: "Ziet dit eruit als een man die een skateboard-truc doet?"
• De correctie: Als de computer de man te laag of de skateboard te ver weg heeft geplaatst, zegt de spiegel: "Nee, dat klopt niet met het verhaal. Beweeg de man omhoog en de plank dichter bij zijn handen."
• Dit gebeurt keer op keer, tot de 3D-figuur er perfect uitziet, alsof hij uit de tekst is geboren.

3. Het Grote Plaatje vs. De Details

Een ander groot probleem met oude methoden was dat ze alleen keken naar de contactpunten (waar huid en object elkaar raken).

• Analogie: Stel je voor dat je een poppenkast hebt. Oude methoden keken alleen of de hand van de pop de poppenkast vasthield. Als dat niet zo was, wisten ze niet wat de pop deed.
• TeHOR kijkt naar het hele plaatje. Het ziet de kleur van de kleding, de schaduw, de houding en de omgeving. Het begrijpt dat als iemand naar een hond kijkt, zijn hoofd gedraaid moet zijn, zelfs als hij de hond niet aanraakt.

Waarom is dit belangrijk?

Dit is een revolutie voor:

• Videospellen en VR: Je kunt nu een foto van een persoon nemen en direct een levendige 3D-figuur maken die precies doet wat er in de foto staat, inclusief de juiste houding en interactie.
• Robotica: Robots kunnen beter begrijpen wat mensen doen, zelfs als ze niet direct iets vasthouden (bijvoorbeeld: "die persoon wil de deur openen" of "die persoon kijkt naar de auto").

Kortom:
TeHOR is als een slimme vertaler die een statische foto en een korte zin omzet in een volledig, realistisch 3D-drieluik. Het zorgt ervoor dat de computer niet alleen ziet wat er op de foto staat, maar ook begrijpt wat er gebeurt, waardoor de 3D-versies veel natuurlijker en logischer zijn dan ooit tevoren.

Technische samenvatting

Probleemstelling

De gezamenlijke reconstructie van een 3D mens en objecten uit één enkele afbeelding is een actief onderzoeksgebied met toepassingen in robotica, AR/VR en digitale contentcreatie. Bestaande methoden hebben echter twee fundamentele beperkingen:

1. Overmatige afhankelijkheid van fysiek contact: Bestaande technieken vertrouwen sterk op het voorspellen van contactpunten tussen mens en object. Dit maakt het moeilijk om niet-contact interacties te modelleren (zoals naar een object staren of erop wijzen), wat in de echte wereld veel voorkomt.
2. Gebrek aan globale context: De reconstructieprocessen worden voornamelijk gedreven door lokale geometrische nabijheid. Hierbij worden globale visuele aanwijzingen (zoals kleur, schaduw en houding) genegeerd, wat leidt tot onwaarschijnlijke reconstructies, zoals verkeerd georiënteerde objecten of onnatuurlijke blikrichtingen.

Methodologie: TeHOR

TeHOR (Text-guided 3D Human and Object Reconstruction) is een raamwerk dat tekstbeschrijvingen gebruikt als semantische gids om de reconstructie te sturen. Het proces verloopt in drie hoofdstappen:

1. 3D Representatie
Zowel de mens als het object worden weergegeven als sets van 3D Gaussians ($\Phi_h$ en $\Phi_o$).

• Mens: Gebaseerd op het SMPL-X parametrische model, waarbij de Gaussians zijn verankerd aan het mesh en geanimeerd worden via Lineaire Blend Skinning (LBS).
• Object: Weergegeven als 3D Gaussians in een canonieke ruimte, getransformeerd door rotatie, translatie en schaal.

2. Reconstructie-fase (Initialisatie)
Voordat de optimalisatie begint, worden initieel 3D-modellen gegenereerd:

• Tekstgeneratie: Een Vision-Language Model (GPT-4) genereert twee prompts: een holistische prompt ($P_{holistic}$) die de interactie beschrijft, en een contact prompt ($P_{contact}$) die specifieke lichaamsdelen in contact specificeert.
• Scheiding: De interactieobjecten en de mens worden gescheiden van de achtergrond met behulp van SmartEraser en Grounded-SAM.
• Initiële Modellen: De mens wordt gereconstrueerd met LHM (gebaseerd op 3D-Gaussians) en het object met InstantMesh (omgezet naar 3D-Gaussians). De achtergrond wordt als 2D-behandeld.

3. HOI-optimalisatie-fase (Kerninnovatie)
De initieel gereconstrueerde modellen worden gezamenlijk geoptimaliseerd door een verliesfunctie die bestaat uit vier componenten:
$$L = L_{recon} + L_{appr} + L_{contact} + L_{collision}$$

• Reconstructieverlies ($L_{recon}$): Zorgt dat de weergave van het front-view (de ingangscamerahoek) overeenkomt met de inputafbeelding (RGB en silhouetten).
• Uiterlijkverlies ($L_{appr}$): Dit is de kern van TeHOR. Het gebruikt een Score Distillation Sampling (SDS) strategie met een vooraf getraind diffusion-netwerk (StableDiffusion). Het netwerk stuurt de 3D-reconstructie aan op basis van de tekstuele prompt ($P_{holistic}$). Hierdoor wordt de globale visuele plausibiliteit gewaarborgd, inclusief niet-contact interacties en objectoriëntatie, gebaseerd op semantisch inzicht in plaats van alleen geometrie.
• Contactverlies ($L_{contact}$): Dwingt lokale fysieke plausibiliteit af door de afstand tussen de voorspelde contactpunten (op basis van $P_{contact}$) te minimaliseren.
• Kollisieverlies ($L_{collision}$): Straft interpenetratie (het doordringen van objecten in elkaar) af.

4. Conversie naar Mesh
Na de optimalisatie worden de 3D-Gaussians omgezet naar meshes voor compatibiliteit met bestaande pipelines. Een lokale verschuiving wordt toegepast om inconsistenties in de contactgebieden tussen de Gaussians en het mesh op te lossen.

Belangrijkste Bijdragen

1. Tekstgeleide Reconstructie: TeHOR is het eerste raamwerk dat tekstbeschrijvingen gebruikt om semantische uitlijning te forceren, waardoor het in staat is om een breed scala aan interacties te redeneren, inclusief die zonder fysiek contact.
2. Holistische Context: Door gebruik te maken van een diffusion-netwerk voor uiterlijkverlies, wordt rekening gehouden met globale contextuele informatie (kleur, houding, omgeving), wat leidt tot visueel plausibeler resultaten dan methoden die alleen op lokale geometrie vertrouwen.
3. Gestructureerde Textuur: Het raamwerk reconstructeert niet alleen de geometrie, maar ook de volledige 3D-texturen van zowel de mens als het object, wat essentieel is voor realistische digitale assets.

Resultaten

De prestaties van TeHOR zijn geëvalueerd op de datasets Open3DHOI en BEHAVE en vergeleken met state-of-the-art methoden zoals PHOSA, InteractVLM en HOI-Gaussian.

• Kwantitatieve Resultaten: TeHOR behaalt de beste scores op alle metrics, waaronder Chamfer Distance (CD) voor mens en object, contact F1-score en collision percentage.
  • Bijvoorbeeld op Open3DHOI: TeHOR bereikte een CD_object van 16.701 (tegenover ~19.3 voor de tweede beste) en een contact F1-score van 0.412.
• Niet-contact Scenarios: In scenario's zonder fysiek contact presteert TeHOR aanzienlijk beter dan concurrenten, omdat deze laatste vaak falen zonder contactinformatie.
• Ablatie Studies: Experimenten bevestigen dat zowel de tekstgeleide optimalisatie als het gebruik van 3D-Gaussians (in plaats van meshes) cruciaal zijn voor de superioriteit van het model. Het verwijderen van tekstprompts leidt tot reconstructies die de globale context missen.

Betekenis en Impact

TeHOR markeert een verschuiving in het veld van 3D-reconstructie van puur geometrische benaderingen naar semantisch geleide methoden. Door de brug te slaan tussen tekstuele beschrijvingen en visuele 3D-reconstructie via diffusion-modellen, lost het het probleem op van het modelleren van complexe, niet-fysieke interacties. Dit maakt het mogelijk om realistische, interactieve 3D-scènes te creëren voor toepassingen in virtuele werelden, robotica en augmented reality, zelfs wanneer de inputafbeelding geen directe aanraking toont.