GeoRelight: Learning Joint Geometrical Relighting and Reconstruction with Flexible Multi-Modal Diffusion Transformers

Probleemstelling

Het herschijnen (relighting) van een persoon op basis van één enkele foto is een fundamenteel, maar slecht gesteld (ill-posed) probleem in computer vision en computer graphics. Een 2D-afbeelding is een ambigu projectie van drie verstrengelde factoren:

1. 3D-geometrie van het onderwerp.
2. Intrinsieke eigenschappen (zoals albedo/grondkleur).
3. Verlichting van de scène.

Bestaande methoden vallen vaak in twee categorieën met elk een groot nadeel:

• End-to-end "translator" modellen: Deze leren een directe pixel-naar-pixel mapping maar missen vaak fysieke plausibiliteit omdat ze geen expliciete 3D-geometrie modelleren. Dit resulteert in onrealistische schaduwen en highlights.
• Sequentiële pipelines: Deze schatten eerst intrinsieke buffers (zoals albedo en normaalvectoren) en gebruiken deze vervolgens in een aparte rendering-module. De kritieke fout hier is foutaccumulatie: onnauwkeurigheden in de initiële geometrie-schatting worden "ingebakken" in de buffers en kunnen niet meer worden gecorrigeerd door de renderer.

De auteurs betogen dat herschijnen en 3D-reconstructie geen gescheiden taken zijn, maar wederzijds voordelig moeten worden opgelost.

Methodologie: GeoRelight

GeoRelight is een unificerend generatief framework dat beide taken simultaan oplost met behulp van een Multi-Modal Diffusion Transformer (DiT).

1. Flexible Multi-Modal Diffusion Architectuur

Het model is gebaseerd op een vooraf getrainde Video Latent Diffusion Transformer. De kerninnovatie is het hergebruiken van de temporale dimensie ($T$) als een modaliteitsdimensie ($M$).

• In plaats van videoframes over tijd te verwerken, worden verschillende modaliteiten (Albedo, Normaal, Geometrie, Segmentatie, en het Herschijnende Beeld) gestapeld als "frames" en parallel verwerkt.
• Een Modality Switch Mask ($c_{switch}$) bepaalt per pixel of een modaliteit een "heldere" input conditie is (1) of een "ruisend" doel dat gegenereerd moet worden (0). Dit maakt flexibele inferentie mogelijk (bijv. alleen geometrie genereren op basis van een input, of het herschijnende beeld genereren op basis van geschatte intrinsieke eigenschappen).
• Het model wordt geleid door een globale input-conditie (de originele afbeelding) en een specifieke verlichtingsconditie (HDR-omgeving).

2. Isotropic Normalized Orthographic Depth (iNOD)

Een grote technische uitdaging is het vinden van een 3D-geometrie-representatie die compatibel is met een Latent Diffusion Model dat een vooraf getrainde VAE (Variational Autoencoder) gebruikt. Standaard point maps worden ruisig na VAE-compressie, en genormaliseerde dieptekaarten vervormen de 3D-vorm anisotroop.

• Oplossing: De auteurs introduceren iNOD.
• Proces:
  1. Unprojectie van pixels naar een metrisch 3D-puntenwolk.
  2. Isotrope normalisatie: De volledige 3D-vorm wordt geschaald om binnen een [-1, 1] kubus te passen, gebaseerd op de langste rand. Hierdoor wordt de absolute schaal verwijderd, maar de relatieve geometrie en het aspectratio behouden.
  3. Orthografische projectie op het XY-vlak (het nemen van de z-waarde).
• Voordeel: Dit resulteert in een dichte, 2D-afbeelding die perfect compatibel is met de VAE, ruisvrij is, en geen camera-intrinsieken vereist tijdens inferentie.

3. Strategische Mixed-Data Training

Om zowel fotorealisme als geometrische nauwkeurigheid te bereiken, gebruiken de auteurs een hybride trainingsstrategie:

• Synthetische Data: Biedt perfecte ground-truth labels voor geometrie en intrinsieke eigenschappen, maar mist fotorealisme.
• Light Stage Data (Dome): Realistische data met gekoppelde verlichting, maar beperkte variatie.
• In-the-Wild (ITW) Data: Zeer fotorealistisch, maar mist ground-truth labels.
• Auto-labeling: Een model dat eerst alleen op synthetische data is getraind, wordt gebruikt om "pseudo-ground-truth" labels te genereren voor de Light Stage en ITW data.
• Mixed-Training: Het model wordt getraind op een mix van deze datasets met specifieke taken (bijv. "Intrinsic→Relit" voor ITW-data), waardoor het fysieke nauwkeurigheid leert van synthetische data en realistische texturen van echte data.

Kernbijdragen

1. Unificerend Framework: Een Multi-Modal DiT die simultaan herschijnende beelden, intrinsieke kleuren, oppervlaktenormals en 3D-geometrie genereert uit één enkele afbeelding.
2. iNOD: Een nieuwe, vervormingsvrije geometrie-representatie die isotroop schalen toepast, waardoor deze ideaal is voor latent diffusion zonder camera-intrinsieken.
3. Strategische Training: Een methode die synthetische data combineert met auto-gelabelde real-world data om de kloof tussen synthetische nauwkeurigheid en realistische verschijning te overbruggen.

Resultaten

GeoRelight presteert state-of-the-art (SOTA) op zowel synthetische als real-world datasets (zoals HumanOLAT en Light Stage):

• Herschijnen: Overtreft bestaande methoden (zoals IC-Light, NeuralGaffer, DiffusionRenderer) aanzienlijk in PSNR, SSIM en LPIPS. Het genereert fysiek plausibele schaduwen en highlights die consistent zijn met de 3D-vorm.
• 3D-Reconstructie: Levert hoogwaardige 3D-puntenwolken op met fijne details (zoals kledingplooien en haar), wat superieur is aan gespecialiseerde geometrie-estimatoren zoals VGGT en MoGe2.
• Intrinsieke Schatting: Toont uitstekende prestaties in het schatten van albedo en normaalvectoren.
• Ablatie Studies: Bevestigen dat de gezamenlijke modellering essentieel is: geometrie verbetert het herschijnen (door betere schaduwen), en herschijnen verbetert de geometrie (door "shape-from-shading" cues).

Betekenis en Toekomst

GeoRelight markeert een doorbraak door het loskoppelen van geometrie en verschijning niet als een sequentiële keten, maar als een gezamenlijk generatief proces te behandelen. Dit elimineert foutaccumulatie en verbetert de fysieke consistentie.

• Toepassingen: Creatieve bewerking, computationele fotografie, virtuele realiteit en filmproductie.
• Toekomst: Hoewel het momenteel een single-image framework is, is de architectuur (gebaseerd op video-DiT) klaar voor uitbreiding naar video-herschijnen om temporale consistentie te garanderen. Ook kan het dienen als basis voor het genereren van volledig herschijnbare 3D-avatars.

Kortom, GeoRelight demonstreert dat het gezamenlijk leren van geometrie en verlichting leidt tot superieure resultaten in zowel visuele realisme als 3D-accuraatheid.