Lighting-Consistent Object Transfer Across Radiance Fields

Technische Samenvatting: Verlichting-consistente Objectoverdracht tussen Radiance Fields (DOT3D)

Probleemstelling
3D Gaussian Splatting (3DGS) maakt efficiënte capture en real-time rendering van echte scènes mogelijk. Het bewerken van deze representaties is echter uitdagend omdat materialen en verlichting op het moment van capture aan elkaar gekoppeld zijn. Hoewel het samenvoegen van objecten uit de ene gecaptureerde scène in een andere toepassingen heeft in VFX, architectuur en marketing, resulteert naïeve overdracht (het kopiëren van Gaussian primitives) in onrealistische resultaten. De primaire foutmodus is verlichtingsinconsistentie: het overgedragen object mist de schaduwen, reflecties en highlights die passend zijn voor de doelomgeving, waardoor het er gepasteerd uitziet in plaats van geïntegreerd. Bestaande oplossingen vereisen ofwel kostbare handmatige 3D-modellering en lichtschatting, of zijn beperkt tot 2D-beeldharmonisatie, waarbij ze geen multi-view consistente 3D-resultaten produceren.

Methodologie: DOT3D
De auteurs stellen DOT3D (Diffusion Object Transfer in 3D) voor, een pipeline die een object extraheert uit een bron-3DGS-scène, het in een doel-3DGS-scène plaatst en de verlichting harmoniseert om overeen te komen met de nieuwe omgeving. Het proces bestaat uit drie hoofdfasen:

1. Interactieve Objectcompositie:

   • Segmentatie: De bronscène wordt gereconstrueerd in 3DGS. Om een object te extraheren, wijst de methode een binaire classificatiekenmerk ($d=1$) toe aan elke Gaussian primitive. Deze kenmerken worden geoptimaliseerd met een binary cross-entropy loss tegen 2D-maskers (gegenereerd door BiRefNet) om het object in 3D te segmenteren.
   • Overdracht: Gebruikers plaatsen het gesegmenteerde object interactief in een doel-3DGS-scène, waarbij zij positie, oriëntatie en schaal aanpassen. Dit creëert een initiële "naïeve composiet", waarbij het object zijn oorspronkelijke verlichting behoudt, wat resulteert in visuele inconsistenties.

2. Single-View Harmonisatie (Diffusiemodel):

   • De kern van de methode is een gefinetuned diffusiemodel (gebaseerd op FLUX.1-schnell) dat de inconsistente composietbeelden transformeert naar geharmoniseerde weergaven.
   • Input: Het model neemt een render van de naïeve composiet, het binaire masker van het object en de composietafbeelding zelf als input.
   • Trainingsdata: Om het model te trainen, hebben de auteurs een heterogene dataset samengesteld uit drie bronnen:
     • Synthetische Data: In Blender gerenderde binnenruimtes met ground-truth globale illuminatie, waarbij objecten onder mismatchende verlichting zijn gerenderd en op achtergronden zijn geplaatst.
     • Gegenereerde Data: Afbeeldingen gecreëerd door FLUX, verwerkt met een aangepast objectverwijderingsnetwerk (getraind op synthetische data) om achtergronden te genereren, en opnieuw belicht met DiffusionRenderer om inconsistente composieten te creëren.
     • Real Data: Gesubsamplede afbeeldingen uit de ORIDa-dataset, uitgebreid met relighting via DiffusionRenderer.
   • Proces: Het model opereert in de latente ruimte van een variational autoencoder en regresseert de snelheid (velocity) om een ruisende latente code te transformeren naar een geharmoniseerd beeld dat correcte schaduwen, reflecties en verlichtingsintegratie bevat.

3. Multi-View Consolidatie (3DGS Post-Optimalisatie):

   • Omdat het diffusiemodel views onafhankelijk verwerkt, kunnen de resulterende geharmoniseerde beelden een gebrek aan 3D-consistentie vertonen.
   • De auteurs stellen een post-optimalisatiestap voor om deze views te consolideren in een enkele 3DGS-representatie.
   • Optimalisatie: Startend vanaf de naïeve composiet-3DGS, optimaliseert de methode alleen de kleuren (alle spherical harmonic bands) van de Gaussian primitives met behulp van een perceptual loss (LPIPS).
   • Constraints: View-afhankelijke effecten uit de bronscène worden gereset (hogere SH-bands worden op nul gezet) om artefacten vanuit ongeziene gezichtspunten te voorkomen. Geometrie en opacity blijven ongewijzigd. Deze stap zorgt ervoor dat de finale scène multi-view consistent is, terwijl de hoogwaardige harmonisatie gegenereerd door het diffusiemodel behouden blijft.

Belangrijkste Bijdragen

• Een Gespecialiseerd Diffusiemodel: Een gefinetuned model voor 2D-verlichtingsharmonisatie van objectinsertie, getraind op een heterogene dataset bestaande uit synthetische, gegenereerde en echte data.
• 3DGS Post-Optimalisatie: Een consolidatiestrategie die onafhankelijk geharmoniseerde 2D-views transformeert naar een consistente 3DGS-scène door Gaussian kleuren te optimaliseren met een perceptual loss, zonder de noodzaak voor iteratieve dataset-updates.
• Interactieve Pipeline: Een volledige workflow waarmee gebruikers objecten kunnen extraheren, plaatsen en harmoniseren over 3DGS-scènes met consistente verlichting, schaduwen en reflecties.

Resultaten en Evaluatie
De methode werd geëvalueerd op een verscheidenheid aan real-world datasets (Mip-NeRF-360, DL3DV, Ref-NeRF, etc.) en hoogwaardige synthetische scènes met ground truth.

• Kwalitatieve Prestaties: Vergeleken met 2D-methoden (LBM, MV-CoLight, Nano Banana) en 3D inverse rendering benaderingen (Gaussian Shader, GS-IR, 3DGS-DR), produceert DOT3D significant realistischere resultaten. Eerdere methoden falen vaak bij het genereren van contactschaduwen, lijden aan kleurbloeding of produceren overmatig verzadigde oppervlakken. DOT3D integreert objecten succesvol met plausibele schaduwen en reflecties.
• Kwantitatieve Prestaties: Op synthetische scènes met ground truth presteert DOT3D beter dan inverse rendering baselines op alle metrieken (PSNR, SSIM, LPIPS, FID, KID). Zo bereikt het een PSNR van 22,53 vergeleken met 18,66 voor de op één na beste methode (Gaussian Shader).
• Consistentie: Ablatie-studies naar de consistentie van de verlichting over verschillende objectposities laten zien dat de methode een consistente verlichting behoudt in novel views.
• Ablaties: De studie bevestigt dat de synthetische Blender-dataset het meest kritieke onderdeel is voor het trainen van het diffusiemodel. Bovendien blijkt dat de single-step post-optimalisatie aanpak effectiever en efficiënter is dan iteratieve dataset update-strategieën.

Betekenis en Claims
Het artikel claimt dat DOT3D een "visueel overtuigende" oplossing biedt die het overdragen van objecten tussen 3DGS-scènes eenvoudig in gebruik maakt en de kwaliteit aanzienlijk verbetert ten opzichte van eerdere methoden. Door gebruik te maken van de priors van diffusiemodellen voor 2D-harmonisatie en een lichtgewicht post-optimalisatie voor 3D-consistentie, adresseert de methode het moeilijke inverse probleem van verlichtingsharmonisatie zonder expliciete geometrie-reconstructie of complexe lichtschatting te vereisen. De auteurs merken op dat hoewel de methode "plausibele" resultaten produceert in plaats van absolute fysieke nauwkeurigheid, het wel realistische asset-hergebruik in verschillende gecaptureerde omgevingen mogelijk maakt. Het werk wordt gepresenteerd als een stap voorwaarts in het bruikbaar maken van 3DGS-representaties voor real-world toepassingen zoals VFX en interieurontwerp.