Technische Samenvatting: DANTE-W: Diffuse Albedo Neural Texturing in the Wild

1. Probleemstelling

Het reconstrueren van hoogwaardige getextureerde 3D-assets uit ongestructureerde, "in-the-wild" afbeeldingscollecties blijft een aanzienlijke uitdaging, met name voor grootschalige scènes. Bestaande benaderingen lijden onder twee primaire beperkingen:

• Klassieke Mesh-texturering: Traditionele methoden (bijv. multi-view stereo gevolgd door textuuroptimalisatie) mengen direct de gevangen pixelkleuren. Dit resulteert in texturen met "ingebakken" schaduwwerking en belichting, wat de visuele getrouwheid in gevaar brengt wanneer de scène onder nieuwe lichtomstandigheden wordt belicht.
• Intrinsic Decomposition & Diffusiemethoden: Hoewel recente neurale inverse rendering en diffusie-gebaseerde generatieve modellen veelbelovend zijn voor het scheiden van verlichting en reflectantie, falen ze vaak in complexe, grootschalige scenario's. Ze hebben moeite met 3D-consistentie tussen gezichtspunten, verliezen fijne details door de probabilistische aard van generatieve modellering en VAE-informatieverlies, en zijn vaak incompatibel met standaard graphics-pipelines.

Het kernprobleem dat wordt aangepakt, is de behoefte aan een framework dat hoogwaardige, 3D-consistente diffuse albedo-texturen kan herstellen uit ongestructureerde afbeeldingscollecties, waarbij de oppervlaktereflectantie effectief wordt ontkoppeld van de verlichtingseffecten om realistisch herbelichten mogelijk te maken.

2. Methodologie: DANTE-W

De auteurs stellen DANTE-W voor, een neuraal textureringsframework dat naadloos integreert met traditionele 3D-reconstructie-pipelines. Gegeven een gereconstrueerde mesh en de bijbehorende oppervlakteparameterisatie, werkt de methode via de volgende stadia:

2.1 View-Space Albedo Priors

Om de slecht gestelde aard van intrinsic decomposition aan te pakken, maakt de methode gebruik van state-of-the-art diffusiemodellen (bijv. RGB↔X, DiffusionRenderer) om initiële albedo-schattingen te genereren vanuit inputafbeeldingen. Deze view-space priors worden gelift naar een coherente 2D neurale textuurruimte gedefinieerd op de UV-coördinaten van de mesh. Dit wordt bereikt door het verschil te minimaliseren tussen de output van de neurale textuur en de screen-space albedo gegenereerd door de diffusiemodellen.

2.2 Fysiek Geprincipeerde Neurale Rendering

In het besef dat het naïef liften van diffusie-priors leidt tot overmatig gladgestreken resultaten en inconsistenties tussen gezichtspunten, introduceren de auteurs een fysiek geprincipeerd neuraal rendering framework om fijne details te herstellen. De kerninnovatie ligt in frequentie-gebaseerde ontkoppeling:

• Albedo Representatie: De diffuse albedo ($a_d$) wordt gemodelleerd met behulp van een hoog-resolutie 2D hash-encoding in de UV-ruimte. Dit stelt het netwerk in staat om hoogfrequente, complexe texturele details vast te leggen.
• Irradiance Representatie: De diffuse irradiantie ($s_d$) wordt gemodelleerd met behulp van een laag-resolutie 3D hash-encoding in de 3D-sceneruimte, gecombineerd met per-afbeelding leerbare embeddings. Dit vangt de gladdere, laagfrequente variaties in verlichting en schaduw op.
• Ontkoppelingsmechanisme: Door expliciet een discrepantie af te dwingen in de maximale grid-resoluties ($V^{(a)}_{L_a} \gg V^{(s)}_{L_s}$), stimuleert het framework hoogfrequente informatie naar de albedo-component te laten stromen, terwijl de irradiantie-component de verlichting afhandelt. Dit lost de ambiguïteit tussen oppervlaktedetail en schaduwwerking op.

2.3 Optimalisatie en Rendering

Het systeem optimaliseert gezamenlijk de leerbare hash-entries en MLP-decoders om een samengestelde verliesfunctie te minimaliseren:

1. Albedo Regularisatie ($\mathcal{L}_a$): Stemt de neurale textuur af op de view-space diffusie-priors.
2. Neurale Rendering Loss ($\mathcal{L}_c$): Rendert de uiteindelijke RGB-kleur met behulp van het Lambertiaanse shading model ($c = a_d \odot s_d$) en vergelijkt deze met de ruwe inputafbeeldingen.

De resulterende neurale textuur kan worden gebakken in een standaard UV-map, waardoor het compatibel is met moderne graphics-engines (bijv. Blender) voor real-time rendering en flexibele bewerking.

3. Belangrijkste Bijdragen

1. DANTE-W Framework: Een neurale textureringsbenadering die hoogwaardige diffuse albedo herstelt voor in-the-wild scènes door inconsistente view-space diffusie-priors te liften naar een consistente, expressieve neurale textuurrepresentatie.
2. Frequentie-gebaseerde Ontkoppeling: Een fysiek geprincipeerde neurale renderingstrategie die fijnmazige albedo-details scheidt van irradiantie door de frequentiebanden van hun respectievelijke neurale representaties te differentiëren (hoog-res 2D voor albedo, laag-res 3D voor verlichting).
3. GigaLit Benchmark: De introductie van een nieuw benchmark-dataset met diverse, in-the-wild scènes en synthetische objecten met complexe texturen en ongestructureerde gezichtspunten, ontworpen om diffuse albedo-herstel en herbelichting onder uitdagende omstandigheden te evalueren.

4. Experimentele Resultaten

De auteurs evalueerden DANTE-W op de GigaLit benchmark en de publieke Stanford-ORB dataset, waarbij ze DANTE-W vergeleken met klassieke texturering (Metashape Pro), vanilla diffusie-outputs en andere intrinsic decomposition methoden.

• Kwantitatieve Prestaties: Op de synthetische subset van GigaLit presteerde DANTE-W beter dan diffusie-gebaseerde renderers met +2.63 dB tot +3.85 dB in PSNR voor albedo-herstel en behaalde ~25% lagere LPIPS. Voor herbelichtings-taken liet het nog grotere verbeteringen zien, met +6.13 dB tot +7.15 dB in PSNR en een reductie in LPIPS van meer dan 40% vergeleken met state-of-the-art diffusiemethoden.
• Kwalitatieve Prestaties: Visuele vergelijkingen tonen aan dat DANTE-W effectief ingebakken schaduwen en schaduwwerking verwijdert, terwijl fijne details (bijv. tekst op oppervlakken, complexe patronen) behouden blijven die door andere methoden vaak verloren gaan of worden gehallucineerd. Het behoudt 3D-consistentie over verschillende gezichtspunten.
• Efficiëntie: Het optimalisatieproces is zeer efficiënt en duurt ongeveer 5–8 minuten per scène op een enkele RTX 3090 GPU, wat meer dan 7× sneller is dan het multi-view mesh-textureringsproces van Metashape Pro, terwijl een vergelijkbare of superieure visuele kwaliteit wordt behouden.

5. Betekenis en Claims

Het artikel claimt dat DANTE-W een substantiële vooruitgang vormt richting robuuste en hoogwaardige herbelichtingsapplicaties voor in-the-wild scènes. Door de kloof te overbruggen tussen grove diffusie-priors en expressieve 3D-representaties, overwint de methode de inherente ambiguïteit tussen verlichting en materiaal die bestaande inverse rendering-technieken teistert.

De auteurs benadrukken dat hun aanpak hyperrealistische vrije-gezicht herbelichting mogelijk maakt door albedo-texturen te produceren die vrij zijn van verlichtingsartefacten. Ze positioneren het werk als een naadloze integratie met gevestigde 3D-reconstructie en graphics-pipelines, wat het praktisch maakt voor domeinen zoals virtuele realiteit, filmmaken en gaming.

Beperkingen: De auteurs merken bescheiden op dat de huidige methode is ontworig voor Lambertiaanse oppervlakken en geen rekening houdt met niet-Lambertiaanse effecten (bijv. speculaire highlights). Toekomstig werk suggereert het uitbreiden van het framework naar geavanceerde scène-representaties (zoals Gaussian Splatting) en het opnemen van speculaire materialen.