Dehaze-then-Splat: Generative Dehazing with Physics-Informed 3D Gaussian Splatting for Smoke-Free Novel View Synthesis

1. Het Probleem

Het paper adresseert de uitdaging van multi-view rook- en mistverwijdering voor novel view synthesis (NVS) (het genereren van nieuwe weergaven van een scène). Dit is een gecombineerd probleem waarbij twee doelen moeten worden bereikt:

1. Het herstellen van de visuele kwaliteit in elke individuele, vervuilde weergave.
2. Het behouden van fotometrische en geometrische consistentie tussen de verschillende weergaven, wat essentieel is voor een stabiele 3D-reconstructie.

De auteurs identificeren een fundamentele spanning in bestaande "dehaze-then-reconstruct" pijplijnen:

• State-of-the-art generatieve modellen (zoals Nano Banana Pro) leveren uitstekende resultaten per individueel frame, maar verwerken elke weergave onafhankelijk.
• Dit leidt tot stochastische variaties in kleur, textuur en "hallucinaties" van details tussen verschillende weergaven van dezelfde 3D-ruimte.
• Wanneer deze inconsistente beelden worden gebruikt om een 3D Gaussian Splatting (3DGS) model te trainen, probeert het model de tegenstrijdige signalen te middelen. Het resultaat is onscherpe renders, textuur-drift, structurele instabiliteit en "floater"-artefacten (valse objecten).

2. Methodologie: De "Dehaze-then-Splat" Pijplijn

De auteurs stellen een tweestaps-pijplijn voor die generatieve dehazing combineert met fysisch geïnformeerde 3DGS-training.

Stap 1: Generatieve Dehazing en Normalisatie

• Model: Er wordt gebruikgemaakt van Nano Banana Pro (via de Gemini API) voor per-frame rookverwijdering. Dit model is gekozen vanwege zijn superieure prestaties in het hallucineren van plausibele inhoud in zwaar verduisterde gebieden.
• Prompt Engineering: Een gestructureerde prompt zorgt voor het behoud van geometrie en fotorealisme.
• Helderheidsnormalisatie: Omdat generatieve modellen inter-frame helderheidsverschillen introduceren (maximale verschuiving van 0.12), wordt per-kanaal gemiddelde/standaarddeviatie-normalisatie toegepast. Dit verkleint de sprong tussen frames naar 0.001.
• Resolutie-aanpassing: De output van het generatieve model wordt herschaald om exact overeen te komen met de camera-intrinsieken voor pixel-accurate uitlijning.

Stap 2: 3DGS Training met Fysisch Geïnformeerde Priors

Om de inconsistenties uit Stap 1 te compenseren, wordt het standaard 3DGS-trainingproces aangevuld met hulpverliezen (auxiliary losses) die als impliciete regularisatoren voor multi-view consistentie fungeren:

1. Dieptetoezicht via Pearson-correlatie ($L_{depth}$):
   • Pseudo-dieptekaarten worden gegenereerd uit de originele rookbeelden met Depth Anything V2.
   • Een schaal-invariante gewogen Pearson-correlatie-verliesfunctie wordt gebruikt tussen de gerenderde diepte en de pseudo-diepte. Dit is de meest impactvolle component (+0.79 dB).
2. Dark Channel Prior (DCP) Regularisatie ($L_{DCP}$):
   • Gebaseerd op het principe dat schone beelden een donkere kanaalwaarde dicht bij nul hebben. Dit loss regulariseert de gerenderde afbeelding om resterende nevel te onderdrukken.
3. Dual-source Gradient Matching ($L_{grad}$):
   • De randstructuur wordt bewaakt door Sobel-gradiënten te vergelijken met een secundaire structurele referentie (output van MB-TaylorFormer), na helderheidsnormalisatie.
4. MCMC Densificatie en Vroege Stop:
   • In plaats van handmatige heuristieken voor het splitsen/klonen van Gaussians, wordt de MCMC-strategie (Markov Chain Monte Carlo) gebruikt voor stochastische verplaatsing en injectie van ruis.
   • Vroege stop: De training wordt gestopt bij een laag aantal Gaussians (rond stap 2000-3000, ca. 104k-161k Gaussians). Late training leidt tot overfitting op per-view artefacten en explodeert het aantal Gaussians, wat floater-artefacten veroorzaakt.

3. Belangrijkste Bijdragen

• Identificatie van de Consistentie-Gap: Het paper toont aan dat hoge kwaliteit per frame niet garandeert dat multi-view consistentie behouden blijft, en dat deze inconsistentie de 3D-reconstructie fundamenteel schaadt.
• Hybride Architectuur: De combinatie van een krachtig generatief 2D-model voor restauratie met een 3DGS-model dat wordt "gecorrigeerd" door fysische priors (diepte, DCP, gradiënten).
• Strategie voor Capaciteitsbeheer: Het bewijs dat vroege stop van de densificatie cruciaal is om te voorkomen dat het model de per-view variaties van het generatieve model memoriseert in plaats van de onderliggende scène te leren.
• Ablatie van End-to-End Alternatieven: Het paper toont aan dat een puur end-to-end aanpak (Koschmieder-spreidingsmodel in 3DGS) faalt zonder sterke scene-priors, wat de noodzaak van hun hybride benadering onderstreept.

4. Resultaten

De methode is getest op de Akikaze validatiescène (onderdeel van de NTIRE 2026 3DRR Challenge):

• Prestaties: De volledige pijplijn bereikt 20.98 dB PSNR en 0.683 SSIM voor novel view synthesis.
• Verbetering: Dit is een verbetering van +1.50 dB PSNR ten opzichte van een ongeregelde baseline (zonder hulpverliezen).
• Vergelijking:
  • Nano Banana Pro alleen (per frame) levert 20.07 dB.
  • De 3DGS baseline zonder regularisatie levert slechts 19.48 dB.
  • De end-to-end "Route B" (Dehaze3DGS) faalt volledig met slechts 10.28 dB.
• Ablatie-studies: Dieptetoezicht bleek de grootste bijdrage te leveren. Het gebruik van MCMC in plaats van de standaard strategie leverde +0.47 dB op. Vroege stop (stap 3000 vs 15000) leverde +0.35 dB op door overfitting te voorkomen.

5. Betekenis en Conclusie

Het paper biedt een belangrijke inzicht voor de gemeenschap van 3D-reconstructie en beeldherstel:

• Er is een fundamentele afweging tussen restauratiekwaliteit per image en multi-view consistentie.
• Puur 2D-methoden of puur 3D-methoden zijn onvoldoende; een succesvolle oplossing vereist een balans waarbij de 3D-training wordt "gecorrigeerd" met fysieke priors om de inconsistenties van generatieve modellen te compenseren.
• De voorgestelde Dehaze-then-Splat methode biedt een robuuste oplossing voor rookverwijdering in multi-view settings, wat leidt tot scherpe, structureel stabiele nieuwe weergaven.
• Toekomstig werk zou zich kunnen richten op het integreren van consistentie-beperkingen direct in het dehazing-stadium (bijv. via video-generatieve modellen) om de kloof tussen 2D-restauratie en 3D-reconstructie verder te dichten.

De code is beschikbaar via de GitHub-repository van de auteurs.