Technische Samenvatting: DelowlightSplat

Probleemstelling

Nieuwe-zicht synthesese en 3D-reconstructie vanuit spaarzaam geposeerde afbeeldingen zijn cruciaal voor robotica en AR/VR. Hoewel recente feed-forward 3D Gaussian Splatting (3DGS)-methodes succesvol per-scene optimalisatie hebben geamortiseerd door direct 3D-Gaussianen te voorspellen vanuit spaarzame weergaven, falen ze aanzienlijk onder omstandigheden met weinig licht. In regimes met weinig licht verminderen het contrast, ruis van de sensor en kleuroptrekken de matchbaarheid van kenmerken. Deze onderbreking in correspondentie verstoort de aggregatie van kostenvolumes, wat leidt tot onjuiste geometrie en overgegladde verschijningen.

Bestaande oplossingen, zoals een "herstel-voordat-reconstrueren"-pijplijn (het verbeteren van 2D-afbeeldingen voordat reconstructie plaatsvindt), zijn ontoereikend. Per-afbeelding verbetering introduceert vaak weergave-afhankelijke kleverschuivingen en inconsistenties in verlichting, en faalt in het expliciet optimaliseren voor multi-view consistentie, wat resulteert in een onstabiele downstream-reconstructie. Bovendien is er een tekort aan realistische multi-view supervisiegegevens waarbij doelweergaven schoon zijn terwijl contextweergaven gedegradeerd zijn, wat het moeilijk maakt om modellen specifiek voor deze taak te trainen.

Methodologie: DelowlightSplat

De auteurs stellen DelowlightSplat voor, een bewust van weinig licht, twee-weergave feed-forward 3DGS-framework dat is ontworpen om schone, normaal verlichte 3D-scènes direct te reconstrueren vanuit invoer met weinig licht. De pijplijn bestaat uit drie hoofdfasen:

1. Controleerbaar Multi-view Benchmark voor weinig licht

Om het gebrek aan trainingsdata aan te pakken, hebben de auteurs een benchmark opgezet gebaseerd op een groot scala aan geposeerde weergaven. In plaats van volledige scènes te degraderen, degraderen ze alleen de contextweergaven (invoerafbeeldingen) terwijl ze de doelweergaven (grondwahrheid) schoon houden. De degradatie-operator $\mathcal{L}$ past vier probabilistische transformaties sequentieel toe op contextafbeeldingen:

• Gamma-verduistering: $I \leftarrow I^\gamma$ met $\gamma > 1$.
• Expositieschaal: $I \leftarrow s \cdot I$ met $0 < s < 1$.
• RGB-kanaalschuiving: Onafhankelijke schaling van R-, G- en B-kanaalen.
• Vervaging: Convolutie met een Gaussische kern.

Dit protocol isoleert de impact van invoer met weinig licht op reconstructie, terwijl het voorkomt dat het model simpelweg leert om uiterlijkheden met weinig licht na te bootsen.

2. Adapter voor weinig licht

Een lichtgewicht front-end-module wordt geïntroduceerd om invoer met weinig licht af te beelden naar een representatiedomein dat geschikt is voor multi-view redenering. In tegenstelling tot standalone 2D-verbeteringsmodellen, is deze adapter geoptimaliseerd om de matchbaarheid voor de daaropvolgende pijplijn te verbeteren.

• Mechanisme: Het voorspelt een residu-correctie $\Delta(I_i)$ met behulp van een kleine stapel convolutie-residublokken.
• Output: De aangepaste afbeelding wordt berekend als $\tilde{I}_i = \text{clip}(I_i + \lambda \cdot \tanh(\Delta(I_i)))$.
• Voordeel: Deze residu-formulering stelt het model in staat dicht bij de identiteit te blijven voor milde degradaties (om over-versterking te voorkomen) en wordt end-to-end getraind met de reconstructie-ruggengraat.

3. Feed-forward Gaussian Splatting Netwerk

De aangepaste contextweergaven $\{\tilde{I}_i\}$ worden verwerkt door een kostenvolume-gebaseerde multi-view encoder:

• Kenmerkcodering: Extraheert 2D-kenmerken en voert cross-view interactie uit om geometrisch consistente bewijslast te aggregeren.
• Geometrieconstructie: Voorspelt diepte en dichtheidsgerelateerde grootheden op elke pixel. Deze worden teruggeprojecteerd naar 3D om Gaussian-centra ($\mu$) te vormen. Covarianties ($\Sigma$) en opaciteiten ($\alpha$) worden geparametriseerd om positieve definietheid en geldige bereiken te waarborgen.
• Uiterlijk: Elke Gaussian draagt Sferische Harmonische (SH) coëfficiënten ($h$) om weergave-afhankelijke kleur te representeren.
• Trainingsdoel: Het netwerk wordt gesuperviseerd met schone doelafbeeldingen ($I^\star_t$) via een combinatie van pixel-wijze verlies (bijv. $\ell_2$ of Charbonnier) en perceptueel verlies.

Belangrijkste Bijdragen

1. Een Controleerbaar Multi-view Benchmark voor weinig licht: Een trainings- en evaluatiekader dat alleen contextweergaven degradeert met probabilistische transformaties terwijl schone doelweergaven behouden blijven, waardoor systematische ablatie van effecten van weinig licht mogelijk is.
2. DelowlightSplat Pijplijn: Een nieuwe twee-weergave feed-forward 3DGS-pijplijn die een lichtgewicht Adapter voor weinig licht integreert voor residu-versterking. Deze aanpak verbetert cross-view matchbaarheid en voorspelt direct schone 3D-Gaussianen voor rendering vanuit nieuwe weergaven, waardoor de inconsistenties van twee-traps pijplijnen worden vermeden.

Experimentele Resultaten

De methode werd geëvalueerd tegenover twee baselines:

• Lowlight MVSplat: Het direct voeden van afbeeldingen met weinig licht in een standaard feed-forward reconstructor.
• DarkIR $\to$ MVSplat: Een twee-traps pijplijn die een sterk 2D-herstelmodel (DarkIR) gebruikt, gevolgd door reconstructie.

Kwantitatieve Prestaties (Nieuwe-zicht Synthese met weinig licht):
DelowlightSplat presteerde aanzienlijk beter dan beide baselines:

• PSNR: Verbeterd van 8,49 (Lowlight MVSplat) en 17,11 (DarkIR $\to$ MVSplat) naar 23,08.
• SSIM: Verbeterd van 0,372 en 0,723 naar 0,833.
• LPIPS: Verminderd van 0,355 en 0,225 naar 0,162 (lager is beter).

Kwalitatieve Observaties:

• Directe reconstructie resulteerde in overgegladde texturen en geometrische artefacten (bijv. zwevende structuren).
• De twee-traps baseline verbeterde de helderheid maar introduceerde weergave-afhankelijke kleverschuivingen en resterende vervaging door inconsistente per-afbeelding herstel.
• DelowlightSplat produceerde scherpere randen, stabiele geometrie en consistente kleur/schaduwing over verschillende gezichtspunten.

Betekenis en Claims

Het artikel stelt dat DelowlightSplat effectief de kloof overbrugt tussen standaard feed-forward 3D-reconstructie en omstandigheden met weinig licht. Door aanpassing voor weinig licht direct in de reconstructiepijplijn te integreren in plaats van het te behandelen als een aparte voorbewerkingsstap, optimaliseert de methode expliciet voor multi-view consistentie. De resultaten tonen aan dat deze aanpak leidt tot hogere reconstructiefideliteit en perceptuele kwaliteit onder diverse degradaties met weinig licht (gamma, expositie, kleverschuiving en vervaging) in vergelijking met bestaande directe of twee-traps methodes.

De auteurs merken op dat toekomstig werk het model zou kunnen uitbreiden om meer weergaven, langere temporele contexten en sensorartefacten uit de echte wereld aan te kunnen, zoals ernstige bewegingsvervaging en ruimtelijk variërende ruis.