Technische Samenvatting: CoIn - Uitgebreide 2D-3D Inpainting met Gaussian Splatting Guidance

1. Probleemstelling

3D-scène inpainting is cruciaal voor het reconstrueren van gebieden die gecorrumpeerd zijn door occlusies, sensorgruis of beperkte gezichtspunten. Hoewel recente methoden gebruikmaken van Gaussian Splatting (3DGS) voor efficiënte 3D-bewerking, kampen bestaande benaderingen met significante beperkingen:

• 3D-First Pipelines: Methoden die een 3D-scène reconstrueren vóór de inpainting (bijv. IMFine, 3DGIC) leunen zwaar op precieze multi-view segmentatie-masks. Inconsistente masks over verschillende views leiden tot geometrische misalignement, overmatige verwijdering van niet-doelgebieden en incorrecte 3D-segmentatie. Bovendien zijn deze methoden vaak beperkt tot objectverwijderingstaken en hebben ze moeite met objectinvoeging.
• 2D-First Pipelines: Benaderingen die eerst 2D inpainting uitvoeren en vervolgens 3D-consistentie afdwingen (bijv. MVInpainter) vereisen vaak finetuning op specifieke datasets of aanvullende nauwkeurige 3D-labels. Pure 2D inpainting zonder guidance resulteert in ernstige inconsistenties tussen multi-view afbeeldingen, wat leidt tot onnauwkeurige geometrieën en onscherpte in de uiteindelijke 3D-reconstructie.
• Algemene Beperkingen: Huidige oplossingen hebben moeite met het ondersteunen van willekeurig gevormde masks, het aanpakken van diverse taken (zowel verwijdering als invoeging) en het handhaven van strikte multi-view consistentie zonder zware computationele kosten of complexe volumetrische optimalisatie.

2. Methodologie

De auteurs stellen CoIn voor, een nieuw framework dat 2D inpainting-modellen en 3D Gaussian Splatting (3DGS) overbrugt via een multi-stage consistentie-pipeline. In tegenstelling tot traditionele 3D-first benaderingen, hanteert CoIn een 2D-first strategie die wordt versterkt door bidirectionele informatiestroom tussen 2D- en 3D-representaties.

Pipeline Overzicht

De methode werkt in vier stadia:

1. Initiële 2D Inpainting: Een getraind Stable Diffusion (SD) model genereert initiële ingepainte afbeeldingen voor alle input views. Dit maakt het gebruik van willekeurig gevormde masks en diverse taken zoals objectinvoeging mogelijk, hoewel de resultaten een gebrek aan cross-view consistentie vertonen.
2. Coarse Stage (Reference Adaptive GS): Een 3D Gaussian Splatting-scène wordt gereconstrueerd vanuit de initiële 2D-resultaten. Om de scène te stabiliseren en uit te lijnen met een geselecteerde referentie view, introduceren de auteurs Reference Adaptive GS met Feature Attention (Ref-GS).
   • Adaptieve Gewichten: Per-view gewichten worden toegepast op de rendering loss, waarbij de referentie view zwaarder wordt gewogen en inconsistente views minder zwaar.
   • Feature Attention: Anchor features binnen de inpainting-regio worden bijgewerkt via unidirectionele attention van naburige anchors, wat de textuurcoherentie verbetert.
   • Diepte Regularisatie: Een diepte loss wordt toegepast met behulp van een monoculaire diepteschatter om geometrische stabiliteit te garanderen.
3. Guidance Stage (Consistency Loss Guidance): De gereconstrueerde 3D-scène stuurt het 2D inpainting-proces aan om multi-view consistentie af te dwingen.
   • GS-gebaseerde Reference Feature Warping: Features van de referentie view en huidige views worden geprojecteerd in een 3D puntenwolk en gereprojecteerd naar een intermediair gezichtspunt.
   • Energy Function: Een consistentie loss wordt geformuleerd met behulp van cosine similarity voor hoogfrequente features (DINO) en L2 similarity voor RGB-features. Deze energy function wordt geminimaliseerd tijdens het diffusie denoising-proces (geïnspireerd door FreeDoM), wat ervoor zorgt dat de gegenereerde afbeeldingen overeenkomen met de 3D-geometrie.
4. Fine Stage (Texture Enhancement): Een Texture-Enhancing Discriminator (TE-D) wordt ingezet om de 3D-scène te verfijnen. Getraind via adversarial learning op kleine afbeeldingspatches, draagt TE-D hoogfrequente textuurdetails van de initiële 2D inpainting output over naar de GS-renderings, terwijl de geometrische structuur die in de vorige fase is vastgesteld, behouden blijft.

3. Belangrijkste Bijdragen

Het paper schetst vier primaire bijdragen:

1. CoIn Framework: Een uitgebreide pipeline die generatieve 2D-synthese naadloos integreert met expliciete 3D-reconstructie, waarbij willekeurig gevormde masks en diverse taken (verwijdering en invoeging) worden ondersteund.
2. Reference Adaptive GS (Ref-GS): Een nieuw module die adaptieve gewichten toekent aan elke view om de 3DGS-scène te optimaliseren richting een referentie gezichtspunt, gebruikmakend van feature attention om structurele coherentie te behouden.
3. Consistency Loss Guidance (CLG): Een mechanisme dat gebruikmaakt van GS-gebaseerde Reference Feature Warping om 3D-consistentie af te dwingen tijdens het diffusie denoising-proces, waardoor de kloof tussen 2D-generatie en 3D-geometrie wordt overbrugd.
4. Texture Enhancing Discriminator (TE-D): Een adversarial component die de onscherpte in gegenereerde patches vermindert door de distributie van echte afbeeldingspatches te leren, wat de fotometrische realisme aanzienlijk verbetert.

4. Experimentele Resultaten

De auteurs hebben CoIn geëvalueerd op de SPIn-NeRF en IMFine datasets, waarbij ze CoIn hebben vergeleken met state-of-the-art baselines inclusief 3DGIC, GScream, MVIP-NeRF en IMFine.

• Kwantitatieve Prestaties: CoIn behaalde state-of-the-art prestaties over de meeste metrieken (LPIPS, PSNR, FID) op beide datasets. Opvallend genoeg was het prestatieverschil tussen het gebruik van segmentatie-masks en bounding-box masks minimaal voor CoIn, wat de robuustheid tegen maskvormen aantoont.
• Objectinvoeging: Bij objectinvoegingstaken presteerde CoIn beter dan baselines (Gaussian Editor, Infusion) op het gebied van semantische alignment (CLIPdir) en gebruikersvoorkeurstudies met betrekking tot multi-view consistentie, visuele kwaliteit en de afwezigheid van artefacten.
• Ablatie-studies: Het verwijderen van een van de kerncomponenten (Ref-GS, CLG of TE-D) leidde tot een significante prestatievermindering. Specifiek leidde de afwezigheid van TE-D tot te gladde texturen, terwijl het gebrek aan CLG zorgde voor inconsistente resultaten en artefacten.
• Kwalitatieve Analyse: Visuele resultaten toonden aan dat CoIn er succesvol in slaagde om niet-ingepainte regio's te behouden en hoogwaardige content te genereren met strikte multi-view consistentie, terwijl 3D-first methoden vaak faalden door inconsistente masks, en andere 2D-first methoden geometrische instabiliteit vertoonden.

5. Betekenis en Claims

Het paper claimt dat CoIn een uitgebreide oplossing vormt voor de uitdagingen van 3D-scène inpainting door effectief gebruik te maken van de bidirectionele informatiestroom tussen 2D- en 3D-domeinen.

• Flexibiliteit: In tegen tegenoverking van 3D-first pipelines die precieze segmentatie vereisen en beperkt zijn tot verwijdering, ondersteunt CoIn willekeurig gevormde masks en behandelt het zowel verwijdering als invoeging.
• Consistentie: Door 3D-priors te integreren in het 2D-generatieproces via Reference Feature Warping, overwint CoIn de problemen met cross-view inconsistentie die gebruikelijk zijn bij pure 2D multi-view inpainting.
• Efficiëntie: Het framework bereikt hoogwaardige resultaten met een efficiënt optimalisatieproces (ongeveer 2,5 uur per scène), waardoor de zware berekeningen en lange trainingstijden van impliciete NeRF-gebaseerde methoden worden vermeden.

De auteurs concluderen dat CoIn effectief de kloof overbrugt tussen de semantische flexibiliteit van 2D generatieve modellen en de geometrische strengheid van 3D Gaussian Splatting, waarmee een nieuwe standaard wordt gezet voor 3D-bewerkingstaken.