GaINeR: Geometry-Aware Implicit Network Representation

Titel: GaINeR: Geometry-Aware Implicit Neural Representation for Image Editing

1. Het Probleem

Implicit Neural Representations (INR's), zoals SIREN, WIRE en FINER, zijn krachtige methoden voor het modelleren van continue 2D-afbeeldingen. Ze bieden hoge reconstructiekwaliteit, super-resolutie en compressie zonder vaste rasterresolutie. Echter, deze traditionele INR's hebben twee fundamentele beperkingen:

1. Gebrek aan expliciete geometrische structuur: Ze modelleren signalen als een zwarte doos (neuraal netwerk) zonder inzichtelijke ruimtelijke relaties. Dit maakt lokale bewerkingen (zoals het verplaatsen van objecten) moeilijk en verhindert naadloze integratie met fysische simulatie-engines.
2. Beperkte bewerkbaarheid: Omdat de parameters globaal zijn, is het lastig om specifieke delen van een afbeelding te manipuleren zonder de rest te beïnvloeden.

Aan de andere kant gebruiken discrete methoden, zoals 3D Gaussian Splatting (3DGS) of MiRaGe, expliciete Gaussische primitieven voor bewerkbaarheid. Deze methoden lijden echter onder artefacten bij grote geometrische vervormingen en bieden geen echt continue representatie, wat leidt tot kwaliteitsverlies bij extreme transformaties of super-resolutie.

2. Methodologie: GaINeR

GaINeR (Geometry-Aware Implicit Network Representation) is een hybride framework dat de continue flexibiliteit van INR's combineert met de structurele expressiviteit van leerbare Gaussische verdelingen.

Kernarchitectuur:

• Gaussische Componenten: In plaats van alleen een MLP te gebruiken, definieert GaINeR een set van $N$ leerbare Gaussische componenten. Elke component $i$ wordt gekenmerkt door een gemiddelde positie ($\mu_i$), een covariantiematrix ($\Sigma_i$) en een leerbaar feature-embeddingsvector ($\mathbf{e}_i$).
• Multi-Resolution Hashgrid: Tijdens het trainen worden features verkregen via een multi-resolution hashgrid ($H(\mu)$) om fijne ruimtelijke details te vangen. Deze hashgrid-encoder wordt echter niet gebruikt tijdens inferentie; de geleerde Gaussische parameters coderen de vereiste multi-schaalstructuur zelf.
• KNN Aggregatie: Voor een gegeven invoercoördinaat $\mathbf{x}$ (bijv. een pixel), identificeert het model de $K$ dichtstbijzijnde Gaussische centra via een radius-beperkte K-Nearest Neighbors (KNN) zoekopdracht.
• Gewogen Embedding: De features van deze buren worden geaggregeerd via een Gaussisch-gewogen gemiddelde. Dit resulteert in een lokaal, geometrie-bewust embedding $\mathbf{e}_{KNN}(\mathbf{x})$.
• MLP Decoder: Een Multi-Layer Perceptron (MLP) fungeert als decoder die dit geaggregeerde embedding omzet in de uiteindelijke RGB-kleur (of dichtheid $\sigma$ in 3D).
  $$f_\theta(\mathbf{x}) = \text{MLP}_\theta(\mathbf{e}_{KNN}(\mathbf{x}, \mathcal{G}))$$

Werkingsprincipe:
Omdat de decoder alleen afhankelijk is van de geaggregeerde features en niet van absolute coördinaten, vertoont het model ruimtelijke equivariantie. Het verschuiven van de Gaussische centra ($\mu_i$) veroorzaakt coherente vervormingen in de gereconstrueerde afbeelding zonder artefacten. Dit maakt directe interactie met fysische engines mogelijk, waarbij de Gaussische centra fungeren als materiële punten.

Toepassingen:

• 2D Bewerking: Directe manipulatie van objecten door de Gaussische posities te veranderen.
• 2D-naar-3D Lifting: Door de MLP te laten voorspellen van zowel kleur als dichtheid ($\sigma$) en de Gaussische middelpunten naar 3D te projecteren (gebaseerd op monokulaire dieptekaarten), kan een enkele 2D-afbeelding worden omgezet in een geometrie-bewuste 3D-representatie voor nieuwe weergaven.
• Super-Resolutie: Als een continue functie kan GaINeR willekeurige resoluties genereren zonder opnieuw te hoeven trainen.

3. Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van GaINeR, het eerste model dat een continue INR voor 2D-afbeeldingen combineert met leerbare Gaussische embeddings, wat superieure reconstructiekwaliteit biedt ten opzichte van eerdere INR-benaderingen.
2. Geometrische Bewerkbaarheid: Uitbreiding van het INR-framework met een geometrisch component dat directe, flexibele 2D-bewerkingen mogelijk maakt en naadloos integreert met fysische simulatie-engines voor interactieve effecten.
3. 3D-Consistentie: Demonstratie dat de geometrie-bewuste formulatie 2D-naar-3D transformaties mogelijk maakt via dieptegestuurde Gaussische verplaatsing, waardoor consistente ruimtelijke manipulatie buiten het 2D-vlak mogelijk is.
4. Arbitraire Resolutie: Dankzij de continue formulatie ondersteunt GaINeR naadloze super-resolutie en upscaling zonder hertraining.

4. Resultaten

De auteurs hebben GaINeR geëvalueerd op de Kodak- en DIV2K-datasets en vergeleken met state-of-the-art methoden zoals SIREN, WIRE, I-NGP, 3DGS, GaussianImage en MiRaGe.

• Reconstructiekwaliteit: GaINeR behaalt de hoogste PSNR-waarden. Op de Kodak-dataset steeg de PSNR van 59,52 (MiRaGe) naar 77,09. Op DIV2K steeg deze van 54,54 naar 62,20. De MS-SSIM-waarden blijven bijna perfect (0,9999).
• Visuele Kwaliteit: Foutkaarten tonen aan dat GaINeR bijna geen waarneembare fouten produceert in vergelijking met concurrenten.
• Bewerking en Fysica: Bij manuele vervormingen (buigen, rekken, snijden) en fysische simulaties (MPM met Taichi) behoudt GaINeR een coherente, realistische uitstraling. MiRaGe en 3DGS vertonen daarentegen ernstige artefacten, zoals spitsvormige randen en transparanties, onder stress.
• Up-scaling: Bij extreme vergrotingsfactoren (x8, x10, x12) behoudt GaINeR scherpe randen en fijne texturen, terwijl andere methoden last hebben van "Gaussian-artefacten" en oververzachting.

5. Betekenis en Impact

GaINeR vormt een brug tussen de wereld van continue, differentieerbare neurale velden en expliciete, bewerkbare geometrische primitieven.

• Interpretatie: Het biedt een interpreteerbare representatie waarbij de Gaussische componenten direct corresponderen met ruimtelijke structuren in de afbeelding.
• Toekomstperspectief: Het opent de weg voor geavanceerde interactieve beeldmanipulatie, realistische fysica-simulaties op 2D-afbeeldingen en robuuste 2D-naar-3D reconstructie. Het lost het compromis op tussen hoge reconstructiekwaliteit (INR) en bewerkbaarheid (Gaussian Splatting), wat een nieuwe standaard kan worden voor beeldbewerking en computervisie.

Beperking: De kwaliteit van de 3D-lifting is afhankelijk van de nauwkeurigheid van de gebruikte monokulaire diepteschatters; fouten in de diepteschatting kunnen leiden tot geometrische artefacten.