💻 computer science

MiraGe: Editable 2D Images using Gaussian Splatting

MiraGe is een nieuwe methode die hoogwaardige, realistische en op fysica gebaseerde bewerking van 2D-afbeeldingen mogelijk maakt door deze te representeren als plat-gecontroleerde Gaussians in 3D-ruimte, waarmee de beperkingen van onveranderlijkheid van eerdere Gaussian-gebaseerde beeldrepresentaties worden overwonnen.

Oorspronkelijke auteurs: Joanna Waczyńska, Tomasz Szczepanik, Piotr Borycki, Sławomir Tadeja, Thomas Bohné, Przemysław Spurek

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joanna Waczyńska, Tomasz Szczepanik, Piotr Borycki, Sławomir Tadeja, Thomas Bohné, Przemysław Spurek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een foto hebt. Normaal gesproken denken we aan een foto als een plat vel papier bedekt met kleine gekleurde puntjes (pixels). Als je de foto wilt veranderen — zeg, een arm van een persoon laten zwaaien of de mond van een leeuw laten sluiten — moet je die puntjes bewerken. Het is alsof je over een canvas schildert; zodra je hebt geschilderd, is het oude plaatje weg, en kun je niet gemakkelijk de arm "on-schilderen" of in 3D-ruimte bewegen.

De paper introduceert een nieuwe tool genaamd MiraGe die de manier waarop we naar deze foto's denken verandert. In plaats van een foto te zien als een plat vel puntjes, behandelt MiraGe de afbeelding als een plat, onzichtbaar glasplaatje dat in een 3D-ruimte zweeft.

Hier is hoe het werkt, met behulp van enkele eenvoudige analogieën:

1. De "Driehoekensoep" versus het "Pixelraster"

Traditionele methoden (en zelfs een nieuwere methode genaamd GaussianImage) proberen een afbeelding te reconstrueren door miljoenen kleine, platte cirkels (Gaussians) recht bovenop elkaar te stapelen, zoals een stapel transparante stickers. Het werkt goed om naar de afbeelding te kijken, maar als je die stapel buigt of draait, valt het uit elkaar of ziet het er vreemd uit.

MiraGe doet iets anders. Het neemt die platte cirkels en verandert ze in kleine, platte driehoeken. Stel je voor dat je een vel papier neemt, het in duizenden kleine, platte driehoeken knipt en deze vervolgens in een 3D-ruimte laat zweven. De auteurs noemen dit een "Triangle Soup" (driehoekensoep).

De Magie: Omdat deze driehoeken in de 3D-ruimte bestaan, kun je ze vastpakken, draaien of rondduwen precies zoals je echte objecten in een videogame zou bewegen.

2. De "Spiegel"-truc

Een van de grootste problemen met 3D is weten wat er "achter" iets zit. Als je een plat glasplaatje hebt en je kijkt er vanaf de zijkant naar, zie je niets.

De Oplossing: MiraGe gebruikt een slimme truc waarbij spiegels worden gebruikt. Stel je voor dat je in een kamer staat met een foto aan de muur. Stel je nu voor dat er een tweede camera is die de foto van de andere kant bekijkt (alsof je door een spiegel kijkt).
Door het systeem te trainen om zowel de voorkant van de foto als de "spiegelreflectie" ervan tegelijkertijd te zien, leert de computer precies hoe hij die zwevende driehoeken moet ordenen zodat de afbeelding vanuit elke hoek perfect lijkt. Het is alsof je een beeldhouwer leert een standbeeld te kerven door er tegelijkertijd van twee tegenovergestelde zijden naar te kijken.

3. Spelen met de Fysica

Omdat de afbeelding nu bestaat uit zwevende driehoeken in een 3D-ruimte, kun je deze verbinden met een physics engine (dezelfde soort software die wordt gebruikt om realistische explosies of vallend water in films te maken).

Het Resultaat: Je kunt de foto laten "reageren" op de wereld. Je zou in de simulatie tegen de afbeelding kunnen blazen, en de driehoeken zouden rimpelen als een stuk papier in de wind. Je zou een virtuele steen op de afbeelding kunnen laten vallen, en hij zou realistisch verkreukelen.
Waarom het ertoe doet: Dit is niet alleen een visueel effect; de paper beweert dat dit mogelijk maakt om "physics-based modification" (fysica-gebaseerde modificatie) toe te passen. Je tekent niet zomaar een kreukel; je simuleert de werkelijke fysica van het buigen van de afbeelding.

4. De "3D-illusie" op een 2D-scherm

Het coolste deel is dat, ook al ben je al deze 3D-manipulaties aan het uitvoeren, het eindresultaat nog steeds een standaard 2D-afbeelding is.

Analogie: Denk aan een poppenspel. De poppen (de driehoeken) bewegen in 3D-ruimte achter een scherm. Wanneer je naar het scherm kijkt, zie je een 2D-afbeelding. Maar omdat de poppen in 3D bewogen, verandert de afbeelding op het scherm op een manier die ongelooflijk natuurlijk en diep oogt, als een 3D-effect, ook al is het slechts een platte afbeelding.

Samenvatting van wat zij beweren

Betere Kwaliteit: Ze hebben MiraGe getest tegen andere methoden (zoals GaussianImage en neurale netwerken) en ontdekten dat het veel scherpere, duidelijkere afbeeldingen produceert (hogere PSNR-scores).
Echte Bewerking: In tegen tegenstelling tot eerdere methoden die een afbeelding slechts "reconstrueren", laat MiraGe je de afbeelding daadwerkelijk bewerken. Je kunt delen van de afbeelding bewegen, het perspectief veranderen of de interactie met de fysica laten plaatsvinden, en het ziet er echt uit.
Geen Magische Generatie: In tegen tegenstelling tot sommige AI-tools die "raden" hoe een ontbrekend deel van een gezicht eruitziet (generatieve AI), is MiraGe gebaseerd op geometrie. Het verplaatst de werkelijke stukjes van de afbeelding die je al hebt, waardoor fijne details (zoals een kuiltje in een wang) behouden blijven zonder per ongeluk andere delen van het gezicht te veranderen.

Kortom, MiraGe neemt een platte 2D-foto, breekt deze af in een 3D "driehoekensoep", gebruikt spiegels om de computer te leren hoe hij deze perfect moet ordenen, en laat je vervolgens spelen met die soep met behulp van fysica om realistische, bewerkbare afbeeldingen te creëren.

Technische Samenvatting: MiraGe – Bewerkbare 2D-afbeeldingen met Gaussian Splatting

Probleemstelling

Implicit Neural Representations (INRs) en recente Gaussian-gebaseerde methoden zoals GaussianImage hebben succes getoond in het coderen van 2D-afbeeldingen via continue functies of Gaussian-componenten, waarbij een hoge reconstructiekwaliteit en compressie worden bereikt. Echter, een significante beperking bestaat: deze methoden behandelen afbeeldingen primair als statische datarepresentaties. Ze missen het vermogen voor intuïtieve, door de gebruiker gestuurde beeldmodificatie, met name die processen die de menselijke perceptie van 2D-objecten (zoals foto's) binnen een 3D-ruimtelijke context nabootsen. Hoewel 3D Gaussian Splatting (3DGS) scène-manipulatie mogelijk maakt, ondersteunen bestaande 2D Gaussian-benaderingen (bijv. GaussianImage) geen transformatie van scène-objecten of de integratie van physics-gebaseerde interacties, wat hun toepasbaarheid in dynamische bewerkings- en animatiescenario's beperkt.

Methodologie

MiraGe adresseert deze beperkingen door 2D-afbeeldingscodering te herformuleren door de lens van de menselijke visuele perceptie, waarbij een 2D-afbeelding wordt behandeld als een plat object gesitueerd binnen een 3D-ruimte. De kernmethodologie omvat de volgende componenten:

1. Flat 3D Gaussian Representatie

In plaats van standaard 3D Gaussians of 2D Gaussians, gebruikt MiraGe flat 3D Gaussians. Dit zijn Gaussian-componenten waarbij één schaalparameter naar nul wordt gedwongen ( $s_1 = \epsilon$ ), wat effectief een planaire distributie creëert.

GaMeS Parametrisatie: Het paper maakt gebruik van de GaMeS (Gaussian Mesh Splatting) parametrisatie om deze flat Gaussians te representeren als driehoekige mesh-oppervlakken ("triangle soup"). Een Gaussian-component $N(m, R, S)$ wordt gemapt naar een driehoek $V = [v_1, v_2, v_3]$ , waarbij de vertices worden afgeleid van de gemiddelde waarde (mean) en de schaal-/rotatieparameters. Dit maakt directe manipulatie van de Gaussian-eigenschappen (positie, schaal, rotatie) mogelijk door de onderliggende driehoekige mesh te transformeren.

2. Ruimtelijke Configuratie en Initialisatie

De 2D-afbeelding wordt geïnitialiseerd op het XZ-vlak met het centrum op de oorsprong $(0,0,0)$ . De afstand van de camera is een hyperparameter die de waargenomen schaal controleert. Het initialisatiebereik wordt berekend op basis van het gezichtsveld van de camera om ervoor te zorgen dat de gehele afbeelding zichtbaar blijft onder perspectivische projectie.

3. Drie Controlevarianten

Het paper stelt drie verschillende benaderingen voor om de ruimtelijke positionering van deze Gaussians te controleren:

Amorphous-MiraGe: Gaussians worden geïnitialiseerd op het XZ-vlak, maar mogen vrij bewegen (amorf) in de 3D-ruimte tijdens de training. Hoewel dit 3D-manipulatie mogelijk maakt, merkt de auteur op dat dit aanzienlijke artefacten kan produceren en onvoldoende is voor een hoogwaardige representatie zonder verdere beperkingen.
2D-MiraGe: Om artefacten te voorkomen, zijn de Gaussians strikt verankerd aan het XZ-vlak. De methode gebruikt een rotatiematrix om de Gaussian-componenten uit te lijnen met het vlak, waardoor orthogonaal projectie wordt gewaarborgd. Hoewel effectief voor 2D, faalt deze benadering bij pogingen tot 3D-modificaties, omdat de Gaussians willekeurig verschijnen op basis van de camerapositie.
Graphite-MiraGe: Deze variant staat Gaussians toe het XZ-vlak te verlaten (specifiek langs de Y-as) door een trainbare translatieparameter $\gamma$ te introduceren. Dit maakt 3D-modificaties mogelijk terwijl de orde relatief aan de cameraposities behouden blijft, wat complexe ruimtelijke redenering en beeldcombinatie faciliteert.

4. Mirror Camera Setup

Om de reconstructiefidelity en controle te verbeteren, gebruikt MiraGe een mirror camera setup. Twee tegenover elkaar geplaatste camera's zijn langs de Y-as gepositioneerd, symmetrisch uitgelijnd en op elkaar gericht.

De ene camera reconstrueert de originele afbeelding $I$ .
De tweede camera reconstrueert de spiegelreflectie $M(I)$ (horizontaal gespiegeld).
De loss-functie combineert de reconstructiekosten van beide weergaven: $L(I) + L(M(I))$ . Deze setup zorgt ervoor dat de Gaussians binnen een specifieke ruimtelijke regio blijven, wat de nauwkeurigheid van de representatie verbetert.

5. Physics Engine Integratie

MiraGe integreert met physics engines (Taichi_elements voor 2D, Blender voor 3D) om physics-gebaseerde modificaties mogelijk te maken. Door de physics engine als een 'black box' te behandelen, kan het model realistische interacties, deformaties en bewegingen simuleren, wat de dynamische animaties van de 2D-afbeeldingsinhoud mogelijk maakt.

Belangrijkste Bijdragen

Het paper schetst de volgende primaire bijdragen:

MiraGe Model: Introductie van een nieuw model dat 2D-afbeeldingen representeert met behulp van flat 3D Gaussian-componenten, waarbij een state-of-the-art reconstructiekwaliteit wordt bereikt.
3D Ruimtelijke Manipulatie: Het vermogen om 2D-afbeeldingen te manipuleren binnen een 3D-ruimte, wat het effect van 3D-effecten creëert en intuïtieve perspectiefaanpassingen mogelijk maakt die moeilijk zijn in traditionele 2D-frameworks.
Physics Integratie: De succesvolle integratie van MiraGe met physics engines, wat physics-gebaseerde modificaties en interacties mogelijk maakt voor zowel 2D- als 3D-omgevingen, wat de realisme in animaties verhoogt.

Resultaten

Kwantitatieve evaluaties op de Kodak en DIV2K datasets laten zien dat MiraGe bestaande baselines overtreft, waaronder klassieke INRs (SIREN, WIRE, I-NGP, NeuRBF), standaard 3DGS en GaussianImage.

Reconstructiekwaliteit: MiraGe bereikt aanzienlijk hogere PSNR- en MS-SSIM-scores. Zo bereikt MiraGe-100k op de DIV2K-dataset een PSNR van 54.54 en een MS-SSIM van 0.9998, vergeleken met 41.48 en 0.9981 voor GaussianImage-100k.
Visuele Getrouwheid: Visuele vergelijkingen tonen aan dat MiraGe minder artefacten produceert en fijne details (bijv. kuiltjes in een gezicht, mond van een leeuw) beter behoudt tijdens lokale bewerkingen vergeleken met generatieve modellen zoals DragGAN of DragDiffusion.
Bewerkingsmogelijkheden: Het model ondersteunt realistische modificaties, zoals het buigen, roteren en animeren van 2D-afbeeldingen in de 3D-ruimte, evenals de naadloze integratie van meerdere afbeeldingen (collage-achtige composities) op verschillende vlakken.

Betekenis en Claims

De auteurs beweren dat MiraGe de kloof overbrugt tussen 2D-afbeeldingsrepresentatie en 3D-ruimtelijk begrip. Door menselijke perceptie te simuleren — waarbij een 2D-afbeelding wordt gezien als een plat object in een 3D-ruimte — maakt de methode het volgende mogelijk:

Intuïtieve Bewerking: Gebruikers kunnen complexe transformaties (affien, buigen) direct in de derde dimensie uitvoeren.
Dynamische Toepassingen: De integratie met physics engines maakt de creatie van realistische, physics-gebaseerde 2D-animaties mogelijk, geschikt voor virtuele realiteit-achtergronden en interactieve ruimtelijke interfaces.
Superieure Prestaties: De aanpak biedt een betere reconstructiekwaliteit en natuurlijkere modificatiemogelijkheden dan standaard INR- of GaussianImage-benaderingen, zonder te vertrouwen op generatieve technieken die de semantische inhoud onvoorspelbaar kunnen wijzigen.

Het paper concludeert dat hoewel het model beperkt wordt door de 2D-aard van de trainingsdata (bijv. geoccludeerde achtergrondgebieden wanneer voorgrondelementen worden verplaatst), de combinatie van flat 3D Gaussians, mirror camera training en physics integratie een krachtig instrumentarium biedt om de mogelijkheden van beeldbewerking en -animatie uit te breiden.