💻 computer science

MiraGe: Editable 2D Images using Gaussian Splatting

MiraGe est une méthode novatrice qui permet une édition d'images 2D de haute qualité, réaliste et basée sur la physique, en les représentant sous forme de Gaussiennes à contrôle plat dans l'espace 3D, surmontant ainsi les limitations d'immutabilité des précédentes représentations d'images basées sur les Gaussiennes.

Auteurs originaux : Joanna Waczyńska, Tomasz Szczepanik, Piotr Borycki, Sławomir Tadeja, Thomas Bohné, Przemysław Spurek

Publié 2026-07-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Joanna Waczyńska, Tomasz Szczepanik, Piotr Borycki, Sławomir Tadeja, Thomas Bohné, Przemysław Spurek

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une photographie. Habituellement, nous considérons une photo comme une feuille de papier plate couverte de minuscules points colorés (pixels). Si vous voulez modifier la photo — par exemple, faire agiter le bras d'une personne ou fermer la gueule d'un lion — vous devez éditer ces points. C'est comme peindre sur une toile ; une fois que vous avez peint, l'ancienne image a disparu et vous ne pouvez pas facilement « dépeindre » ou déplacer le bras dans un espace 3D.

Le document présente un nouvel outil appelé MiraGe qui change notre façon de concevoir ces photos. Au lieu de voir une photo comme une feuille de points plate, MiraGe traite l'image comme une feuille de verre plate et invisible flottant dans une pièce en 3D.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. La « Soupe de Triangles » vs la « Grille de Pixels »

Les méthodes traditionnelles (et même une méthode plus récente appelée GaussianImage) tentent de reconstruire une image en empilant des millions de petits cercles plats (des Gaussiennes) les uns sur les autres, comme une pile d'autocollants transparents. Cela fonctionne bien pour regarder l'image, mais si vous essayez de tordre ou de tordre cet empilement, il s'effondre ou semble étrange.

MiraGe fait quelque chose de différent. Il prend ces cercles plats et les transforme en de petits triangles plats. Imaginez prendre une feuille de papier, la découper en milliers de petits triangles plats, puis les faire flotter dans une pièce en 3D. Les auteurs appellent cela une « Soupe de Triangles ».

La Magie : Parce que ces triangles existent dans l'espace 3D, vous pouvez les saisir, les faire pivoter ou les pousser, exactement comme vous déplaceriez de vrais objets dans un jeu vidéo.

2. Le tour du « Miroir »

L'un des plus grands problèmes de la 3D est de savoir ce qui se trouve « derrière » quelque chose. Si vous avez une feuille de verre plate et que vous la regardez de côté, vous ne voyez rien.

La Solution : MiraGe utilise un tour ingénieux impliquant des miroirs. Imaginez que vous êtes debout dans une pièce avec une photo sur le mur. Maintenant, imaginez qu'il y a une seconde caméra qui regarde la photo depuis l'autre côté (comme si vous regardiez à travers un miroir).
En entraîant le système à voir à la fois l'avant de la photo et son « reflet dans le miroir » en même même temps, l'ordinateur apprend exactement comment disposer ces triangles flottants pour que l'image soit parfaite sous n'importe quel angle. C'est comme enseigner à un sculpteur à tailler une statue en la regardant simultanément de deux côtés opposés.

3. Jouer avec la Physique

Parce que l'image est désormais composée de triangles flottants dans une pièce en 3D, vous pouvez la connecter à un moteur physique (le même type de logiciel utilisé pour créer des explosions réalistes ou de l'eau qui tombe dans les films).

Le Résultat : Vous pouvez faire « réagir » la photo au monde. Vous pourriez souffler sur l'image (dans la simulation), et les triangles onduleraient comme une feuille de papier au vent. Vous pourriez laisser tomber un rocher virtuel dessus, et elle se froisserait de manière réaliste.
Pourquoi c'est important : Ce n'est pas seulement un effet vidéo ; le document affirme que cela permet une « modification basée sur la physique ». Vous ne dessinez pas simplement un froissement ; vous simulez la physique réelle du pliage de l'image.

4. L'illusion 3D sur un écran 2D

La partie la plus cool est que, même si vous faites toute cette manipulation 3D, le résultat final reste une image 2D standard.

Analogie : Pensez à un spectacle de marionnettes. Les marionnettes (les triangles) bougent dans un espace 3D derrière un écran. Quand vous regardez l'écran, vous voyez une image 2D. Mais parce que les marionnettes ont bougé en 3D, l'image sur l'écran change d'une manière qui semble incroyablement naturelle et profonde, comme un effet 3D, même s'il ne s'agit que d'une image plate.

Résumé de ce qu'ils affirment

Meilleure Qualité : Ils ont testé MiraGe par rapport à d'autres méthodes (comme GaussianImage et les réseaux neuronaux) et ont constaté qu'il produit des images beaucoup plus nettes et claires (scores PSNR plus élevés).
Édition Réelle : Contrairement aux méthodes précédentes qui se contentent de « reconstruire » une image, MiraGe vous permet de l' éditer réellement. Vous pouvez déplacer des parties de l'image, changer la perspective ou la faire interagir avec la physique, et cela reste réaliste.
Pas de Génération Magique : Contrairement à certains outils d'IA qui « devinent » à quoi ressemble une partie manquante d'un visage (l'IA générative), MiraGe est basé sur la géométrie. Il déplace les pièces réelles de l'image que vous possédez déjà, préservant les détails fins (comme une fossette sur une joue) sans modifier accidentellement d'autres parties du visage.

En bref, MiraGe prend une photo 2D plate, la brise en une « soupe » de triangles en 3D, utilise des miroirs pour apprendre à l'ordinateur comment les disposer parfaitement, et vous permet ensuite de jouer avec cette soupe en utilisant la physique pour créer des images éditables et réalistes.

Résumé Technique : MiraGe – Images 2D Éditables via le Gaussian Splatting

Problématique

Les représentations neuronales implicites (INR) et les méthodes récentes basées sur les Gaussiennes comme GaussianImage ont démontré un certain succès dans l'encodage d'images 2D via des fonctions continues ou des composantes gaussiennes, atteignant une haute qualité de reconstruction et de compression. Cependant, une limitation significative existe : ces méthodes traitent principalement les images comme des représentations de données statiques. Elles manquent de capacité pour une modification d'image intuitive et pilotée par l'utilisateur, particulièrement celles qui imitent la perception humaine d'objets 2D (comme des photographies) dans un contexte spatial 3D. Bien que le 3D Gaussian Splatting (3DGS) permette la manipulation de scènes, les approches de Gaussiennes 2D existantes (par exemple, GaussianImage) ne supportent pas la transformation d'objets de scène ni l'intégration d'interactions physiques, ceant leur applicabilité dans des scénarios d'édition dynamique et d'animation.

Méthodologie

MiraGe répond à ces limitations en recadrant l'encodage d'images ières à travers le prisme de la perception visuelle humaine, en traitant une image 2D comme un objet plat situé dans un espace 3D. La méthodologie centrale implique les composants suivants :

1. Représentation de Gaussiennes 3D Plates

Au lieu d'utiliser des Gaussiennes 3D standards ou des Gaussiennes 2D, MiraGe emploie des Gaussiennes 3D plates. Ce sont des composantes gaussiennes où un paramètre d'échelle est forcé à zéro ( $s_1 = \epsilon$ ), créant ainsi une distribution planaire.

Paramétrage GaMeS : Le papier utilise le paramétrage GaMeS (Gaussian Mesh Splatting) pour représenter ces Gaussiennes plates sous forme de maillages de triangles ("triangle soup"). Une composante gaussienne $N(m, R, S)$ est mappée sur un triangle $V = [v_1, v_2, v_3]$ , où les sommets sont dérivés de la moyenne et des paramètres d'échelle/rotation. Cela permet une manipulation directe des propriétés de la Gaussienne (position, échelle, rotation) en transformant le maillage de triangles sous-jacent.

2. Configuration Spatiale et Initialisation

L'image 2D est initialisée sur le plan XZ avec le centre à l'origine $(0,0,0)$ . La distance par rapport à la caméra est un hyperparamètre qui contrôle l'échelle perçue. La plage d'initialisation est calculée en fonction du champ de vision de la caméra pour garantir que l'image entière reste visible sous projection perspective.

3. Trois Variantes de Contrôle

Le papier propose trois approches distinctes pour contrôler le positionnement spatial de ces Gaussiennes :

Amorphous-MiraGe : Les Gaussiennes sont initialisées sur le plan XZ mais sont autorisées à se déplacer librement (amorphemement) dans l'espace 3D pendant l'entraînement. Bien que cela permette la manipulation 3D, les auteurs notent que cela peut produire des artefacts significatifs et s'avère insuffisant pour une représentation de haute qualité sans contraintes supplémentaires.
2D-MiraGe : Pour éviter les artefacts, les Gaussiennes sont strictement ancrées au plan XZ. La méthode utilise une matrice de rotation pour aligner les composantes gaussiennes avec le plan, assurant une projection orthogonale. Bien qu'efficace pour la 2D, cette approche échoue lors de tentatives de modifications 3D, car les Gaussiennes apparaissent de manière aléatoire selon la position de la caméra.
Graphite-MiraGe : Cette variante permet aux Gaussiennes de quitter le plan XZ (spécifiquement le long de l'axe Y) en introduisant un paramètre de translation entraînable $\gamma$ . Cela permet des modifications 3D tout en maintenant l'ordre relatif aux positions de la caméra, facilitant un raisonnement spatial complexe et la combinaison d'images.

4. Configuration de Caméra Miroir

Pour améliorer la fidélité de la reconstruction et le contrôle, MiraGe emploie une configuration de caméra miroir. Deux caméras opposées sont positionnées le long de l'axe Y, alignées symétriquement et dirigées l'une vers l'autre.

Une caméra reconstruit l'image originale $I$ .
La seconde caméra reconstruit la réflexion miroir $M(I)$ (inversée horizontalement).
La fonction de perte combine les coûts de reconstruction des deux vues : $L(I) + L(M(I))$ . Cette configuration garantit que les Gaussiennes restent confinées dans une région spatiale spécifique, améliorant l'exactitude de la représentation.

5. Intégration de Moteur Physique

MiraGe s'intègre aux moteurs physiques (Taichi_elements pour la 2D, Blender pour la 3D) pour permettre des modifications basées sur la physique. En traitant le moteur physique comme une boîte noire, le modèle peut simuler des interactions, des déformations et des mouvements réalistes, permettant des animations dynamiques du contenu de l'image 2D.

Contributions Clés

Le papier expose les principales contributions suivantes :

Modèle MiraGe : Introduction d'un nouveau modèle qui représente les images 2D à l'aide de composantes de Gaussiennes 3D plates, atteignant un état de l'art en qualité de reconstruction.
Manipulation Spatiale 3D : La capacité de manipuler des images 2D dans un espace 3D, créant l'illusion d'effets 3D et permettant des ajustements de perspective intuitifs difficiles dans les cadres 2D traditionnels.
Intégration Physique : L'intégration réussie de MiraGe avec des moteurs physiques, permettant des modifications et des interactions basées sur la physique pour les environnements 2D et 3D, renforçant le réalisme des animations.

Résultats

Les évaluations quantitatives sur les jeux de données Kodak et DIV2K démontrent que MiraGe surpasse les bases de référence existantes, incluant les INR classiques (SIREN, WIRE, I-NGP, NeuRBF), le 3DGS standard et GaussianImage.

Qualité de Reconstruction : MiraGe atteint des scores PSNR et MS-SSIM nettement plus élevés. Par exemple, sur le jeu de données DIV2K, MiraGe-100k atteint un PSNR de 54.54 et un MS-SSIM de 0.9998, contre 41.48 et 0.9981 pour GaussianImage-100k, respectivement.
Fidélité Visuelle : Les comparaisons visuelles montrent que MiraGe produit moins d'artefacts et préserve mieux les détails fins (ex: fossettes faciales, bouche du lion) lors de l'édition locale par rapport aux modèles génératifs comme DragGAN ou DragDiffusion.
Capacités d'Édition : Le modèle supporte des modifications réalistes, telles que le pliage, la rotation et l'animation d'images 2D dans l'espace 3D, ainsi que l'intégration fluide de multiples images (compositions de type collage) sur des plans distincts.

Signification et Revendications

Les auteurs affirment que MiraGe comble le fossé entre la représentation d'images 2D et la compréhension spatiale 3D. En simulant la perception humaine — en observant une image 2D comme un objet plat dans un espace 3D — la méthode permet :

Édition Intuitive : Les utilisateurs peuvent effectuer des transformations complexes (affines, pliage) directement dans la troisième dimension.
Applications Dynamiques : L'intégration avec les moteurs physiques permet la création d'animations 2D réalistes et physiquement cohérentes, adaptées aux décors de réalité virtuelle et aux interfaces spatiales interactives.
Performance Supérieure : L'approche offre une meilleure qualité de reconstruction et des capacités de modification plus naturelles que les approches standard d'INR ou de GaussianImage, sans dépendre de techniques génératives qui pourraient altérer le contenu sémantique de manière imprévisible.

Le papier conclut que, bien que le modèle soit limité par la nature 2D des données d'entraînement (ex: zones d'arrière-plan occultées lorsque les éléments de premier plan sont déplacés), la combinaison des Gaussiennes 3D plates, de l'entraînement par caméra miroir et de l'intégration physique fournit un ensemble d'outils puissant pour étendre les possibilités d'édition et d'animation d'images.