GS$^{2}$CI: Robust Gaussian Splatting For Snapshot Compressive Imaging via Large Vision Model Priors

Imaginez que vous essayez de filmer en haute vitesse une voiture de course passant à toute allure, mais votre caméra est si lente qu'elle ne peut capturer qu'une seule image floue. Maintenant, imaginez que cette image unique est en réalité un code secret contenant des centaines de moments différents de la course, tous entassés ensemble. C'est le monde sauvage de l'Imagerie de Compression Instantanée (SCI - Snapshot Compressive Imaging). C'est une astuce ingénieuse où une caméra ne prend pas une vidéo ; au lieu de cela, elle prend une photo qui a été « modulée » par un masque spécial, mélangeant le temps et l'espace en un seul cliché. Le défi ? Décoder cette photo désordonnée pour recréer une vidéo fluide et claire. Habituellement, les scientifiques essaient de faire cela en devinant à quoi ressemblent les images de la vidéo, mais si la caméra se déplace dans une scène 3D (comme un drone survolant un bâtiment), ces suppositions tombent souvent à plat, laissant derrière elles un fouillis spectral et fantomatique.

Entrez en scène : le 3D Gaussian Splatting (3DGS), une méthode plus récente et ultra-rapide pour construire des mondes en 3D. Au lieu de construire un maillage solide comme un sculpteur, le 3DGS peint la scène avec des milliers de petits nuages 3D flous (des Gaussiennes) qui ressemblent à des paillettes. Lorsque vous projetez une lumière (ou une caméra) à travers eux, ils se mélangent pour former une image nette. C'est comme construire une ville de brouillard qui devient instantanément solide quand on la regarde sous le bon angle. Mais même ce bâtisseur de cités de paillettes peine lorsqu'il n'a pour seul indice que cette photo compressée et brouillée provenant de la caméra SCI. Les calculs deviennent complexes, les nuages de brouillard flottent aux mauvais endroits et la trajectoire de la caméra se perd.

Ce document présente GS2CI, une nouvelle méthode qui agit comme un détective super intelligent pour résoudre ce casse-tête. Les auteurs ont réalisé que tenter de deviner la forme 3D et la trajectoire de la caméra à partir d'une seule photo compressée est trop difficile, alors ils ont fait appel à des poids lourds : les Modèles de Vision à Grande Échelle (VFM - Large Vision Models). Considérez ces modèles comme des IA qui ont « vu » des millions de scènes 3D et savent exactement comment la lumière, la profondeur et le mouvement de la caméra fonctionnent habituellement. GS2CI utilise ces cerveaux d'IA pour faire une première supposition intelligente sur l'endroit où se trouvait la caméra et à quoi ressemblait la scène 3D. Ensuite, il utilise un règlement spécial et sur mesure appelé OSGR (Régulation de la Croissance et de la Division Guidée par l'Opacité) pour ranger les nuages de paillettes. Ce règlement empêche les nuages de devenir trop gros ou de s'agglutiner de manière étrange simplement pour satisfaire les calculs mathématiques. Enfin, il utilise une seconde IA pour polir les détails, s'assurant que la scène soit nette et réelle sous tous les angles. Le résultat ? Une méthode capable de prendre cette photo compressée et de reconstruire une scène 3D de haute qualité qui reste cohérente même lorsque la caméra bouge de façon sauvage, surpassant les méthodes précédentes en termes de vitesse et de clarté.

Le Problème : Le Mystère de l'« Instantané »

Imaginez que vous soyez un détective essayant de reconstruire une scène de crime, mais que vous ne possédiez qu'une seule photographie. Pire encore, cette photographie est une version « compressée » où la police a pris une photo de la scène à 8 moments différents, les a tous mélangés avec un filtre spécial, et vous a remis le résultat. Vous ne savez pas exactement où se trouvait la caméra pour chacun de ces 8 moments, et vous ne savez pas à quoi ressemblait la scène à un instant précis. C'est le problème de l'Imagerie de Compression Instantanée (SCI).

La plupart des méthodes existantes tentent de résoudre cela en devinant chaque image de la vidéo une par une. Mais si la caméra tourne autour d'un objet 3D (comme un drone tournant autour d'une statue), ces suppositions s'embrouillent. Elles pourraient faire croire que la statue est en mouvement alors que c'est la caméra qui se déplace réellement. Elles peinent car elles manquent d'un bon « cerveau 3D » pour comprendre la profondeur et la perspective. Elles sont comme quelqu'un essayant de résoudre un puzzle 3D les yeux bandés, se fiant uniquement aux ombres plates projetées sur la table.

La Solution : Une Équipe de Détectives en Deux Étapes

Les auteurs de ce document proposent un cadre appelé GS2CI qui résout ce problème en combinant trois outils puissants : un cerveau d'IA 3D, un bâtisseur de paillettes 3D et un règlement personnalisé.

Étape 1 : La Supposition Intelligente (Initialisation par VFM 3D)
Au lieu de partir de zéro, GS2CI crée d'abord des « vues proxies ». Il prend la photo compressée et le motif du filtre connu pour créer une version approximative de ce que pourraient être les 8 images différentes. Ensuite, il injecte ces suppositions grossières dans un Modèle de Vision Fondamental 3D (VFM). Vous pouvez considérer ce VFM comme une IA qui a étudié des millions de scènes 3D. Elle regarde les suppositions grossières et dit : « Ah, d'après ce que j'ai vu auparavant, la caméra était probablement ici, et l'objet a cette forme ». Cela donne au système un point de départ très solide, plutôt qu'une supposition aléatoire.

Étape 2 : Le Bâtisseur de Paillettes (3D Gaussian Splatting)
Une fois que l'IA a une idée approximative du chemin de la caméra et de la forme de la scène, elle passe au 3D Gaussian Splatting. C'est la méthode qui construit la scène en utilisant des milliers de petits nuages 3D flous (Gaussiennes). Le système tente d'organiser ces nuages de sorte que, lorsque vous les regardez sous les 8 angles différents, ils recréent parfaitement la photo compressée.

Le Twist : Le Règlement OSGR
C'est ici que le papier devient vraiment ingénieux. Lorsque vous essayez d'ajuster des nuages 3D à une photo compressée, les mathématiques peuvent devenir complexes. Le système pourrait essayer de « satisfaire » les calculs en rendant un nuage extrêmement opaque (très solide) pour masquer une erreur, plutôt que de déplacer le nuage au bon endroit. Cela crée des « pics d'opacité » qui ruinent la structure 3D.

Pour corriger cela, les auteurs ont inventé l'OSGR (Régulation de la Croissance et de la Division Guidée par l'Opacité).

• Division Guidée par l'Opacité : Si un nuage devient trop « solide » en un point (un pic d'opacité), l'OSGR dit : « C'est suspect ! Divisons ce gros nuage en deux nuages plus petits et plus précis ». Cela force le système à trouver la forme réelle plutôt qu'à se cacher derrière une masse solide.
• Régulation de la Croissance : Le système garde également un compte strict du nombre de nuages qu'il peut utiliser. Il empêche la scène de se gonfler avec des nuages inutiles, ce qui permet de maintenir une reconstruction rapide et stable.

Étape 3 : Le Polissage (VFM 2D Auxiliaire)
Une fois la scène 3D principale construite, le système n'a pas encore terminé. Il crée de nouveaux points de vue fictifs (vues synthétisées) que la caméra n'a jamais réellement vus. Il utilise ensuite un Modèle de Vision Fondamental 2D pour imaginer ce que ces vues devraient être. Il compare sa scène 3D à ces images « rêvées » et ajuste les détails des nuages pour les rendre encore plus nets et réalistes. C'est comme une touche finale où un artiste ajoute les détails fins à une peinture.

Les Résultats : Plus Rapide, Plus Net et Plus Robuste

Les auteurs ont testé GS2CI sur de nombreuses scènes, allant d'objets simples à des environnements extérieurs complexes, et même avec une compression très élevée (où 32 vues différentes sont écrasées en une seule photo).

• Meilleure Qualité : Dans leurs tests, GS2CI a systématiquement produit des images plus claires avec moins d'erreurs que les méthodes précédentes. Par exemple, sur une scène appelée « Vender », il a atteint un PSNR (une mesure de la qualité d'image) de 38,52, battant la méthode de référence suivante qui a obtenu 36,40.
• Vitesse : C'est incroyablement rapide. Tout le processus, de la photo compressée à la scène 3D finale, a pris environ 68,4 minutes sur un ordinateur haut de gamme standard (NVIDIA RTX 4090). En comparaison, une méthode de pointe précédente (SCINeRF) a pris plus de 12 heures (746,84 minutes) pour accomplir le même travail.
• Robustesse : Même lorsque la caméra se déplaçait de manière imprévisible ou que la photo était fortement compressée, GS2CI ne s'effondrait pas. Il a géré les scènes « non bornées » (où la vue semble infinie) et les trajectoires de caméra complexes bien mieux que ses concurrents.

Ce qu'il ne fait pas (encore)

Le papier est honnête sur ses limites. Bien qu'il fonctionne très bien pour les scènes statiques (où l'objet ne bouge pas), il éprouve des difficultés avec les scènes dynamiques où les objets bougent indépendamment, comme une personne qui court ou un oiseau qui vole. Lors de tests avec des objets en mouvement (comme une vidéo de « Bear » ou « Flamingo »), la méthode n'a pas été aussi performante que certaines autres techniques spécialisées. Les auteurs suggèrent qu'à l'avenir, ils devront peut-être passer à des « nuages de paillettes » en 4D (en ajoutant le temps comme dimension) pour mieux gérer les objets en mouvement.

Pourquoi cela importe

Ce document démontre qu'en combinant le « bon sens » des grands modèles d'IA avec la rapidité du 3D Gaussian Splatting, nous pouvons résoudre certains des problèmes les plus difficiles de l'imagerie. Cela transforme une seule photo compressée en un monde 3D riche dans lequel on peut se déplacer, tout en étant assez rapide pour être pratique. C'est une étape majeure vers la création de caméras 3D haute vitesse, petites, peu coûteuses et puissantes.