⚡ electrical engineering

SparseGS: Sparse View Synthesis using 3D Gaussian Splatting

SparseGS est un pipeline d'entraînement efficace qui améliore le Gaussian Splatting 3D pour la synthèse de vues éparses en intégrant des prioris de profondeur, de nouvelles techniques de rendu et des modules de régularisation afin d'atténuer les artefacts tels que les « floaters » et l'effondrement de l'arrière-plan, permettant une reconstruction de haute qualité en temps réel avec seulement 3 à 12 images d'entrée.

Auteurs originaux : Haolin Xiong, Sairisheek Muttukuru, Hanyuan Xiao, Rishi Upadhyay, Pradyumna Chari, Yajie Zhao, Achuta Kadambi

Publié 2026-06-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haolin Xiong, Sairisheek Muttukuru, Hanyuan Xiao, Rishi Upadhyay, Pradyumna Chari, Yajie Zhao, Achuta Kadambi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de construire un modèle 3D d'une pièce en utilisant seulement quelques photographies. Si vous avez des centaines de photos prises sous tous les angles, il est facile de déterminer où se trouvent les murs, les meubles et les personnes. Mais si vous n'avez qu'une douzaine de photos, ou seulement trois, cela devient un jeu de devinettes.

C'est le problème que le papier SparseGS s'efforce de résoudre. Il se concentre sur une technologie populaire appelée 3D Gaussian Splatting (3DGS). Voyez le 3DGS comme un artiste numérique qui construit une scène à partir de millions de minuscules ballons colorés et flous (des Gaussiennes). Quand on regarde la scène sous le bon angle, ces ballons se mélangent pour ressembler à une photo parfaite.

Cependant, lorsque l'artiste n'a que quelques photos pour s'appuyer, il s'embrouille. Il commence à placer des ballons au mauvais endroit, créant deux types de désordre principaux :

Les "Floaters" (Flotteurs) : Ce sont des ballons égarés flottant dans les airs là où rien ne devrait exister, comme des fantômes invisibles ou des grains de poussière qui ne devraient pas être là.
L'effondrement de l'arrière-plan (Background Collapse) : Cela se produit lorsque l'artiste se trompe sur la profondeur, provoquant le fait que l'arrière-plan (comme un mur ou le ciel) semble accidentellement flotter devant les objets du premier plan, donnant à la scène l'aspect d'un collage plat et brisé.

SparseGS est un nouvel ensemble de règles et d'outils conçus pour aider l'artiste à construire une scène 3D propre et précise, même lorsqu'il n'a que peu de photos (seulement 3 ou 12). Voici comment ils procèdent, en utilisant des analogies simples :

1. Le "Meilleur Pari" vs "La Moyenne" (Rendu de profondeur)

Dans la méthode originale, l'artiste calcule la distance d'un objet en prenant la moyenne de tous les ballons le long d'une ligne de visée. S'il y a quelques ballons "flotteurs" égarés loin derrière, ils peuvent tirer la distance moyenne vers l'arrière, faisant croire à l'artiste que l'objet est plus loin qu'il ne l'est réellement.

SparseGS introduit deux nouvelles façons de mesurer la distance :

Mode-Selection (Sélection du mode) : Au lieu de faire une moyenne, l'artiste choisit simplement le ballon le plus proéminent (celui qui a le plus d'« opacité » ou de poids) et déclare : « Ceci est l'objet ». Il ignore les ballons faibles et égarés situés derrière.
Softmax-Scaling : C'est un juste milieu intelligent. L'artiste écoute principalement le ballon le plus fort, mais laisse tout de même les plus faibles murmurer un peu d'information. Cela aide l'artiste à apprendre sans être piégé par le bruit.

2. Le "Détective de la Diffusion" (Régularisation de points de vue non vus)

Lorsque l'artiste essaie d'imaginer une vue qu'il n'a pas vue dans les photos (une "vue inédite"), il peut halluciner des textures étranges ou des bords dentelés.

SparseGS fait appel à un Modèle de Diffusion (le même type d'IA utilisé pour générer de l'art à partir de texte). Voyez cela comme un "Détective de la Diffusion".

L'artiste génère une nouvelle vue.
Le Détective regarde et dit : « Cela semble trop bruité et artificiel. Les vraies photos ne ressemblent pas à de la neige statique. »
Le Détective pousse doucement l'artiste à lisser ce bruit bizarre tout en conservant les bords nets des objets réels. Cela empêche la scène de ressembler à un jeu vidéo buggé.

3. Le tour de "Voyage dans le Temps" (Déformation de profondeur)

Pour enseigner à l'artiste les angles qu'il n'a pas encore vus, SparseGS utilise une astuce appelée Depth Warping (Déformation de profondeur).

Imaginez prendre une photo d'une pièce et utiliser une carte de profondeur connue (un croquis 3D de la pièce) pour "tordre" numériquement cette photo légèrement vers la gauche ou la droite.
Cela crée des fausses nouvelles photos sous des angles que l'artiste n'a pas encore vus.
L'artiste s'entraîne ensuite sur ces fausses photos, apprenant à maintenir la cohérence de l'arrière-plan même lorsque la caméra bouge légèrement. Cela empêche l'effondrement de l'arrière-plan où le ciel viendrait tomber sur la table.

4. Le "Grand Ménage" (Élagage des flotteurs)

Même avec tout cela, certains ballons égarés pourraient encore rester coincés dans la scène. Puisque le 3DGS est composé de ballons explicites (et non d'une boîte noire cachée), l'équipe peut simplement intervenir pour les supprimer.

Ils comparent la distance du "Meilleur Pari" (Mode-Selection) avec la distance "Moyenne" (Alpha-Blending).
Si ces deux chiffres ne correspondent pas, c'est le signe qu'un "flotteur" perturbe le calcul.
Ils appliquent un masque d'élagage (comme une gomme numérique) pour trouver et supprimer tous les ballons qui flottent aux mauvais endroits, ne laissant que ceux qui forment l'objet réel.

Le Résultat

Le papier affirme qu'en utilisant ces quatre outils ensemble, SparseGS peut construire des scènes 3D de haute qualité à partir de très peu de photos (seulement 3 pour les scènes orientées vers l'avant et 12 pour des pièces à 360 degrés).

Vitesse : Il s'entraîne rapidement et rend en temps réel (vous pouvez déambuler dans le modèle 3D instantanément).
Qualité : Il produit des images plus propres avec moins d'artefacts "fantômes" que les méthodes précédentes.
Polyvalence : Il fonctionne bien aussi bien sur des scènes "orientées vers l'avant" (comme une personne assise à un bureau) que sur des scènes "non bornées" à 360 degrés (comme une pièce entière ou un paysage).

En résumé, SparseGS apprend à l'artiste 3D comment devenir un meilleur détective, en utilisant des mathématiques plus intelligentes, un guidage par l'IA et une équipe de nettoyage finale pour construire un monde 3D parfait, même lorsqu'on lui donne très peu d'indices.

Résumé Technique : SparseGS

Problématique

Bien que le 3D Gaussian Splatting (3DGS) ait établi une nouvelle norme pour le rendu en temps réel et l'entraînement efficace dans la synthèse de vues nouvelles (NVS), il repose fortement sur des vues d'entrée denses pour reconstruire avec précision la géométrie 3D. Lorsqu'il est appliqué à des scénarios à entrées éparses — particulièrement aux scènes non bornées à 360 degrés — la technique souffre d'artefacts significatifs. Les principaux problèmes identifiés sont :

« Floaters » (Flottants) : Des régions flottantes à haute densité causées par des Gaussiennes mal placées, résultant souvent de l'ambiguïté inhérente de la projection de la 3D vers la 2D avec des données limitées.
« Background Collapse » (Effondrement de l'arrière-plan) : Un phénomène où les Gaussiennes de l'arrière-plan sont mal placées à des profondeurs incorrectes, les faisant apparaître au premier plan.

Les extensions existantes du 3DGS qui intègrent des priors de profondeur ou des régulariseurs ont eu du mal à résoudre pleinement ces problèmes, particulièrement dans les scènes non bornées. De plus, le rendu de profondeur standard par alpha-blending peut provoquer une propagation des gradients vers des Gaussiennes incorrectes, et le surapprentissage des vues d'entraînement exacerbe l'effondrement de l'arrière-plan dans les contextes éparses.

Méthodologie

SparseGS introduit un pipeline d'entraînement efficace conçu pour reconstruire des scènes 3D cohérentes à partir d'aussi peu que 12 images d'entrée (pour les scènes non bornées) ou 3 images (pour les scènes orientées vers l'avant). Le pipeline intègre trois composants principaux :

1. Nouvelles techniques de rendu de profondeur

Pour traiter le problème des « floaters », les auteurs proposent deux méthodes de rendu de profondeur qui vont au-delà de l'alpha-blending standard :

Mode-Selection Depth (Profondeur par sélection de mode) : Sélectionne la profondeur de la Gaussienne ayant le poids de contribution le plus élevé ( $w_i = T_i \alpha_i$ ) pour un pixel. Cela fournit une estimation de profondeur discrète qui met en évidence la géométrie la plus significative.
Softmax-Scaling Depth (Profondeur par mise à l'échelle Softmax) : Une modification de l'alpha-blending qui applique une fonction softmax avec un paramètre de température ( $\beta$ ). Cela biaise l'accumulation de profondeur vers les Gaussiennes à haut poids tout en permettant toujours aux gradients de se propager vers les Gaussiennes hors-mode.
Depth Correlation Loss (Perte de corrélation de profondeur) : Au lieu d'utiliser une perte L2 directe (qui échoue en raison des différences d'échelle/décalage entre les priors de profondeur monoculaires et le 3DGS), la méthode calcule un coefficient de corrélation de Pearson entre les patchs de la profondeur rendue par softmax et les cartes de profondeur pseudo-vérité terrain (générées par des modèles pré-entraînés comme Marigold). Cela encourage un alignement structurel local sans nécessiter d'alignement d'échelle métrique.

2. Unseen Viewpoint Regularization (UVR - Régularisation par points de vue non vus)

Pour atténuer le surapprentissage et l'« effondrement de l'arrière-plan », le pipeline régularise le modèle à des points de vue différents des vues d'entraînement d'entrée :

Score Distillation Sampling (SDS) Loss : Un modèle de diffusion 2D pré-entraîné est utilisé comme prior. Les rendus de points de vue aléatoires autour du centre de la scène sont encodés, et le bruit prédit est supervisé via la perte SDS. Cela élimine le bruit à haute fréquence et les artefacts non photoréalistes tout en préservant la structure de la scène.
Depth Warping Loss (Perte de déformation de profondeur) : Les images d'entraînement sont re-projetées vers des points de vue non vus proches en utilisant des estimations de profondeur monoculaires. Cela génère des données d'entraînement pseudo-supplémentaires pour contraindre la géométrie dans les régions à faible couverture.

3. Élagage avancé des floaters (Advanced Floater Pruning)

Exploitant la nature explicite du 3DGS, les auteurs introduisent une heuristique d'élagage post-entraînement. En analysant la différence relative par pixel ( $\Delta$ ) entre la profondeur de sélection de mode et la profondeur d'alpha-blending, le système identifie une distribution bimodale indicative de floaters. Un seuil est appliqué à cette distribution pour générer un masque, qui est ensuite utilisé pour identifier et supprimer toutes les Gaussiennes (y compris la Gaussienne du mode) situées à des profondeurs incorrectes le long du rayon.

Principales Contributions

Le papier présente quatre contributions principales :

Framework SparseGS : Un nouveau framework pour entraîner des représentations 3D Gaussiennes robustes à partir d'entrées limitées, surpassant les méthodes de l'état de l'art (SOTA) en synthèse de vues éparses.
Atténuation des floaters : L'introduction de techniques de rendu de profondeur par sélection de mode et par mise à l'échelle softmax spécifiquement conçues pour traiter l'artefact de « floater ».
Unseen Viewpoint Regularization (UVR) : Un module qui régularise l'entraînement à des points de vue non vus en utilisant le SDS et le warping de profondeur, réduisant empiriquement l'« effondrement de l'arrière-plan ».
Opérateur d'élagage explicite : Un opérateur adaptatif qui utilise les écarts de profondeur pour identifier et supprimer explicitement les artefacts de flottement indésirables.

Résultats Expérimentaux

Les auteurs ont évalué SparseGS sur les jeux de données Mip-NeRF360 (non borné), LLFF et DTU (orienté vers l'avant).

Scènes non bornées (Mip-NeRF360) : Dans une configuration à 12 vues, SparseGS a atteint un PSNR de 19,37, un LPIPS de 0,398 et un SSIM de 0,577. Cela a surpassé les méthodes précédentes basées sur NeRF (ex: RegNeRF, SparseNeRF) et les travaux 3DGS contemporains (FSGS, DNGaussian).
Scènes orientées vers l'avant : SparseGS a démontré des performances compétitives sur les jeux de données LLFF et DTU, atteignant une reconstruction de haute qualité avec seulement 3 images d'entrée.
Études d'ablation : Les expériences ont confirmé que chaque composant contribue à la performance finale. La profondeur par mise à l'échelle softmax a amélioré le PSNR de 1,37 dB par rapport au 3DGS standard, l'UVR a ajouté en moyenne 0,33 dB, et l'élagage des floaters a ajouté 0,28 dB.

Signification et Revendications

Le papier affirme que SparseGS atteint des performances de l'état de l'art dans la synthèse de vues nouvelles à partir d'entrées éparses, gérant avec succès des scénarios auxquels la plupart des techniques actuelles à peu d'images peinent, particulièrement les scènes non bornées à 360 degrés. En combinant des priors de profondeur, une régularisation par diffusion et un élagage géométrique explicite, la méthode maintient les capacités d'entraînement rapide et de rendu en temps réel inhérentes au 3DGS tout en améliorant considérablement la qualité de la reconstruction et en réduisant les artefacts dans les environnements de données rares. Les auteurs soulignent que leur approche permet une reconstruction précise de scènes complexes en utilisant seulement 12 images d'entrée pour les scènes à 360 degrés, comblant ainsi le fossé entre l'efficacité du 3DGS et la robustesse requise pour les applications à vues éparses.