GaussFusion: Improving 3D Reconstruction in the Wild with A Geometry-Informed Video Generator

Le papier présente GaussFusion, une méthode innovante qui améliore les reconstructions 3D par splatting gaussien dans des environnements réels en utilisant un générateur vidéo informé par la géométrie pour éliminer les artefacts et assurer une cohérence temporelle, atteignant des performances de pointe avec une variante fonctionnant en temps réel.

L'essentiel

Imaginez que vous essayez de recréer une ville entière en 3D à partir de quelques photos prises par un drone. C'est ce que font les ordinateurs avec une technologie appelée 3DGS (Gaussians Splatting). C'est comme si le ordinateur prenait des millions de petites gouttes de peinture lumineuse (des "Gaussians") et les assemblait pour former l'image.

Le problème ? Parfois, cette peinture est sale. Il y a des taches, des flous, des objets fantômes qui flottent dans les airs, et les murs semblent trembler quand on bouge la caméra. C'est ce qu'on appelle des "artefacts".

Voici comment GaussFusion résout ce problème, expliqué simplement :

1. Le Problème : Une photo floue et bruyante

Imaginez que vous avez pris une photo de votre salon, mais elle est floue, il y a des taches de poussière bizarres, et un vase semble flotter à mi-hauteur sans support. C'est ce que donne souvent la reconstruction 3D de base. Les méthodes précédentes essayaient de "retoucher" l'image en regardant uniquement les couleurs (le rouge, le vert, le bleu), un peu comme un peintre qui essaie de deviner la forme d'un objet juste en regardant sa couleur. Ça marche pour les petites taches, mais pas pour les gros problèmes de structure.

2. La Solution : Le "GP-Buffer" (La boîte à outils magique)

Au lieu de regarder seulement la couleur, GaussFusion demande au système de lui fournir bien plus d'informations. Il crée une "boîte à outils" spéciale qu'on appelle le GP-Buffer.

Imaginez que pour réparer votre voiture, vous ne regardez pas seulement la peinture extérieure. Vous avez besoin de :

• La profondeur (où sont les objets ?)
• Les normales (dans quelle direction pointe la surface ? Est-ce un mur ou un plafond ?)
• La transparence (est-ce que c'est solide ou du verre ?)
• L'incertitude (est-ce que le système est sûr de cet endroit ou est-ce qu'il devine ?)

GaussFusion rassemble toutes ces données en une seule vidéo. C'est comme si, au lieu de regarder une photo floue, on vous donnait un plan d'architecte complet avec les mesures exactes, les matériaux et les zones douteuses.

3. Le Moteur : Un "Restaurateur de Vidéo" intelligent

Ensuite, GaussFusion utilise un générateur vidéo très puissant (basé sur une technologie appelée "Flow Matching", un peu comme un moteur de diffusion qui apprend à dessiner).

Mais au lieu de lui dire "Dessine une belle voiture", on lui dit : "Regarde ce plan d'architecte (le GP-Buffer). Il y a une tache ici, un mur qui tremble là-bas, et un objet fantôme qui flotte. Utilise ces informations géométriques pour réparer l'image."

C'est comme avoir un restaurateur d'art qui ne se contente pas de repeindre le tableau, mais qui comprend la structure de la toile et la gravure sous-jacente pour réparer les déchirures sans abîmer le reste.

4. L'Entraînement : Apprendre sur tous les types de défauts

Pour que ce restaurateur soit excellent, il faut l'entraîner sur des milliers d'exemples de "mauvaises" reconstructions. Les auteurs de l'article ont créé une usine virtuelle qui génère des défauts variés :

• Des photos prises avec peu d'angles (comme si on regardait la pièce à travers un trou dans le mur).
• Des erreurs de positionnement (comme si le drone avait tremblé).
• Des modèles générés par d'autres intelligences artificielles moins précises.

C'est comme entraîner un mécanicien sur des voitures cassées de toutes les marques et de toutes les pannes possibles, pour qu'il puisse réparer n'importe quelle voiture, même s'il ne l'a jamais vue avant.

5. Le Résultat : Une reconstruction propre et rapide

Grâce à cette méthode, le résultat final est bluffant :

• Plus de fantômes : Les objets qui flottaient disparaissent.
• Plus de flou : Les textures deviennent nettes.
• Plus de tremblements : Quand on bouge la caméra, l'image reste stable.
• Vitesse : La version optimisée fonctionne en temps réel (16 images par seconde), ce qui permet de l'utiliser dans des jeux vidéo ou de la réalité virtuelle sans attendre.

En résumé

GaussFusion, c'est comme passer d'un simple correcteur orthographique (qui corrige juste les fautes de frappe) à un éditeur de livre complet qui comprend la grammaire, la structure des phrases et le contexte de l'histoire pour réécrire un roman entier, même si l'auteur original a fait beaucoup de fautes.

Il prend une reconstruction 3D "sale" et bruitée, utilise la géométrie (la forme et la structure) comme guide, et fait ressortir une version propre, nette et réaliste de l'environnement, prête à être utilisée dans le monde réel.

Résumé technique

1. Problématique

La reconstruction 3D par Splatting de Gaussiens 3D (3DGS) est devenue la référence pour la synthèse de nouvelles vues et la reconstruction photoréaliste en temps réel. Cependant, les reconstructions actuelles, qu'elles soient obtenues par optimisation itérative (par scène) ou par des modèles feed-forward (prédiction directe), souffrent d'artefacts visuels majeurs, notamment :

• Des "floaters" (objets flottants fantômes).
• Du scintillement (flickering) et du flou.
• Des erreurs géométriques et des régions manquantes.
  Ces défauts sont souvent exacerbés par des poses de caméra bruitées, une couverture incomplète ou des initialisations géométriques imparfaites.

Les méthodes existantes de correction post-hoc (basées sur des modèles génératifs) se limitent souvent à utiliser uniquement l'information de couleur (RGB) comme conditionnement. Cette approche est insuffisante pour corriger des artefacts structurels complexes (comme les floaters ou les géométries manquantes) car elle manque de contexte géométrique explicite. De plus, les modèles entraînés sur des pipelines d'optimisation échouent souvent à généraliser aux reconstructions feed-forward, et vice-versa.

2. Méthodologie : GaussFusion

GaussFusion propose une approche novatrice basée sur la génération vidéo guidée par la géométrie pour raffiner les rendus 3DGS.

A. Le GP-Buffer (Gaussian Primitives Buffer)

Au lieu de se fier uniquement aux images RGB, l'approche introduit un buffer vidéo aligné pixel par pixel qui encode les primitives 3D complètes. Ce buffer contient cinq modalités :

1. Couleur (C) : Rendu standard.
2. Opacité (A) : Alpha map.
3. Profondeur (D) : Profondeur attendue (ED).
4. Normales (N) : Normales de surface estimées en espace écran.
5. Covariance Inverse (U) : Une mesure d'incertitude géométrique locale (anisotropie des splats).
   Ce buffer fournit des indices géométriques riches permettant au modèle d'identifier et de corriger les artefacts indépendamment de la source de la reconstruction.

B. Architecture du Générateur Vidéo

Le cœur du système est un modèle de génération vidéo Flow-Matching (basé sur l'architecture Wan-2.1) qui transforme un rendu bruité en un rendu propre et cohérent.

• Encodeur VAE : Encode le GP-Buffer en un latent géométrique compact.
• Geometry Adapter (GA) : Un module clé qui injecte les caractéristiques géométriques du GP-Buffer dans le backbone du transformeur vidéo (DiT) via des mécanismes d'attention croisée et d'auto-attention. Cela permet au modèle d'être "conscient de la géométrie" tout en générant l'apparence.
• Conditionnement : Le modèle peut également être conditionné par des descriptions textuelles de la scène.

C. Stratégie d'Entraînement et Simulation d'Artefacts

Pour assurer une généralisation robuste, les auteurs ont créé un pipeline de simulation d'artefacts massif (75 000+ paires de vidéos) :

• Simulation d'artefacts : Création de vidéos corrompues en simulant des vues éparses, des initialisations aléatoires, des sous-optimisations, et en utilisant des modèles feed-forward pré-entraînés.
• Apprentissage mixte : Le modèle est entraîné sur un mélange de données issues de pipelines d'optimisation et de pipelines feed-forward, ce qui lui permet de corriger les artefacts spécifiques à chaque paradigme.

D. Mise à jour de la Reconstruction 3D

Le modèle génère des trajectoires de caméra lisses et des vues nouvelles raffinées. Ces vues propres sont ensuite utilisées pour ré-optimiser les paramètres des Gaussiens 3D originaux, améliorant ainsi la cohérence géométrique et la fidélité des textures de la scène 3D sous-jacente.

E. Variante Efficace (Few-Step)

Une version distillée du modèle est proposée, capable de fonctionner en 4 étapes de débruitage au lieu de 30-50, permettant une inférence en temps réel (16 FPS) tout en maintenant des performances de qualité quasi équivalentes.

3. Contributions Clés

1. Générateur Vidéo Informé par la Géométrie : Introduction du GP-Buffer et du Geometry Adapter, permettant une correction d'artefacts supérieure en exploitant les informations géométriques (normales, profondeur, incertitude) plutôt que la seule couleur.
2. Stratégie de Simulation d'Artefacts Complexe : Création d'un jeu de données synthétique diversifié couvrant à la fois les défauts des méthodes d'optimisation et des méthodes feed-forward, garantissant une généralisation exceptionnelle.
3. Efficacité Temps Réel : Développement d'une variante distillée permettant une raffinement à la volée (16 FPS), rendant l'application interactive possible.
4. Généralisation Trans-Paradigme : Un seul modèle capable de raffiner des reconstructions issues de sources hétérogènes (optimisation, feed-forward, génération 3D).

4. Résultats Expérimentaux

Les évaluations ont été menées sur les benchmarks DL3DV et RE10K :

• Qualité de Rendu : GaussFusion bat l'état de l'art (Splatfacto, GenFusion, Difix3D+, ExploreGS) sur toutes les métriques (PSNR, SSIM, LPIPS, FID). Par exemple, sur RE10K, le PSNR passe de ~19.2 (Splatfacto) à 28.65 (GaussFusion complet).
• Généralisation Feed-Forward : Le modèle améliore significativement les sorties de modèles feed-forward (comme DepthSplat et MVSplat), là où d'autres méthodes échouent ou dégradent la cohérence.
• Vitesse : La version distillée atteint 15-16 FPS sur une GPU H200, offrant un compromis idéal entre qualité et rapidité.
• Ablation : Les expériences montrent que l'ajout des canaux géométriques (profondeur, normales, etc.) améliore systématiquement la fidélité de reconstruction par rapport à l'utilisation exclusive du RGB.

5. Signification et Impact

GaussFusion représente une avancée majeure pour la reconstruction 3D "in the wild" (dans des conditions réelles et non contrôlées). En passant d'une correction basée uniquement sur l'apparence à une correction géométriquement informée, le modèle résout des problèmes structurels persistants (floaters, géométrie manquante) que les approches précédentes ne pouvaient pas traiter.

Sa capacité à unifier la correction de différents paradigmes de reconstruction (optimisation vs feed-forward) et son efficacité en temps réel ouvrent la voie à des applications pratiques en réalité virtuelle, conduite autonome et robotique, où la robustesse et la vitesse de traitement sont critiques. De plus, la capacité à mettre à jour la représentation 3D sous-jacente (et non seulement le rendu 2D) permet d'obtenir des modèles 3D plus propres et plus précis.