DenoiseSplat: Feed-Forward Gaussian Splatting for Noisy 3D Scene Reconstruction

Le papier présente DenoiseSplat, une méthode de splatting gaussien 3D feed-forward capable de reconstruire des scènes à partir d'images multivues bruitées en s'entraînant uniquement sur des rendus 2D propres, surpassant ainsi les approches existantes sur un nouveau benchmark bruité dérivé de RE10K.

L'essentiel

🎨 Le Problème : Reconstruire un château de cartes avec des lunettes sales

Imaginez que vous essayez de reconstruire un magnifique château de cartes en 3D (un bâtiment, une pièce, un paysage) en utilisant seulement quelques photos prises depuis différents angles. C'est ce que font les robots et les systèmes de réalité virtuelle pour comprendre le monde.

Le problème ? Dans la vraie vie, nos photos ne sont jamais parfaites. Elles sont souvent floues, granuleuses (comme du bruit sur une vieille TV), ou tachées.

• Les anciennes méthodes (comme NeRF ou la méthode standard "MVSplat") sont comme des architectes très rigides : ils supposent que toutes les photos sont parfaites. Si vous leur donnez une photo sale, ils paniquent. Le château de cartes qu'ils construisent devient bancal, flou, ou tout simplement s'effondre.
• La solution "deux étapes" (l'approche classique) consiste à d'abord nettoyer chaque photo individuellement avec un logiciel, puis à reconstruire le château. C'est comme essayer de nettoyer chaque brique d'un mur séparément avant de les assembler. Le problème ? En nettoyant les briques, on enlève parfois les détails fins, et comme chaque brique est nettoyée seule, elles ne s'emboîtent plus parfaitement entre elles. Le mur final a des fissures.

💡 La Solution : DenoiseSplat, l'architecte "anti-bruit"

Les chercheurs de l'Université de Hangzhou Dianzi ont créé DenoiseSplat. C'est un nouvel architecte intelligent qui ne se contente pas de regarder les photos sales ; il apprend à voir à travers le bruit directement pendant la construction.

Voici comment ça marche, avec trois idées clés :

1. L'entraînement dans la "piscine sale" 🏊‍♂️

Au lieu d'apprendre à reconstruire uniquement avec des photos parfaites, les chercheurs ont créé un immense jeu d'entraînement spécial. Ils ont pris des milliers de vidéos de maisons (une base de données appelée RE10K) et y ont ajouté artificiellement quatre types de "saletés" :

• Du grain (bruit blanc).
• Des taches aléatoires.
• Des pixels morts.
• Du bruit de couleur.

Ils ont entraîné DenoiseSplat à reconstruire la maison en sachant que les photos étaient sales, mais en lui montrant à la fin à quoi la maison aurait dû ressembler (la version propre). C'est comme apprendre à un enfant à faire un puzzle alors qu'il a des lunettes de soleil teintées : il apprend à deviner les pièces manquantes grâce à la logique, pas juste à copier l'image.

2. Le cerveau à deux compartiments (La tête double) 🧠

C'est l'astuce la plus intelligente du système. D'habitude, un seul cerveau essaie de deviner à la fois la forme du château (les murs, les angles) et sa couleur (la peinture, les motifs).

• Si la photo est sale, la couleur est très perturbée (une tache rouge peut ressembler à une brique rouge).
• Mais la forme (la structure) est souvent plus stable, même si l'image est sale.

DenoiseSplat sépare son travail en deux équipes spécialisées :

• L'équipe "Géométrie" : Elle s'occupe uniquement de la forme, des angles et de la position. Elle ignore les couleurs bizarres causées par le bruit.
• L'équipe "Apparence" : Elle s'occupe des couleurs et des textures. Elle utilise la forme stable fournie par la première équipe pour "nettoyer" les couleurs.

C'est comme si un sculpteur (la forme) travaillait d'abord sur l'argile brute, et qu'un peintre (la couleur) venait ensuite peindre dessus, en sachant exactement où sont les bords pour ne pas déborder.

3. Le "Correcteur de Bordure" 🛡️

Parfois, là où deux objets se rencontrent (le bord d'une fenêtre, le fil d'une clôture), la géométrie peut hésiter. DenoiseSplat a un petit mécanisme de sécurité qui dit : "Attends, ici c'est un bord important, ne change pas trop la couleur, sinon on va effacer le fil !" Cela permet de garder les détails fins nets, même si l'image de départ était très bruitée.

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé leur invention sur des photos très sales.

• Les anciennes méthodes ont produit des résultats flous et déformés.
• La méthode "deux étapes" (nettoyer puis reconstruire) a fait un peu mieux, mais a souvent lissé les détails (les cheveux deviennent une masse, les fils de fer disparaissent).
• DenoiseSplat a gagné la partie ! Il a reconstruit des scènes nettes, avec des textures précises et des formes solides, sans avoir besoin de nettoyer les photos avant.

🚀 En résumé

Imaginez que vous devez dessiner un portrait de quelqu'un, mais on vous donne une photo prise dans le brouillard avec des gouttes de pluie sur l'objectif.

• L'ancien système regarderait la photo sale et dessinerait un monstre flou.
• L'approche classique essuierait la photo (ce qui gomme les détails) avant de dessiner.
• DenoiseSplat, lui, regarde la photo sale, comprend que c'est du brouillard, et dessine directement le visage net et précis, en devinant ce qui se cache derrière les gouttes.

C'est une avancée majeure pour la réalité virtuelle, les robots et la création de contenu, car cela permet de créer des mondes 3D réalistes à partir de vidéos prises avec n'importe quel téléphone, même dans des conditions de lumière difficiles ou avec une caméra de mauvaise qualité.

Résumé technique

Voici un résumé technique détaillé de l'article "DenoiseSplat: Feed-Forward Gaussian Splatting for Noisy 3D Scene Reconstruction" en français.

1. Problématique

La reconstruction 3D et la synthèse de vues nouvelles sont essentielles pour la réalité virtuelle, la robotique et la création de contenu. Bien que les méthodes récentes comme les Champs de Radiance Neuronaux (NeRF) et le 3D Gaussian Splatting (3DGS) aient réalisé des progrès majeurs, elles reposent généralement sur l'hypothèse d'images d'entrée propres (sans bruit).

En réalité, les données multi-vues (vidéos web, appareils mobiles) souffrent souvent de bruit de capteur, d'artefacts de compression et de dégradations en faible luminosité. Le bruit corrompt non seulement l'estimation de la géométrie mais aussi les textures et les détails fins. Les solutions existantes se divisent en deux catégories imparfaites :

• Approche en deux étapes (Denoise-Then-Reconstruct) : On nettoie d'abord les images 2D, puis on reconstruit en 3D. Cela introduit un lissage excessif, perd des détails et brise la cohérence multi-vues nécessaire à une fusion 3D fiable.
• Approche directe : Nourrir directement un modèle 3DGS standard avec des images bruyantes entraîne une dégradation rapide de la qualité de reconstruction.

L'objectif de cet article est de développer une méthode capable de reconstruire une scène 3D propre directement à partir d'images multi-vues bruyantes, sans optimisation par scène ni étape de prétraitement 2D externe.

2. Méthodologie : DenoiseSplat

Les auteurs proposent DenoiseSplat, un réseau de feed-forward (passage avant unique) basé sur l'architecture MVSplat, conçu spécifiquement pour gérer les entrées bruyantes.

A. Construction du Jeu de Données (Benchmark)

Pour entraîner et évaluer le modèle, les auteurs ont créé un benchmark bruité à partir du jeu de données RealEstate10K (RE10K) :

• Types de bruit : Injection de quatre types de bruit dans le domaine RGB 2D : Gaussien, Poisson, Speckle (taches) et Poivre et Sel.
• Cohérence de scène : Contrairement à une application aléatoire pixel par pixel, le bruit est appliqué de manière cohérente au niveau de la scène (même type et même intensité pour toutes les vues d'une même séquence), mimant ainsi les conditions réelles d'acquisition.
• Apprentissage : Le modèle est entraîné de bout en bout en utilisant uniquement les rendus 2D propres comme supervision, sans aucune vérité terrain 3D.

B. Architecture du Réseau

L'architecture repose sur trois étapes clés :

1. Encodage Multi-vues : Un encodeur 2D partagé extrait des caractéristiques des images bruyantes, apprenant à conserver les structures pertinentes tout en étant tolérant au bruit.
2. Agrégation 3D Alignée sur la Géométrie : Les caractéristiques sont projetées dans un volume 3D via une projection d'homographie différentielle, créant une représentation 3D unifiée cohérente.
3. Tête de Splatting Gaussien à Double Branche (Dual-Branch Head) : C'est l'innovation centrale. Au lieu d'une tête unique, le réseau sépare la prédiction des paramètres gaussiens en deux branches légères :
   • Branche Géométrique : Prédit les positions, rotations, échelles et opacités. Elle se concentre sur des indices structurels stables et robustes au bruit.
   • Branche Apparence : Prédit les coefficients d'harmoniques sphériques et les couleurs. Elle est conçue pour absorber les fluctuations résiduelles de bruit et de couleur.
   • Mécanisme CBC (Cross-Branch Boundary-Guided Appearance Correction) : Pour corriger les erreurs près des contours géométriques (où la géométrie est incertaine), un mécanisme léger utilise la force des bords et la confiance géométrique pour guider une correction résiduelle dans la branche d'apparence, sans propager de gradients vers la géométrie.

3. Contributions Clés

1. Cadre de reconstruction Feed-Forward pour le bruit : Proposition de DenoiseSplat, la première méthode feed-forward 3DGS conçue spécifiquement pour les images corrompues, évitant l'optimisation par scène coûteuse.
2. Découplage Géométrie-Apparence : Introduction d'une tête à double branche qui isole la reconstruction structurelle (robuste) de la reconstruction texturale (sensible au bruit), améliorant la cohérence 3D sous forte dégradation.
3. Benchmark Multi-Bruit Cohérent : Création d'un jeu de données RE10K bruité avec une configuration de bruit cohérente au niveau de la scène, offrant une référence reproductible pour l'étude de la reconstruction 3D bruitée.
4. Performance Supérieure : Démonstration que l'intégration du débruitage dans la boucle de reconstruction 3D surpasse les approches en deux étapes et les modèles standards.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark RE10K bruité, comparant DenoiseSplat à :

• MVSplat-GT : La limite supérieure (images propres).
• MVSplat-Noisy : Le modèle standard entraîné sur du propre, testé sur du bruité.
• Denoise-Then-MVSplat : Une approche en deux étapes utilisant un débruiteur 2D de pointe (IDF) suivi de MVSplat.

Résultats principaux :

• Qualité de reconstruction : DenoiseSplat surpasse systématiquement les autres méthodes sur les métriques PSNR, SSIM et LPIPS, réduisant l'écart avec la limite supérieure (images propres).
• Synthèse de vues nouvelles : Le modèle maintient une cohérence multi-vues supérieure, évitant les artefacts de halo et le lissage excessif observés dans l'approche en deux étapes.
• Efficacité : Comme toutes les méthodes feed-forward, DenoiseSplat ne nécessite aucune optimisation au moment du test (inférence en un seul passage), avec un temps d'exécution et une consommation mémoire comparables à MVSplat standard.
• Robustesse : L'ablation montre que le modèle résiste mieux à l'augmentation de l'intensité du bruit (notamment pour le bruit Gaussien et Poisson) que les approches concurrentes.

5. Signification et Perspectives

Cet article marque une avancée significative en traitant le problème du bruit non pas comme un prétraitement externe, mais comme une partie intégrante du processus de reconstruction 3D. En découplant géométrie et apparence, DenoiseSplat prouve qu'il est possible d'obtenir des scènes 3D de haute qualité à partir de données réelles dégradées, sans optimisation itérative.

Limites et travaux futurs :

• Le bruit est actuellement synthétique ; l'adaptation au bruit réel de caméra (modèles de bruit complexes, flou de mouvement, artefacts de compression) reste à explorer.
• La généralisation à d'autres jeux de données et à des scènes dynamiques nécessite une évaluation plus poussée.
• L'intégration de signaux sémantiques pour améliorer la compréhension 3D est une piste future.

En résumé, DenoiseSplat offre une solution robuste et efficace pour la reconstruction 3D dans des conditions réalistes et dégradées, comblant un vide important entre la théorie des modèles 3D propres et la pratique des données du monde réel.