VarSplat: Uncertainty-aware 3D Gaussian Splatting for Robust RGB-D SLAM

Le papier présente VarSplat, un système de SLAM RGB-D basé sur le splatting gaussien 3D qui améliore la robustesse en apprenant explicitement la variance d'apparence par gaussienne pour générer des cartes d'incertitude différentielles guidant l'estimation de pose et l'optimisation.

L'essentiel

Voici une explication simplifiée du papier VarSplat, imagée et adaptée pour un public non-expert.

🌍 Le Problème : Le GPS qui a peur du miroir

Imaginez que vous construisez une carte 3D d'une maison en marchant dedans avec une caméra. C'est ce qu'on appelle un SLAM (localisation et cartographie simultanées).

Les anciennes méthodes utilisaient des "boîtes" ou des "maillages" pour dessiner les murs. C'était rapide, mais ça ressemblait à des Lego : pas très joli, pas photoréaliste.
Puis sont arrivées les méthodes modernes (comme le 3D Gaussian Splatting ou 3DGS). C'est comme si on remplissait la maison de millions de petites gouttes de peinture lumineuse (des "Gaussiens"). Ça permet de voir la maison exactement comme elle est, avec les reflets et les textures. C'est magnifique !

Mais il y a un gros hic :
Ces systèmes sont un peu trop confiants. Si vous regardez un miroir, une vitre ou un mur blanc sans texture, la caméra se trompe. Elle ne sait pas si elle voit un objet réel ou juste un reflet. Comme elle ne sait pas qu'elle est perdue, elle continue de dessiner sa carte en se trompant, ce qui crée des "fantômes" ou fait dériver la position (le robot pense être à Paris alors qu'il est à Lyon).

💡 La Solution : VarSplat, le "Système de Confiance"

Les auteurs de ce papier, VarSplat, ont eu une idée géniale : au lieu de juste apprendre où sont les gouttes de peinture et de quelle couleur elles sont, ils apprennent aussi à quel point ils sont sûrs d'eux.

Imaginez que chaque goutte de peinture (chaque "Gaussian") porte un petit badge avec un chiffre : "Niveau de confiance".

1. L'apprentissage de l'incertitude :

   • Si la goutte de peinture est sur un mur en brique rouge (facile à reconnaître), son badge dit : "Je suis sûr à 100% !".
   • Si elle est sur une vitre ou un miroir (où la lumière joue des tours), son badge dit : "Hé, je ne suis pas très sûr de ma couleur ici, c'est flou !".

2. La carte de confiance (La "V") :
   Le système combine tous ces petits badges pour créer une carte d'incertitude à l'écran.

   • Les zones en vert sont fiables.
   • Les zones en rouge sont douteuses (miroirs, vitres, zones sombres).

🚀 Comment ça marche dans la vraie vie ?

VarSplat utilise cette carte de confiance à trois moments clés, comme un capitaine de navire prudent :

• 1. Pendant la marche (Le suivi) :
  Quand le robot bouge, il regarde la carte. S'il voit une zone rouge (miroir), il se dit : "Ok, je ne vais pas me fier à cette image pour me repérer, c'est trop risqué." Il se concentre uniquement sur les zones vertes (les murs, les meubles). Résultat : il ne trébuche pas sur des illusions d'optique.

• 2. Pour se recaler (L'enregistrement) :
  Parfois, le robot revient dans une pièce qu'il a déjà vue. Il compare la nouvelle vue avec l'ancienne. S'il y a des zones rouges (reflets), il ignore ces parties pour ne pas se tromper de pièce. Il ne se fie qu'aux parties solides et fiables pour dire : "Ah oui, c'est bien la cuisine !".

• 3. Pour boucler la boucle (La détection de boucle) :
  Si le robot fait un grand tour et revient au point de départ, il doit vérifier que sa carte est cohérente. Grâce aux badges de confiance, il peut dire : "Attends, ce reflet sur la vitre ne correspond pas à la vitre de tout à l'heure, c'est normal, je ne vais pas corriger ma carte à cause de ça." Cela évite que la carte ne se "déforme" avec le temps.

🎨 L'Analogie du Peintre et de l'Étudiant

Imaginez un peintre (le robot) qui dessine une scène.

• Les anciens systèmes étaient comme un étudiant qui dessine tout avec la même intensité, même s'il ne voit pas bien. S'il y a un reflet sur une vitre, il dessine un mur solide là où il n'y en a pas.
• VarSplat, c'est un peintre expérimenté qui a un cahier de notes.
  • Quand il dessine un mur en brique, il écrit : "C'est clair, je suis sûr."
  • Quand il dessine une vitre, il écrit : "Je ne suis pas sûr, c'est peut-être un reflet."
  • À la fin, s'il doit vérifier son dessin, il ignore les zones où il a écrit "Je ne suis pas sûr" et ne se base que sur les zones claires. Son dessin final est donc beaucoup plus précis et stable.

🏆 Le Résultat ?

Grâce à cette astuce simple mais puissante (apprendre l'incertitude directement dans les gouttes de peinture), VarSplat :

• Ne se perd pas dans les zones difficiles (miroirs, vitres, murs blancs).
• Construit une carte plus propre et plus réaliste.
• Est plus rapide et plus robuste que les méthodes précédentes, même dans des environnements réels et complexes.

En résumé, VarSplat donne au robot la capacité de dire : "Je ne suis pas sûr de ce que je vois ici, alors je vais faire attention", ce qui est la clé pour naviguer de manière sûre dans notre monde imparfait.

Résumé technique

Titre : VarSplat : Splatting Gaussien 3D conscient de l'incertitude pour un SLAM RGB-D robuste

1. Problématique

Les systèmes de localisation et cartographie simultanées (SLAM) basés sur le Splatting Gaussien 3D (3DGS) ont révolutionné la reconstruction de scènes en offrant un rendu rapide, différentiable et de haute fidélité. Cependant, les approches existantes présentent une limitation majeure : elles traitent la fiabilité des mesures de manière implicite.

Dans des conditions réelles (régions à faible texture, surfaces transparentes, réflexions complexes ou discontinuités de profondeur), l'optimisation photométrique uniforme devient instable. Cela entraîne :

• Une dérive de l'estimation de la pose (drift).
• Une mauvaise alignement global (registration).
• Une détection de boucle (loop closure) erronée.

Il manque une méthode pour quantifier explicitement l'incertitude au niveau de l'apparence des splats (les primitives 3D) et propager cette incertitude jusqu'à la carte de rendu pixel par pixel pour guider le système SLAM.

2. Méthodologie : VarSplat

VarSplat introduit un système SLAM RGB-D qui apprend explicitement une variance d'apparence par splat ($\sigma^2$) et la propage pour générer une carte d'incertitude par pixel ($V$) différentiable.

A. Représentation et Apprentissage de la Variance

• Chaque Gaussien 3D $G_i$ est défini par sa position, son opacité, ses échelles, sa covariance, ses coefficients d'harmoniques sphériques (couleur moyenne) et un paramètre supplémentaire : la variance d'apparence $\sigma_i^2$.
• Contrairement aux méthodes précédentes qui utilisent des prédicteurs pré-entraînés ou des filtres géométriques, VarSplat apprend $\sigma_i^2$ de zéro (from scratch) de manière end-to-end, conjointement avec la géométrie et l'apparence.
• Cette variance modélise l'instabilité des observations de couleur autour de la moyenne, particulièrement aux bords d'occlusion ou sur les surfaces réfléchissantes.

B. Rendu de l'Incertitude (Loi de la Variance Totale)
Pour obtenir une carte d'incertitude par pixel $V$ sans sacrifier l'efficacité du rendu en un seul passage (single-pass), les auteurs appliquent la loi de la variance totale via le processus de compositing alpha :
$$\text{Var}[X] = \mathbb{E}[\text{Var}[X|Z]] + \text{Var}(\mathbb{E}[X|Z])$$
Où $X$ est la couleur du pixel et $Z$ représente les Gaussiens.

• Le terme $\mathbb{E}[\text{Var}[X|Z]]$ correspond à la moyenne pondérée des variances des splats ($\sum w_i \sigma_i^2$).
• Le terme $\text{Var}(\mathbb{E}[X|Z])$ correspond à la variance de la couleur moyenne pondérée.
• Le résultat $V$ est rendu de manière différentiable, permettant de mettre à jour $\sigma_i^2$ via la rétropropagation du gradient.

C. Intégration dans le Pipeline SLAM
L'incertitude est utilisée à trois étapes critiques :

1. Suivi (Tracking) : La carte d'incertitude $V$ par pixel sert de poids de confiance. Les pixels à haute incertitude (faible texture, profondeur incertaine) sont pénalisés dans la fonction de perte photométrique, stabilisant ainsi la mise à jour de la pose.
2. Enregistrement (Registration) : Lors de l'alignement des sous-cartes (submaps), les mêmes poids d'incertitude sont appliqués pour réduire les artefacts de superposition (ghosting) et améliorer l'alignement moyen.
3. Détection de Boucle (Loop Detection) : La variance par splat $\sigma_i^2$ est utilisée pour calculer un poids de fiabilité au niveau de la sous-carte. Cela permet de moduler la similarité entre les descripteurs, évitant ainsi les fermetures de boucle fausses sur des structures répétitives ou peu fiables.

D. Optimisation
Le système optimise conjointement les poses de la caméra, les paramètres des Gaussiens et les variances $\sigma^2$ via une perte de vraisemblance négative (NLL) adaptée, utilisant une perte $L_2$ (MSE) pour respecter l'hypothèse gaussienne de la variance.

3. Contributions Clés

• Premier système 3DGS-SLAM en ligne à apprendre une variance d'apparence par splat et à rendre une carte d'incertitude par pixel différentiable.
• Intégration unifiée : L'incertitude est intégrée à la fois au niveau de la représentation (paramètres des Gaussiens) et du rendu (carte $V$), permettant une optimisation end-to-end dans un pipeline de sous-cartes.
• Efficacité : La méthode maintient l'efficacité du rendu en un seul passage (single-pass) grâce à l'utilisation de la loi de la variance totale directement dans le rasteriseur.
• Robustesse accrue : Le système réduit significativement la dérive et améliore la stabilité dans des environnements difficiles (reflets, transparence, faible texture).

4. Résultats Expérimentaux

Les auteurs ont évalué VarSplat sur quatre jeux de données : Replica (synthétique), TUM-RGBD, ScanNet et ScanNet++ (réels).

• Suivi (Tracking) :
  • Sur Replica, VarSplat améliore l'erreur de trajectoire (ATE RMSE) d'environ 10 % par rapport aux méthodes de l'état de l'art.
  • Sur ScanNet++, il surpasse la deuxième meilleure méthode d'environ 18 % et réussit là où des méthodes comme SplaTAM échouent complètement (dérive massive de 443 cm).
  • Sur TUM-RGBD et ScanNet, il montre une robustesse supérieure dans les zones sans texture et réfléchissantes.
• Reconstruction :
  • La qualité de la reconstruction géométrique (F1-score, erreur de profondeur L1) reste compétitive, voire supérieure, démontrant que la régularisation par variance n'altère pas la qualité de la maillage.
• Rendu (Novel View Synthesis) :
  • VarSplat obtient des métriques PSNR, SSIM et LPIPS compétitives ou supérieures sur tous les jeux de données, confirmant que l'apprentissage de la variance n'impacte pas négativement la qualité visuelle.
• Temps d'exécution :
  • Le temps de calcul par image reste compétitif par rapport aux systèmes 3DGS-SLAM récents, malgré le coût additionnel du rendu de la variance.

5. Signification et Impact

VarSplat représente une avancée significative pour le SLAM dense basé sur les champs de rayons (radiance fields). En traitant l'incertitude d'apparence comme une quantité de premier ordre apprise directement par le modèle, il résout le problème de la fiabilité des mesures dans des environnements complexes sans recourir à des heuristiques externes ou à des prédicteurs pré-entraînés.

Cette approche ouvre la voie à des systèmes de robotique et de réalité augmentée plus sûrs et plus fiables, capables de quantifier leur propre confiance et de s'adapter dynamiquement aux zones d'observation incertaines, réduisant ainsi les risques de défaillance dans des scénarios réels non contrôlés.