Résumé Technique : NoDrift3R

Énoncé du Problème

Le rendu de Gaussian Splatting 3D (3DGS) par propagation directe (feed-forward) est apparu comme un paradigme pour la reconstruction rapide de scènes, pourtant les variantes sans pose (pose-free) font face à un goulot d'étranglement critique lors du traitement de longues séquences d'images. Le problème principal est la dérive cumulative de l'estimation de la pose de la caméra. Dans les cadres existants sans pose, les erreurs d'estimation de la pose se propagent dans la modélisation géométrique, déformant la représentation 3D, tandis que les inexactitudes de la structure de la scène dégradent davantage les prédictions de pose. Cette boucle de rétroaction entraîne une dérive accumulée, limitant sévèrement la fidélité du rendu et la cohérence géométrique au fil du temps.

De plus, l'article identifie une instabilité d'entraînement inhérente aux paradigmes sans pose. Bien que les poses de vérité terrain pseudo-étalonnées basées sur la Structure-from-Motion (SfM) introduisent du bruit de capteur, la supervision purement basée sur le rendu entraîne souvent une instabilité d'optimisation et des minima locaux en raison de l'optimisation entrelacée de la géométrie et de la pose. Les méthodes existantes tentant de stabiliser cela (par exemple, via le teacher-forcing ou l'apprentissage curriculaire) peinent à équilibrer stabilité et précision fine, particulièrement lors de l'extension à de larges plages temporelles ou à des vues à faible chevauchement.

Méthodologie

Les auteurs proposent NoDrift3R, un cadre synergique sans pose conçu pour coupler explicitement la géométrie et l'apparence afin de supprimer la dérive. La méthodologie se compose de trois composants clés :

1. Module de Couplage Guidé par Raymap (RGC)

Contra-à l'approche précédente qui prédit soit directement les représentations de Gaussiennes à partir d'images (en ignorant la pose), soit les conditionne sur des paramètres de pose de faible dimension (créant un goulot d'étranglement d'information), NoDrift3R introduit un Module de Couplage Guidé par Raymap.

• Mécanisme : Le modèle prédit un raymap dense ($R \in \mathbb{R}^{H \times W \times 6}$) pour chaque vue, encodant les directions de rayons ($r$) et les origines ($o$) par pixel.
• Ancrage Géométrique : Les centres des Gaussiennes ($p_j$) sont explicitement élevés des pixels 2D vers l'espace 3D en utilisant le raymap prédit et une carte de profondeur ($D$) : $p_j = o_j + D_j \cdot r_j$.
• Optimisation Synergique : Cette conception crée une boucle de rétroaction bidirectionnelle :
  • Apparence $\to$ Géométrie : La perte de reconstruction RGB se propage via le processus de rendu pour affiner les raymaps et la profondeur, aiguisant ainsi la géométrie.
  • Géométrie $\to$ Apparence : La perte de raymap contraint les directions de rayons, garantissant que la distribution spatiale des Gaussiennes est géométriquement cohérente, ce qui améliore en retour la qualité du rendu.
• Objectif : La perte totale combine la reconstruction RGB (MSE + LPIPS), la régularisation de la caméra (perte de Huber) et la cohérence du raymap (perte L1), formant un objectif unifié où la géométrie et l'apparence se renforcent mutuellement.

2. Programmation de Vue à Double Fréquence

Pour remédier à l'instabilité de l'entraînement à travers de larges plages temporelles, les auteurs introduisent une stratégie d'échantillonnage curriculaire qui équilibre les paires de vues "faciles" (chevauchement élevé) et "difficiles" (faible chevauchement).

• Curriculum Sensible au Chevauchement Borné : Le modèle est progressivement exposé à des intervalles de vue plus larges (du chevauchement élevé vers le faible) en amendant un seuil de chevauchement cible. Une borne supérieure de parcimonie ($g_{max}=15$) est appliquée pour empêcher une supervision trop parcimonieuse.
• Régularisation par Rejeu Stochastique : Pour éviter la dégradation des performances sur les échantillons à intervalle réduit (chevauchement élevé) — un point de défaillance courant dans les stratégies d'extension linéaire — l'ordonnanceur inclut un mécanisme de rejeu. Durant la seconde moitié de l'entraînement, il existe une probabilité de 50 % d'échantillonner des paires à intervalle réduit ($g \in [6, 10]$). Cela garantit que le modèle maintient une cohérence géométrique locale tout en apprenant des dépendances à longue portée.

3. Architecture

Le cadre utilise un unique backbone de transformateur multi-vues (basé sur DINOv2) pour traiter les tokens de vue. Il emploie une tête Dual-DPT pour prédire conjointement le raymap, la carte de profondeur et les paramètres de la caméra, suivie d'une tête de Gaussienne pour prédire les attributs (opacité, couleur, échelle, rotation) ancrés aux positions 3D élevées.

Contributions Clés

1. Identification du Goulot d'Étranglement des Longues Séquences : L'article établit que la dérive cumulative de la pose est le facteur principal restreignant la qualité de la reconstruction dans les séquences longues et démontre que la supervision purement basée sur le rendu conduit à l'instabilité.
2. Programmation de Vue à Double Fréquence : Un nouvel ordonnancement d'entraînement combinant l'expansion d'intervalle de facile à difficile avec un mécanisme de rejeu pour les échantillons à intervalle réduit, stabilisant l'optimisation à travers des intervalles de trames arbitraires.
3. Synergie "Gain de Rendu à la Géométrie" : Un cadre qui couple étroitement la supervision de rendu 3DGS avec des contraintes explicites de raymap. Ce couplage bidirectionnel résout l'ambiguïté des paramètres et supprime la dérive sans pertes auxiliaires complexes, atteignant des performances de l'état de l'art (SOTA) tant en fidélité de rendu qu'en précision de la pose de la caméra.

Résultats Expérimentaux

Des expériences approfondies ont été menées sur les jeux de données DL3DV, RealEstate10K (RE10K) et ScanNet++.

• Synthèse de Nouvelle Vue (NVS) : Sur DL3DV, NoDrift3R surpasse systématiquement les méthodes SOTA dépendantes de la pose (MVSplat, DepthSplat) et sans pose (NoPoSplat, AnySplat, YoNoSplat). Dans la configuration à 24 vues, il améliore le PSNR de 1,6 dB par rapport à la meilleure méthode sans pose précédente (YoNoSplat).
• Estimation de la Pose : La méthode a atteint une précision supérieure de l'estimation de la pose de la caméra (mesurée par AUC@5°, 10°, 20°) sur tous les réglages de vue. L'amélioration est plus prononcée dans les séquences longues (12v/24v), vérifiant l'efficacité de la suppression de la dérive.
• Généralisation :
  • Transversalité de Dataset : Entraîné sur DL3DV, le modèle atteint des performances SOTA sur ScanNet++ sans ajustement fin (fine-tuning).
  • Zero-Shot : Lorsqu'il est entraîné sur DL3DV et testé sur RE10K, le modèle obtient les meilleurs résultats pour les seuils d'erreur de pose de 5° et 10°, démontrant une forte transférabilité.
• Études d'Ablation :
  • Le retrait de la géométrie guidée par le raymap ou de la perte de raymap dégrade significativement la précision de la pose et la qualité du rendu, confirmant la nécessité du couplage bidirectionnel.
  • Le retrait du mécanisme de rejeu dans l'ordonnanceur a provoqué un compromis où la performance à longue portée s'améliorait au détriment de la cohérence à courte portée ; le mécanisme de rejeu équilibre avec succès les deux.

Signification et Revendications

L'article affirme que la synergie géométrie-apparence explicitement conçue est la clé d'une reconstruction 3D par propagation directe scalable et robuste à la dérive. En ancrant les centres des Gaussiennes à la géométrie induite par le raymap, le cadre crée une dynamique d'entraînement auto-renforçante qui stabilise l'optimisation à travers des séquences longues et des intervalles de vue larges. Les auteurs soutiennent que cette approche résout le compromis fondamental entre stabilité et précision dans le 3DGS sans pose, permettant une reconstruction de haute fidélité dans des scénarios où les poses de la caméra ne sont pas disponibles.

Ce travail est présenté comme une étape significative pour rendre la reconstruction 3D par propagation directe pratique pour les séquences longues et non posées, dépassant les limites des méthodes actuelles qui souffrent de la dérive accumulée et de l'instabilité d'optimisation.