Résumé Technique : Stabilisation de la Géométrie Vidéo en Flux par Normalisation Dynamique des Caractéristiques

1. Énoncé du Problème

Bien que les modèles de base modernes d'estimation géométrique monoculaire (MGE) et d'estimation de profondeur monoculaire (MDE) (par exemple, MoGe, Depth Anything) atteignent une grande précision sur des images uniques, ils présentent une incohérence temporelle sévère lorsqu'ils sont appliqués à des flux vidéo continus. La manifestation principale de cette instabilité est la dérive de décalage d'échelle, où l'échelle globale de profondeur prédite et le décalage fluctuent d'une image à l'autre.

Cette dérive provoque des artefacts significatifs dans la reconstruction 3D, notamment :

• Déformation non rigide : La scène reconstruite se déforme au fil du temps.
• Ruptures de superposition : Des nuages de points disjoints où les surfaces semblent se séparer.
• Tremblement de position : Des positions d'objets instables dans le système de coordonnées global.

Les solutions existantes tentent de corriger cela via une attention temporelle ou des modules de mémoire récurrente, mais nécessitent souvent un fine-tuning complet du réseau sur de grands ensembles de données vidéo annotées. Cette approche est coûteuse en calcul, intensive en données et dégrade fréquemment la généralisation zero-shot et la précision par image du backbone pré-entraîné.

2. Investigation Empirique

Les auteurs ont mené une étude empirique pour identifier la cause racine de cette instabilité en utilisant le modèle MoGe, l'état de l'art.

• Observation : Lorsque des images individuelles sont alignées sur la vérité terrain en utilisant des transformations affines indépendantes (échelle et décalage), la précision géométrique est extrêmement élevée ($\delta < 1,25$ atteint 99,8 %). Cependant, lorsqu'une échelle/décalage unique et cohérent est appliqué à l'ensemble de la séquence, la précision chute considérablement (à 62,5 %), entraînant une déformation sévère.
• Conclusion : La compréhension géométrique sous-jacente du backbone est robuste ; l'instabilité n'est pas due à une mauvaise géométrie par image, mais plutôt aux fluctuations d'image à image de l'échelle globale et du décalage prédits.
• Analyse de la Cause Racine : L'étude a révélé un couplage étroit entre la moyenne et la variance des caractéristiques latentes extraites par l'encodeur et l'échelle/décalage prédits. Les fluctuations de ces statistiques de caractéristiques latentes à travers un flux vidéo entraînent directement la dérive d'échelle-décalage observée.

3. Méthodologie : Normalisation Dynamique des Caractéristiques (DyFN)

Pour remédier à cela, l'article propose la Normalisation Dynamique des Caractéristiques (DyFN), un module léger, causal et récurrent conçu pour stabiliser les statistiques des caractéristiques dans le temps sans réentraîner l'ensemble du réseau.

Architecture

• Backbone Gelé : L'encodeur et le décodeur MGE pré-entraînés restent gelés pour préserver la précision sur image unique et la généralisation zero-shot.
• Module Récurrent : DyFN est inséré entre l'encodeur et le décodeur. Il utilise un GRU Convolutif (ConvGRU) pour maintenir un état caché ($h_t$) qui agrège le contexte historique des images précédentes.
• Processus de Normalisation :
  1. Standardisation : La caractéristique latente entrante $F_t$ est normalisée en utilisant sa moyenne ($\mu_t$) et son écart-type ($\sigma_t$) par canal.
  2. Prédiction : L'état caché du ConvGRU $h_t$ est projeté via deux têtes convolutionnelles légères $1\times1$ pour prédire de nouvelles statistiques temporellement cohérentes : une moyenne $\hat{\mu}_t$ et un écart-type $\hat{\sigma}_t$.
  3. Modulation : Les caractéristiques normalisées sont re-échelonnées et décalées en utilisant les statistiques prédites : $F^{consistent}_t = \hat{\sigma}_t \cdot F^{norm}_t + \hat{\mu}_t$.
  4. Décodage : Les caractéristiques stabilisées sont transmises au décodeur gelé pour générer la carte de profondeur finale.

Stratégie d'Entraînement

• Efficacité des Paramètres : Seul le module DyFN est fine-tuné, constituant seulement 2 % des paramètres totaux (environ 5 millions de paramètres contre des milliards dans le backbone).
• Fonctions de Perte :
  • Perte de Base ($L_{MoGe}$) : Préserve la fidélité géométrique originale sur image unique.
  • Perte d'Alignement Global ($L_{align}$) : Impose une échelle et un décalage uniques et cohérents sur l'ensemble de la séquence en pénalisant les écarts par rapport à une transformation affine globale optimale.
  • Perte Temporelle ($L_{temp}$) : Minimise l'écart entre les deltas inter-images prédits et la vérité terrain sur plusieurs tailles de fenêtres pour prévenir la dérive à long terme.

4. Contributions Clés

1. Identification de la Cause Racine : L'article établit que l'instabilité temporelle dans les modèles de base MGE provient des fluctuations des statistiques de caractéristiques latentes (moyenne et variance), qui dictent directement les prédictions d'échelle et de décalage.
2. Module DyFN : Un module de stabilisation nouveau et léger qui module dynamiquement ces statistiques à l'aide d'un mécanisme récurrent, assurant une géométrie cohérente sans compromettre la généralisation du backbone.
3. Adaptation Efficace : La méthode démontre que le gel du backbone et le fine-tuning exclusif du module DyFN atteignent une stabilité temporelle état de l'art tout en préservant la précision par image, surpassant les méthodes nécessitant un réentraînement complet du réseau.

5. Résultats Expérimentaux

La méthode a été évaluée sur quatre benchmarks : Sintel, ScanNet, KITTI et Bonn.

• Stabilité Temporelle (Évaluation de la Profondeur Vidéo) :

  • DyFN atteint des performances état de l'art sur tous les ensembles de données.
  • Sur ScanNet, il améliore $\delta < 1,25$ de 84,7 % (MoGe v1) à 96,6 %, soit une amélioration absolue de 11,9 %.
  • Il surpasse les bases vidéo solides comme DepthCrafter et Video Depth Anything (VDA), ainsi que les méthodes en flux comme FlashDepth.
  • Il réduit considérablement la déformation non rigide et le tremblement de position dans les reconstructions 3D qualitatives.

• Précision sur Image Unique :

  • Contrairement à d'autres approches de fine-tuning qui dégradent souvent les performances par image, DyFN hérite parfaitement de la précision sur image unique du backbone gelé (MoGe v1).
  • Les résultats sur les métriques d'image unique (Tableau 2) sont identiques à ceux du modèle de base MoGe v1, évitant le compromis de précision observé dans des méthodes comme FlashDepth.

• Robustesse aux Séquences Longues :

  • Dans les expériences avec des séquences allant jusqu'à 500 images, DyFN démontre une accumulation d'erreur minimale par rapport aux bases, maintenant une cohérence d'échelle supérieure dans le temps.

• Généralisation :

  • L'approche a été adaptée avec succès au backbone DepthAnythingV2 (DAv2), montrant des améliorations significatives de la stabilité temporelle, confirmant le caractère agnostique de l'architecture de la méthode.

6. Importance et Revendications

L'article revendique que la Normalisation Dynamique des Caractéristiques offre une voie simple, efficace et hautement performante pour adapter les modèles de base statiques aux flux vidéo continus. En régulant directement les statistiques de caractéristiques latentes qui causent la dérive d'échelle-décalage, la méthode atteint :

• Une stabilité temporelle état de l'art sans le coût computationnel de l'entraînement de grands modèles vidéo.
• La préservation de la généralisation zero-shot et de la précision sur image unique en maintenant le backbone gelé.
• Des performances supérieures par rapport aux méthodes vidéo hors ligne (qui souffrent de latence élevée et de redondance mémoire) et aux autres méthodes en flux (qui échouent souvent à maintenir une cohérence à long terme).

Les auteurs concluent que leur travail comble le fossé entre l'estimation géométrique sur image unique de haute précision et les exigences des applications de flux en temps réel (par exemple, conduite autonome, IA incarnée) en résolvant le problème spécifique de l'incohérence d'échelle-décalage par une normalisation au niveau des caractéristiques.