💻 computer science

SCOPE: Scale-Consistent One-Pass Estimation of 3D Geometry

SCOPE est une nouvelle méthode en un seul passage pour estimer la géométrie 3D à partir de séquences vidéo monoculaires étendues qui introduit un alignement invariant au point de vue, un apprentissage invariant à l'apparence et un positionnement modulé par la fréquence afin d'obtenir des améliorations significatives de la précision géométrique et de la cohérence temporelle par rapport aux approches de l'état de l'art.

Auteurs originaux : Zheng Zhang, Lihe Yang, Tianyu Yang, Chaohui Yu, Yixing Lao, Xiaoyang Guo, Biao Gong, Fan Wang, Hengshuang Zhao

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zheng Zhang, Lihe Yang, Tianyu Yang, Chaohui Yu, Yixing Lao, Xiaoyang Guo, Biao Gong, Fan Wang, Hengshuang Zhao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de construire le modèle 3D parfait d'une pièce en regardant simplement une vidéo de quelqu'un qui s'y déplace. Le défi n'est pas seulement de voir les murs ; c'est de s'assurer que le mur que vous voyez à la première seconde de la vidéo est exactement de la même taille et de la même forme que celui que vous voyez 100 secondes plus tard, même si la caméra pivote, que la lumière change ou que la personne entre et sorte du champ.

La plupart des outils d'IA actuels ont du mal avec cela. Ils sont comme une personne essayant de dessiner une carte tout en marchant : ils réussissent à saisir les détails de l'endroit où ils se trouvent, mais à mesure qu'ils avancent, ils commencent à se perdre, oublient la taille réelle de la pièce ou étirent accidentellement les murs. C'est ce qu'on appelle la « dérive d'échelle » (scale drift).

SCOPE (Scale-Consistent One-Pass Estimation of 3D Geometry) est une nouvelle méthode d'IA conçue pour résoudre ce problème. Voici comment elle fonctionne, en utilisant des analogies simples :

1. Le superpouvoir du « passage unique » (One-Pass)

La plupart des outils d'IA vidéo analysent une vidéo par petits segments, comme si l'on regardait un film scène par scène. Si la scène change, l'IA peut perdre la notion de la taille des choses par rapport à la scène précédente.

SCOPE est différent. Il regarde l'intégralité de la vidéo en un seul regard (un « passage direct unique »). C'est comme un chef d'orchestre qui entend toute la symphonie d'un coup, plutôt que d'écouter un instrument à la fois. Cela lui permet de comprendre instantanément toute l'histoire de la vidéo, garantissant que la taille d'une voiture dans la première image correspond bien à la taille de cette même voiture dans la dernière image, quelle que soit la durée de la vidéo.

2. La « règle partagée » (Cohérence d'échelle)

Imaginez que vous mesuriez une pièce avec un ruban à mesurer. Si vous utilisez un ruban différent pour chaque mur, votre carte finale sera un désastre.

Les anciennes méthodes : Elles mesurent chaque image avec une règle invisible légèrement différente. À la fin de la vidéo, la « règle » s'est étirée ou rétrécie, ce qui déforme ou brise le modèle 3D.
SCOPE : Il utilise une seule règle partagée pour toute la vidéo. Il force chaque image à s'accorder sur la même échelle et la même position. Cela signifie que si une table mesure 1 mètre de large dans la première seconde, elle mesurera toujours 1 mètre de large à la 100e seconde, empêchant ainsi la « dérive » qui ruine les modèles 3D.

3. Le « professeur voyageur dans le temps » (Cohérence à longue portée)

Habituellement, une IA vérifie seulement si l'image 10 ressemble à l'image 11. Si elle commet une petite erreur, cette erreur s'accentue à l'image 20, et devient énorme à l'image 100.
SCOPE utilise une astuce ingénieuse appelée supervision hiérarchique. C'est comme un professeur qui ne se contente pas de vérifier vos devoirs d'aujourd'hui, mais qui vérifie aussi comment votre travail de la semaine dernière se compare à celui d'aujourd'hui.

Il observe la vidéo à différentes vitesses temporelles : en comparant des images espacées de 1 seconde, 2 secondes, 4 secondes et même 8 secondes.
Cela garantit que l'IA comprend la « vue d'ensemble » du mouvement de la scène au fil du temps, et pas seulement l'étape immédiatement suivante.

4. L'« entraînement extensible » (Gérer les vidéos longues)

Entraîner une IA à regarder une vidéo de 10 minutes est difficile car les ordinateurs manquent de mémoire. Habituellement, l'IA est entraînée sur de courts clips (comme 24 secondes) puis on lui demande de deviner ce qui se passe dans une vidéo de 10 minutes. C'est comme demander à un étudiant qui n'a étudié que 10 minutes d'écrire une thèse.
SCOPE utilise une technique de positionnement modulé par la fréquence.

L'analogie : Imaginez que vous enseigniez à un étudiant à courir un marathon, mais que vous n'avez qu'une piste de 100 mètres. Au lieu de simplement courir ces 100 mètres, vous lui apprenez à imaginer que la piste est « étirée ». Vous lui dites : « Si tu cours ces 100 mètres, imagine qu'ils représentent 1 000 mètres. »
En simulant ces séquences « étirées » pendant l'entraînement, SCOPE apprend à gérer des vidéos beaucoup plus longues que celles pour lesquelles il a été réellement entraîné, sans s'embrouiller ou manquer de mémoire.

5. Le « test à l'aveugle » (Invariance d'apparence)

Parfois, la lumière change ou une ombre se déplace, et l'IA s'embrouille, pensant que l'objet lui-même a changé.
SCOPE est entraîné avec un apprentissage invariant à l'apparence. C'est comme entraîner un étudiant à reconnaître un ami même s'il porte des lunettes de soleil, un chapeau ou s'il se tient dans l'obscurité. L'IA apprend à ignorer les changements de couleurs et de lumières pour se concentrer uniquement sur la forme et la structure des objets. Cela maintient la stabilité du modèle 3D même lorsque la luminosité baisse ou que la caméra pivote brusquement.

Le résultat

Lorsque les chercheurs ont testé SCOPE, ils ont constaté qu'il pouvait construire des modèles 3D à partir de séquences vidéo de centaines de cadres avec presque aucune « dérive » ou déformation.

Il a réduit les erreurs de prédiction de la forme 3D d'environ 24 %.
Il a réduit les erreurs de maintien de la cohérence temporelle de la vidéo d'environ 35 %.
Il l'a fait beaucoup plus rapidement que les autres méthodes, traitant 300 images en moins de 8 secondes.

En résumé, SCOPE est une nouvelle façon pour les ordinateurs de regarder une vidéo et de construire une carte 3D parfaite et ininterrompue du monde qu'elle contient, garantissant que ce qu'ils voient au début est exactement cohérent avec ce qu'ils voient à la fin.

Résumé Technique : SCOPE (Scale-Consistent One-Pass Estimation of 3D Geometry)

1. Énoncé du Problème

L'estimation de la géométrie 3D à partir de séquences vidéo monoculaires présente un défi fondamental en vision par ordinateur : équilibrer une grande précision géométrique avec une cohérence temporelle à longue portée. Les méthodes existantes excellent généralement dans un domaine au détriment de l'autre. Les approches d'image unique (par exemple, MoGe) capturent une géométrie détaillée mais produisent des résultats incohérents lorsqu'elles sont appliquées image par image, ceج qui entraîne une dérive d'échelle. Inversement, les méthodes spécifiques à la vidéo offrent souvent une cohérence à court terme mais manquent de précision géométrique ou ne parviennent pas à maintenir une échelle globale sur des centaines de frames, particulièrement sous des trajectoires de caméra et des variations de luminosité complexes. De plus, le traitement simultané de séquences prolongées est souvent irréalisable en raison des contraintes de mémoire, créant une tension entre le besoin d'un encodage de position temporelle précis et la capacité d'extrapolation à des séquences bien plus longues que les exemples d'entraînement.

2. Méthodologie

SCOPE propose une nouvelle approche pour générer des cartes de points 3D affines-invariantes à partir de vidéos RGB en une seule passe directe (one-pass). La méthode garantit que toutes les images d'une séquence partagent les mêmes paramètres d'échelle et de décalage, permettant des représentations invariantes à l'échelle cohérentes.

2.1 Architecture et Composants Clés

Le modèle s'appuie sur l'architecture MoGe, utilisant un encodeur visuel DINOv2-L et un décodeur basé sur un transformeur. Pour gérer la vidéo, les auteurs insèrent des modules d'attention temporelle après chacun des quatre niveaux de caractéristiques du décodeur. Les principales innovations incluent :

Géométrie Invariante au Point de Vue : Pour imposer une cohérence géométrique, la méthode transforme les points des coordonnées de caméras individuelles vers un référentiel commun en utilisant les poses de caméra (disponibles pendant l'entraînement). Une perte géométrique multi-échelle est appliquée dans ce système de coordonnées unifié, comparant les structures à travers différents points de vue. Cela inclut un alignement global et un alignement local basé sur une grille (utilisant des tailles de grille de 4 et 16) pour capturer à la fois la structure grossière et les détails fins.
Apprentissage Invariant à l'Apparence : Pour assurer la robustesse face aux conditions visuelles transitoires (ex: changements de luminosité, flou), le processus d'entraînement emploie des augmentations spécifiques par image avec des transformations de couleur et des motifs de flou échantillonnés indépendamment. Cela force le modèle à se concentrer sur des caractéristiques géométriques invariantes plutôt que sur des indices d'apparence transitoires.
Extrapolation de Position par Modulation de Fréquence : Pour gérer des séquences nettement plus longues que le contexte d'entraînement (ex: 300+ frames contre 24 pour l'entraînement), SCOPE utilise un encodage de position rotatif (RoPE) spécialisé avec une adaptation du noyau tangentiel de Newton (NTK).
- Mise à l'échelle NTK Dynamique : Les composantes de fréquence sont mises à l'échelle en fonction du ratio entre la longueur de la séquence d'inférence et la longueur d'entraînement. Cela préserve la capacité du modèle à capturer des détails locaux fins (composantes haute fréquence) tout en amplifiant les ajustements pour les dépendances à longue portée (composantes basse fréquence).
- Étirement de Séquence au Temps d'Entraînement : Pendant l'entraînement, le modèle est exposé à des séquences étendues « virtuelles ». Les encodages de position sont calculés pour une séquence virtuelle plus longue et échantillonnés à intervalles pour correspondre à la longueur réelle de l'entrée. Cela simule l'extrapolation, apprenant au modèle à gérer des séquences ordres de grandeur plus longues que ses données d'entraînement.

2.2 Fonctions de Perte et Cohérence Temporelle

L'objectif d'entraînement intègre des pertes géométriques par image avec des contraintes inter-images :

Perte Géométrique Inter-Images ( $L_{cross}$ ) : Impose la cohérence en alignant les nuages de points de différentes images dans un référentiel partagé, minimisant les erreurs de projection à travers les échelles globales et locales.
Supervision Temporelle Hiérarchique ( $L_{temp}$ ) : Au lieu de s'appuyer uniquement sur des contraintes entre images adjacentes (ce qui mène à l'accumulation d'erreurs), SCOPE introduit un cadre de supervision par dérivée. Il pénalise la dérivée temporelle des valeurs de profondeur à travers des intervalles de temps augmentant exponentiellement ( $\delta = 1, 2, 4, 8$ ). Cette contrainte de préservation de la structure pénalise directement la dérive d'échelle et assure des prédictions lisses et cohérentes sur des durées étendues.

2.3 Stratégie d'Inférence

SCOPE fonctionne de manière monopasse (single-pass). Contraなる aux approches par fenêtre glissante qui traitent des segments chevauchants indépendamment (entraînant un potentiel décalage aux limites), SCOPE traite l'intégralité de la séquence en une seule fois en utilisant l'encodage de position modulé par fréquence. Cela élimine la redondance computationnelle et maintient un contexte global tout au long de la vidéo.

3. Contributions Clés

Estimation Monopasse Consistante à l'Échelle : Un cadre unifié qui génère des cartes de points 3D partageant les mêmes paramètres d'échelle et de décalage sur l'ensemble des séquences vidéo, éliminant la dérive d'échelle commune aux méthodes par image ou par fenêtre glissante.
Trois Innovations Majeures :
- Alignement géométrique invariant au point de vue via des pertes inter-images multi-échelles.
- Apprentissage invariant à l'apparence pour isoler les caractéristiques structurelles des conditions visuelles transitoires.
- Positionnement modulé par fréquence (RoPE adapté par NTK avec étirement temporel) permettant une extrapolation robuste vers des séquences dépassant largement les longueurs d'entraînement.
Traitement Efficace à Longue Portée : La capacité de traiter des centaines de frames en une seule passe directe avec un décalage minimal, atteignant une grande efficacité computationnelle par rapport aux bases de comparaison de diffusion vidéo ou de fenêtres glissantes.

4. Résultats Expérimentaux

Les expériences ont été menées sur divers jeux de données incluant Sintel, ScanNet, Bonn, KITT et DDAD, couvrant des scénarios synthétiques, intérieurs et de conduite extérieure.

Performance Quantitative : SCOPE surpasse significativement les méthodes de l'état de l'art. Sur ScanNet, il réduit l'erreur relative de la carte de points de 24,2 % et l'erreur d'alignement temporel (TAE) de 34,9 % par rapport aux approches existantes. Il obtient le rang moyen le plus bas sur tous les jeux de données évalués.
Comparaison avec les Métriques :
- Comparé à MoGe-2, SCOPE atteint une précision de carte de points comparable, mais une meilleure cohérence temporelle.
- Comparé à VGGT et $\pi^3$ , SCOPE offre une cohérence temporelle supérieure et est plus efficace en termes de paramètres (322M contre 959M pour $\pi^3$ ).
- Comparé à DepthCrafter et Video Depth Anything, SCOPE est 6 à 42 fois plus rapide (39,1 FPS contre <7 FPS) tout en maintenant une précision compétitive ou supérieure.
Impact Aval (Downstream) : Utilisé comme entrée pour la reconstruction 4D (via MegaSAM), SCOPE produit des résultats cohérents et non fragmentés. Sur le jeu de données Sintel, il a amélioré l'Erreur Absolue de Trajectoire (ATE) de 55–60 % et l'Erreur Relative de Trajectoire (RTE) de 58–63 % par rapport à MoGe et MonST3R.
Études d'Ablation :
- Extrapolation : La combinaison du RoPE adapté par NTK et de l'étirement de séquence (RoPE+) offre le meilleur compromis, réduisant significativement le TAE sur les longues séquences (270 frames) par rapport aux encodages standards.
- Composantes de Perte : Les contraintes géométriques inter-images et la supervision temporelle hiérarchique sont toutes deux critiques ; leur combinaison produit la meilleure cohérence temporelle.
- Inférence : Le traitement en passe unique surpasse systématiquement les approches par fenêtre glissante, réduisant l'erreur de près de 10 % sur KITTI.

5. Signification et Revendications

L'article affirme que SCOPE répond à la tension fondamentale entre précision géométrique et cohérence temporelle dans l'estimation de la profondeur vidéo monoculaire. En permettant le traitement de séquences étendues en une seule passe avec un décalage minimal, SCOPE facilite une reconstruction 3D et 4D de haute qualité dans des scénarios difficiles avec des mouvements de caméra et des variations de luminosité complexes.

Les auteurs positionnent SCOPE comme une étape importante pour les applications nécessitant une cohérence à longue portée, telles que la navigation autonome, la réalité virtuelle et la synthèse de vues nouvelles. Bien que l'implémentation actuelle repose sur des outils externes (MegaSAM) pour l'estimation de la pose de la caméra lors de l'évaluation, l'article note que les travaux futurs visent à estimer les trajectoires de caméra directement au sein du réseau. La méthode est présentée comme une solution robuste, efficace et évolutive qui comble le fossé entre la précision de l'image unique et la cohérence au niveau de la vidéo.