Résumé technique : Modélisation de la profondeur masquée pour la perception spatiale (LingBot-Depth)

1. Énoncé du problème

Une perception spatiale 3D précise est cruciale pour les applications du monde physique telles que la conduite autonome et la manipulation robotique. Bien que les caméras RGB-D soient la seule modalité capable de fournir une échelle métrique absolue en temps réel et une géométrie dense alignée sur les pixels, elles souffrent de limitations matérielles intrinsèques. Plus précisément, les algorithmes de correspondance stéréoscopique utilisés dans ces capteurs sont très sensibles aux ambiguïtés d'apparence, ce qui entraîne une corruption sévère des données et des valeurs manquantes (trous) dans des scénarios difficiles comme les surfaces à faible texture, les reflets spéculaires et les éclairages complexes.

Les approches actuelles traitent souvent ces mesures manquantes comme du bruit à écarter. Cependant, cet article soutient que ces inexactitudes ne sont pas de simples erreurs, mais des signaux « masqués » qui reflètent intrinsèquement les ambiguïtés géométriques et d'apparence sous-jacentes. Le défi central consiste à exploiter ces régions manquantes naturellement présentes pour apprendre des représentations de profondeur robustes à échelle métrique, capables de compléter la géométrie même là où les capteurs échouent.

2. Méthodologie : Modélisation de la profondeur masquée (MDM)

Les auteurs proposent LingBot-Depth, un modèle de complétion de profondeur basé sur un nouveau cadre de Modélisation de la Profondeur Masquée (MDM). Cette approche adapte les principes de la modélisation d'image masquée auto-supervisée (par exemple, MAE) mais déplace l'objectif de la reconstruction d'apparence vers la prédiction de cartes de profondeur à l'aide d'entrées RGB-D.

2.1 Architecture centrale

Le modèle utilise un encodeur Vision Transformer (ViT-Large) et un décodeur ConvStack.

• Embedding de patch séparé : L'image RGB et la carte de profondeur sont traitées par des couches d'embedding de patch distinctes pour générer des tokens RGB et de profondeur alignés.
• Embeddings de position : Le système emploie à la fois des embeddings de position spatiale 2D partagés et des embeddings spécifiques à la modalité (distinguant les tokens RGB des tokens de profondeur) pour capturer la localisation spatiale et l'identité de la source d'entrée.
• Embedding conjoint : L'encodeur apprend une représentation conjointe en portant attention au contexte RGB complet et non masqué ainsi qu'aux tokens de profondeur valides restants.
• Décodeur ConvStack : Contrairement à l'approche MAE standard qui utilise un décodeur Transformer peu profond pour la reconstruction de pixels, LingBot-Depth utilise un décodeur hiérarchique ConvStack. Cela est mieux adapté à la prédiction géométrique dense. Le décodeur rejette les tokens de profondeur latents et reconstruit la carte de profondeur complète à partir des tokens contextuels enrichis (caractéristiques RGB enrichies par le contexte global de la scène via le token [cls]).

2.2 Stratégie de masquage

Une innovation clé est l'interprétation des défaillances des capteurs comme des « masques naturels ».

• Masquage naturel : Au lieu d'un masquage aléatoire, le modèle masque les tokens de profondeur correspondant aux mesures de capteurs manquantes ou invalides.
• Masquage adaptatif : Pour les patchs contenant un mélange de valeurs valides et invalides, un taux de masquage élevé (par exemple, 0,75) est appliqué. Si le ratio de masque naturel est insuffisant, des tokens valides supplémentaires sont masqués de manière aléatoire pour atteindre un ratio cible de 60 à 90 %.
• Signal d'apprentissage : Le modèle est contraint d'inférer les valeurs de profondeur manquantes en raisonnant sur la corrélation entre le contexte RGB complet et les tokens de profondeur valides épars. Cela unifie les objectifs de l'estimation de profondeur monoculaire (lorsque toute la profondeur est masquée) et de la complétion de profondeur (lorsque seuls les tokens invalides sont masqués).

2.3 Pipeline de curation des données

Pour soutenir l'entraînement à grande échelle de la MDM, les auteurs ont construit un pipeline de données évolutif générant 3 millions de paires RGB-D (2M réelles, 1M synthétiques) :

• Branche synthétique (LingBot-Depth-S) : Utilise des actifs 3D auto-hébergés dans Blender pour rendre des images RGB, une profondeur parfaite et des paires stéréoscopiques. Crucialement, elle simule les artefacts des capteurs du monde réel en appliant le Matching Semi-Global (SGM) aux paires stéréoscopiques pour générer des cartes de profondeur « de type capteur » avec des imperfections naturelles.
• Branche du monde réel (LingBot-Depth-R) : Utilise un dispositif de capture modulaire imprimé en 3D compatible avec diverses caméras RGB-D grand public (ex: Intel RealSense, Orbbec Gemini, ZED). Des étiquettes de pseudo-profondeur sont générées via le matching stéréoscopique sur les paires IR capturées, avec des vérifications de cohérence pour filtrer les erreurs.
• Données supplémentaires : L'ensemble d'entraînement est augmenté de 7 jeux de données RGB-D open-source, avec des stratégies de masquage adaptées à leurs caractéristiques spécifiques.

3. Résultats clés

3.1 Complétion de profondeur

LingBot-Depth a été évalué sur des benchmarks standards (iBims, NYUv2, DIODE, ETH3D) selon deux protocoles : masquage de profondeur par blocs et entrées SfM éparses.

• Performance : Le modèle a systématiquement surpassé les méthodes de pointe (OMNI-DC, PromptDA, PriorDA) à tous les niveaux de difficulté.
• Métriques : Sur les benchmarks intérieurs, il a réduit l'erreur RMSE de plus de 40 % par rapport au meilleur concurrent dans des configurations extrêmes. Sur le protocole SfM épars difficile d'ETH3D, il a obtenu des résultats de pointe, réduisant l'erreur RMSE de 47 % (intérieur) et 38 % (extérieur).
• Qualitatif : Le modèle produit des frontières de profondeur plus nettes et des structures plus cohérentes, particulièrement dans les régions présentant des occlusions sévères ou des observations éparses.

3.2 Estimation de la profondeur monoculaire

Lorsqu'il est utilisé comme backbone de pré-entraînement pour MoGe (remplaçant DINOv2), l'encodeur pré-entraîné par MDM a démontré une performance supérieure en estimation de profondeur monoculaire sur 10 benchmarks diversifiés (intérieur, extérieur, synthétique et réel).

• Généralisation : Le modèle a montré des améliorations constantes sur les métriques affines-invariantes, d'échelle-invariantes et de disparité-invariantes, suggérant que la MDM distille efficacement la connaissance géométrique 3D dans l'encodeur.

3.3 Intégration à FoundationStereo

L'utilisation de LingBot-Depth comme a priori pour FoundationStereo a permis :

• Convergence plus rapide : Le modèle a atteint une forte performance dès l'époque 5, surpassant nettement les baselines classiques.
• Stabilité : Il a évité l'instabilité d'entraînement observée dans les variantes basées sur MoGe.
• Précision finale : Il a obtenu les meilleurs résultats ou des résultats comparables sur tous les benchmarks testés (ETH3D, Middlebury, Booster, etc.) à l'époque 15.

3.4 Applications en aval

L'article démontre l'utilité de LingBot-Depth dans des scénarios zero-shot ou de fine-tuning minimal :

• Complétion de profondeur vidéo : Malgré un entraînement sur des images statiques, le modèle produit des flux de profondeur temporellement cohérents. Il remplit avec succès les régions manquantes dans les surfaces transparentes et réfléchissantes (ex: murs de verre, tunnels d'aquarium) où les capteurs de lumière structurée et stéréoscopiques échouent.
• Suivi de points 3D : Intégré à SpatialTrackerV2, la profondeur raffinée permet une estimation plus fluide et plus précise de la trajectoire de la caméra et un suivi d'objets dynamiques dans des scènes comportant de nombreuses surfaces vitrées.
• Saisie robotique : Dans une tâche de saisie dextre réelle (bras Rokae + main X Hand-1), le modèle a permis la saisie réussie d'objets difficiles (verrerie transparente, bols réfléchissants) qui ont déjoué les capteurs bruts. Les taux de réussite se sont nettement améliorés (ex: 17/20 vs 13/20 pour les tasses en acier ; 16/20 vs 12/20 pour les tasses transparentes).

4. Signification et affirmations

L'article affirme que LingBot-Depth représente un changement de paradigme dans la gestion des limitations des capteurs RGB-D. En traitant les défaillances des capteurs comme des « masques naturels » plutôt que comme du bruit, le modèle apprend à inférer la géométrie à partir du contexte visuel, comblant efficacement l'écart entre les données de capteurs éparses/invalides et une perception 3D dense et métriquement précise.

Les auteurs soulignent que leur approche :

1. Surpasse le matériel : Le modèle surpasse les caméras RGB-D commerciales de haut niveau tant en précision de profondeur qu'en couverture de pixels, particulièrement dans des conditions d'éclairage et de matériaux difficiles.
2. Unifie les tâches : Le cadre MDM sert de généraliste polyvalent, capable de fonctionner à la fois comme outil de complétion de profondeur et comme estimateur de profondeur monoculaire selon la stratégie de masquage.
3. Permet l'utilité robotique : Les prédictions de profondeur robustes et les représentations latentes alignées permettent une manipulation fiable d'objets qui déjouent typiquement les capteurs conventionnels, démontant une valeur pratique immédiate pour la perception spatiale en robotique.

Les auteurs mettent à disposition de la communauté le code, les checkpoints et le jeu de données RGB-depth de 3 millions d'images pour faciliter la recherche ultérieure en perception spatiale.