🤖 AI

MetricAnything: Scaling Metric Depth Pretraining with Noisy Heterogeneous Sources

MetricAnything introduit un cadre de pré-entraînement évolutif qui exploite un nouveau « Sparse Metric Prompt » pour apprendre la profondeur métrique à partir de 20 millions de sources 3D bruitées et hétérogènes, établissant la première tendance de mise à l'échelle claire dans la profondeur métrique et atteignant des performances de pointe à travers diverses tâches, notamment l'estimation monoculaire, la reconstruction 3D et l'intelligence spatiale dans les modèles multimodaux.

Auteurs originaux : Baorui Ma, Jiahui Yang, Donglin Di, Xuancheng Zhang, Jianxun Cui, Hao Li, Yan Xie, Wei Chen

Publié 2026-07-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Baorui Ma, Jiahui Yang, Donglin Di, Xuancheng Zhang, Jianxun Cui, Hao Li, Yan Xie, Wei Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : La « cuisine bruyante »

Imaginez que vous vouliez apprendre à un robot à comprendre le monde réel en 3D — plus précisément, à quelle distance se trouvent les objets (la profondeur métrique). Pour ce faire, vous avez généralement besoin d'une immense bibliothèque de « manuels scolaires » (jeux de données) montrant des images et leurs distances 3D exactes.

Le problème est que ces manuels sont un vrai désordre.

Certains sont écrits par LiDAR (lasers), qui sont excellents mais bruyants et épars (comme un croquis avec des points manquants).
D'autres sont reconstruits par des ordinateurs à partir de vidéos, ce qui peut engendrer des erreurs étranges dans les zones brillantes ou floues.
Certains sont rendus (générés par ordinateur), ce qui est parfait mais semble faux.
Ils proviennent tous de milliers de caméras différentes, chacune ayant ses propres particularités et biais.

Les tentatives précédentes pour enseigner aux robots avec cette « cuisine bruyante » ont échoué parce que le bruit a confondu l'IA. Ils ont essayé de construire des règles complexes et personnalisées pour chaque type de bruit, ce qui ne passait pas à l'échelle. C'était comme essayer de nettoyer une cuisine malpropre en frottant chaque assiette individuellement au lieu d'utiliser un lave-vaisselle.

La solution : « Metric Anything »

Les auteurs ont créé un nouveau système appelé Metric Anything. Voyez cela comme un « lave-vaisselle » universel capable de gérer n'importe quel type de vaisselle sale (source de données) sans avoir besoin d'un réglage spécial pour chacun.

Voici comment cela fonctionne, divisé en trois étapes simples :

1. Le « Prompt Sparse » (L'indice magique)

Au lieu de montrer à l'IA l'image entière du monde en 3D d'un coup (ce qui est trop bruité), ils lui donnent un Prompt Métrique Sparse (un indice parcimonieux).

L'analogie : Imaginez que vous essayez de deviner la forme d'un objet caché dans une boîte. Au lieu de vous laisser voir toute la boîte, quelqu'un vous donne quelques « indices » (points) qui indiquent la distance exacte de quelques points spécifiques.
Comment ils font : Ils prennent une carte 3D, en cache la majeure partie de manière aléatoire, et ne montrent à l'IA que quelques points dispersés avec leurs distances exactes.
Pourquoi ça marche : Cela force l'IA à apprendre la logique de l'espace (comment les objets sont liés entre eux) plutôt qu'à mémoriser les motifs de bruit spécifiques d'une caméra. Cela découple le « raisonnement spatial » du « biais du capteur ».

2. Le « Professeur » (Le modèle pré-entraîné)

Ils ont nourri ce système avec une quantité massive de données : 20 millions de paires image-profondeur provenant de plus de 10 000 modèles de caméras différents.

L'analogie : C'est comme embaucher un tuteur de génie qui a lu tous les livres de la bibliothèque, qu'ils soient écrits en anglais, en français ou dans une langue imaginaire.
Le résultat : Ce modèle « Professeur » apprend à regarder une image et quelques indices de distance aléatoires, puis à compléter le reste du monde en 3D parfaitement. Il devient meilleur à mesure que vous lui donnez des données (une « tendance de mise à l'échelle »), ce qui était auparavant considéré comme impossible pour ce type de tâche.

3. L'« Élève » (Le modèle distillé)

Le « Professeur » est excellent mais nécessite ces « indices » (prompts) pour fonctionner. Pour beaucoup de tâches réelles (comme une voiture autonome ou un robot), ces indices ne sont pas disponibles.

L'analogie : Le Professeur est un chef étoilé qui a besoin d'une fiche recette. L'Élève est l'apprenti du chef. Le Professeur cuisine des milliers de repas en utilisant les fiches recettes, et l'apprenti regarde attentivement, apprenant la technique sans avoir besoin des cartes.
Le résultat : Ils ont créé un modèle « Élève » qui a appris du Professeur. Désormais, l'Élève peut regarder une photo ordinaire et connaître instantanément les distances 3D exactes, sans avoir besoin d'indices ou de prompts.

Que peut faire tout cela ? (Les « super-pouvoirs »)

Parce que ce système a appris à partir de données aussi diverses et bruitées, il est incroyablement robuste. L'article montre qu'il excelle dans :

Remplir les blancs : Si vous lui donnez une carte de profondeur floue ou à basse résolution, il peut la « super-résoudre » pour la rendre nette et détaillée.
Mélanger les capteurs : Il peut prendre un signal très parcimonieux et bruité provenant d'un Radar (qui est beaucoup plus épars qu'un LiDAR) et le fusionner avec une caméra pour créer une carte 3D parfaite.
Corriger les caméras : Il peut regarder une photo et deviner les réglages de la caméra (longueur focale) simplement en comprenant la géométrie de la scène.
Robotique et IA : Lorsqu'ils ont donné ce « cerveau spatial » à un robot (VLA) ou à un grand modèle de langage multimodal (MLLM), le robot est devenu bien meilleur pour naviguer dans des pièces, estimer la distance d'une tasse ou planifier des trajectoires. Il a cessé de deviner pour commencer à mesurer.

La conclusion principale

L'article prouve que plus de données + une méthode simple et intelligente pour gérer le bruit = un meilleur cerveau 3D.

Ils n'ont pas eu besoin de construire du matériel complexe et personnalisé ou d'écrire des règles spéciales pour chaque caméra. Ils avaient juste besoin d'une méthode d'entraînement simple basée sur des indices et d'un jeu de données massif et désordonné. Le résultat est un modèle qui comprend le monde en 3D aussi bien (voire mieux) que n'importe quel système précédent, et il fonctionne partout — des rues pluvieuses aux mondes de dessins animés ou aux cuisines de robots.

En bref : Ils ont appris à une IA à comprendre la distance en lui montrant un million d'images désordonnées avec quelques indices aléatoires, et maintenant, elle voit le monde en 3D mieux que jamais.

Résumé Technique : Metric Anything

Problématique

Bien que le passage à l'échelle ait favorisé des avancées significatives dans les modèles de fondation de la vision, l'extension de ce paradigme à l'estimation de la profondeur métrique est restée un défi. Contrairement à la profondeur relative, qui apprend des relations ordinales et bénéficie des données synthétiques et de la distillation de pseudo-étiquettes, la profondeur métrique nécessite l'apprentissage de distances absolues et physiquement significatives. Le domaine a été freiné par l'hétérogénéité des sources de données. Les annotations 3D du monde réel proviennent de capteurs divers (LiDAR, RGB-D, stéréoscopie) et d'algorithmes de reconstruction (SfM, MVS, SLAM), chacun introduisant des motifs de bruit distincts, des artefacts matériels et des biais dépendants de la caméra. Cette hétérogénéité crée des écarts de domaine importants, un bruit de supervision et une ambiguïté métrique, empêchant la stratégie de mise à l'échelle par « soupe de données » (data soup) de réussir dans la profondeur métrique. Les tentatives précédentes pour traiter cela via des méthodes basées sur des prompts se sont limitées à des tâches spécifiques, de petits ensembles de données et des pipelines de prompts complexes et artisanaux introduisant de forts biais humains.

Méthodologie

Les auteurs présentent Metric Anything, un cadre de pré-entraînement minimaliste conçu pour apprendre la profondeur métrique à partir de sources 3D diverses et bruitées, sans architectures spécifiques aux tâches ou prompts conçus manuellement.

1. Collecte de Données Multi-Sources

Les auteurs ont agrégé un ensemble de données d'environ 20 millions de paires image-profondeur couvrant plus de 10 000 modèles de caméras. Les données sont classées en trois sources :

Données 3D reconstruites : Cartes de profondeur issues de techniques SfM, SLAM, MVS et stéréoscopiques, contenant souvent des artefacts et des régions manquantes.
Données 3D capturées : Nuages de points provenant de capteurs LiDAR, ToF et RGB-D, qui sont souvent clairsemés et bruités en raison des limitations des capteurs et des facteurs environnementaux.
Données 3D rendues : Cartes de profondeur synthétiques issues de moteurs virtuels, fournissant une supervision géométrique sans bruit.
Tous les échantillons sont standardisés en cartes de profondeur métrique par pixel avec des masques de validité.

2. Pré-entraînement via un Prompt Métrique Clairsemé

L'innovation centrale est le Sparse Metric Prompt (Prompt Métrique Clairsemé), une interface universelle qui découple le raisonnement spatial des biais de capteurs.

Génération de Prompt : Au lieu d'une simulation complexe, les prompts sont créés en masquant aléatoirement des pixels valides (échantillonnage de 2 000 à 40 000 pixels) à partir des cartes de profondeur de vérité terrain.
Préparation du Prompt : Pour gérer l'hétérogénéité des prompts bruts, les auteurs appliquent un Alignement d'Échelle de Profondeur par Pixel (PDSA) et une Récupération de Profondeur Métrique Globale (GMDR) en utilisant un modèle de profondeur pré-entraîné pour remplir les régions manquantes et aligner les échelles, créant ainsi une représentation intermédiaire unifiée.
Architecture : Le modèle utilise un backbone ViT standard avec un décodeur DPT. Les prompts sont injectés via une tête DPT conditionnée (ajoutant seulement ~5 % de paramètres) plutôt que par modification du backbone. Cette conception évite les changements architecturaux sur mesure, permettant au modèle d'apprendre directement la compréhension structurelle et métrique à partir des données.
Fonctions de Perte : L'objectif d'entraînement combine l'Erreur Absolue Moyenne (MAE) et l'Erreur de Gradient Moyenne Invariante à l'Échelle et au Décalage (SSI-MAGE). Pour les données réelles, une MAE robuste est utilisée, écartant les 20 % des plus grandes erreurs pour atténuer le bruit.

3. Distillation de Modèle Sans Prompt

Pour permettre le déploiement dans des scénarios sans prompts, les auteurs distillent le modèle « enseignant » pré-entraîné vers un étudiant sans prompt.

Génération de Pseudo-Étiquettes : Le modèle enseignant génère des cartes de profondeur métrique denses et de haute fidélité pour l'ensemble du jeu de données, conditionnées par des prompts clairsemés. Ces pseudo-étiquettes couvrent une large plage de profondeur (proche à lointain), contrairement à de nombreux jeux de données réels biaisés vers des plages courtes.
Architecture de l'Étudiant : L'étudiant supprime les couches d'injection de prompt. Crucialement, les auteurs inversent le schéma classique de connexion par saut (skip-connection) : les caractéristiques ViT de haut niveau et profondes sont injectées dans les couches de décodage plus profondes, tandis que les caractéristiques peu profondes alimentent les couches moins profondes. Cela exploite la cohérence sémantique élevée des pseudo-étiquettes de l'enseignant.
Fonction de Perte : Une Perte d'Inverse-Profondeur Équilibrée par la Distance est introduite. En opérant dans un espace logarithmique ( $D_{log} = 1 - \ln(D)/\ln(C)$ ), cette perte préserve la sensibilité fine dans les régions proches tout en étendant la supervision efficace aux zones lointaines, répondant ainsi aux limites des pertes d'inverse-profondeur standard.

Contributions Clés

Cadre Metric Anything : Un paradigme de pré-entraînement minimaliste et évolutif qui utilise des Prompts Métriques Clairsemés pour apprendre la profondeur métrique à partir de sources 3D hétérogènes et bruitées, sans prompts artisanaux ou architectures spécifiques aux tâches.
Démonstration de l'Évolutivité (Scaling) : L'agrégation de 20 millions de paires image-profondeur diverses révèle une tendance claire à l'échelle dans l'estimation de la profondeur métrique, un phénomène auparavant inédit dans ce domaine. Les performances s'améliorent systématiquement à mesure que la taille des données d'entraînement augmente.
Généralisation Universelle : Le modèle pré-entraîné et l'étudiant sans prompt atteignent tous deux des performances de pointe (SOTA) sur dix tâches en aval sans ingénierie spécifique à la tâche. Ces tâches incluent :
- Basées sur le prompt : Complétion de profondeur, super-résolution et fusion Radar-Caméra.
- Sans prompt : Estimation de la profondeur monoculaire, récupération des intrinsiques de la caméra, reconstruction 3D multi-vues et planification VLA.
- Amélioration MLLM : Augmentation significative des capacités de raisonnement spatial des Modèles de Langage Multimodaux (MLLM).

Résultats

Tendance de Mise à l'Échelle : Les expériences montrent une augmentation constante de la précision $\delta_1$ zero-shot sur Middlebury à mesure que les données d'entraînement passent de 2M à 20M de paires.
Tâches Basées sur le Prompt : Le modèle atteint des performances SOTA zero-shot en super-résolution et complétion de profondeur sur NYUv2, ETH3D et KITTI, surpassant les méthodes antérieures reposant sur la simulation de prompts synthétiques. Dans l'estimation de la profondeur Radar-Caméra sur nuScenes, le modèle affiné double presque la précision de son homologue entraîné à partir de zéro et surpasse toutes les méthodes de fusion antérieures.
Tâches Sans Prompt : Le modèle étudiant distillé se classe 1er ou 2e sur six benchmarks divers d'estimation de profondeur monoculaire (ETH3D, NuScenes, Sun-RGBD, etc.) dans un cadre zero-shot strict. Il obtient également des résultats SOTA dans la récupération des intrinsiques de la caméra et la reconstruction 3D multi-vues.
Intelligence Spatiale : Utilisé comme encodeur visuel pour les MLLM, le modèle améliore considérablement les performances sur le VSI-Bench, particulièrement pour les tâches nécessitant l'estimation de la taille des objets, la mesure de distance absolue et la planification de trajectoire.
Robustesse : Le modèle démontre une forte généralisation à des configurations de capteurs non vues (ex: configurations LiDAR-caméra différentes), des conditions environnementales extrêmes (nuit, pluie, brouillard) et des domaines visuels inédits (fisheye, panoramas, dessins animés).

Signification et Revendications

L'article soutient que l'estimation de la profondeur métrique peut bénéficier des mêmes lois d'échelle (scaling laws) qui pilotent les modèles de fondation modernes en NLP et en vision 2D. En minimisant la conception de priors humains dans les prompts et en s'appuyant sur un apprentissage piloté par les données à partir de sources hétérogènes, Metric Anything établit une nouvelle voie vers une perception métrique du monde réel évolutive et efficace.

Les auteurs alignent leurs conclusions sur « La Leçon Amère » (The Bitter Lesson), arguant que les méthodes généralistes pilotées par les données surpassent systématiquement les conceptions artisanales. Ils affirment avoir résolu le problème de la « rareté des données » dans la profondeur métrique en utilisant efficacement des sources hétérogènes et bruitées, débloquant ainsi des capacités émergentes et une généralisation robuste. Le travail suggère que la recherche future devrait délaisser l'ingénierie spécifique aux tâches pour se concentrer sur des paradigmes de pré-entraînement généraux capables de s'adapter à divers capteurs et scénarios. Les auteurs rendent leur cadre open-source pour soutenir la recherche de la communauté.