🤖 IA

MapAnything: Universal Feed-Forward Metric 3D Reconstruction

MapAnything est un modèle transformer à propagation directe unifié qui régresse directement la géométrie métrique de scènes 3D et les poses de caméras à partir d'une ou plusieurs images combinées à des entrées géométriques optionnelles, unifiant ainsi efficacement diverses tâches de vision 3D en un cadre unique et efficace qui surpasse ou égale les modèles spécialisés.

Auteurs originaux : Nikhil Keetha, Norman Müller, Johannes Schönberger, Lorenzo Porzi, Yuchen Zhang, Tobias Fischer, Arno Knapitsch, Duncan Zauss, Ethan Weber, Nelson Antunes, Jonathon Luiten, Manuel Lopez-Antequera, Sam

Publié 2026-01-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nikhil Keetha, Norman Müller, Johannes Schönberger, Lorenzo Porzi, Yuchen Zhang, Tobias Fischer, Arno Knapitsch, Duncan Zauss, Ethan Weber, Nelson Antunes, Jonathon Luiten, Manuel Lopez-Antequera, Samuel Rota Bulò, Christian Richardt, Deva Ramanan, Sebastian Scherer, Peter Kontschieder

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un tas de photos prises sous différents angles, peut-être certaines avec une balise GPS, d'autres avec une règle dans le champ, et peut-être d'autres sans aucune information supplémentaire. Votre objectif est de construire un modèle 3D parfait, à l'échelle réelle, de la scène et de déterminer exactement où se trouvait la caméra pour chaque photo.

Traditionnellement, faire cela revenait à embaucher une équipe de spécialistes différents : une personne pour trouver les points de correspondance dans les photos, une autre pour deviner les angles de la caméra, une troisième pour calibrer l'objectif, et une quatrième pour calculer la profondeur. Ils se passaient tous leurs notes de l'un à l'autre dans une chaîne d'événements lente et complexe.

MapAnything est un nouveau « super-organisme » qui réalise tout cela en un seul regard, rapide comme l'éclair.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le modèle « Couteau Suisse »

Considérez les modèles d'IA précédents comme des outils spécialisés : un tournevis pour les vis, un marteau pour les clous. Si vous vouliez construire une maison, il vous fallait toute une boîte à outils.
MapAnything est comme un Couteau Suisse qui peut être un tournevis, un marteau, un ouvre-boîte ou une loupe selon ce que vous lui donnez.

L'entrée : Vous pouvez lui donner simplement des images. Ou des images plus les réglages de la caméra. Ou des images plus les coordonnées GPS. Ou des images plus des cartes de profondeur partielles. Peu importe ; il s'adapte.
La sortie : Peu importe ce que vous lui donnez, il recrache une reconstruction 3D métrique. Cela signifie qu'il ne se contente pas de deviner la forme ; il connaît la taille réelle (par exemple, « cette porte mesure 2 mètres de haut », et non pas « cette porte semble grande »).

2. Le secret de la « représentation factorisée »

Comment gère-t-il autant de tâches différentes sans s'embrouiller ? L'article explique qu'il utilise une « représentation factorisée ».

Imaginez que vous essayiez de décrire un bâtiment à un ami par téléphone.

L'ancienne méthode : Vous essayez de décrire l'emplacement de chaque brique dans une liste géante et désordonnée. Si vous en oubliez une, toute la description s'effondre.
La méthode de MapAnything : Il décompose la description en parties distinctes et gérables (facteurs) :
1. La Direction : Où la caméra regarde-t-elle ? (Directions des rayons)
2. La Distance : À quelle distance se trouve le mur dans cette direction ? (Profondeur du rayon)
3. La Position : Où se tient la caméra ? (Pose)
4. L'Échelle : Est-ce une maison de poupée ou un gratte-ciel ? (Échelle métrique)

En séparant ces parties, le modèle peut les mélanger et les assortir. Si vous lui donnez la « Direction » et la « Position » mais pas la « Distance », il peut toujours comprendre la forme, même s'il ne connaît pas encore la taille exacte. Si vous lui donnez ensuite un facteur d'« Échelle », tout s'ajuste instantanément à la bonne taille du monde réel.

3. L'entraînement du « Traducteur Universel »

Habituellement, pour entraîner une IA à faire 12 tâches différentes, vous avez besoin de 12 sessions d'entraînement avec 12 jeux de données différents.
Les auteurs ont entraîné MapAnything sur 13 jeux de données différents (allant de pièces intérieures à des paysages extérieurs) en même temps. Ils lui ont appris à accepter des informations « optionnelles ».

L'analogie : Imaginez enseigner la conduite à un étudiant. Au lieu de lui enseigner « Comment conduire une voiture », « Comment conduire un camion » et « Comment conduire un bateau » dans des cours séparés, vous lui enseignez les règles universelles du contrôle d'un véhicule.
Si l'étudiant voit un volant (pose de la caméra), il l'utilise. S'il voit un compteur de vitesse (carte de profondeur), il l'utilise. S'il ne voit ni l'un ni l'autre, il utilise ses yeux (juste les images). Le résultat est un conducteur capable de gérer n'importe quel véhicule, n'importe quelle route et n'importe quelle météo en une seule fois.

4. Ce qu'il peut faire (Les « Tours de Magie »)

Grâce à sa grande flexibilité, MapAnything peut accomplir plus de 12 tâches de vision 3D différentes, notamment :

La Structure-from-Motion (SfM) : Transformer un tas de photos désordonnées en une carte 3D sans savoir où les photos ont été prises.
La Localisation de Caméra : Regarder une photo et dire : « Ceci a été pris au coin de la 5ème avenue et de la rue Main ».
La Complétion de Profondeur : Prendre une carte de profondeur floue ou incomplète et combler les trous manquants pour créer une surface 3D parfaite.
La Stéréo Multi-vues : Créer un modèle 3D à partir de plusieurs photos qui se chevauchent.

5. Les Résultats

L'article affirme que ce modèle « universel » est en fait meilleur que les experts spécialisés.

Vitesse : Il fait tout en un seul passage « feed-forward » (un regard rapide), alors que les anciennes méthodes nécessitaient des calculs lents, étape par étape.
Qualité : Il égale ou dépasse les performances de modèles qui ont été construits spécifiquement pour une seule de ces tâches.
Flexibilité : Il fonctionne même si vous lui donnez des combinaisons de données étranges (par exemple, 50 photos, dont 2 ont un GPS et 10 ont des données de profondeur).

Résumé

MapAnything est un moteur de reconstruction 3D universel. Au lieu de construire une machine différente pour chaque type de problème 3D, les chercheurs ont construit une machine intelligente qui comprend si bien le « langage » de la géométrie 3D qu'elle peut résoudre presque n'importe quel puzzle 3D que vous lui lancez, instantanément et avec précision, que vous lui donniez une boîte à outils complète ou une seule photo.

Résumé Technique : MapAnything

Énoncé du Problème

La reconstruction 3D traditionnelle basée sur l'image repose sur la décomposition du problème en tâches distinctes et séquentielles telles que la détection de caractéristiques, l'appariement, l'estimation de pose, le calibrage de la caméra, l'ajustement de faisceaux (bundle adjustment) et le stéréovision multi-vues (MVS). Bien que des approches récentes de type "feed-forward" aient unifié certaines de ces tâches, elles restent souvent limitées à des configurations d'entrée spécifiques (par exemple, un nombre fixe de vues, des entrées uniquement par images) ou nécessitent un post-traitement coûteux pour récupérer l'échelle métrique et les poses de caméra. Il existe un manque de modèle unifié et de bout en bout capable de gérer diverses tâches de reconstruction 3D — de la structure-from-motion (SfM) non calibrée au MVS calibré et à la complétion de profondeur — tout en exploitant efficacement des entrées hétérogènes comme les intrinsiques de la caméra, les poses et les cartes de profondeur.

Méthodologie : MapAnything

MapAnything est un modèle feed-forward unifié basé sur les transformers, conçu pour régresser directement la géométrie 3D métrique de la scène et les poses de la caméra à partir de $N$ images d'entrée et d'éventuelles entrées géométriques.

1. Représentation de Scène Factorisée

L'idée centrale de MapAnything est l'utilisation d'une représentation factorisée de la géométrie de scène multi-vues. Au lieu de prédire une carte de points couplée (où la géométrie et les paramètres de la caméra sont entrelacés), le modèle décompose la sortie en :

Directions de Rayons Locaux ( $R_i$ ) : Vecteurs normalisés représentant la direction des rayons pour chaque pixel.
Profondeurs de Rayons ( $\tilde{D}_i$ ) : Valeurs de profondeur le long des rayons dans un espace "jusqu'à l'échelle" (up-to-scale).
Poses de Caméra ( $\tilde{P}_i$ ) : Représentées par des quaternions unitaires ( $Q_i$ ) et des translations à l'échelle ( $\tilde{T}_i$ ) relatives à la première vue.
Facteur d'Échelle Métrique ( $m$ ) : Un scalaire global unique qui transforme la reconstruction locale (up-to-scale) en un repère métrique globalement cohérent.

La carte de points 3D métrique finale $X^{metric}_i$ est calculée comme $m \cdot (O_i \cdot (R_i \cdot \tilde{D}_i) + \tilde{T}_i)$ , où $O_i$ est la matrice de rotation dérivée du quaternion.

2. Architecture

Encodage d'Entrée : Le modèle accepte $N$ images RGB et des entrées géométriques optionnelles (directions de rayons, poses, cartes de profondeur). Les images sont encodées à l'aide de DINOv2 (ViT-G). Les entrées géométriques sont factorisées et encodées via des encodeurs convolutionnels peu profonds (pour les entrées denses comme les rayons/profondeur) ou des MLP (pour les quantités globales comme la rotation/translation).
Transformer Multi-Vues : Les caractéristiques encodées sont aplaties en tokens. Un unique token d'échelle (scale token) est ajouté à l'ensemble des $N$ tokens de vue. Un embedding de vue de référence fixe est ajouté à la première vue pour la distinguer. Ces tokens sont traités par un transformer à attention alternée de 16 couches (initialisé à partir des couches de DINOv2) pour fusionner les informations entre les vues.
Têtes de Décodage :
- Tête DPT : Décode les $N$ tokens de vue en sorties denses par vue : directions de rayons, profondeurs de rayons "up-to-scale", masques de confiance et cartes de confiance de la carte de points.
- Tête de Pose : Une tête de convolution basée sur le pooling moyen prédit les quaternions unitaires et les translations "up-to-scale" pour toutes les vues.
- Tête d'Échelle : Un MLP traite le scale token pour prédire le facteur d'échelle métrique global $m$ .

3. Stratégie d'Entraînement

MapAnything est entraîné de bout en bout sur une agrégation diversifiée de 13 jeux de données (intérieur, extérieur, synthétique) couvrant plus de 12 configurations de problèmes différentes.

Augmentation Flexible des Entrées : Pendant l'entraînement, les entrées géométriques (intrinsiques, poses, profondeur) sont fournies avec des probabilités variables (par exemple, 0,5 pour chaque facteur) pour simuler différents scénarios du monde réel où les données peuvent être partielles ou manquantes.
Fonctions de Perte : Le modèle utilise une fonction de perte composite incluant :
- Des pertes de régression pour les rayons, les rotations et les translations.
- Des pertes en espace logarithmique pour les profondeurs de rayons, les cartes de points et le facteur d'échelle métrique afin de gérer les larges plages dynamiques.
- Une perte de carte de points pondérée par la confiance et une entropie croisée binaire pour les masques.
- Des pertes de correspondance de normales et de gradients multi-échelles (appliquées aux données synthétiques).
Gestion de l'Échelle : Pour éviter que les gradients de la perte d'échelle ne corrompent la géométrie, le facteur d'échelle métrique est calculé à l'aide d'un facteur de mise à l'échelle de norme détaché (detached up-to-scale norm scaling factor) ( $z_{metric} = m \cdot \text{sg}(\tilde{z})$ ).

Contributions Clés

Modèle Feed-Forward Unifié : MapAnything supporte plus de 12 configurations de problèmes de reconstruction 3D (ex: SfM non calibrée, MVS calibré, profondeur monoculaire, localisation de caméra) dans un seul modèle, surpassant ou égalant les modèles spécialisés.
Représentation de Scène Factorisée : En découplant la géométrie locale (rayons/profondeur) de la pose globale et de l'échelle métrique, le modèle permet des entrées flexibles et des prédictions efficaces sans post-traitement coûteux ou prédictions redondantes.
Performances de l'État de l'Art : Le modèle obtient des résultats supérieurs par rapport aux autres bases de référence feed-forward (ex: DUSt3R, VGGT, MASt3R) et égale ou dépasse les modèles experts adaptés à des tâches spécifiques.
Sortie Open Source : Les auteurs publient le code pour le traitement des données, l'inférence et l'entraînement, ainsi que les modèles pré-entraînés sous des licences permissives (Apache 2.0 et CC BY-NC 4.0).

Résultats

L'article évalue MapAnything sur plusieurs tâches et configurations d'entrée :

Reconstruction Dense Multi-Vues : Sur ETH3D, ScanNet++ v2 et TartanAirV2-WB, MapAnything atteint l'état de l'art en termes de performance pour l'estimation de la carte de points, de la pose, de la profondeur et de la direction des rayons en utilisant uniquement des entrées d'images. Il surpasse significativement les bases de référence lorsqu'il est fourni avec des entrées géométriques auxiliaires (intrinsiques, poses, profondeur).
Reconstruction à Deux Vues : MapAnything surpasse Pow3R (la seule autre méthode feed-forward à deux vues utilisant des priors) et les bases de référence uniquement par images sur toutes les configurations d'entrée.
Calibrage à Vue Unique : Malgré le fait de ne pas être entraîné spécifiquement sur des images uniques, MapAnything atteint l'état de l'art de la précision de calibration de perspective sur ETH3D, ScanNet++ v2 et TartanAir.
Estimation de Profondeur : Dans le benchmark Robust-MVD, MapAnything surpasse les modèles spécialisés comme MASt3R et MUSt3R pour l'estimation de la profondeur métrique multi-vues. Avec des entrées auxiliaires, il fournit des résultats compétitifs face aux modèles dédiés à la tâche.
Efficacité : Les études d'ablation (Tableau 5) démontrent qu'un seul modèle universellement entraîné performe de manière équivalente ou supérieure à plusieurs modèles sur mesure entraînés pour des configurations d'entrée spécifiques, malgré des coûts de calcul comparables à seulement deux modèles sur mesure.

Signification et Revendications

Les auteurs positionnent MapAnything comme une étape vers un backbone de fondation pour la reconstruction 3D. En unifiant diverses tâches et modalités d'entrée dans un seul passage feed-forward, le modèle élimine le besoin de réglages spécifiques à la tâche et de pipelines d'optimisation complexes (comme l'ajustement de faisceaux) pour de nombreux scénarios. La représentation factorisée permet au modèle de tirer parti efficacement des annotations partielles et des entrées hétérogènes, ce qui le rend robuste pour les applications "in-the-wild". L'article affirme que cette approche ouvre la voie aux futures recherches sur les modèles de fondation 3D/4D, bien qu'il reconnaisse des limites concernant la gestion du mouvement dynamique, la quantification explicite de l'incertitude et la scalabilité à des scènes extrêmement vastes.