💻 computer science

X-Lens: Real-Time Metric Depth Estimation with Heterogeneous Cameras

X-Lens est un modèle de type feed-forward compact et en temps réel qui parvient à une estimation robuste de la profondeur métrique à partir de caméras hétérogènes à œil de poisson et à objectif pinhole en exploitant des jetons de calibration apprenables et un biais de distorsion paramétré par la jacobienne, le tout entraîné sur un nouveau jeu de données synthétiques à grande échelle appelé OmniScene.

Auteurs originaux : Heng Zhou, Shuhong Liu, Yonghao He, Bohao Zhang, Fa Fu, Chenhui Hou, Xianbao Hou, Lijun Han, Wei Sui

Publié 2026-07-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Heng Zhou, Shuhong Liu, Yonghao He, Bohao Zhang, Fa Fu, Chenhui Hou, Xianbao Hou, Lijun Han, Wei Sui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de construire une carte 3D du monde à l'aide d'un sac à dos de caméra. La plupart des robots et des voitures autonomes portent un sac à dos contenant un mélange d'objectifs : certains sont des caméras « sténopé » standard (comme votre téléphone) qui voient loin avec clarté, et d'autres sont des objectifs « fisheye » qui voient tout autour de vous dans une immense bulle courbe.

Le problème ? Ces deux objectifs parlent des langages géométriques différents. L'objectif fisheye étire les bords de l'image comme un miroir déformant, tandis que l'objectif sténopé garde les choses droites. Pendant longtemps, les ordinateurs ont eu du mal à mélanger ces deux vues pour déterminer exactement à quelle distance des objets se trouvent en mètres réels. Soit ils se trompaient dans les calculs, soit ils nécessitaient de puissants supercalculateurs, ou ils devaient aplatir les images courbes en un étrange « panorama » qui perdait des détails importants.

Entrez en scène X-Lens, un nouveau modèle d'IA minuscule et super rapide qui agit comme un maître traducteur pour ces caméras mixtes.

Le traducteur magique

Considérez X-Lens comme un « cerveau » compact de 0,04 milliard de paramètres (ce qui est minuscule comparé à d'autres modèles qui pèsent plus d'un milliard de paramètres). Au lieu d'essayer de forcer les images fisheye et sténopé à se ressembler, X-Lens les accepte exactement telles qu'elles sont.

Il utilise deux astuces ingénieuses pour donner un sens au chaos :

Tokens de calibration apprenables : Imaginez cela comme de petits post-it que l'IA colle sur les images fisheye. Ces notes disent à l'IA : « Hé, cette partie de l'image est étirée à cause de l'objectif, donc ne fais pas trop confiance à la forme ». Cela aide l'IA à aligner la vue fisheye courbe avec la vue sténopé droite sans avoir à écraser l'image au préalable.
Biais de distorsion Jacobienne : C'est comme une boussole spéciale pour l'IA. Elle calcule exactement comment les rayons lumineux se courbent en chaque point minuscule de l'image. En injectant cette « carte de courbure » dans le système d'attention de l'IA, le modèle apprend à ignorer la distorsion et à se concentrer sur la forme 3D réelle du monde.

Le résultat ? X-Lens peut regarder un mélange de six caméras (quatre fisheye, deux sténopé) et recracher instantanément une carte de profondeur dense avec une échelle réelle. Il ne se contente pas de deviner « proche » ou « loin » ; il vous dit qu'un objet se trouve exactement à 11,07 mètres ou 31,64 mètres. Et il fait cela à 41 images par seconde, ce qui est assez rapide pour qu'un robot puisse éviter des obstacles en temps réel.

Le terrain d'entraînement géant : OmniScene

Pour apprendre à X-Lens comment faire cela, les chercheurs ne pouvaient pas simplement utiliser des photos existantes car il n'y avait pas assez d'exemples de caméras mixtes avec des mesures 3D parfaites. Ils ont donc construit OmniScene, un monde synthétique massif.

Ils ont créé 103 scènes différentes (allant de centres commerciaux à des complexes de science-fiction) et généré 266 000 images synchronisées à l'aide d'un montage à six caméras virtuel. C'est comme entraîner un pilote dans un simulateur de vol qui a déjà vu toutes les conditions météorologiques et toutes les pistes avant même qu'il ne touche un véritable avion. Les données comprennent 1,7 million d'images individuelles avec des étiquettes de profondeur parfaites et sans bruit.

Ce que disent les chiffres

L'article a testé X-Lens contre les modèles les plus gros et les plus lourds du domaine. Voici ce qu'il en est ressorti :

Vitesse : X-Lens fonctionne à 41 FPS sur un seul GPU haut de gamme, tandis que les concurrents les plus puissants tournent souvent entre 5 et 13 FPS.
Taille : X-Lens utilise 0,04B de paramètres. Le meilleur concurrent, MapAnything, utilise 1,23B de paramètres. Cela signifie que X-Lens est 88,9 % plus petit que la référence.
Précision : Sur le test de caméras mixtes (OmniScene-Full), X-ments a réduit l'erreur (AbsRel) de 25,4 % par rapport à la référence la plus forte. Il a également amélioré la « Scale AbsRel » (la capacité à deviner la taille réelle) de 68,1 % par rapport à MapAnything.

Ce que X-Lens n'est PAS

Il est important de savoir ce que ce modèle ne fait pas, car l'article est très clair sur ses limites :

Il ne prédit pas les réglages de la caméra : X-Lens a besoin qu'on lui indique exactement à quoi ressemblent les lentilles de la caméra (la calibration) avant de commencer. Il ne peut pas deviner le type d'objectif ou la position de la caméra par lui-même.
Ce n'est pas un outil « universel » pour les lentilles étranges : Le modèle a été entraîné sur des types spécifiques d'objectifs fisheye et sténopé. Si vous lui présentez un objectif avec un champ de vision extrême, jamais vu auparavant et totalement différent des données d'entraînement, l'article suggère que les performances pourraient légèrement chuter car il n'a pas encore rencontré ce « miroir déformant » spécifique.
Ce n'est pas un outil de reconstruction 3D général : Contrairement à certains modèles massifs qui essaient de deviner à la fois la pose de la caméra, le type de lentille et la carte 3D, X-Lens est spécialisé. Il se concentre strictement sur la profondeur et l'échelle, ce qui explique pourquoi il est si rapide et petit.

L'essentiel

X-Lens prouve que vous n'avez pas besoin d'un ordinateur géant et lent pour comprendre l'espace 3D avec des caméras mixtes. En utilisant une conception intelligente, consciente de la géométrie, et en s'entraînant sur un ensemble de données synthétiques massives et de haute qualité, il atteint une précision de pointe tout en étant assez petit pour fonctionner sur des appareils en périphérie (edge devices). C'est une étape vers des robots capables de réellement « voir » le monde en 3D, en temps réel, sans avoir besoin d'un supercalculateur dans leur sac à dos.

Résumé Technique : X-Lens

Énoncé du Problème

Les systèmes incarnés modernes, incluant les robots autonomes et les modèles Vision-Langage-Action (VLA), s'appuient de plus en plus sur des montages multi-caméras combinant des caméras à trou sténopé (pinhole) à champ de vision (FOV) étroit et des caméras fisheye à FOV large pour obtenir une couverture spatiale complète. Cependant, les modèles de fondation géométriques et d'estimation de la profondeur 3D existants font face à des limitations significatives dans ce contexte de caméras hétérogènes :

Inadéquation du Modèle : La plupart des méthodes sont construites sur des hypothèses centrées sur le trou sténopé ou des modèles à caméra unique, échouant à gérer la géométrie de projection non uniforme et la distorsion dépendante de la vue des montages mixtes.
Coût Computationnel : Les modèles de fondation géométriques existants sont souvent très exigeants en termes de calcul, ce qui rend l'inférence en temps réel sur l'edge difficile sous des contraintes strictes de latence et de mémoire.
Rareté des Données : Il existe un manque de jeux de données à grande échelle, synchronisés et contenant une vérité terrain métrique dense pour des configurations multi-vues hétérogènes (fisheye + pinhole).
Inefficacité : Les approches actuelles reposent souvent sur l'assemblage panoramique (stitching), qui altère la géométrie native, ou sur des cibles de reconstruction auxiliaires (augmentant la complexité de l'optimisation) pour gérer les entrées à large FOV.

Méthodologie

X-Lens est un modèle compact et "feed-forward" conçu pour l'estimation de la profondeur métrique en temps réel à partir d'un nombre variable de vues fisheye et pinhole calibrées. Il évite l'assemblage panoramique et les cibles de reconstruction auxiliaires, se concentrant directement sur la prédiction d'une profondeur dense et d'une échelle métrique globale.

1. Formulation et Conception

Représentation de Rayon Générique : Au lieu de s'appuyer sur une matrice intrinsèque $K$ spécifique au trou sténopé, X-Lens abstrait les caméras via une carte de déprojection générique $G$ . Celle-ci mappe les coordonnées de pixels en rayons unitaires rétro-projetés dans un espace de rayons partagé, accommodant à la fois les modèles pinhole et fisheye (distorsion paramétrique) sans changement architectural.
Prédiction Factorisée : Le modèle produit un triplet :
- $\hat{D}$ : Champ de profondeur normalisé (invariant à l'échelle).
- $\hat{C}$ : Carte de confiance auto-calibrée.
- $\hat{m}$ : Un scalaire métrique global unique.
- La profondeur métrique finale est reconstruite par $\hat{D}_m = \hat{m} \cdot \hat{D}$ . Cela isole l'échelle absolue dans un chemin unidimensionnel, permettant aux pertes géométriques d'opérer dans un espace invariant à l'échelle.

2. Transformer de Projection Hétérogène

L'architecture centrale est un squelette de Vision Transformer (ViT) avec des couches locales (intra-vue) et globales (inter-vues) alternées, enrichie par deux composants clés :

Tokens de Calibration Apprenables : Pour éviter que les distorsions spécifiques aux lentilles ne corrompent les tokens visuels partagés, le modèle injecte des tokens de calibration ( $\Theta$ ) spécifiques à la couche et au type de caméra dans la séquence. Ces tokens effectuent une attention locale sur leur vue spécifique pour corriger les motifs de distorsion, mais sont supprimés avant la couche suivante pour éviter toute persistance, garantissant qu'ils n'interfèrent pas avec la fusion métrique globale.
Biais de Distorsion Paramétré par la Jacobienne : Pour combler l'écart géométrique entre les vues, un terme de biais est injecté dans le mécanisme d'attention croisée. Ce biais est dérivé de la Jacobienne de la carte de déprojection (direction du rayon local et distorsion de projection). Il module les poids d'attention pour favoriser les patchs ayant une géométrie de rayon 3D et une structure de projection locale compatibles, plutôt que de se fier uniquement à la similitude d'apparence dans des coordonnées distordues.
Attention d'Échelle : Pour assurer une prédiction robuste de l'échelle métrique, le modèle rejette les 25 % de pixels de faible confiance (souvent proches des bordures fisheye) et effectue un regroupement (pooling) pondéré par la confiance sur les régions fiables restantes avant de régresser l'échelle globale $\hat{m}$ .

3. Stratégie d'Entraînement Multi-étapes

X-Lens utilise un pipeline d'entraînement progressif en trois étapes pour isoler l'adaptation spécifique aux lentilles de l'optimisation conjointe :

Étape 1 (Pré-entraînement Pinhole) : Le modèle est entraîné sur des données multi-vues pinhole pour apprendre des priors géométriques robustes et une conscience de l'échelle. Les tokens de calibration et le biais de distorsion sont désactivés.
Étape 2 (Adaptation des Tokens Fisheye) : Le squelette est gelé, et seuls les tokens de calibration sont mis à jour à l'aide de données fisheye. Cela adapte le modèle à la distorsion wide-FOV sans écraser les priors pinhole établis.
Étape 3 (Entraînement Conjoint Hétérogène) : Le biais de distorsion Jacobienne est activé, et le modèle est affiné conjointement sur des données mixtes fisheye-pinhole (incluant le nouveau jeu de données OmniScene) et des données pinhole pures pour réconcilier les interactions inter-vues.

4. Le Jeu de Données OmniScene

Pour remédier à la rareté des données, les auteurs introduisent OmniScene, un jeu de données synthétique à grande échelle :

Échelle : Environ 266 000 cadres synchronisés à six vues (1,7 million d'images) répartis sur 103 scènes intérieures et extérieures.
Configuration : Un montage rigide à six caméras comprenant quatre caméras fisheye (FOV 180°) et deux caméras pinhole.
Qualité : Fournit une vérité terrain métrique dense et sans bruit (profondeur z), des masques de validité, ainsi que les intrinsèques/extrinsèques calibrés pour chaque cadre.

Résultats Clés

Des expériences approfondies sur des jeux de données réels (KITTI360, ETH3D, ScanNet++) et synthétiques (OmniScene) démontrent la supériorité de X-Lens en termes de précision et d'efficacité :

Performance Hétérogène : Sur le benchmark OmniScene-Full (6 vues : 4 fisheye + 2 pinhole), X-Lens réduit l'AbsRel de 25,4 % par rapport à la base la plus forte (MapAnything) tout en utilisant 88,9 % de paramètres en moins (0,04B contre 1,23B).
Inférence en Temps Réel : X-Lens atteint 41 FPS sur des vues fisheye simples et 22 FPS sur des entrées hétérogènes complètes à 6 vues sur un GPU NVIDIA H100, surpassant nettement les modèles plus volumineux en vitesse.
Généralisation : Le modèle démontre une forte généralisation zero-shot sur des environnements inédits et maintient des performances compétitives dans des configurations homogènes (uniquement pinhole ou uniquement fisheye).
Efficacité des Paramètres : Il atteint une précision de profondeur métrique de pointe avec seulement 0,04B de paramètres, soit une fraction de la taille d'autres modèles de fondation géométriques (ex: VGGT, DepthAnything3).

Signification et Revendications

L'article affirme que X-Lens représente une étape significative vers l'intelligence spatiale en temps réel pour les systèmes incarnés. Ses principales contributions sont :

Support Hétérogène Natif : C'est le premier modèle compact à supporter nativement des entrées brutes et mixtes (fishexe et pinhole) sans nécessiter d'assemblage panoramique ou de volumes stéréoscopiques spécifiques au matériel.
Compromis Efficacité-Précision : En découplant la perception de la profondeur de la reconstruction 3D complète (pose, intrinsèques, cartes de points) et en se concentrant sur la profondeur métrique et l'échelle, X-Lens équilibre haute précision et faible latence pour un déploiement en périphérie (edge).
Ressource de Données : La publication d'OmniScene fournit une ressource critique pour l'entraînement et l'évaluation de la perception de profondeur multi-vues hétérogène, comblant un vide majeur dans le domaine.

Les auteurs positionnent X-Lens non pas comme un simple estimateur de profondeur, mais comme un encodeur visuel conscient de la géométrie, capable de faire le pont entre la modélisation de la profondeur métrique et les applications descendantes en temps réel comme la planification et l'interaction robotiques. Ils reconnaissent les limites concernant la dépendance à la calibration de vérité terrain et les potentiels écarts sim-to-real avec des configurations de lentilles extrêmes et inédites, suggérant des travaux futurs sur l'agrégation temporelle et une plus grande diversité d'intrinsèques.