Résumé Technique : DepthVLM

Énoncé du Problème

Les modèles vision-langage (VLM) ont obtenu un succès remarquable dans des tâches 2D telles que l'ancrage visuel et la légende d'images, mais restent fondamentalement limités dans la compréhension 3D. Un goulot d'étranglement principal est le paradigme de supervision textuelle exclusive prédominant, où les entrées visuelles sont consommées pour générer des sorties textuelles autoregressives. Cette conception sous-contraint par nature la perception visuelle fine et empêche la modélisation explicite de la géométrie dense de la scène.

Les approches existantes visant à combler ce fossé souffrent d'inconvénients majeurs :

1. Pipelines de distillation de connaissances : Les méthodes qui injectent des signaux géométriques (par exemple, des cartes de profondeur) à partir de modèles 3D préentraînés externes reposent sur une accumulation d'erreurs et manquent d'intégration native.
2. Prédiction directe inefficace : Les tentatives récentes visant à permettre aux VLM de prédire directement la géométrie font face à des compromis entre efficacité et qualité. Par exemple, DepthLM atteint une haute précision mais nécessite des requêtes par pixel, entraînant une inférence prohibitivement lente ($O(HW)$). Youtu-VL permet une prédiction d'image complète en un seul passage mais produit des sorties grossières au niveau des tokens nécessitant une interpolation postérieure. De plus, bon nombre de ces méthodes dégradent les capacités multimodales générales du VLM en raison d'une supervision trop axée sur le texte ou d'exigences d'entraînement à partir de zéro.

Le défi central abordé par cet article est : Un VLM peut-il servir de prédicteur de géométrie dense natif avec des changements architecturaux minimaux tout en préservant sa capacité multimodale générale ?

Méthodologie : DepthVLM

Les auteurs proposent DepthVLM, un cadre qui transforme un seul backbone de VLM en un modèle fondamental unifié capable de générer à la fois des cartes de profondeur métrique denses et des réponses langagières en un seul passage avant.

1. Architecture Unifiée

DepthVLM étend l'architecture VLM standard en attachant une tête de profondeur légère au backbone du modèle de langage à grande échelle (LLM).

• Extraction de caractéristiques : Au lieu de se fier uniquement aux états cachés finaux du LLM, le modèle extrait une pyramide de caractéristiques multi-échelles. Cela inclut trois couches intermédiaires de l'encodeur Vision Transformer (ViT) et les états cachés finaux du LLM aux positions des tokens d'image.
• Conception de la tête de profondeur : Inspirée par DPT (Vision Transformers pour la prédiction dense), la tête traite ces caractéristiques multi-échelles. Crucialement, comme les tokens visuels du VLM sont déjà sous-échantillonnés par des fusions de patches, les auteurs évitent un sous-échantillonnage supplémentaire. Au lieu de cela, ils construisent une pyramide ascendante par suréchantillonnage, attribuant une résolution spatiale plus élevée aux premières couches ViT.
• Sortie : Les caractéristiques fusionnées sont décodées en une carte de profondeur métrique dense et pleine résolution ($\hat{D} \in \mathbb{R}^{H \times W}$) ainsi que dans la réponse textuelle ($\hat{T}$). Une activation Softplus assure des valeurs de profondeur strictement positives.

2. Stratégie d'Entraînement en Deux Étapes

Pour introduire la prédiction de géométrie dense sans compromettre la compréhension multimodale préentraînée du VLM, les auteurs emploient un calendrier d'entraînement en deux étapes :

• Étape 1 (Initialisation de la tête de profondeur) : Le backbone du VLM est figé. Seule la nouvelle tête de profondeur ajoutée est entraînée à l'aide d'une perte logarithmique invariante à l'échelle (SILog) sur des données de profondeur métrique. Cela établit des capacités initiales de prédiction de profondeur sans perturber les connaissances préentraînées.
• Étape 2 (Affinement de bout en bout) : Le backbone du LLM est défigé, et l'ensemble du modèle est affiné de bout en bout sur un mélange de données de suivi d'instructions. La fonction objectif combine la perte standard de modélisation du langage autoregressif ($L_{text}$) et la perte de profondeur ($L_{depth}$), équilibrées par un facteur $\alpha$.

3. Curatation et Normalisation des Données

• Normalisation de la distance focale : Pour atténuer l'ambiguïté d'échelle induite par la caméra à travers des ensembles de données hétérogènes (intérieur vs extérieur, différents capteurs), toutes les images sont redimensionnées vers une distance focale canonique unifiée ($f_c$). Cela aligne la géométrie projective et impose une correspondance pixel-métrique cohérente.
• DepthVLM-Bench : Les auteurs introduisent un benchmark unifié agrégeant 8 ensembles de données d'entraînement (couvrant des scènes intérieures et extérieures) et 9 ensembles de données d'évaluation. Cela permet une comparaison équitable entre les VLM et les modèles de vision pure spécialisés sous un protocole cohérent.

Contributions Clés

1. Prédiction Dense Nativ : L'article démontre qu'un VLM peut servir de prédicteur de géométrie dense natif. En attachant une tête légère, DepthVLM réalise une estimation de profondeur au niveau des pixels denses sans altérer le chemin de génération de texte.
2. Efficacité et Préservation des Capacités : Contrairement aux méthodes antérieures qui dégradent les capacités générales ou souffrent d'une inférence lente, DepthVLM atteint un coût d'inférence $O(1)$ (un seul passage avant pour la pleine résolution) et préserve les performances multimodales originales du VLM grâce à une stratégie d'entraînement en deux étapes.
3. Benchmark Unifié : L'introduction de DepthVLM-Bench permet un entraînement efficace et une comparaison directe et équitable entre les VLM et les modèles de vision pure spécialisés pour l'estimation de profondeur métrique.

Résultats Expérimentaux

Des expériences extensives sur divers ensembles de données (Waymo, NuScenes, ETH3D, sunRGBD, etc.) mettent en évidence ce qui suit :

• Supériorité sur les VLM : DepthVLM surpasse nettement les VLM existants, y compris les modèles à usage général (par exemple, GPT-5.5, Qwen3-VL) et les VLM améliorés spatialement. Alors que GPT-5.5 atteint une précision $\delta_1$ d'environ 0,41 en moyenne, DepthVLM-4B atteint 0,868.
• Dépassement des Modèles de Vision Pure : Bien que d'abord un modèle unifié, DepthVLM dépasse les modèles de vision pure spécialisés les plus avancés. Par exemple, il surpasse DepthAnythingV3 (0,877 contre 0,884 de $\delta_1$ moyen) et Metric3Dv2 (0,812 contre 0,884).
• Efficacité d'Inférence : DepthVLM est considérablement plus rapide que les approches antérieures basées sur les VLM. Il génère une carte de profondeur de 256×192 en 0,42 s, contre 2,48 s pour Youtu-VL et 13 heures pour DepthLM (en raison des requêtes par pixel).
• Capacité Multimodale : L'évaluation sur des benchmarks visuels généraux (MMBench, OCRBench, POPE) montre que DepthVLM égale ou améliore légèrement son backbone VLM de base, confirmant que l'ajout de la tête de profondeur ne dégrade pas la compréhension multimodale générale.
• Raisonnement Spatial 3D : Le modèle démontre une performance améliorée sur des tâches 3D complexes en aval, telles que l'estimation de la profondeur des points, l'estimation des dimensions d'objets 3D et le classement de l'ordre de profondeur, suggérant que la prédiction de géométrie dense native sert de fondation solide au raisonnement spatial de haut niveau.

Signification et Revendications

L'article revendique que DepthVLM représente une étape vers un modèle fondamental véritablement unifié qui excelle conjointement dans la prédiction de géométrie dense de bas niveau et la compréhension multimodale de haut niveau.

• Changement de Paradigme : Il remet en question l'idée que la prédiction de géométrie dense nécessite des modèles de vision séparés et spécialisés ou des VLM basés sur des requêtes inefficaces. Au lieu de cela, il montre que la géométrie peut émerger nativement au sein d'un seul backbone de VLM.
• Praticité : En atteignant une haute précision avec des changements architecturaux minimaux et en préservant les capacités générales, DepthVLM offre une recette pratique pour intégrer la perception 3D dans les écosystèmes VLM existants.
• Limites : Les auteurs notent modestement que le travail actuel se concentre spécifiquement sur l'estimation de profondeur métrique dense. Des tâches de perception 3D plus larges, telles que la détection d'objets et l'estimation de pose, restent à venir.

En résumé, DepthVLM fournit une solution légère, efficace et performante pour débloquer l'estimation de profondeur métrique dense dans les VLM, comblant le fossé entre la compréhension multimodale 2D et l'intelligence spatiale 3D.