🤖 AI

Vanishing Depth: Training Generalized Depth Adapters with Sinusoidal Depth Preprocessing for Pretrained RGB Encoders

Cet article propose une approche auto-supervisée qui étend les encodeurs RGB pré-entraînés avec un adaptateur à encodage de profondeur sinusoïdal afin d'obtenir une compréhension de la profondeur métrique généralisée et robuste, ainsi que des performances supérieures sur diverses tâches aval de type RGB-D sans nécessiter de réglage fin.

Auteurs originaux : Paul Koch, Jörg Krüger

Publié 2026-06-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Paul Koch, Jörg Krüger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un œil de robot très intelligent et hautement entraîné (un « encodeur RGB pré-entraîné ») qui est excellent pour reconnaître les objets, les couleurs et les formes dans une photographie en 2D. Il sait à quoi ressemble une « chaise », mais il n'a aucune idée de la distance à laquelle se trouve cette chaise. Il voit un monde plat.

Pour qu'un robot puisse réellement agir — comme ramasser une tasse ou naviguer dans une pièce — il doit comprendre la profondeur (comment les choses se situent dans l'espace 3D). Habituellement, pour donner cette compétence à un robot, vous devez réentraîner tout son cerveau à partir de zéro, ce qui est lent, coûteux et supprime souvent les choses intelligentes qu'il a déjà apprises sur les formes et les couleurs.

Ce document présente une solution de type « plug-in » ingénieuse appelée Vanishing Depth (Profondeur Évanescente) et Sinusoidal Depth Preprocessing (Prétraitement de Profondeur Sinusoïdal). Voici comment cela fonctionne, en utilisant des analogies simples :

1. L'« Adaptateur de Profondeur » (Le Traducteur Universel)

Considérez le cerveau existant du robot comme un chef cuisinier expert qui sait cuisiner d'incroyables photos de nourriture en 2D. Les auteurs ont construit un petit adaptateur détachable (un « Depth Adapter ») qui se branche dans la cuisine du chef.

Ce qu'il fait : Il prend les connaissances 2D du chef et les mélange avec de nouvelles informations de profondeur 3D.
La Magie : Il ne force pas le chef à oublier comment cuisiner. Au lieu de cela, il enseigne au chef à aussi comprendre la distance. Le cerveau original reste exactement tel qu'il était (intact), mais il peut désormais voir le monde en 3D.
Le Bénéfice : Vous n'avez pas besoin de réentraîner tout le chef. Vous branchez simplement l'adaptateur, et le robot est prêt à accomplir de nouvelles tâches comme la segmentation (découper des objets), l'estimation de la position des objets (pose estimation), ou le remplissage de données de profondeur manquantes.

2. Le « Vanishing Depth » (Le Jeu du Bandeau)

Comment apprendre à cet adaptateur à comprendre la profondeur sans simplement mémoriser des images spécifiques ? Les auteurs ont utilisé un jeu appelé « Vanishing Depth ».

Imaginez que vous enseigniez à quelqu'un à reconnaître une chaîne de montagnes. Au lieu de lui montrer une photo parfaite, vous :

Cachez des parties de la photo : Vous couvrez 50 % de la montagne avec un bandeau (du bruit aléatoire).
Changez l'échelle : Vous zoomez et dézoomez de manière aléatoire, de sorte que la montagne paraisse immense ou minuscule.
Déplacez la position : Vous déplacez la montagne vers la gauche ou la droite.
Le But : L'étudiant (l'IA) doit regarder les parties visibles et la forme de la montagne pour deviner à quoi ressemblent les parties cachées.

En faisant cela avec des milliers de cartes de profondeur différentes, l'IA apprend la véritable structure de la profondeur plutôt que de simplement mémoriser des images spécifiques. Elle apprend à gérer les données manquantes, les capteurs bruyants et les différentes distances, ce qui la rend incroyablement robuste.

3. Le « Sinusoidal Depth Preprocessing » (La Règle aux Marques Infinies)

Les méthodes standards pour enseigner la profondeur à une IA sont comme utiliser une règle qui n'a des marques que pour 1 mètre, 2 mètres et 3 mètres. Si vous lui montrez quelque chose à 1,5 mètre, elle est confuse.

Les auteurs ont inventé une nouvelle façon de mesurer la profondeur appelée Sinusoidal Depth Preprocessing (SDP).

L'Analogie : Imaginez une règle qui n'a pas seulement des lignes droites, mais un motif ondulé et fluide (comme une onde sinusoïdale) qui se répète encore et encore.
Pourquoi c'est meilleur : Ce motif ondulé permet à l'IA de comprendre la profondeur comme un flux continu et fluide plutôt que de sauter entre des nombres fixes. Elle peut gérer des différences infimes (comme 1,001 mètre) et des différences énormes (comme 500 mètres) avec la même facilité.
Le Résultat : Cela rend l'IA beaucoup plus précise et stable, surtout lorsque les données de profondeur sont désordonnées ou éparses (comme un scanner laser qui manque quelques points).

Qu'ont-ils prouvé ?

Les auteurs ont testé cet « adaptateur » sur une grande variété de tâches, et il a surpassé presque tout ce qui est actuellement disponible, sans nécessiter d'entraînement supplémentaire (finetuning) pour ces tâches spécifiques.

Segmentation : Lorsqu'on lui a demandé d'identifier et de détourer des objets dans une pièce, leur système a obtenu un score de premier plan (56,05 mIoU sur le jeu de données SUN-RGBD), battant d'autres systèmes complexes et multimodaux.
Estimation de Pose : Lorsqu'on lui a demandé de déterminer exactement la rotation d'un objet dans l'espace 3D, leur système a nettement surpassé les méthodes précédentes.
Robustesse : Même lorsque les données de profondeur étaient bruitées, manquantes ou présentaient des distorsions étranges, leur système a continué à bien fonctionner, là où d'autres systèmes échouaient ou donnaaient de mauvaises réponses.

L'essentiel

Ce document présente un « plug-in de profondeur universel ». Il prend une IA intelligente, consciente de la 2D, et la met instantanément à niveau pour qu'elle soit consciente de la 3D. Il y parvient en apprenant à l'IA à comprendre la profondeur grâce à un jeu de « remplissage de blancs » (Vanishing Depth) et en utilisant un outil de mesure ondulé ultra-précis (Sinusoidal Preprocessing). Le résultat est un système de vision robotique qui est précis, robuste et prêt à accomplir de nouvelles tâches immédiatement, sans avoir besoin d'être réentraîné à partir de zéro.

Résumé Technique : Vanishing Depth : Entraînement d'adaptateurs de profondeur généralisés avec prétraitement de profondeur sinusoïdal pour encodeurs RGB préentraînés

Énoncé du Problème

Les modèles de fondation de vision actuels de pointe (SOTA), particulièrement ceux basés sur l'apprentissage auto-supervisé (SSL) comme DINOv2, excellent dans l'extraction de caractéristiques généralisées à partir d'images RGB. Cependant, ils manquent d'une compréhension intrinsèque de la profondeur métrique, une capacité critique pour les tâches en aval nécessitant des informations de position 3D absolue, telles que la robotique, l'estimation de pose et la complétion de profondeur. Les approches existantes pour intégrer la profondeur reposent souvent sur :

Le finetuning spécifique à une tâche : Ce qui peut corrompre les caractéristiques généralisées apprises lors du préentraînement.
L'initialisation aléatoire des encodeurs de profondeur : Menant à un manque de généralisabilité à travers différents jeux de données.
Le préentraînement multimodal : Des méthodes comme OmniVec ou MultiMAE alignent les modalités mais échouent souvent à imposer une précision de profondeur métrique pixel par pixel, se concentrant plutôt sur le contexte général pour la classification ou la segmentation.

Par conséquent, il existe une lacune dans la littérature concernant un encodeur RGBD généralisé capable d'incorporer la profondeur métrique dans un espace latent RGB préentraîné sans nécessiter de finetuning spécifique à une tâche, tout en restant robuste aux variations de densité, de distribution et de bruit de la profondeur.

Méthodologie

Les auteurs proposent un cadre composé de deux composants principaux : un Adaptateur de Profondeur (DA - Depth Adapter) et un Prétraitement de Profondeur Sinusoïdal (SDP - Sinusoidal Depth Preprocessing), entraînés via un pipeline de Vanishing Depth (profondeur évanescente).

1. Architecture de l'Adaptateur de Profondeur (DA)

Base : La méthode étend les encodeurs RGB préentraînés existants (par exemple, ViT-B basé sur DINOv2) en ajoutant une branche d'encodeur de profondeur parallèle.
Fusion : Elle utilise un mécanisme "Skip & Embed" (S&E - Sauter et Incorporer) pour fusionner les signaux RGB et de profondeur à des couches intermédiaires spécifiques (par exemple, les couches 3, 6, 9, 12). Cela permet à l'encodeur de profondeur de tirer parti des caractéristiques sémantiques généralisées de l'encodeur RGB gelé.
Stratégie d'entraînement : L'encodeur RGB préentraîné est gelé pour préserver ses caractéristiques généralisées. Seuls l'adaptateur de profondeur et les têtes de décodeur sont entraînés. Cela garantit que le modèle ne "désapprend" pas les représentations RGB robustes.
Décodeur : Un décodeur U-Net léger avec quatre têtes de réseau pyramidal de caractéristiques (FPN) effectue un décodage métrique de la profondeur multi-échelle.

2. Prétraitement de Profondeur Sinusoïdal (SDP)

Motivation : La normalisation standard de la profondeur (par exemple, mise à l'échelle entre [0,1] ou utilisation de cartes de disparité) peine face aux diverses distributions, densités et perturbations de profondeur.
Mécanisme : Le SDP encode les valeurs de profondeur continues $d_j$ dans un ensemble de caractéristiques sinusoïdales :
$SDP(d_j, 2i) = \sin(l/T^{2i/c}), \quad SDP(d_j, 2i+1) = \cos(l/T^{2i/c})$
où $l = 2\pi(d_j / \max(d))$ .
Normalisation : Il prend en charge le Max de Profondeur Global (GSDP) et le Max de Profondeur Local (LSDP). Pour le LSDP, la valeur de profondeur maximale est encodée dans un vecteur et ajoutée au jeton CLS, permettant au modèle de décoder la profondeur métrique de manière dynamique.
Avantage : Cette approche fournit une extraction de caractéristiques stable dans la plage de [-1, 1] quel que soit la distribution ou l'échelle absolue de la profondeur, contrairement aux encodages positionnels classiques qui sont conçus pour la localisation des jetons.

3. Pipeline d'Entraînement Vanishing Depth
Pour garantir que le modèle apprenne une représentation invariante à la densité et à la distribution de la profondeur, le pipeline d'entraînement utilise une stratégie de "profondeur évanescente" inspirée de l'inpainting :

Augmentation de données : Les cartes de profondeur sont manipulées à l'aide de bruit de Perlin et de bruit redimensionné aléatoire pour supprimer des pourcentages variables (1 à 99 %) de pixels de profondeur.
Invariance de distribution : Des décalages, scalaires et redimensionnements aléatoires sont appliqués aux échantillons de profondeur pour empêcher le modèle de s'appuyer uniquement sur les indices de profondeur monoculaire provenant du RGB.
Fonction de perte : Une Perte d'Échelle Invariante (SI) Équilibrée Multi-échelle est utilisée. Elle équilibre la reconstruction des pixels de profondeur existants avec la prédiction des pixels manquants (masqués), garantissant que le modèle performe aussi bien sur des entrées denses que parsemées.

Contributions Clés

Adaptateur de Profondeur Généralisé : Une méthode pour étendre les encodeurs RGB préentraînés afin de gérer la profondeur métrique sans finetuning de l'encodeur de base, permettant une adaptation "prête à l'emploi" à diverses tâches RGBD.
Prétraitement de Profondeur Sinusoïdal (SDP) : Une technique de prétraitement novatrice qui surpasse la normalisation standard dans la gestion de diverses distributions, densités et niveaux de bruit de profondeur.
Entraînement Vanishing Depth : Un pipeline auto-supervisé qui entraîne l'adaptateur à être robuste contre les données manquantes et les changements de distribution en simulant des entrées de profondeur parsemées et bruitées pendant l'entraînement.
Adaptabilité sans Finetuning : Le modèle résultant peut être appliqué à des tâches en aval (segmentation, estimation de pose, complétion de profondeur) en utilisant uniquement l'encodeur gelé et une tête de décodeur légère, évitant ainsi le coût computationnel et les risques de surapprentissage du finetuning complet.

Résultats Expérimentaux

Les auteurs ont évalué leur approche à travers la segmentation, la complétion de profondeur et l'estimation de pose d'objet en 6D sur des jeux de données incluant SUN-RGBD, NYU-v2, KITTI, Void, YCBV, et d'autres.

Segmentation : La méthode proposée a atteint un mIoU de 56,05 sur le jeu de données SUN-RGBD, surpassant les encodeurs multimodaux et sensibles à la profondeur de pointe (ex: OmniSegmentor, DFormerV2) et améliorant significativement la ligne de base RGB (DINOv2). Elle a également démontré son efficacité sur des jeux de données RGB uniquement où la profondeur était synthétisée via une estimation monoculaire.
Complétion de Profondeur : Sur les tâches de complétion de profondeur parcuse (KITTI, Void), les adaptateurs basés sur le SDP ont montré une précision supérieure par rapport à l'encodage de profondeur par normalisation et aux autres méthodes SOTA, particulièrement dans la gestion des entrées parsemées.
Estimation de Pose : Dans l'estimation de pose d'objet en 6D (YCBV, HomeBrew, LM-O), les adaptateurs de profondeur ont considérablement amélioré les performances des encodeurs RGB gelés (ex: DINOv2 + DA a atteint 84,1 AUC sur YCBV contre 72,5 pour DINOv2 seul). La méthode a surpassé les bases multimodales comme Omnivore et MultiMAE, qui se dégradent souvent lorsque la profondeur est introduite.
Robustesse : Les études d'ablation ont confirmé que le SDP est plus résilient au bruit et à la parcimonie que la normalisation standard. Alors que les méthodes basées sur la normalisation peinent face au bruit aléatoire et à la rareté des données, le SDP maintient sa stabilité.

Signification et Revendications

L'article affirme que ce travail comble le fossé entre les modèles de fondation généralisés et la compréhension de la profondeur métrique. En évitant le finetuning spécifique à une tâche, la méthode offre une solution modulaire et efficace pour la robotique et les systèmes multi-agents où une adaptation rapide à de nouveaux environnements est requise.

Généralisabilité : L'approche n'est pas limitée à des jeux de données spécifiques ; elle se généralise à travers diverses densités et distributions de profondeur.
Efficacité : Elle permet de réutiliser de grands encodeurs RGB préentraînés, réduisant le besoin d'entraîner de nouveaux modèles multimodaux massifs à partir de zéro.
Pertinence pour la Robotique : Les auteurs soulignent le potentiel pour la Vision-Langage-Action (VLA) et l'apprentissage de politiques robotiques, où les encodeurs préentraînés sont bénéfiques mais nécessitent souvent un finetuning menant au surapprentissage. Cette méthode offre un moyen d'inclure la conscience de la profondeur sans compromettre les capacités de généralisation de l'encodeur de base.

Les auteurs notent modestement que, bien qu'ils aient évité les benchmarks de VLA et d'apprentissage de politique en raison de l'absence de cadres de comparaison standardisés "prêts à l'emploi", l'architecture est conçue pour supporter ces applications à l'avenir. Ils reconnaissent également que pour des plages de profondeur extrêmes (ex: >15m), un redimensionnement ou un ajustement du paramètre de profondeur maximale est nécessaire, bien que la densité de fréquence du SDP puisse s'étirer dans de tels cas.