💻 computer science

Towards Robust Driving Perception: A Flexible Scale-Driven Family for Self-Supervised Monocular Depth Estimation

Le document présente FlexDepth, une famille de modèles d'estimation de la profondeur monoculaire auto-supervisés, flexibles et pilotés par l'échelle, qui utilise une stratégie d'entraînement à découplage statique-dynamique et un décodeur piloté par l'échelle pour atteindre des performances de pointe et une efficacité en temps réel sur les dispositifs automobiles de bord aux ressources limitées, sans nécessiter de vérité terrain ou d'informations auxiliaires.

Auteurs originaux : Zhaowen Zhu, Li Zhang, Yujie Chen, Tian Zhang, Yingjie Wang, Mingxia Zhan

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhaowen Zhu, Li Zhang, Yujie Chen, Tian Zhang, Yingjie Wang, Mingxia Zhan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de deviner la distance de tout ce qui vous entoure dans une pièce, mais que vous n'avez qu'un seul œil (une seule caméra) et pas de règle. C'est le défi de l'Estimation de la Profondeur Monoculaire. Pour les voitures autonomes, c'est comme essayer de naviguer sur une autoroute très fréquentée en utilisant uniquement un flux vidéo, sans savoir exactement à quelle distance se trouvent les voitures ou les piétons.

Pendant longtemps, les ordinateurs ont eu du mal avec cela, surtout quand les choses bougeaient. Si une voiture passait, l'ordinateur s'embrouillait parce qu'il supposait que le monde entier était immobile. De plus, rendre ces ordinateurs assez intelligents pour voir clairement signifiait souvent les rendre énormes et lents, comme si l'on essayait de faire fonctionner un supercalculateur sur la toute petite batterie d'un smartphone.

Le papier présente une nouvelle famille de modèles d'IA appelée FlexDepth. Voyez FlexDepth comme une série de « lunettes intelligentes et adaptables » pour les voitures autonomes qui se déclinent en cinq tailles, de la minuscule paire de lunettes de lecture (Flex-Nano) à la paire de jumelles haute performance (Flex-X-Large). Peu importe la taille, elles sont conçues pour être rapides, précises et assez robustes pour gérer le chaos de la conduite réelle.

Voici comment ils ont fait fonctionner cela, expliqué simplement :

1. Le Décodeur « Piloté par l'Échelle » (L'Upscaler Intelligent)

Imaginez que vous essayez de dessiner la carte d'une ville. Si vous vous contentez d'étirer un croquis petit et flou pour l'agrandir, les bords des bâtiments paraîtront flous et les routes sembleront vacillantes. L'IA traditionnelle fait cela ; elle essaie d'agrandir l'image en utilisant des mathématiques simples, ce qui rend les détails flous.

FlexDepth utilise un outil spécial appelé Décodeur Piloté par l'Échelle (SDD - Scale-Driven Decoder). Au lieu de simplement étirer l'image, cet outil agit comme une équipe de construction dynamique.

Pour les petits modèles (comme Flex-Nano) : Il utilise une équipe légère et efficace qui se concentre sur la vitesse, pour s'assurer que la voiture ne subisse pas de latence.
Pour les gros modèles (comme Flex-X-Large) : Il fait appel à une équipe plus détaillée qui prête une attention particulière aux contours des objets et aux textures.
La Magie : Il ne se contente pas de deviner où se trouvent les bords ; il « ré-échantillonne » activement l'image, en observant le contenu pour décider exactement où placer les pixels. Cela permet de garder les contours des voitures et des arbres nets, même lorsque l'image est agrandie.

2. L'Entraînement en « Deux Étapes » (L'Exercice Statique vs Dynamique)

L'un des plus grands maux de tête pour l'IA de conduite autonome est les objets en mouvement. Si une voiture passe, l'IA pourrait penser que le monde entier est en mouvement, ou elle pourrait être confuse quant à la distance réelle de cette voiture.

Les auteurs ont résolu cela avec une stratégrapie d'entraînement en deux étapes, qui est comme un exercice en deux parties pour l'étudiant IA :

Étape 1 (Les Bases) : L'IA apprend à comprendre le monde et le mouvement de la caméra, tout comme un étudiant apprenant le code de la route.
Étape 2 (Le Test « Trouvez la Différence ») : L'IA est confrontée à la même scène au début de son entraînement et à la fin.
- Les choses statiques (comme les bâtiments et les arbres) sont identiques dans les deux versions. L'IA apprend à leur faire confiance.
- Les choses dynamiques (comme les autres voitures ou les piétons) sont différentes parce qu'elles ont bougé. L'IA apprend à dire : « Attendez, cette partie a changé ! Je ne devrais pas encore faire confiance à mon estimation de profondeur pour cet objet en mouvement. »

En séparant le monde « immobile » du monde « en mouvement », l'IA apprend à ignorer le mouvement perturbateur pour se concentrer sur l'obtention de la bonne profondeur pour l'arrière-plan stable, ce qui l'aide également à mieux comprendre les objets en mouvement.

3. Les Résultats : Rapide, Léger et Net

Le papier affirme que FlexDepth est une « famille » de modèles qui peut s'adapter à n'importe quelle voiture, d'un capteur bon marché à un véhicule autonome haut de gamme.

Le Modèle Minuscule (Flex-Nano) : Il est incroyablement léger, ne nécessitant que 0,7 GFLOPs (une mesure de la puissance de calcul). Il peut fonctionner à 37,6 images par seconde sur des puces mobiles. C'est comme avoir un coureur super rapide qui peut suivre le trafic sans se fatiguer.
Le Gros Modèle (Flex-X-Large) : Il est le plus précis, battant presque tous les autres modèles lors des tests de conduite standards (KITTI et Cityscapes), tout en étant plus rapide que de nombreux concurrents « lourds ».
Pas de Triche : Contrairement à d'autres méthodes qui nécessitent des capteurs supplémentaires (comme des capteurs de flux) ou des étiquettes pré-établies pour apprendre, FlexDepth apprend entièrement par lui-même à partir de séquences vidéo, simplement en observant comment le monde change.

Résumé

En bref, le papier présente FlexDepth, un système flexible qui permet aux voitures autonomes de « voir » la profondeur de manière claire et rapide. Il utilise un décodeur intelligent et adaptable pour garder les contours nets et une méthode d'entraînement en deux étapes pour empêcher les voitures en mouvement de confondre le système. Que la voiture ait besoin d'un processeur minuscule et rapide ou d'un processeur puissant, FlexDepth s'adapte pour offrir une vue claire et sûre de la route.

Résumé Technique : FlexDepth – Une famille flexible pilotée par l'échelle pour l'estimation de la profondeur monoculaire auto-supervisée

1. Énoncé du problème

L'estimation de la profondeur monoculaire (MDE) auto-supervisée est cruciale pour la conduite autonome et la robotique en raison de son indépendance vis-à-vis des étiquettes de profondeur de vérité terrain denses. Cependant, les approches existantes font face à des limitations significatives dans les environnements de conduite complexes :

Compromis entre échelle et robustesse : La plupart des modèles légers reposent sur des conceptions à échelle unique ou des décodeurs simplifiés, ce qui entraîne une dégradation des performances dans les scènes dynamiques (ex. : véhicules ou piétons en mouvement) et une faible fidélité structurelle aux limites des objets.
Complexité de la gestion du dynamisme : Les méthodes conçues pour gérer les objets dynamiques introduisent souvent une complexité excessive, des tâches auxiliaires (ex. : flux optique, segmentation sémantique) ou des architectures lourdes (ex. : Vision Transformers), les rendant inadaptées aux dispositifs de bord (edge devices) aux ressources limitées.
Limitations des modèles de fondation : Bien que les modèles de fondation supervisés (ex. : Depth Anything V2) offrent une forte généralisation zero-shot, leur dépendance à des jeux de données massifs et leurs exigences de calcul élevées entravent leur déploiement dans des scénarios automobiles en temps réel sur matériel de bord.

Le défi central adressé est la manière de réduire l'écart de robustesse entre les modèles auto-supervisés légers et les grands modèles supervisés, tout en maintenant l'efficacité des données et la capacité de déploiement sur le matériel de bord.

2. Méthodologie

Les auteurs proposent FlexDepth, une famille de modèles de MDE auto-supervisés pilotés par l'échelle, adaptés aux scénarios de conduite dynamique. L'architecture repose sur trois innovations principales :

A. Décodeur piloté par l'échelle (Scale-Driven Decoder - SDD)

Contra-irement aux décodeurs traditionnels utilisant des pipelines fixes (pré-convolution $\to$ suréchantillonnage $\to$ concaténation), FlexDepth introduit un décodeur qui sélectionne de manière adaptative ses composants en fonction de l'échelle du modèle (Nano, Small, Medium, Large, X-Large).

Conception Post-Convolution : Les auteurs suppriment l'étape de pré-convolution pour éviter la perte irréversible d'informations sémantiques globales. À la place, ils se concentrent sur la post-convolution ( $C$ $C$ ), le suréchantillonnage ( $U$ $U$ ) et les têtes de prédiction ( $P$ $P$ ).
- Petites échelles (Nano/Small) : Utilisent des Bottlenecks à haute efficacité (HEB) pour assurer la stabilité du flux de gradient et un ordre traditionnel de la tête de prédiction.
- Grandes échelles (Medium/X-Large) : Utilisent des Bottlenecks à haute performance (HPB) avec des structures de type Cross Stage Partial (CSP) pour une capture plus fine des caractéristiques locales, ainsi qu'une tête de prédiction inversée (suréchantillonnage avant la prédiction) pour exploiter la cohérence des canaux élevés.
Suréchantillonnage Dynamique ( $U$ ) : Remplace l'interpolation bilinéaire standard par un processus en deux étapes : génération de décalage (offset) et rééchantillonnage dynamique. Une couche de convolution prédit les décalages ( $\Delta P$ ) basés sur le contenu sémantique, permettant au modèle d'échantillonner de manière adaptative les emplacements optimaux à partir des cartes de caractéristiques, ce qui produit des contours d'objets plus nets.

B. Entraînement découplé Statique-Dynamique en deux étapes

Pour traiter l'instabilité causée par les objets en mouvement sans dépendre de priors externes, FlexDepth emploie une stratégie d'entraînement en deux étapes :

Étape 1 (Optimisation conjointe) : Entraîne simultanément le réseau de prédiction de profondeur et le PoseNet (basé sur ResNet-18) en utilisant la perte de reprojection photométrique standard, la perte de reprojection minimale et la perte de lissage sensible aux bords.
Étape 2 (Raffinement dynamique) : Exploite l'observation selon laquelle les régions dynamiques présentent une instabilité prédictive élevée (variance entre les premières et les dernières époques d'entraînement) par rapport aux arrière-plans statiques.
- Un Masque de Découplage Statique-Dynamique ( $M$ ) est généré en comparant les cartes de disparité des époques initiales et finales de l'Étape 1.
- Une fonction de seuillage adaptative $g(\phi(f_{si}, f_{sl}))$ détermine le masque, distinguant les objets dynamiques des arrière-plans statiques sur la base de l'évolution des caractéristiques plutôt que sur des seuils fixes.
- Le réseau de profondeur est réentraîné à l'aide de ce masque avec une perte de distribution normale masquée et un lissage de profondeur géométrique, découplant efficacement le bruit dynamique de l'apprentissage de la scène statique.

C. Pipeline d'entraînement auto-supervisé

Le modèle est entièrement entraîné sur des séquences vidéo non étiquetées en utilisant la cohérence photométrique.

Fonctions de perte : Combine l'erreur photométrique ( $L_p$ ), la perte de reprojection minimale ( $L_r$ ), le lissage sensible aux bords ( $L_{smooth}$ ) et, lors de l'Étape 2, une perte de distribution normale masquée ( $L_m$ ) et un lissage de profondeur géométrique ( $L_{GDS}$ ).
Aucune donnée auxiliaire : La méthode opère sans étiquettes sémantiques, flux optique ou cartes de pseudo-profondeur.

3. Principales contributions

Famille FlexDepth : Une famille de modèles évolutifs (de Nano à X-Large) qui étudie systématiquement le compromis précision-efficacité, atteignant des performances de l'état de l'art (SOTA) sur n'importe quelle échelle avec un surcoût computationnel minimal.
Décodeur piloté par l'échelle (SDD) : Une nouvelle architecture de décodeur qui sélectionne dynamiquement les types de bottlenecks (HEB vs. HPB) et les stratégies de suréchantillonnage en fonction de la taille du modèle, équilibrant l'inférence en temps réel avec une cartographie de profondeur de haute précision.
Entraînement découplé Statique-Dynamique : Une stratégie en deux étapes qui isole les objets dynamiques des arrière-plans statiques via un masque adaptatif dérivé de l'instabilité de l'entraînement, améliorant la robustesse dans les environnements dynamiques sans coûts d'inférence supplémentaires ni entrées auxiliaires.

4. Résultats expérimentaux

Les expériences ont été menées sur KITTI, Cityscapes et Make3D (pour la généralisation zero-shot).

Performance vs Efficacité :
- Flex-Nano : Nécessite seulement 0,7 GFLOPs et atteint 37,6 FPS sur des plateformes mobiles (Snapdragon 8 Elite), surpassant les variantes Tiny et Small de Lite-Mono en précision tout en étant nettement plus léger.
- Flex-X-Large : Établit un nouveau SOTA sur KITTI et Cityscapes avec 24,6 GFLOPs, surpassant des modèles plus lourds comme MonoVit (59,7 GFLOPs) et DSI-MonoViT.
Robustesse aux scènes dynamiques : Sur Cityscapes, Flex-X-Large atteint une précision supérieure dans les régions dynamiques (Abs Rel 0,091) par rapport aux méthodes reposant sur des indices auxiliaires (ex. : ProDepth, DSI-MonoViT), malgré l'absence d'informations supplémentaires.
Généralisation Zero-Shot : Le modèle entraîné sur KITTI démontre une forte transférabilité au jeu de données Make3D, surpassant les autres méthodes auto-supervisées et approchant les performances de plus grands modèles de fondation sur certaines métriques.
Études d'ablation : Confirment que les composants du SDD (HPB, suréchantillonnage dynamique, tête inversée) et la stratégie d'entraînement en deux étapes sont critiques pour les gains de performance. Supprimer la seconde étape entraîne une chute sévère des performances dans les scènes dynamiques.

5. Signification et affirmations

L'article affirme que FlexDepth comble avec succès l'écart entre l'efficacité légère et la perception robuste dans les environnements de conduite dynamiques.

Viabilité du déploiement : En atteignant des performances SOTA avec un coût computationnel minimal (ex. : 0,7 GFLOPs pour Nano), FlexDepth permet une perception en temps réel fiable sur les dispositifs de bord automobiles aux ressources limitées.
Robustesse intrinsèque : La méthode démontre qu'une gestion robuste des scènes dynamiques peut être obtenue grâce à la conception architecturale et à la stratégie d'entraînement (découplage statique-dynamique) plutôt qu'en s'appuyant sur des pipelines auxiliaires complexes ou des architectures lourdes.
Complément aux modèles de fondation : Tout en reconnaissant les capacités supérieures de généralisation zero-shot des grands modèles de fondation (ex. : Depth Anything V2), les auteurs soutiennent que l'entraînement auto-supervisé dans le domaine (comme FlexDepth) offre des avantages pratiques pour le déploiement sur le bord grâce à son empreinte de ressources moindre et une précision comparable ou supérieure dans des contextes de conduite spécifiques.

Limitations : Les auteurs notent que FlexDepth est spécifiquement conçu pour la perception de la conduite et que son applicabilité aux environnements intérieurs avec des textures irrégulières et des occlusions à courte portée est limitée.