Adaptive Depth-converted-Scale Convolution for Self-supervised Monocular Depth Estimation

1. Problématique

L'estimation de profondeur monoculaire (MDE) auto-supervisée vise à reconstruire la structure 3D d'une scène à partir de vidéos monoculars sans utiliser de vérités terrain (depth maps).

• Le défi principal : Dans une vidéo capturée par une caméra en mouvement, la taille apparente d'un objet change continuellement en fonction de sa distance (profondeur) par rapport à la caméra.
• Limites des méthodes existantes :
  • Les réseaux de neurones convolutifs (CNN) traditionnels utilisent des filtres de taille fixe ou des opérations de mise à l'échelle prédéfinies (pyramides d'images, pooling). Ces approches ne s'adaptent pas dynamiquement aux variations continues de la taille des objets entre les trames successives.
  • La plupart des travaux récents se concentrent sur la déformation locale des filtres (comme la convolution déformable) plutôt que sur l'adaptation de l'échelle (taille) du récepteur convolutif.
  • Cela entraîne une ambiguïté taille-profondeur : un même objet à différentes profondeurs est traité avec le même champ récepteur, ce qui dégrade l'extraction des caractéristiques et la précision de la profondeur estimée.

2. Méthodologie Proposée

Les auteurs proposent un cadre amélioré basé sur deux modules clés : la Convolution d'Échelle Convertie par la Profondeur (DcSConv) et le module de Fusion Consciente de l'Échelle Convertie par la Profondeur (DcS-F).

A. Relation Profondeur-Échelle

Le principe fondamental repose sur la relation inverse entre la taille d'un objet dans l'image et sa profondeur (selon le principe de la caméra sténopé) :
$$l_v = l_r \cdot \frac{f}{D}$$
Où $l_v$ est la taille dans l'image, $l_r$ la taille réelle 3D, $f$ la focale et $D$ la profondeur.
L'idée est que si la profondeur $D$ change, la taille du filtre de convolution doit s'adapter proportionnellement pour capturer les mêmes caractéristiques de l'objet.

B. Modules Clés

1. DcSConv (Depth-converted-Scale Convolution) :

   • Au lieu d'utiliser un filtre de taille fixe (ex: 3x3), la taille du filtre $k_d$ est calculée dynamiquement en fonction de la profondeur estimée $D$ de la région traitée :
     $$k_d = k_r \cdot \frac{D_r}{D}$$
     ($k_r$ étant la taille de référence et $D_r$ la profondeur de référence).
   • Implémentation : Pour gérer des tailles de filtres non entiers, le réseau utilise l'interpolation bilinéaire sur les points d'échantillonnage du champ récepteur.
   • Alternative (GLSConv) : Une version généralisée apprend directement l'échelle à partir des caractéristiques sans utiliser explicitement la carte de profondeur, bien que la version basée sur la profondeur soit plus performante.

2. DcS-F (Depth-converted-Scale aware Fusion) :

   • Ce module fusionne les caractéristiques issues de la convolution adaptative (DcSConv) et celles de la convolution conventionnelle (3x3).
   • Il utilise des mécanismes d'attention canal et spatial guidés par la carte d'échelle (dérivée de la profondeur).
   • Cela permet au réseau de pondérer dynamiquement l'importance des détails fins (gérés par les petites échelles pour les objets lointains) et des informations globales (gérées par les grandes échelles pour les objets proches).

3. Architecture Globale :

   • Le système s'insère dans une architecture encodeur-décodeur classique (comme Monodepth2 ou CADepth).
   • Le module DcS-D (Décodage conscient de l'échelle) remplace les blocs de décodage standards, utilisant les cartes de profondeur estimées aux niveaux inférieurs pour guider les convolutions adaptatives aux niveaux supérieurs.

3. Contributions Principales

• Première investigation de l'échelle adaptative : C'est le premier travail qui propose d'adapter l'échelle du filtre de convolution en fonction de la profondeur, plutôt que de se concentrer uniquement sur la déformation locale de la forme du filtre.
• Nouveaux modules modulaires : Développement de la DcSConv et du module de fusion DcS-F, conçus comme des modules « plug-and-play » compatibles avec n'importe quelle architecture CNN existante.
• Preuve de concept théorique et empirique : Démonstration que l'adaptation de l'échelle est plus critique que la déformation locale pour l'estimation de profondeur monoculaire vidéo.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark KITTI (Eigen split) ainsi que sur Make3D et NYU V2 pour tester la généralisation.

• Performance sur KITTI :

  • Sur la base Monodepth2, la méthode proposée réduit l'erreur relative carrée (SqRel) de 11,6 % par rapport à la base.
  • Sur la base CADepth, l'amélioration atteint 17,1 % en SqRel.
  • Sur la base MonoViT (Transformer), l'amélioration atteint 23,4 % en SqRel.
  • La méthode surpasse l'état de l'art (SOTA) actuel, y compris des méthodes utilisant des informations auxiliaires (sémantique, etc.), en n'utilisant que des images couleur.

• Études d'ablation :

  • La DcSConv surpasse la convolution déformable (Deformable Conv), confirmant que l'adaptation de l'échelle est plus importante que la déformation locale pour cette tâche.
  • Le module de fusion DcS-F est supérieur aux méthodes de fusion simples (concaténation, somme) et aux modules d'attention standards (CBAM), prouvant que l'information de profondeur/échelle guide efficacement la fusion des caractéristiques.
  • La méthode généralise bien sur des datasets non vus (Make3D, NYU V2) avec des améliorations de 12,6 % à 18,1 %.

5. Signification et Impact

Ce travail apporte un changement de paradigme dans la conception des réseaux pour l'estimation de profondeur. Il démontre que :

1. La taille du champ récepteur est un paramètre dynamique crucial qui doit être lié à la géométrie de la scène (profondeur), et non fixe ou seulement déformé localement.
2. L'intégration de connaissances physiques (relation taille-profondeur) directement dans l'opération de convolution améliore significativement la capacité du modèle à gérer les ambiguïtés d'échelle dans les vidéos.
3. La méthode est très flexible, pouvant être appliquée comme un module de remplacement sur des architectures basées sur des CNN ou des Transformers, offrant des gains de performance substantiels sans nécessiter de vérités terrain coûteuses.

En résumé, cette approche résout le problème de l'ambiguïté taille-profondeur en rendant le champ récepteur de la convolution « conscient » de la profondeur de l'objet, menant à des cartes de profondeur plus précises avec des contours plus nets.