StereoAdapter-2: Globally Structure-Consistent Underwater Stereo Depth Estimation

Ce papier présente StereoAdapter-2, une méthode d'estimation de profondeur stéréo sous-marine qui remplace les mises à jour GRU par un opérateur ConvSS2D pour une propagation efficace des disparités à longue portée, et introduit le jeu de données synthétique UW-StereoDepth-80K, permettant d'atteindre des performances de pointe en adaptation zéro-shot.

L'essentiel

🌊 Le Problème : Les Robots sous-marins sont "myopes" et "confus"

Imaginez que vous essayez de conduire une voiture dans un brouillard très épais, mais que ce brouillard est en fait de l'eau de mer. C'est le défi quotidien des robots sous-marins (comme les ROV) qui doivent inspecter des épaves ou des pipelines.

Pour voir la profondeur (savoir à quelle distance se trouve un objet), ces robots utilisent deux caméras, un peu comme nos deux yeux. C'est ce qu'on appelle la stéréo. Mais sous l'eau, c'est un cauchemar :

• La lumière est absorbée (les couleurs disparaissent).
• L'eau agit comme un filtre flouissant (la lumière se disperse).
• Les objets lointains ressemblent à des fantômes flous.

Les méthodes actuelles pour calculer la profondeur fonctionnent bien sur terre, mais sous l'eau, elles se trompent souvent, surtout pour les objets loin ou dans les zones sans texture (comme un mur de sable uni).

🛠️ La Solution : StereoAdapter-2

Les chercheurs ont créé une nouvelle intelligence artificielle appelée StereoAdapter-2. Pour comprendre comment elle fonctionne, utilisons deux analogies principales.

1. Le Moteur : Passer d'un "Escalier" à un "Ascenseur Express" (ConvSS2D)

Les anciennes méthodes utilisaient un mécanisme appelé GRU (une sorte de mémoire à court terme). Imaginez que ce mécanisme est comme quelqu'un qui doit monter un escalier, marche par marche, pour comprendre une image.

• Le problème : Pour voir loin, il doit faire beaucoup de pas (itérations). C'est lent et il peut se perdre dans les détails locaux, comme regarder ses pieds au lieu de l'horizon.

La nouvelle méthode remplace cet escalier par un Ascenseur Express basé sur une technologie appelée SSM (Modèles à Espace d'État).

• L'analogie : Au lieu de marcher, l'ascenseur scanne l'image en quatre directions (gauche, droite, haut, bas) d'un seul coup.
• Pourquoi c'est génial ? Comme un ascenseur qui monte tout de suite au dernier étage, le robot comprend la profondeur d'un objet lointain en une seule étape, sans avoir à faire des allers-retours. De plus, il regarde aussi bien l'horizontale (comme les lignes de l'horizon) que la verticale (la structure des bâtiments), ce qui est crucial sous l'eau où les objets sont souvent flous.

2. Le Terrain d'Entraînement : Créer un "Monde Virtuel" (UW-StereoDepth-80K)

Pour apprendre à un robot à voir sous l'eau, il faut lui montrer des milliers d'exemples. Le problème ? Il n'existe pas assez de vraies vidéos sous-marines avec des mesures de distance parfaites (c'est trop cher et difficile à mesurer dans la vraie vie).

Les chercheurs ont donc créé leur propre univers virtuel : UW-StereoDepth-80K.

• L'analogie : Imaginez un chef cuisinier (l'IA) qui ne sait cuisiner que des plats français (terrestres). Pour apprendre à faire de la cuisine japonaise (sous-marine), au lieu de chercher des ingrédients rares, le chef utilise un simulateur culinaire.
• Le processus :
  1. Ils prennent des photos de paysages normaux (terre).
  2. Ils utilisent une "baguette magique" (un modèle de diffusion) pour les transformer en images sous-marines réalistes (ajoutant de la boue, de la turbidité, des couleurs bleutées).
  3. Ils utilisent un autre outil pour créer la "deuxième vue" (l'image de droite) en respectant parfaitement la géométrie, comme si un deuxième robot prenait la photo à côté.
• Résultat : Ils ont créé 80 000 paires d'images parfaites pour entraîner le robot. C'est comme si le robot avait fait 80 000 heures d'entraînement dans un simulateur de vol avant de jamais toucher l'eau.

🚀 Les Résultats : Plus rapide, plus précis, prêt pour le réel

Grâce à cette combinaison (le nouvel ascenseur + le simulateur géant), StereoAdapter-2 a obtenu des résultats impressionnants :

• Zéro "cours de rattrapage" : Le robot a été entraîné uniquement sur des images virtuelles, mais quand on l'a mis sur un vrai robot (le BlueROV2) dans un bassin, il a fonctionné immédiatement sans avoir besoin d'apprendre à nouveau. C'est ce qu'on appelle le "Zero-Shot".
• Amélioration massive : Il est environ 17 % plus précis que les meilleurs systèmes précédents sur les benchmarks standards.
• Vitesse : Il est plus rapide car il fait moins d'itérations (moins de "pas" pour comprendre l'image).

🎯 En résumé

StereoAdapter-2, c'est comme donner à un robot sous-marin des lunettes de vision nocturne ultra-puissantes (le nouveau moteur de calcul) et lui faire faire des milliers d'heures de simulation dans un monde virtuel parfait avant de le lancer dans la vraie mer.

Le résultat ? Un robot capable de naviguer, d'éviter les obstacles et d'inspecter des structures sous-marines avec une précision que l'on n'avait jamais vue auparavant, même dans les eaux les plus troubles.

Résumé technique

1. Problématique

L'estimation de la profondeur stéréoscopique est fondamentale pour la perception des robots sous-marins (AUV/ROV), permettant la reconstruction 3D métrique nécessaire à la navigation autonome et à l'inspection. Cependant, l'environnement sous-marin pose des défis majeurs qui dégradent les performances des pipelines stéréo terrestres :

• Décalages de domaine sévères : L'atténuation de la lumière dépendante de la longueur d'onde, la diffusion (forward/backscattering) et la réfraction aux interfaces eau-verre violent les hypothèses de cohérence photométrique.
• Limitations des méthodes existantes : Les approches récentes adaptent des modèles fondationnels monoculaires (VFMs) en utilisant des itérations de raffinement basées sur des ConvGRU (Unités Récurrentes à Portes Convolutives). Cependant, les noyaux de convolution locaux et le mécanisme de commutation séquentiel des GRU nécessitent de nombreuses itérations pour propager l'information sur de longues distances. Cela limite les performances dans les zones sous-marines à grand décalage (disparité) et sans texture, où la propagation de l'information est cruciale.
• Pénurie de données : Il existe un manque criant de données stéréo sous-marines réelles avec des annotations de vérité terrain précises, ce qui rend l'entraînement et l'évaluation difficiles.

2. Méthodologie Proposée : StereoAdapter-2

Les auteurs proposent StereoAdapter-2, un cadre qui innove à la fois sur l'architecture du modèle et sur la génération de données.

A. Innovation Architecturale : ConvSS2D

Le cœur de la méthode remplace l'opérateur de mise à jour ConvGRU traditionnel par un nouvel opérateur ConvSS2D (Convolutional Selective State Space Model 2D), basé sur les modèles d'espace d'états sélectifs (SSM).

• Stratégie de balayage quadri-directionnel : Contrairement aux GRU qui opèrent localement, ConvSS2D utilise un balayage dans quatre directions (horizontal et vertical).
  • Le balayage horizontal s'aligne naturellement avec la géométrie épipolaire, permettant une propagation efficace de l'information de disparité le long des lignes de scan.
  • Le balayage vertical capture la cohérence structurelle verticale, essentielle pour normaliser l'estimation dans les zones sans texture.
• Propagation à longue portée : Grâce aux propriétés des SSM, l'opérateur permet une propagation spatiale sur de longues distances en une seule étape de mise à jour, avec une complexité computationnelle linéaire.
• Sélectivité dépendante de l'entrée : Les paramètres de l'opérateur (matrices de transition, d'entrée et de sortie) sont générés dynamiquement à partir des caractéristiques d'entrée, permettant au modèle de s'adapter aux caractéristiques locales (textures, bords, occlusions).

B. Adaptation de Domaine et Données

• Adaptation LoRA : Le framework utilise le modèle monoculaire fondationnel Depth Anything 3 comme encodeur de caractéristiques. Une adaptation efficace des paramètres est réalisée via LoRA (Low-Rank Adaptation), permettant un transfert de domaine paramètre-économique tout en conservant les représentations riches du pré-entraînement.
• Initialisation par profondeur monoculaire : L'estimation de profondeur monoculaire est utilisée pour initialiser la disparité, accélérant la convergence.
• Dataset UW-StereoDepth-80K : Pour pallier le manque de données, les auteurs ont construit un dataset synthétique à grande échelle (80 000 paires stéréo) via un pipeline génératif en deux étapes :
  1. Transfert de style sous-marin : Utilisation du modèle Atlantis (basé sur Stable Diffusion) pour appliquer des effets optiques sous-marins (atténuation, turbidité) sur des images terrestres RGB-D tout en préservant la structure géométrique.
  2. Synthèse de vue nouvelle géométriquement cohérente : Utilisation de NVS-Solver pour générer la vue droite stéréo à partir de la vue gauche stylisée, en contrôlant explicitement la base stéréo (20cm à 50cm) pour simuler diverses configurations de robots.

3. Contributions Clés

1. Opérateur ConvSS2D : Introduction d'un opérateur de mise à jour basé sur les SSM sélectifs, remplaçant les GRU. Il capture à la fois les contraintes épipolaires horizontales et la cohérence structurelle verticale, permettant une propagation efficace sur de longues distances en une seule étape.
2. Dataset UW-StereoDepth-80K : Création d'un dataset synthétique massif et diversifié, couvrant une large gamme de paramètres optiques et de configurations de caméras, servant de fondation robuste pour l'entraînement de réseaux stéréo gourmands en données.
3. Performance Zero-Shot : Démonstration d'une performance state-of-the-art (SOTA) en mode "zero-shot" (sans ajustement fin sur les données cibles) sur des benchmarks sous-marins, validée par des déploiements réels.

4. Résultats Expérimentaux

Les résultats montrent des améliorations significatives par rapport aux méthodes précédentes (y compris StereoAdapter original) :

• Sur le benchmark TartanAir-UW (Synthétique) :
  • Amélioration de 17 % par rapport à StereoAdapter.
  • Réduction de l'erreur relative absolue (REL) à 0.0440 et de l'erreur quadratique moyenne (RMSE) à 2.4038.
  • Précision (A1) de 96.76 %.
• Sur le benchmark SQUID (Réel) :
  • Amélioration de 7.2 % sur le RMSE par rapport à la version précédente.
  • RMSE de 1.7481 et REL de 0.0705.
  • Meilleures performances sur tous les seuils de précision (A1, A2, A3).
• Validation Réelle (BlueROV2) :
  • Déploiement sur un ROV BlueROV2 équipé d'un NVIDIA Jetson Orin NX.
  • Le modèle atteint une REL de 0.1023 et une précision A1 de 92.56 % sur des scènes réelles avec obstacles, surpassant toutes les méthodes de base.
  • Efficacité : Latence de 1102 ms par image (sur Jetson Orin NX), ce qui est inférieur aux méthodes concurrentes grâce à l'efficacité du ConvSS2D et de l'encodeur LoRA.

5. Signification et Impact

Ce travail représente une avancée majeure pour la perception robotique sous-marine :

• Efficacité Algorithmique : En remplaçant les itérations GRU lourdes par des SSM, le modèle résout le problème de la propagation à longue distance dans les zones sans texture, un défi historique en stéréo sous-marine.
• Généralisation Robuste : La combinaison d'une architecture innovante et d'un dataset synthétique diversifié permet une généralisation exceptionnelle des données synthétiques vers le monde réel (Zero-Shot), réduisant la dépendance à des données réelles annotées coûteuses.
• Applicabilité Industrielle : La validation sur une plateforme robotique réelle (BlueROV2) avec des contraintes de calcul embarqué démontre la viabilité pratique de l'approche pour des missions d'inspection et de surveillance sous-marine autonomes.

En résumé, StereoAdapter-2 établit un nouvel état de l'art en surmontant les limitations physiques de l'imagerie sous-marine grâce à une architecture de réseau neuronale plus adaptée à la géométrie stéréo et à une stratégie de données génératives rigoureuse.