💻 computer science

UDR-Mamba: A Depth-Structured Reliability-Guided Mamba Framework for RGB-D Underwater Salient Object Detection

Le document propose UDR-Mamba, un cadre Mamba structuré par la profondeur et guidé par la fiabilité qui transforme les cartes de profondeur brutes en indices structurels et les fusionne sélectivement avec les caractéristiques RGB via un encodeur partagé afin d'atteindre des performances de pointe dans la détection d'objets saillants sous l'eau malgré des mesures de profondeur bruitées.

Auteurs originaux : Ning Li, Jiaxin Li, Xiwen Yang, Jianhang Shi, Haojie Wu, Gaochao Yang

Publié 2026-09-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ning Li, Jiaxin Li, Xiwen Yang, Jianhang Shi, Haojie Wu, Gaochao Yang

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Sous la surface de l'océan, là où la lumière du soleil s'estompe en un bleu brumeux et où les couleurs s'effacent, les robots et les caméras luttent pour voir ce qui se trouve devant eux. C'est le monde de la vision sous-marine, un domaine crucial pour guider les véhicules autonomes, surveiller la vie marine et aider les humains à explorer les profondeurs. Dans ces environnements troubles, les caméras standard échouent souvent car l'eau diffuse la lumière, floute les contours et déforme les couleurs, ce qui rend difficile la distinction entre un poisson et un rocher, ou un navire et le fond marin. Pour résoudre ce problème, les scientifiques tentent depuis longtemps de combiner les images en couleur familières des caméras standards avec des cartes de profondeur, qui agissent comme un croquis en 3D montrant la distance des objets. Cependant, les cartes de profondeur sous-marines sont souvent bruitées et peu fiables, remplies de lacunes et d'erreurs qui peuvent confondre un ordinateur autant que l'eau trouble confond l'œil humain. Le défi consistait à apprendre à une machine à utiliser les parties utiles de ces croquis en 3D tout en ignorant les parties brisées ou trompeuses.

Une équipe de chercheurs de l'Université de Changzhou a développé une nouvelle approche à ce problème, créant un système qu'ils appellent UDR-Mamba. Au lieu de simplement injecter des données de couleur brutes et des données de profondeur brutes dans un ordinateur, leur méthode prend d'abord les informations de profondeur désordonnées et les réorganise en un format plus clair et plus utile. Imaginez que vous preniez une photographie floue et granuleuse, puis que vous en traciez les contours tout en mettant en évidence les zones où la texture change brusquement ; c'est essentiellement ce que leur système fait avec les données de profondeur. Ils décomposent la carte de profondeur en trois composantes distinctes : une version normalisée qui montre la disposition générale, une carte des contours où la profondeur change soudainement, et une mesure du contraste local qui met en évidence les petites différences géométriques. En présentant à l'ordinateur ces trois vues structurées de la profondeur, le système peut mieux comprendre la forme et les limites des objets, même lorsque les données de profondeur originales sont imparfaites.

Le cœur de leur innovation réside dans la manière dont le système décide de quelle partie de l'information de profondeur il doit se fier. Dans de nombreuses scènes sous-marines, les capteurs de profondeur produisent des données qui sont simplement erronées à certains endroits, peut-être à cause de bulles ou de particules dans l'eau. Les chercheurs ont conçu un mécanisme qui agit comme un gardien, évaluant constamment la fiabilité de l'information de profondeur à chaque étape du traitement. Il examine l'image en couleur, les données de profondeur structurées et les différences entre elles pour décider quel poids accorder aux indices de profondeur. Si l'information de profondeur semble digne de confiance, le système l'intègre pour affiner l'image ; si elle semble bruitée ou peu fiable, le système l'ignore pour éviter les erreurs. Ce processus sélectif garantit que l'ordinateur n'utilise les données de profondeur que lorsqu'elles sont utiles, filtrant efficacement le bruit qui affecte habituellement la vision sous-marine.

Pour lier ces composants, les chercheurs ont employé un type moderne d'architecture d'intelligence artificielle appelé modèle d'espace d'état, plus précisément une variante appelée Mamba. Contraなる aux anciens systèmes qui traitent les images en petits morceaux isolés, cette architecture est conçue pour comprendre les connexions à longue portée à travers toute l'image, permettant de saisir la vue d'ensemble d'une scène tout en remarquant les détails fins. L'équipe a utilisé un ensemble unique et partagé de paramètres de type "cerveau" pour traiter les données de couleur et de profondeur, ce qui rend leur système plus efficace et moins redondant que les méthodes précédentes qui utilisaient des processeurs distincts et lourds pour chaque type d'information. Cette approche partagée permet au système d'apprendre la relation entre la couleur et la profondeur sans nécessiter une quantité massive de puissance de calcul, trouvant un équilibre entre vitesse et précision.

Lors de tests sur de vastes collections d'images sous-marines, le nouveau système a démontré une capacité claire à trouver et à détourer les objets importants plus précisément que les méthodes existantes. Sur un benchmark standard contenant plus de dix mille images sous-marines, le système a atteint un haut niveau de précision dans l'identification de la forme et de l'emplacement des objets saillants, surpassant les techniques de pointe précédentes dans plusieurs mesures clés de précision. Il s'est montré particulièrement efficace pour gérer les scènes à faible contraste et aux arrière-plans complexes, là où d'autres systèmes produisaient souvent des contours incomplets ou manquaient des objets. Les chercheurs ont constaté qu'en modélisant explicitement la structure des données de profondeur et en filtrant leur fiabilité, le système pouvait récupérer des contours nets même dans les conditions les plus difficiles.

Les résultats suggèrent que la clé d'une meilleure vision sous-marine n'est pas seulement d'avoir plus de données, mais d'avoir des moyens plus intelligents d'interpréter les données disponibles. En transformant les cartes de profondeur brutes en indices structurés et en les filtrant soigneusement par un contrôle de fiabilité, le système surmonte les limitations inhérentes des capteurs sous-marins. Ce travail offre une voie pratique pour le développement de systèmes de vision robotique plus robustes capables de fonctionner efficacement dans les environnements difficiles et pauvres en lumière de l'océan, améliorant potentiellement tout, de la surveillance environnementale à l'exploration sous-marine. Les chercheurs notent que bien que leur système actuel soit très efficace, les travaux futurs se concentreront sur le fait de le rendre encore plus léger et plus robuste, afin de garantir qu'il puisse fonctionner sur le matériel limité des robots sous-marins réels.

Résumé Technique : UDR-Mamba

Énoncé du Problème
La détection d'objets saillants sous-marins (USOD) est cruciale pour la navigation robotique, la perception marine et la surveillance écologique. Cependant, une segmentation précise est sévèrement entravée par la dégradation unique de l'imagerie sous-marine, notamment les dérives chromatiques, l'atténuation de l'illumination, la diffusion, le faible contraste et les contours flous. Ces facteurs diminuent le pouvoir discriminatif des caractéristiques d'apparence RGB standard. De plus, bien que les cartes de profondeur offrent des indices géométriques complémentaires, les données de profondeur sous-marines brutes sont souvent peu fiables, contenant du bruit, des régions manquantes et des contours imprécis. Les méthodes RGB-D existantes fusionnent souvent la profondeur de manière indiscriminée ou la traitent comme une simple entrée auxiliaire à canal unique, échouant à modéliser explicitement les indices structurels de la profondeur (tels que les bords et le contraste local) ou à évaluer de manière adaptative la fiabilité des informations de profondeur lors de la fusion cross-modale. En outre, bien que les Vision Transformers et les modèles Mamba offrent une forte modélisation du contexte global, le simple remplacement des backbones ne résout pas les défis spécifiques de l'incertitude de la qualité de la profondeur dans les scènes sous-marines.

Méthodologie : UDR-Mamba
Les auteurs proposent UDR-Mamba, un cadre structuré par la profondeur et guidé par la fiabilité, construit sur un backbone VMamba à poids partagés. L'architecture se compose de quatre composants principaux :

Module d'Entrée de Structuration de la Profondeur (DSI) : Au lieu de nourrir directement le réseau avec des cartes de profondeur brutes, le DSI transforme une carte de profondeur à canal unique en une représentation structurelle à trois canaux :
- Profondeur Normalisée ( $D_n$ ) : Capture la disposition spatiale globale.
- Bords de Profondeur ( $E$ ) : Extraits via des opérateurs Sobel pour mettre en évidence les discontinuités structurelles et les contours d'objets.
- Contraste de Profondeur Local ( $C$ ) : Calculé comme la différence absolue entre la profondeur locale et la moyenne locale (via un pooling 7×7) pour renforcer les variations géométriques locales.
  Cette entrée structurée fournit explicitement au réseau des indices de bordure et de géométrie locale.
Encodeur VMamba à Poids Partagés : Le cadre emploie une stratégie d'encodage à deux flux où les images RGB et les cartes de profondeur structurées passent par des passages avant séparés mais partagent les mêmes paramètres de backbone VMamba. Cette conception réduit la redondance des paramètres tout en maintenant la capacité de représentation d'une architecture à double flux. L'encodeur produit quatre niveaux de caractéristiques multi-échelles.
Module de Fusion de Mamba Fiable à la Profondeur (DRMF) : Pour traiter le problème des données de profondeur bruitées, le DRMF effectue une fusion adaptative par couche. Il estime une porte de fiabilité ( $G_i$ ) basée sur les caractéristiques RGB actuelles, les caractéristiques de profondeur alignées, les écarts cross-modaux et les indices de bords de profondeur redimensionnés. Cette porte injecte sélectivement les informations de profondeur dignes de confiance dans la représentation RGB via une multiplication élément par élément, empêchant le bruit de profondeur non fiable de dégrader la prédiction. Le module incorpore également un Contexte Mamba Compact pour améliorer la modélisation des dépendances à longue portée au sein des caractéristiques fusionnées.
Décodeur Pyramidal Mamba : Un décodeur à tête unique agrège les caractéristiques fusionnées multi-échelles de manière descendante (top-down). Il utilise un Contexte Mamba Compact pour l'amélioration du contexte global et introduit l'information de bord de profondeur à l'étape finale pour l'affinement des détails. Le modèle est entraîné uniquement avec la prédiction de saillance finale supervisée par des pertes de type Entropie Croisée Binaire (BCE) et d'Intersection-sur-Union (IoU) douce, évitant ainsi les fonctions de perte auxiliaires complexes.

Contributions Clés

Cadre VMamba à Deux Flux : Les auteurs introduisent un backbone VMamba à poids partagés pour l'USOD RGB-D, exploitant la modélisation d'espace d'état visuel pour améliorer le raisonnement contextuel à longue portée dans des environnements sous-marins complexes.
Structuration de la Profondeur : Le module DSI transforme explicitement la profondeur brute en profondeur normalisée, bords et contraste local, exploitant pleinement les indices géométriques et de bordure plutôt que de traiter la profondeur comme un simple canal auxiliaire brut.
Fusion Guidée par la Fiabilité : Le module DRMF estime de manière adaptative la fiabilité de la profondeur à partir des écarts cross-modaux et des informations de bord, permettant l'injection sélective de données de profondeur dignes de confiance tout en supprimant le bruit.
Efficacité et Simplicité : En partageant les poids de l'encodeur et en utilisant un décodeur à tête unique avec un objectif de perte simple, le cadre atteint un compromis favorable entre précision et efficacité computationnelle.

Résultats Expérimentaux
La méthode a été évaluée sur les jeux de données USOD10K et USOD contre des méthodes de pointe (ex: HDANet, Dual-SAM, SPDE).

USOD10K : UDR-Mamba a obtenu les scores les plus élevés en $S_m$ (0,9332), $E_{max}$ (0,9713) et $F_{max}$ (0,9365), avec une MAE de 0,0192. Il a surpassé le concurrent le plus proche (HDANet) en $S_m$ et $F_{max}$ .
USOD : La méthode a obtenu le $E_{max}$ le plus élevé (0,9573) et la MAE la plus basse (0,0359), avec le deuxième $F_{max}$ le plus élevé (0,9314).
Études d'Ablation :
- DSI : Remplacer l'entrée structurée par la profondeur brute a réduit les performances sur toutes les métriques (ex: $S_m$ est passé de 0,9332 à 0,9236), confirmant la valeur de la modélisation explicite des bords et du contraste.
- DRMF : Supprimer la porte de fiabilité a entraîné une baisse de performance, démontrant qu'une fusion indiscriminée dégrade la précision.
- Partage de Poids : La configuration à poids partagés a réduit les paramètres d'environ 49,91M par rapport aux doubles backbones indépendants tout en maintenant une précision quasi identique, validant l'efficacité de la conception.

Signification et Revendications
L'article affirme que l'UDR-Mamba démontre que la modélisation explicite de la structure de la profondeur et la fusion guidée par la fiabilité améliorent considérablement les représentations multimodales sensibles aux bords dans les scènes sous-marines. Les auteurs soutiennent que leur approche traite efficacement le double défi de la dégradation de l'apparence RGB et des mesures de profondeur peu fiables sans dépendre de pertes auxiliaires complexes ou d'une surcharge computationnelle lourde. Les résultats suggèrent que le cadre proposé offre une solution robuste et efficace pour la détection d'objets saillants sous-marins RGB-D, offrant une cohérence structurelle et une localisation de bordure supérieures par rapport aux méthodes existantes. Les travaux futurs porteront sur des architectures Mamba légères pour le déploiement en temps réel et l'amélioration des mécanismes d'évaluation de la qualité de la profondeur.

Articles similaires