💻 computer science

UDR-Mamba: A Depth-Structured Reliability-Guided Mamba Framework for RGB-D Underwater Salient Object Detection

El artículo propone UDR-Mamba, un marco de trabajo Mamba con estructura de profundidad y guiado por fiabilidad que transforma mapas de profundidad crudos en pistas estructurales y los fusiona selectivamente con características RGB a través de un codificador compartido para lograr un rendimiento de vanguardia en la detección de objetos salientes submarinos a pesar de las mediciones de profundidad ruidosas.

Autores originales: Ning Li, Jiaxin Li, Xiwen Yang, Jianhang Shi, Haojie Wu, Gaochao Yang

Publicado 2026-09-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ning Li, Jiaxin Li, Xiwen Yang, Jianhang Shi, Haojie Wu, Gaochao Yang

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En las profundidades del océano, donde la luz solar se desvanece en un azul brumoso y los colores se pierden, los robots y las cámaras luchan por ver qué hay frente a ellos. Este es el mundo de la visión submarina, un campo crítico para guiar vehículos autónomos, monitorear la vida marina y ayudar a los humanos a explorar las profundidades. En estos entornos turbios, las cámaras estándar suelen fallar porque el agua dispersa la luz, desenfoca los bordes y distorsiona los colores, lo que dificulta distinguir un pez de una roca o un barco del fondo marino. Para resolver esto, los científicos han intentado durante mucho tiempo combinar las imágenes de color familiares de las cámaras estándar con mapas de profundidad, que actúan como un boceto en 3D que muestra qué tan lejos están los objetos. Sin embargo, los mapas de profundidad submarinos suelen ser ruidosos y poco fiables, llenos de huecos y errores que pueden confundir a una computadora tanto como el agua turbia confunde al ojo humano. El desafío ha sido enseñar a una máquina a utilizar las partes útiles de estos bocetos 3D mientras ignora las partes que están rotas o son engañosas.

Un equipo de investigadores de la Universidad de Changzhou ha desarrollado un nuevo enfoque para este problema, creando un sistema que llaman UDR-Mamba. En lugar de simplemente introducir datos de color bruto y datos de profundidad brutos en una computadora, su método primero toma la información de profundidad desordenada y la reorganiza en un formato más claro y útil. Imagine tomar una fotografía borrosa y granulada y luego trazar los contornos de los objetos dentro de ella, resaltando al mismo tiempo las áreas donde la textura cambia drásticamente; esto es esencialmente lo que su sistema hace con los datos de profundidad. Ellos descomponen el mapa de profundidad en tres componentes distintos: una versión normalizada que muestra la disposición general, un mapa de los bordes donde la profundidad cambia repentinamente y una medida de contraste local que resalta pequeñas diferencias geométricas. Al presentar a la computadora estas tres vistas estructuradas de la profundidad, el sistema puede comprender mejor la forma y los límites de los objetos, incluso cuando los datos de profundidad originales son imperfectos.

El núcleo de su innovación reside en cómo el sistema decide en qué partes de la información de profundidad confiar. En muchas escenas submarinas, los sensores de profundidad producen datos que son simplemente erróneos en ciertos puntos, quizás debido a burbujas o partículas en el agua. Los investigadores diseñaron un mecanismo que actúa como un portero, evaluando constantemente la fiabilidad de la información de profundidad en cada etapa del procesamiento. Este observa la imagen en color, los datos de profundidad estructurados y las diferencias entre ellos para decidir cuánto peso darle a las pistas de profundidad. Si la información de profundidad parece confiable, el sistema la integra para dar nitidez a la imagen; si parece ruidosa o poco fiable, el sistema la ignora para evitar errores. Este proceso selectivo asegura que la computadora solo utilice los datos de profundidad cuando son útiles, filtrando eficazmente el ruido que suele afectar a la visión submarina.

Para vincular estos componentes, los investigadores emplearon un tipo moderno de arquitectura de inteligencia artificial conocida como modelo de espacio de estados, específicamente una variante llamada Mamba. A diferencia de los sistemas más antiguos que procesan las imágenes en fragmentos pequeños y aislados, esta arquitectura está diseñada para comprender las conexiones de largo alcance a través de toda la imagen, lo que le permite ver el panorama general de una escena mientras sigue notando los detalles finos. El equipo utilizó un conjunto único y compartido de parámetros similares a un cerebro para procesar tanto los datos de color como los de profundidad, lo que hace que el sistema sea más eficiente y menos redundante que los métodos anteriores que utilizaban procesadores pesados y separados para cada tipo de información. Este enfoque compartido permite al sistema aprender la relación entre el color y la profundidad sin necesidad de una enorme potencia de cálculo, logrando un equilibrio entre velocidad y precisión.

Al ser probado en grandes colecciones de imágenes submarinas, el nuevo sistema demostró una capacidad clara para encontrar y delinear objetos importantes con mayor precisión que los métodos existentes. En un banco de pruebas estándar que contiene más de diez mil imágenes submarinas, el sistema alcanzó un alto nivel de precisión en la identificación de la forma y la ubicación de objetos salientes, superando a las técnicas de vanguardia anteriores en varias medidas clave de exactitud. Fue particularmente efectivo al manejar escenas con bajo contraste y fondos complejos, donde otros sistemas a menudo producían contornos incompletos o perdían objetos por completo. Los investigadores descubrieron que, al modelar explícitamente la estructura de los datos de profundidad y filtrar su fiabilidad, el sistema podía recuperar bordes nítidos incluso en las condiciones más desafiantes.

Los resultados sugieren que la clave para una mejor visión submarina no es solo tener más datos, sino tener formas más inteligentes de interpretar los datos disponibles. Al transformar los mapas de profundidad brutos en pistas estructuradas y filtrarlos cuidadosamente mediante una verificación de fiabilidad, el sistema supera las limitaciones inherentes de los sensores submarinos. Este trabajo proporciona un camino práctico para desarrollar sistemas de visión robótica más robustos que puedan operar eficazmente en los entornos difíciles y con poca luz del océano, mejorando potencialmente desde el monitoreo ambiental hasta la exploración submarina. Los investigadores señalan que, si bien su sistema actual es altamente efectivo, el trabajo futuro se centrará en hacerlo aún más ligero y robusto, asegurando que pueda ejecutarse en el hardware limitado de los robots submarinos del mundo real.

Resumen Técnico: UDR-Mamba

Planteamiento del Problema
La detección de objetos salientes submarinos (USOD, por sus siglas en inglés) es crítica para la navegación robótica, la percepción marina y el monitoreo ecológico. Sin embargo, la segmentación precisa se ve severamente obstaculada por la degradación única de las imágenes submarinas, que incluye cambios de color, atenuación de la iluminación, dispersión, bajo contraste y bordes difusos. Estos factores disminuyen el poder discriminativo de las características de apariencia RGB estándar. Además, aunque los mapas de profundidad ofrecen pistas geométricas complementarias, los datos de profundidad submarina crudos suelen ser poco fiables, conteniendo ruido, regiones faltantes y bordes inexactos. Los métodos RGB-D existentes a menudo fusionan la profundidad de forma indiscriminada o la tratan como una simple entrada auxiliar de un solo canal, fallando al no modelar explícitamente las pistas estructurales de profundidad (como bordes y contraste local) o al no evaluar adaptativamente la fiabilidad de la información de profundidad durante la fusión cross-modal. Adicionalmente, aunque los Vision Transformers y los modelos Mamba ofrecen un fuerte modelado de contexto global, el simple hecho de reemplazar los backbones no resuelve los desafíos específicos de la calidad incierta de la profundidad en escenas submarinas.

Metodología: UDR-Mamba
Los autores proponen UDR-Mamba, un marco de trabajo basado en la estructura de profundidad y guiado por la fiabilidad, construido sobre un backbone VMamba de pesos compartidos. La arquitectura consta de cuatro componentes primarios:

Módulo de Entrada de Estructuración de Profundidad (DSI): En lugar de alimentar directamente los mapas de profundidad crudos, el DSI transforma un mapa de profundidad de un solo canal en una representación estructural de tres canales:
- Profundidad Normalizada ( $D_n$ ): Captura la disposición espacial general.
- Bordes de Profundidad ( $E$ ): Extraídos mediante operadores Sobel para resaltar las discontinuidades estructurales y los contornos de los objetos.
- Contraste de Profundidad Local ( $C$ ): Computado como la diferencia absoluta entre la profundidad local y la media local (vía pooling de 7×7) para mejorar las variaciones geométricas locales.
  Esta entrada estructurada proporciona explícitamente a la red pistas de contorno y de geometría local.
Encoder VMamba de Pesos Compartidos: El marco emplea una estrategia de codificación de dos vías donde las imágenes RGB y los mapas de profundidad estructurados pasan por pasadas hacia adelante separadas, pero comparten los mismos parámetros del backbone VMamba. Este diseño reduce la redundancia de parámetros mientras mantiene la capacidad de representación de una arquitectura de doble vía. El encoder genera cuatro niveles de características multiescala.
Módulo de Fusión de Mamba de Profundidad Fiable (DRMF): Para abordar el problema de los datos de profundidad con ruido, el DRMF realiza una fusión adaptativa por capa. Este estima una compuerta de fiabilidad ( $G_i$ ) basada en las características RGB actuales, las características de profundidad alineadas, las discrepancias cross-modales y las pistas de bordes de profundidad redimensionadas. Esta compuerta inyecta selectivamente la información de profundidad confiable en la representación RGB mediante multiplicación elemento a elemento, evitando que el ruido de la profundidad no fiable degrade la predicción. El módulo también incorpora un Contexto Mamba Compacto para mejorar el modelado de dependencias de largo alcance dentro de las características fusionadas.
Decoder de Pirámide Mamba: Un decoder de una sola cabeza agrega características fusionadas multiescala de manera descendente (top-down). Utiliza un Contexto Mamba Compacto para la mejora del contexto global e introduce la información de los bordes de profundidad en la etapa final para el refinamiento de detalles. El modelo se entrena utilizando únicamente la predicción de saliencia final supervisada por pérdidas de Entropía Cruzada Binaria (BCE) y de Intersección sobre Unión (IoU) suave, evitando funciones de pérdida auxiliares complejas.

Contribuciones Clave

Marco VMamba de Dos Vías: Los autores introducen un backbone VMamba de pesos compartidos para USOD RGB-D, aprovechando el modelado de espacio de estados visual para mejorar el razonamiento contextual de largo alcance en entornos submarinos complejos.
Estructuración de Profundidad: El módulo DSI transforma explícitamente la profundidad cruda en profundidad normalizada, bordes y contraste local, explotando plenamente las pistas geométricas y de contorno en lugar de tratar la profundidad como un canal auxiliar crudo.
Fusión Guiada por Fiabilidad: El módulo DRMF estima adaptativamente la fiabilidad de la profundidad a partir de las discrepancias cross-modales y la información de bordes, permitiendo la inyección selectiva de datos de profundidad confiables mientras se suprime el ruido.
Eficiencia y Simplicidad: Al compartir los pesos del encoder y utilizar un decoder de una sola cabeza con un objetivo de pérdida simple, el marco logra un equilibrio favorable entre precisión y eficiencia computacional.

Resultados Experimentales
El método fue evaluado en los conjuntos de datos USOD10K y USOD contra métodos de vanguardia (por ejemplo, HDANet, Dual-SAM, SPDE).

USOD10K: UDR-Mamba alcanzó las puntuaciones más altas en $S_m$ (0.9332), $E_{max}$ (0.9713) y $F_{max}$ (0.9365), con un MAE de 0.0192. Superó al competidor más cercano (HDANet) en $S_m$ y $F_{max}$ .
USOD: El método logró el $E_{max}$ más alto (0.9573) y el MAE más bajo (0.0359), con el segundo $F_{max}$ más alto (0.9314).
Estudios de Ablación:
- DSI: Reemplazar la entrada estructurada con profundidad cruda redujo el rendimiento en todas las métricas (por ejemplo, $S_m$ cayó de 0.9332 a 0.9236), confirmando el valor del modelado explícito de bordes y contraste.
- DRMF: Eliminar la compuerta de fiabilidad resultó en un menor rendimiento, demostrando que la fusión indiscriminada degrada la precisión.
- Compartición de Pesos: La configuración de pesos compartidos redujo los parámetros en aproximadamente 49.91M en comparación con backbones duales independientes, manteniendo una precisión casi idéntica, lo que valida la eficiencia del diseño.

Significancia y Reivindicaciones
El artículo afirma que UDR-Mamba demuestra que el modelado de la estructura de profundidad explícita y la fusión guiada por la fiabilidad mejoran significativamente las representaciones multimodales conscientes de los bordes en escenas submarinas. Los autores sostienen que su enfoque aborda eficazmente el doble desafío de la apariencia RGB degradada y las mediciones de profundidad poco fiables sin depender de pérdidas auxiliares complejas o una carga computacional pesada. Los resultados sugieren que el marco propuesto proporciona una solución robusta y eficiente para la detección de objetos salientes de RGB-D, ofreciendo una consistencia estructural y una localización de bordes superiores en comparación con los métodos existentes. Se señala que el trabajo futuro se centrará en arquitecturas Mamba ligeras para el despliegue en tiempo real y en mecanismos mejorados de evaluación de la calidad de la profundidad.

Más como este