💻 computer science

UDR-Mamba: A Depth-Structured Reliability-Guided Mamba Framework for RGB-D Underwater Salient Object Detection

Il documento propone UDR-Mamba, un framework Mamba strutturato sulla profondità e guidato dall'affidabilità che trasforma le mappe di profondità grezze in indizi strutturali e li fonde selettivamente con le caratteristiche RGB tramite un encoder condiviso per raggiungere prestazioni allo stato dell'arte nel rilevamento di oggetti salienti subacquei, nonostante le misurazioni di profondità rumorose.

Autori originali: Ning Li, Jiaxin Li, Xiwen Yang, Jianhang Shi, Haojie Wu, Gaochao Yang

Pubblicato 2026-09-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ning Li, Jiaxin Li, Xiwen Yang, Jianhang Shi, Haojie Wu, Gaochao Yang

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Profondamente sotto la superficie dell'oceano, dove la luce solare svanisce in un blu sfumato e i colori si esauriscono, robot e telecamere faticano a vedere ciò che hanno di fronte. Questo è il mondo della visione subacqueica, un campo fondamentale per guidare i veicoli autonomi, monitorare la vita marina e aiutare gli esseri umani a esplorare le profondità. In questi ambienti torbidi, le telecamere standard spesso falliscono perché l'acqua disperde la luce, sfoca i bordi e distorce i colori, rendendo difficile distinguere un pesce da una roccia o una nave dal fondale marino. Per risolvere questo problema, gli scienziati hanno cercato a lungo di combinare le immagini a colori familiari delle telecamere standard con le mappe di profondità, che fungono da schizzi 3D mostrando quanto siano lontani gli oggetti. Tuttavia, le mappe di profondità subacquee sono spesso rumorose e inaffidabili, piene di lacune ed errori che possono confondere un computer tanto quanto l'acqua torbida confonde l'occhio umano. La sfida è stata quella di insegnare a una macchina come utilizzare le parti utili di questi schizzi 3D ignorando al contempo le parti rotte o fuorvianti.

Un team di ricercatori della Changzhou University ha sviluppato un nuovo approccio a questo problema, creando un sistema che chiamano UDR-Mamba. Invece di alimentare semplicemente un computer con dati di colore grezzi e dati di profondità grezzi, il loro metodo prende prima le informazioni di profondità disordinate e le riorganizza in un formato più chiaro e utile. Immaginate di prendere una fotografia sfocata e granulosa e poi di tracciare i contorni degli oggetti al suo interno evidenziando anche le aree in cui la trama cambia bruscamente; questo è essenzialmente ciò che il loro sistema fa con i dati di profondità. Essi scompongono la mappa di profondità in tre componenti distinte: una versione normalizzata che mostra la disposizione generale, una mappa dei bordi dove la profondità cambia improvvisamente e una misura del contrasto locale che evidenzia le piccole differenze geometriche. Presentando al computer queste tre viste strutturate della profondità, il sistema può comprendere meglio la forma e i confini degli oggetti, anche quando i dati di profondità originali sono imperfetti.

Il cuore della loro innovazione risiede nel modo in cui il sistema decide quali parti delle informazioni di profondità fidarsi. In molte scene subacquee, i sensori di profondità producono dati che sono semplicemente errati in certi punti, forse a causa di bolle o particelle nell'acqua. I ricercatori hanno progettato un meccanismo che agisce come un guardiano, valutando costantemente l'affidabilità delle informazioni di profondità in ogni fase dell'elaborazione. Esso osserva l'immagine a colori, i dati di profondità strutturati e le differenze tra di essi per decidere quanto peso dare agli indizi di profondità. Se l'informazione di profondità sembra affidabile, il sistema la fonde per rendere l'immagine più nitida; se sembra rumorosa o inaffidabile, il sistema la ignora per evitare errori. Questo processo selettivo assicura che il computer utilizzi i dati di profondità solo quando sono utili, filtrando efficacemente il rumore che solitamente affligge la visione subacquea.

Per legare insieme questi componenti, i ricercatori hanno impiegato un tipo moderno di architettura di intelligenza artificiale noto come modello a spazio di stato, specificamente una variante chiamata Mamba. A differenza dei sistemi più vecchi che elaborano le immagini in piccoli segmenti isolati, questa architettura è progettata per comprendere le connessioni a lungo raggio attraverso l'intera immagine, permettendole di vedere il quadro generale di una scena pur notando comunque i dettagli fini. Il team ha utilizzato un unico set condiviso di parametri simili a quelli cerebrali per elaborare sia i dati di colore che quelli di profondità, il che rende il sistema più efficiente e meno ridondante rispetto ai metodi precedenti che utilizzavano processori separati e pesanti per ogni tipo di informazione. Questo approccio condiviso permette al sistema di apprendere la relazione tra colore e profondità senza richiedere una quantità massiccia di potenza di calcolo, trovando un equilibrio tra velocità e precisione.

Quando testato su grandi collezioni di immagini subacquee, il nuovo sistema ha dimostrato una chiara capacità di trovare e delineare oggetti importanti in modo più accurato rispetto ai metodi esistenti. Su un benchmark standard contenente oltre diecimila immagini subacquee, il sistema ha raggiunto un alto livello di precisione nell'identificare la forma e la posizione di oggetti salienti, superando le tecniche precedenti all'avanguardia in diversi parametri chiave di accuratezza. È stato particolarmente efficace nel gestire scene con basso contrasto e sfondi complessi, dove altri sistemi spesso producevano contorni incompleti o perdevano oggetti interamente. I ricercatori hanno scoperto che, modellando esplicitamente la struttura dei dati di profondità e filtrando la loro affidabilità tramite un gate, il sistema poteva recuperare confini nitidi anche nelle condizioni più difficili.

I risultati suggeriscono che la chiave per una migliore visione subacquea non sia solo avere più dati, ma avere modi più intelligenti per interpretare i dati disponibili. Trasformando le mappe di profondità grezze in indizi strutturati e filtrandoli attentamente attraverso un controllo di affidabilità, il sistema supera i limiti intrinseci dei sensori subacquei. Questo lavoro fornisce una via pratica per lo sviluppo di sistemi di visione robotica più robusti che possano operare efficacemente negli ambienti difficili e poveri di luce dell'oceano, migliorando potenzialmente tutto, dal monitoraggio ambientale all'esplorazione subacquea. I ricercatori osservano che, sebbene il loro attuale sistema sia altamente efficace, il lavoro futuro si concentrerà nel renderlo ancora più leggero e robusto, garantendo che possa funzionare sull'hardware limitato dei robot subacquei reali.

Sintesi Tecnica: UDR-Mamba

Problematica
La rilevazione di oggetti salienti subacquei (USOD) è fondamentale per la navigazione robotica, la percezione marina e il monitoraggio ecologico. Tuttavia, una segmentazione accurata è gravemente ostacolata dalla degradazione peculiare delle immagini subacquee, che include spostamenti di colore, attenuazione dell'illuminazione, diffusione, basso contrasto e bordi sfocati. Questi fattori riducono il potere discriminativo delle standard caratteristiche di aspetto RGB. Inoltre, sebbene le mappe di profondità offrano indizi geometrici complementari, i dati di profondità subacquei grezzi sono spesso inaffidabili, contenendo rumore, regioni mancanti e confini imprecisi. I metodi RGB-D esistenti spesso fondono la profondità in modo indiscriminato o la trattano come un semplice input ausiliario a singolo canale, fallendo nell'esplicitare i modelli strutturali della profondità (come i bordi e il contrasto locale) o nell'assestare l'affidabilità dell'informazione di profondità durante la fusione cross-modale. Inoltre, sebbene i Vision Transformer e i modelli Mamba offrano una forte modellazione del contesto globale, la semplice sostituzione dei backbone non risolve le sfide specifiche della qualità incerta della profondità nelle scene subacquee.

Metodologia: UDR-Mamba
Gli autori propongono UDR-Mamba, un framework basato su un backbone VMamba a pesi condivisi, strutturato per la profondità e guidato dalla affidabilità. L'architettura è composta da quattro componenti primari:

Modulo di Input di Strutturazione della Profondità (DSI): Invece di alimentare direttamente le mappe di profondità grezze, il DSI trasforma una mappa di profondità a singolo canale in una rappresentazione strutturale a tre canali:
- Profondità Normalizzata ( $D_n$ ): Cattura la disposizione spaziale complessiva.
- Bordi di Profondità ( $E$ ): Estratti tramite operatori Sobel per evidenziare le discontinuità strutturali e i contorni degli oggetti.
- Contrasto di Profondità Locale ( $C$ ): Calcolato come la differenza assoluta tra la profondità locale e la media locale (tramite pooling 7×7) per enfatizzare le variazioni geometriche locali.
  Questo input strutturato fornisce esplicitamente alla rete indizi sui bordi e sulla geometria locale.
Encoder VMamba a Pesi Condivisi: Il framework impiega una strategia di codifica a due stream in cui le immagini RGB e le mappe di profondità strutturate passano attraverso passaggi forward separati ma condividono gli stessi parametri del backbone VMamba. Questo design riduce la ridondanza dei parametri pur mantenendo la capacità rappresentativa di un'architettura dual-stream. L'encoder produce quattro livelli di caratteristiche multiscala.
Modulo di Fusione Mamba Affidabile per la Profondità (DRMF): Per affrontare il problema dei dati di profondità rumorosi, il DRMF esegue una fusione adattiva per livello. Esso stima un gate di affidabilità ( $G_i$ ) basato sulle attuali caratteristiche RGB, sulle caratteristiche di profondità allineate, sulle discrepanze cross-modali e sugli indizi dei bordi di profondità ridimensionati. Questo gate inietta selettivamente l'informazione di profondità affidabile nella rappresentazione RGB tramite moltiplicazione elemento per elemento, impedendo al rumore della profondità inaffidabile di degradare la predizione. Il modulo incorpora anche un Contesto Mamba Compatto per migliorare la modellazione delle dipendenze a lungo raggio all'interno delle caratteristiche fuse.
Decoder Piramidale Mamba: Un decoder a singola testa aggrega le caratteristiche fuse multiscala in modo top-down. Utilizza il Contesto Mamba Compatto per l'esaltazione del contesto globale e introduce l'informazione del bordo di profondità nella fase finale per il raffinamento dei dettagli. Il modello è addestrato utilizzando solo la predizione di salienza finale supervisionata da perdite di Binary Cross-Entropy (BCE) e soft Intersection-over-Union (IoU), evitando funzioni di perdita ausiliarie complesse.

Contributi Chiave

Framework VMamba a Due Stream: Gli autori introducono un backbone VMamba a pesi condivisi per l'USOD RGB-D, sfruttando la modellazione dello spazio di stato visivo per migliorare il ragionamento contestuale a lungo raggio in ambienti subacquei complessi.
Strutturazione della Profondità: Il modulo DSI trasforma esplicitamente la profondità grezza in profondità normalizzata, bordi e contrasto locale, sfruttando appieno gli indizi geometrici e di contorno piuttosto che trattare la profondità come un canale ausiliario grezzo.
Fusione Guidata dalla Affidabilità: Il modulo DRMF stima adattivamente l'affidabilità della profondità dalle discrepanze cross-modali e dalle informazioni sui bordi, consentendo l'iniezione selettiva di dati di profondità affidabili e sopprimendo il rumore.
Efficienza e Semplicità: Condividendo i pesi dell'encoder e utilizzando un decoder a singola testa con un obiettivo di perdita semplice, il framework raggiunge un favorevole compromesso tra accuratezza ed efficienza computazionale.

Risultati Sperimentali
Il metodo è stato valutato sui dataset USOD10K e USOD contro metodi allo stato dell'arte (ad es., HDANet, Dual-SAM, SPDE).

USOD10K: UDR-Mamba ha raggiunto i punteggi più alti in $S_m$ (0.9332), $E_{max}$ (0.9713) e $F_{max}$ (0.9365), con un MAE di 0.0192. Ha superato il concorrente più vicino (HDANet) in $S_m$ e $F_{max}$ .
USOD: Il metodo ha ottenuto il valore più alto di $E_{max}$ (0.9573) e il più basso MAE (0.0359), con il secondo valore più alto di $F_{max}$ (0.9314).
Studi di Ablazione:
- DSI: Sostituire l'input strutturato con la profondità grezza ha ridotto le prestazioni in tutte le metriche (ad es., $S_m$ è sceso da 0.9332 a 0.9236), confermando il valore della modellazione esplicita di bordi e contrasto.
- DRMF: Rimuovere il gate di affidabilità ha portato a prestazioni inferiori, dimostrando che una fusione indiscriminata degrada l'accuratezza.
- Condivisione dei Pesi: La configurazione a pesi condivisi ha ridotto i parametri di circa 49.91M rispetto ai backbone duali indipendenti, mantenendo un'accuratezza quasi identica, validando l'efficienza del design.

Significatività e Rivendicazioni
L'articolo afferma che UDR-Mamba dimostra che la modellazione esplicita della struttura della profondità e la fusione guidata dall'affidabilità migliorano significativamente le rappresentazioni multimodali sensibili ai bordi nelle scene subacquee. Gli autori sostengono che il loro approccio affronta efficacemente le doppie sfide della degradazione dell'aspetto RGB e delle misurazioni di profondità inaffidabili senza fare affidamento su perdite ausiliarie complesse o carichi computazionali elevati. I risultati suggeriscono che il framework proposto fornisce una soluzione robusta ed efficiente per la rilevazione di oggetti salienti subacquei RGB-D, offrendo una coerenza strutturale e una localizzazione dei bordi superiori rispetto ai metodi esistenti. Il lavoro futuro si concentrerà su architetture Mamba leggere per l'implementazione in tempo reale e su meccanismi migliorati di valutazione della qualità della profondità.

Articoli simili