💻 computer science

UDR-Mamba: A Depth-Structured Reliability-Guided Mamba Framework for RGB-D Underwater Salient Object Detection

O artigo propõe o UDR-Mamba, uma estrutura Mamba estruturada em profundidade e guiada por confiabilidade que transforma mapas de profundidade brutos em pistas estruturais e os funde seletivamente com características RGB por meio de um codificador compartilhado para alcançar o estado da arte em detecção de objetos salientes subaquáticos, apesar das medições de profundidade ruidosas.

Autores originais: Ning Li, Jiaxin Li, Xiwen Yang, Jianhang Shi, Haojie Wu, Gaochao Yang

Publicado 2026-09-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ning Li, Jiaxin Li, Xiwen Yang, Jianhang Shi, Haojie Wu, Gaochao Yang

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Profundamente sob a superfície do oceano, onde a luz solar desaparece em um azul nebuloso e as cores se desvanecem, robôs e câmeras lutam para enxergar o que está à frente deles. Este é o mundo da visão subaquática, um campo crítico para guiar veículos autônomos, monitorar a vida marinha e ajudar os seres humanos a explorar as profundezas. Nesses ambientes turvos, as câmeras padrão frequentemente falham porque a água dispersa a luz, desfoca as bordas e distorce as cores, tornando difícil distinguir um peixe de uma rocha ou um navio do fundo do mar. Para resolver isso, cientistas há muito tentam combinar as imagens coloridas familiares de câmeras padrão com mapas de profundidade, que atuam como um esboço 3D mostrando quão longe estão os objetos. No entanto, os mapas de profundidade subaquáticos são frequentemente ruidosos e não confiáveis, repletos de lacunas e erros que podem confundir um computador tanto quanto a água turva confunde o olho humano. O desafio tem sido ensinar uma máquina a usar as partes úteis desses esboços 3D enquanto ignora as partes que estão quebradas ou enganosas.

Uma equipe de pesquisadores da Universidade de Changzhou desenvolveu uma nova abordagem para este problema, criando um sistema que chamam de UDR-Mamba. Em vez de simplesmente alimentar um computador com dados de cor brutos e dados de profundidade brutos, o método deles primeiro pega a informação de profundidade desordenada e a reorganiza em um formato mais claro e útil. Imagine pegar uma fotografia granulada e borrada e, em seguida, traçar os contornos dos objetos dentro dela, enquanto também destaca as áreas onde a textura muda bruscamente; é essencialmente o que o sistema deles faz com os dados de profundidade. Eles decompõem o mapa de profundidade em três componentes distintos: uma versão normalizada que mostra o layout geral, um mapa das bordas onde a profundidade muda repentinamente e uma medida de contraste local que destaca pequenas diferenças geométricas. Ao apresentar ao computador essas três visões estruturadas da profundidade, o sistema consegue entender melhor a forma e os limites dos objetos, mesmo quando os dados de profundidade originais são imperfeitos.

O cerne de sua inovação reside em como o sistema decide em quais partes da informação de profundidade confiar. Em muitas cenas subaquáticas, os sensores de profundidade produzem dados que são simplesmente errados em certos pontos, talvez devido a bolhas ou partículas na água. Os pesquisadores projetaram um mecanismo que atua como um porteiro, avaliando constantemente a confiabilidade da informação de profundidade em cada estágio do processamento. Ele observa a imagem colorida, os dados estruturados de profundidade e as diferenças entre eles para decidir quanto peso dar às pistas de profundidade. Se a informação de profundidade parecer confiável, o sistema a combina para nitidizar a imagem; se parecer ruidosa ou não confiável, o sistema a ignora para evitar erros. Esse processo seletivo garante que o computador use os dados de profundidade apenas quando forem úteis, filtrando efetivamente o ruído que costuma assolar a visão subaquática.

Para unir esses componentes, os pesquisadores empregaram um tipo moderno de arquitetura de inteligência artificial conhecido como modelo de espaço de estados, especificamente uma variante chamada Mamba. Diferente de sistemas mais antigos que processam imagens em pequenos blocos isolados, esta arquitetura é projetada para compreender conexões de longo alcance por toda a imagem, permitindo que ela veja o panorama geral de uma cena enquanto ainda nota detalhes finos. A equipe utilizou um conjunto único e compartilhado de parâmetros semelhantes ao cérebro para processar tanto os dados de cor quanto os de profundidade, o que torna o sistema mais eficiente e menos redundante do que métodos anteriores que utilizavam processadores pesados e separados para cada tipo de informação. Essa abordagem compartilhada permite que o sistema aprenda a relação entre cor e profundidade sem a necessidade de uma quantidade massiva de poder computacional, estabelecendo um equilíbrio entre velocidade e precisão.

Quando testado em grandes coleções de imagens subaquáticas, o novo sistema demonstrou uma habilidade clara de encontrar e delinear objetos importantes com maior precisidade do que os métodos existentes. Em um benchmark padrão contendo mais de dez mil imagens subaquáticas, o sistema alcançou um alto nível de precisão na identificação da forma e localização de objetos salientes, superando técnicas de ponta anteriores em vários indicadores de precisão. Foi particularmente eficaz ao lidar com cenas de baixo contraste e fundos complexos, onde outros sistemas frequentemente produziam contornos incompletos ou perdiam objetos inteiros. Os pesquisadores descobriram que, ao modelar explicitamente a estrutura dos dados de profundidade e controlar sua confiabilidade, o sistema consegue recuperar bordas nítidas mesmo nas condições mais desafiadoras.

Os resultados sugerem que a chave para uma melhor visão subaquática não é apenas ter mais dados, mas ter formas mais inteligentes de interpretar os dados disponíveis. Ao transformar mapas de profundidade brutos em pistas estruturadas e filtrá-los cuidadosamente através de uma verificação de confiabilidade, o sistema supera as limitações inerentes dos sensores subaquáticos. Este trabalho fornece um caminho prático para o desenvolvimento de sistemas de visão robótica mais robustos que possam operar efetivamente nos ambientes difíceis e com pouca luz do oceano, potencialmente melhorando desde o monitoramento ambiental até a exploração subaquática. Os pesquisadores observam que, embora seu sistema atual seja altamente eficaz, o trabalho futuro se concentrará em torná-lo ainda mais leve e robusto, garantindo que possa rodar no hardware limitado de robôs subaquáticos do mundo real.

Resumo Técnico: UDR-Mamba

Definição do Problema
A detecção de objetos salientes subaquáticos (USOD) é crítica para a navegação robótica, percepção marinha e monitoramento ecológico. No entanto, a segmentação precisa é severamente prejudicada pela degradação única das imagens subaquáticas, incluindo mudanças de cor, atenuação de iluminação, espalhamento, baixo contraste e bordas borradas. Esses fatores diminuem o poder discriminativo das características de aparência RGB padrão. Além disso, embora os mapas de profundidade ofereçam pistas geométricas complementares, os dados de profundidade subaquáticos brutos são frequentemente não confiáveis, contendo ruído, regiões ausentes e bordas imprecisas. Os métodos RGB-D existentes frequentemente fundem a profundidade indiscriminadamente ou a tratam como uma simples entrada auxiliar de canal único, falhando em modelar explicitamente as pistas estruturais de profundidade (como bordas e contraste local) ou em avaliar adaptativamente a confiabilidade da informação de profundidade durante a fusão cross-modal. Adicionalmente, embora os Vision Transformers e os modelos Mamba ofereçam um forte modelamento de contexto global, simplesmente substituir os backbones não resolve os desafios específicos da incerteza da qualidade da profundidade em cenas subaquáticas.

Metodologia: UDR-Mamba
Os autores propõem o UDR-Mamba, um framework baseado em estrutura de profundidade e guiado por confiabilidade, construído sobre um backbone VMamba de pesos compartilhados. A arquitetura consiste em quatro componentes primários:

Módulo de Entrada de Estruturação de Profundidade (DSI): Em vez de alimentar diretamente os mapas de profundidade brutos, o DSI transforma um mapa de profundidade de canal único em uma representação estrutural de três canais:
- Profundidade Normalizada ( $D_n$ ): Captura o layout espacial geral.
- Bordas de Profundidade ( $E$ ): Extraídas via operadores Sobel para destacar descontinuidades estruturais e contornos de objetos.
- Contraste de Profundidade Local ( $C$ ): Computado como a diferença absoluta entre a profundidade local e a média local (via pooling de 7×7) para realçar variações geométricas locais.
  Esta entrada estruturada fornece explicitamente à rede pistas de borda e de geometria local.
Encoder VMamba de Peso Compartilhado: O framework emprega uma estratégia de codificação de dois fluxos onde as imagens RGB e os mapas de profundidade estruturados passam por passagens de forward separadas, mas compartilham os mesmos parâmetros do backbone VMamba. Este design reduz a redundância de parâmetros enquanto mantém a capacidade representacional de uma arquitetura de dois fluxos. O encoder produz quatro níveis de características multiescala.
Módulo de Fusão de Mamba de Profundidade Confiável (DRMF): Para abordar o problema dos dados de profundidade ruidosos, o DRMF realiza uma fusão adaptativa camada a camada. Ele estima um portão de confiabilidade ( $G_i$ ) baseado nas características RGB atuais, características de profundidade alinhadas, discrepâncias cross-modais e pistas de borda de profundidade redimensionadas. Este portão injeta seletivamente informações de profundidade confiáveis na representação RGB via multiplicação elemento a elemento, impedindo que o ruído de profundidade não confiável degrade a predição. O módulo também incorpora o Contexto Mamba Compacto para realçar o modelamento de dependência de longo alcance dentro das características fundidas.
Decoder de Pirâmide Mamba: Um decoder de cabeça única agrega características fundidas multiescala de forma top-down. Ele utiliza o Contexto Mamba Compacto para o realce de contexto global e introduz a informação de borda de profundidade na etapa final para refinamento de detalhes. O modelo é treinado usando apenas a predição de saliência final supervisionada por perdas de Entropia Cruzada Binária (BCE) e Intersection-over-Union (IoU) suave, evitando funções de perda auxiliares complexas.

Principais Contribuições

Framework VMamba de Dois Fluxos: Os autores introduzem um backbone VMamba de peso compartilhado para RGB-D USOD, aproveitando o modelamento de estado visual para melhorar o raciocínio contextual de longo alcance em ambientes subaquáticos complexos.
Estruturação de Profundidade: O módulo DSI transforma explicitamente a profundidade bruta em profundidade normalizada, bordas e contraste local, explorando plenamente as pistas geométricas e de borda em vez de tratar a profundidade como um canal auxiliar bruto.
Fusão Guiada por Confiabilidade: O módulo DRMF estima adaptativamente a confiabilidade da profundidade a partir de discrepâncias cross-modais e informações de borda, permitindo a injeção seletiva de dados de profundidade confiáveis enquanto suprime o ruído.
Eficiência e Simplicidade: Ao compartilhar pesos do encoder e usar um decoder de cabeça única com um objetivo de perda simples, o framework alcança um equilíbrio favorável entre precisão e eficiência computacional.

Resultados Experimentais
O método foi avaliado nos datasets USOD10K e USOD contra métodos de estado da arte (ex: HDANet, Dual-SAM, SPDE).

USOD10K: O UDR-Mamba alcançou as pontuações mais altas em $S_m$ (0.9332), $E_{max}$ (0.9713) e $F_{max}$ (0.9365), com um MAE de 0.0192. Superou o competidor mais próximo (HDANet) em $S_m$ e $F_{max}$ .
USOD: O método alcançou o maior $E_{max}$ (0.9573) e o menor MAE (0.0359), com o segundo maior $F_{max}$ (0.9314).
Estudos de Ablação:
- DSI: Substituir a entrada estruturada pela profundidade bruta reduziu o desempenho em todas as métricas (ex: $S_m$ caiu de 0.9332 para 0.9236), confirmando o valor do modelamento explícito de borda e contraste.
- DRMF: Remover o portão de confiabilidade resultou em menor desempenho, demonstrando que a fusão indiscriminada degrada a precisão.
- Compartilhamento de Pesos: A configuração de peso compartilhado reduziu os parâmetros em aproximadamente 49.91M em comparação com backbones duais independentes, mantendo uma precisão quase idêntica, validando a eficiência do design.

Significância e Alegações
O artigo afirma que o UDR-Mamba demonstra que o modelamento de estrutura de profundidade explícito e a fusão guiada por confiabilidade melhoram significativamente as representações multimodais conscientes de bordas em cenas subaquáticas. Os autores asseguram que sua abordagem aborda efetivamente os desafios duplos da aparência RGB degradada e das medições de profundidade não confiáveis sem depender de perdas auxiliares complexas ou overhead computacional pesado. Os resultados sugerem que o framework proposto fornece uma solução robusta e eficiente para a detecção de objetos salientes subaquáticos RGB-D, oferecendo consistência estrutural e localização de bordas superiores em comparação com métodos existentes. O trabalho futuro foca em arquiteturas Mamba leves para implantação em tempo real e mecanismos aprimorados de avaliação de qualidade de profundidade.

Mais como este