WaterSplat-SLAM: Photorealistic Monocular SLAM in Underwater Environment

Resumo Técnico: WaterSplat-SLAM

1. O Problema

A localização e mapeamento simultâneos (SLAM) monocular subaquático é um desafio crítico para aplicações como veículos subaquáticos autônomos (AUVs), inspeção de oleodutos e arqueologia marinha. As principais dificuldades incluem:

• Degradação Óptica: Ambientes subaquáticos sofrem com atenuação de luz e espalhamento (backscatter), o que causa perda de contraste, turbidez e distorção de cores.
• Limitações dos Métodos Existentes:
  • Métodos baseados em características (features) falham em ambientes com pouca textura ou iluminação precária.
  • Métodos baseados em sensores ativos (sonar, laser) oferecem baixa resolução espacial ou são caros.
  • Métodos recentes de SLAM baseados em 3D Gaussian Splatting (3DGS) e NeRF, embora eficazes em terra, não modelam o meio aquático. Eles tratam a água como um objeto geométrico, o que leva a representações incorretas do volume de água, instabilidade no rastreamento e mapas que não são fotorealistas para tarefas de planejamento ou exploração.

2. Metodologia

O WaterSplat-SLAM é um sistema de SLAM monoculo online que utiliza apenas entrada RGB para realizar estimativa de pose robusta e mapeamento denso fotorealista. A arquitetura integra três componentes principais:

• Rastreamento Semântico e Estimativa de Profundidade:

  • O sistema utiliza um modelo de segmentação semântica (CLIPSeg) para gerar máscaras binárias da água.
  • Essas máscaras são usadas para filtrar características da água durante a reconstrução 3D de duas visões (baseada no modelo MASt3R). Ao ignorar os pixels de água, o sistema evita que a turbidez e o espalhamento degradem a estimativa de pose e o mapeamento de pontos.
  • Isso gera poses de câmera consistentes e mapas de pontos de alta qualidade para inicializar o mapa Gaussiano.

• Mapeamento Gaussiano Consciente do Meio (Medium-Aware Gaussian Map):

  • Diferente do 3DGS padrão, o sistema introduz uma Rede de Meio (Medium Network) que prevê três parâmetros para cada raio de luz: densidade de atenuação ($\sigma_{attn}$), densidade de retroespalhamento ($\sigma_{bs}$) e cor do meio ($c_{med}$).
  • Renderização Guiada por Semântica: A função de rasterização separa explicitamente a contribuição dos objetos geométricos da contribuição do meio (água). Isso impede que os primitivos Gaussianos tentem modelar o volume da água, evitando artefatos e representações incorretas.
  • Uma função de perda fotométrica semântica é usada para otimizar separadamente os pixels de objetos e os pixels de água.

• Gerenciamento Adaptativo do Mapa:

  • Para garantir consistência global e eficiência, o sistema ajusta os primitivos Gaussianos após o fechamento de loop (loop closure).
  • Implementa uma estratégia de fusão de primitivos baseada em voxels: quando há sobreposição espacial entre quadros chave (após o fechamento de loop), os primitivos dentro do mesmo voxel são mesclados em um único primitivo representativo. Isso reduz significativamente o tamanho do mapa e a redundância sem perder qualidade de renderização.

3. Principais Contribuições

1. Sistema SLAM Monocular Fotorealista: Propõe o primeiro sistema de SLAM subaquático online baseado em 3DGS capaz de estimativa de pose robusta e mapeamento denso de alta fidelidade usando apenas RGB.
2. Mapeamento Consciente do Meio: Introduz um mapa Gaussiano online que modela implicitamente as propriedades físicas da água (atenuação e espalhamento) através de uma rede neural, evitando a representação incorreta do meio volumétrico como objetos sólidos.
3. Estratégia de Gerenciamento Adaptativo: Desenvolveu um método de fusão de primitivos e ajuste que mantém a consistência global e reduz drasticamente o tamanho dos dados armazenados (memória), essencial para missões robóticas de longa duração.
4. Desempenho Superior: Supera métodos baseados em NeRF e 3DGS existentes em precisão de rastreamento e qualidade de renderização em ambientes subaquáticos desafiadores.

4. Resultados Experimentais

O método foi avaliado em dois conjuntos de dados: o SeaThru-NeRF (dados públicos) e um novo conjunto de dados coletado pelo autor (WaterSplat-SLAM dataset) em um tanque controlado com diferentes níveis de turbidez.

• Qualidade de Renderização:
  • No conjunto SeaThru-NeRF, o WaterSplat-SLAM alcançou o melhor desempenho em todas as métricas (PSNR, SSIM, LPIPS) em comparação com métodos como GO-SLAM, MonoGS e S3PO-GS.
  • No conjunto de dados próprio, obteve uma média de PSNR de 30.19, superando significativamente os concorrentes (o próximo melhor foi ~26.68).
  • O sistema superou até mesmo o método offline WaterSplatting, demonstrando que a abordagem online com orientação semântica é mais eficaz.
• Precisão de Rastreamento (ATE):
  • O sistema manteve rastreamento robusto em todas as sequências, enquanto métodos como ORB-SLAM3 e MonoGS falharam em várias sequências devido à degradação de características subaquáticas.
  • A média de erro de trajetória absoluta (ATE) foi de 0.219m, superando todos os métodos comparados.
• Eficiência:
  • A estratégia de fusão de primitivos reduziu o consumo de memória em 24.3% sem perda significativa na qualidade de reconstrução.
  • O sistema opera a uma taxa de quadros estável entre 2 a 5 FPS, comparável aos métodos de base, mas com menor variabilidade e maior qualidade de saída.

5. Significado e Impacto

O WaterSplat-SLAM representa um avanço fundamental para a inteligência espacial aquática. Ao resolver o problema da modelagem do meio de propagação da luz (água) dentro de uma estrutura de SLAM baseada em Gaussiana, ele permite:

• Navegação e Manipulação Precisas: Mapas fotorealistas e geometricamente corretos são essenciais para que robôs subaquáticos realizem tarefas complexas como inspeção e coleta de amostras.
• Eficiência Computacional: A capacidade de gerar mapas densos e compactos em tempo real usando apenas uma câmera monoculo torna a tecnologia acessível para plataformas robóticas com recursos limitados.
• Novo Paradigma: Estabelece uma nova base para futuros sistemas de SLAM subaquático, demonstrando que a incorporação de conhecimento físico do meio (semântica e óptica) é crucial para superar as limitações dos métodos puramente geométricos.

O código do projeto será disponibilizado publicamente, facilitando a reprodução e o avanço da pesquisa na área de robótica marinha.