Towards Versatile Opti-Acoustic Sensor Fusion and Volumetric Mapping

1. Problema e Motivação

A navegação autônoma de Veículos Submarinos Autônomos (AUVs) em ambientes ricos em obstáculos e com visibilidade variável (água turva) enfrenta desafios significativos de percepção:

• Visão Óptica: Oferece alta resolução, mas falha em condições de turbidez, mudanças de iluminação e efeitos de halo, tornando-se pouco confiável em águas sujas.
• Sonar: É robusto à turbidez e à falta de luz, mas sofre de baixa resolução e, crucialmente, de ambiguidade de elevação. Sonares de imageamento produzem projeções 2D de cenas 3D, perdendo a informação vertical (ângulo de elevação), o que dificulta a reconstrução precisa de geometrias complexas e a detecção de objetos próximos.
• Limitações Atuais: Métodos de fusão existentes muitas vezes dependem excessivamente de características visuais (falhando na água turva) ou assumem geometrias simples. Além disso, a correspondência direta de características entre sensores ópticos e acústicos é complexa devido aos mecanismos de formação de imagem fundamentalmente diferentes.

O objetivo deste trabalho é criar um framework de mapeamento volumétrico 3D que fusione um par de sonares estéreo com uma câmera monocular, garantindo navegação segura tanto em águas claras quanto turvas.

2. Metodologia Proposta

O framework proposto, denominado GPC SS RGB (Gaussian Process Confidence mapping with Stereo Sonar and RGB), opera através de um pipeline de fusão de sensores e mapeamento probabilístico:

A. Aquisição e Processamento de Dados

• Sensores: Utiliza dois sonares de imageamento (um montado horizontalmente e outro verticalmente) e uma câmera frontal com campos de visão (FOV) sobrepostos.
• Extração de Características Sonar: Aplica o filtro SOCA-CFAR para detectar características salientes nas imagens acústicas, mitigando ruídos e retornos secundários.
• Segmentação Óptica: Em vez de detectar pontos isolados (difíceis em águas turvas), utiliza uma rede neural YOLO11n-seg (treinada com transfer learning e aumento de dados) para identificar Regiões de Interesse (ROIs) correspondentes a objetos no cenário.

B. Fusão de Sensores e Reconstrução 3D

O sistema gera três conjuntos de pontos 3D com diferentes níveis de confiabilidade:

1. Nuvem de Pontos Estéreo (Qss): Características nos sonares horizontal e vertical são associadas baseadas na mesma distância (alcance) dentro da FOV sobreposta. Isso resolve a ambiguidade de elevação sem assumir geometrias, gerando pontos 3D totalmente definidos com alta confiança.
2. Projeção Sonar-para-Imagem (Qs): Para características não correspondidas estereoscopicamente (geralmente próximas), o sistema projeta os dados do sonar na imagem da câmera. Se a projeção cair dentro de uma ROI segmentada, o ponto é validado. Assume-se que o alcance do sonar é válido dentro da FOV vertical do sonar (confiança média).
3. Expansão de Imagem (Qe): Para expandir o FOV vertical limitado do sonar, o sistema infere a elevação baseada na imagem óptica dentro das ROIs, assumindo que a distância do sonar se aplica a toda a extensão vertical do objeto visível. Esta é a suposição mais forte, recebendo a menor confiança.

C. Mapeamento Volumétrico com Gaussian Process (GP)

• Os pontos 3D são fundidos usando um framework de Mapeamento de Ocupação por Processos Gaussianos.
• Confiança Heterocedástica: Diferente de métodos padrão que tratam todos os dados como igualmente confiáveis, este framework atribui uma variância de ruído específica ($\sigma^2_n$) a cada observação, inversamente proporcional à sua confiança ($\alpha$).
  • Pontos estéreo (alta confiança) têm menor ruído e maior influência.
  • Pontos expandidos (baixa confiança) têm maior ruído e menor influência.
• Isso permite que o mapeamento priorize medições confiáveis (sonar estéreo) enquanto ainda incorpora dados visuais quando disponíveis, preenchendo lacunas de forma probabilística.

3. Contribuições Principais

1. Primeira Estratégia de Fusão Estéreo Sonar + Câmera Monocular: Ao contrário de trabalhos anteriores que usam um único sonar ou dependem de SLAM visual, esta é a primeira abordagem a fundir um par de sonares estéreo com uma câmera para mapeamento 3D subaquático.
2. Framework de Mapeamento Baseado em Confiança: Introduz um mecanismo que pondera as medições de acordo com sua confiabilidade derivada da fonte de dados, preservando informações críticas para navegação segura.
3. Robustez em Condições Variáveis: O sistema depende primariamente do sonar e usa a câmera apenas como complemento, permitindo operação em águas turvas onde a visão falha.
4. Segmentação Eficiente: Utiliza aprendizado profundo com transfer learning em dados visuais, evitando a necessidade de grandes conjuntos de dados de sonar anotados manualmente.
5. Código Aberto: Disponibilização do código e dados para reprodutibilidade.

4. Resultados Experimentais

Os testes foram realizados em tanques de água (ambiente controlado) e em um marina (ambiente real e turvo).

• Tanque (Estruturas Complexas):

  • Comparado com OctoMap, GP SS RGB (sem confiança) e GP S RGB (sonar único), o método proposto (GPC SS RGB) obteve a maior precisão (MAE de ~1.17 cm em disco único vs. ~6.6 cm nos outros) e mantive uma cobertura significativa.
  • Métodos sem ponderação de confiança (GP SS RGB) falharam em distinguir medições confiáveis, resultando em mapas com ruído e baixa precisão.
  • O método com sonar único (GP S RGB) falhou em capturar variações de distância em estruturas complexas (assumindo uma distância única para todo o objeto).

• Campo (Marina Turva):

  • Em águas turvas, o sistema conseguiu mapear pilares de madeira e pequenos tubos metálicos à frente deles.
  • Métodos baseados apenas em sonar (GP SS) foram muito esparsos e perderam os tubos.
  • Métodos que dependiam fortemente de visão ou não ponderavam a confiança (GP SS RGB, Octo SS RGB) superestimaram a ocupação ou falharam em capturar detalhes críticos.
  • O método proposto preservou a orientação diagonal dos pilares e capturou objetos próximos essenciais para segurança.

• Desempenho Computacional: O tempo de mapeamento do GPC foi quase idêntico ao do GP padrão, indicando que a adição de valores de confiança tem impacto computacional mínimo. O OctoMap foi significativamente mais lento.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na percepção subaquática para AUVs. Ao resolver o problema da ambiguidade de elevação do sonar através de um par estéreo e integrar dados visuais de forma ponderada por confiança, o framework permite:

• Navegação Segura: Detecção confiável de obstáculos próximos e complexos em condições de baixa visibilidade.
• Reconstrução Geométrica: Capacidade de mapear geometrias complexas (como pilares com tubos) que métodos anteriores não conseguiam reconstruir com precisão.
• Adaptabilidade: O sistema é robusto, funcionando bem tanto em águas claras (usando toda a fusão) quanto em águas turvas (degradando-se graciosamente para o modo sonar estéreo).

A abordagem demonstra que a fusão inteligente de sensores, onde a confiabilidade de cada dado é quantificada e utilizada para guiar o modelo probabilístico, é superior a métodos que tratam todos os dados de forma igual ou dependem excessivamente de um único modal de sensor.