BALTIC: A Benchmark and Cross-Domain Strategy for 3D Reconstruction Across Air and Underwater Domains Under Varying Illumination

1. Problema e Motivação

A reconstrução 3D robusta em condições ambientais variáveis é um desafio crítico para a percepção robótica, especialmente na transição entre ar e água. Embora métodos modernos como Structure-from-Motion (SfM), Neural Radiance Fields (NeRF) e 3D Gaussian Splatting (3DGS) tenham alcançado altos níveis de fidelidade em ambientes controlados no ar, sua eficácia em cenários subaquáticos é limitada.
Os principais obstáculos incluem:

• Degradação Visual: Espalhamento da luz, absorção e turbidez reduzem o contraste e a consistência de cor.
• Refração: Introduz distorções geométricas.
• Variação de Iluminação: Diferenças significativas entre luz natural, artificial e mista.
• Falta de Benchmarks: A maioria dos conjuntos de dados existentes isola fatores individuais (como apenas iluminação ou movimento) e não oferece variação controlada simultânea entre meio (ar/água) e iluminação, dificultando a avaliação sistemática da robustez dos algoritmos.

2. Metodologia e o Benchmark BALTIC

Os autores introduzem o BALTIC, um benchmark de código aberto e controlado projetado para avaliar métodos de reconstrução 3D.

• Configuração Experimental: Um tanque de água personalizado (2,2 x 1 x 0,8 m) equipado com uma câmera monocular em uma cúpula (para corrigir refração) e um sistema de rastreamento de movimento (HTC Vive) que fornece trajetórias de pose de verdade absoluta (ground-truth) com alta precisão (< 3 mm de erro).
• Conjunto de Dados: O benchmark consiste em 13 datasets (E1–E13) que variam sistematicamente em:
  • Meio: Ar vs. Água (com adição de corante e agente de espalhamento para simular o Mar Báltico).
  • Iluminação: Direcional (luz solar simulada), Artificial (luzes co-móveis) e Mista.
  • Trajetória: Padrões de "cortador de grama" (lawn-mower) e trajetórias livres (free-form), incluindo manobras de inicialização.
• Pipeline de Avaliação:
  1. SfM: Uso do COLMAP para estimar poses e geometria esparsa.
  2. Reconstrução Densa: Uso das poses do COLMAP como entrada para NeRF (Nerfacto, SeaThru-NeRF) e 3DGS (Gaussian Splatting básico, WaterSplat, SeaSplat).
  3. Métricas: Avaliação de precisão de trajetória (ATE, RPE), completude geométrica (malhas, curvatura) e fidelidade de imagem (PSNR, SSIM, LPIPS).
  4. Restauração de Cor: Análise de consistência radiométrica usando métricas de diferença de cor (CIE Lab).

3. Contribuições Principais

1. Benchmark BALTIC: Um dataset controlado e reprodutível que varia meio, iluminação e movimento, com trajetórias de ground-truth precisas, preenchendo a lacuna de avaliação sistemática em ambientes subaquáticos.
2. Avaliação Abrangente: Uma análise crítica comparando SfM, NeRF e 3DGS sob condições subaquáticas e de iluminação mista, identificando modos de falha específicos.
3. Estratégia de Reconstrução Cross-Domain: Demonstração de que augmentar sequências subaquáticas com um pequeno número de imagens capturadas no ar (sob condições de iluminação similares) melhora significativamente a qualidade da reconstrução.

4. Resultados Chave

• Desempenho do SfM (COLMAP):
  • No ar, o COLMAP é robusto e gera reconstruções densas e consistentes.
  • Subaquático, o desempenho degrada drasticamente: o número de pontos 3D cai em uma ordem de magnitude, as trajetórias tornam-se fragmentadas (múltiplos submapas) e os erros de trajetória aumentam devido à baixa visibilidade de características e inconsistências fotométricas.
  • Pré-processamento (como recorte de regiões iluminadas e CLAHE) ajuda a mitigar a fragmentação, mas não resolve o problema fundamental.
• Desempenho de NeRF e 3DGS:
  • 3D Gaussian Splatting (3DGS): Com pré-processamento simples (correção de balanço de branco), o 3DGS padrão alcançou desempenho comparável ou superior a métodos especializados em água (como WaterSplat e SeaSplat) na maioria dos cenários, especialmente em termos de PSNR e SSIM.
  • NeRF: Métodos como SeaThru-NeRF e WaterSplat mostram robustez em cenários com iluminação estruturada, mas sofrem em condições de baixa visibilidade ou iluminação puramente artificial sem correção física adequada.
• Reconstrução Cross-Domain (Estratégia Proposta):
  • Ao adicionar um subconjunto mínimo de imagens do ar (dataset E14, combinando E12 subaquático + E6 no ar), a reconstrução melhorou significativamente.
  • Benefícios: A adição de vistas no ar forneceu priors geométricos e radiométricos, reduzindo o desvio da trajetória (drift), unificando mapas fragmentados em um único mapa denso e globalmente consistente, e melhorando as métricas de fidelidade perceptual.
• Iluminação: A iluminação artificial controlada subaquática (E10, E12) superou a iluminação solar simulada (E8, E9) em termos de qualidade de reconstrução, indicando que a iluminação ativa é crucial para mitigar o espalhamento.

5. Significado e Conclusão

O trabalho demonstra que, embora os pipelines de reconstrução padrão falhem em ambientes subaquáticos complexos devido à degradação visual, estratégias simples podem ser altamente eficazes:

• Pré-processamento: Correções básicas de cor e contraste podem elevar o desempenho de métodos padrão como o 3DGS.
• Abordagem Cross-Domain: A estratégia de capturar o objeto no ar antes da submersão (ou usar vistas do ar para auxiliar) é uma solução prática e leve para melhorar a reconstrução subaquática, fornecendo âncoras geométricas e radiométricas que compensam a perda de informação na água.

Limitações e Futuro: O benchmark é baseado em um tanque controlado, o que não captura totalmente a escala e a dinâmica do mundo real (como bioincrustação ou mudanças temporais). Trabalhos futuros visam expandir para ambientes in-situ e integrar modelos de formação de imagem baseados em física mais profundos com métodos de aprendizado de máquina.

Em suma, o BALTIC estabelece um novo padrão para avaliação de visão computacional subaquática e propõe que a fusão de dados entre domínios (ar-água) é uma via promissora e prática para robótica marinha e inspeção de infraestrutura.