Underwater360: Reconstructing Underwater Scenes from Panoramic Images with Omnidirectional Gaussian Splatting

Resumo Técnico: Underwater360

Declaração do Problema
A reconstrução de alta fidelidade de cenas subaquáticas 3D é crítica para exploração imersiva, mas enfrenta obstáculos significativos. Métodos tradicionais que dependem de câmeras de perspectiva padrão lutam no ambiente aquático devido à instabilidade do meio (correntes, partículas suspensas) e à degradação óptica severa causada pela absorção e espalhamento da luz. Esses fatores enfraquecem as correspondências entre diferentes visões, levando a estimativas de pose da câmera pouco confiáveis e a artefatos de reconstrução. Além disso, câmeras convencionais de campo estreito exigem visões densas e sobrepostas para cobertura, o que é difícil de alcançar de forma confiável sob a água. Embora o Splatting de Gaussiana 3D (3DGS) tenha revolucionado a reconstrução de cenas terrestres, adaptações subaquáticas existentes são projetadas principalmente para imagens de perspectiva e falham em abordar os desafios acoplados da distorção de projeção esférica (inerente a panoramas de 360°) e da degradação por meio participativo. Por outro lado, métodos existentes de renderização omnidirecional geralmente assumem condições de ar limpo e não modelam o transporte de luz subaquática.

Metodologia
Os autores propõem o Underwater360, um framework de 3DGS omnidirecional informado por física, projetado para reconstruir cenas panorâmicas subaquáticas. O framework integra três componentes principais:

1. Splatting de Gaussiana Omnidirecional:
   Em vez de projetar Gaussianas 3D em uma imagem de Projeção Eretangular (ERP) 2D (o que introduz distorção geométrica), o método realiza o lançamento de raios diretamente no espaço da câmera esférica. Para cada pixel na imagem ERP, um raio de visão é definido em coordenadas esféricas. A contribuição de cada Gaussiana é avaliada ao longo desses raios dentro de um plano tangente local. Essa abordagem, construída sobre o framework SPaGS, mitiga distorções de projeção esférica e fornece profundidades de interseção raio-splat precisas, necessárias para a modelagem física subsequente.

2. Modelagem Física de Aparência-Meio:
   Para lidar com a degradação subaquática, os autores desacoplam a radiância intrínseca da cena da retroespalhamento dependente de profundidade e atenuação usando o Modelo de Formação de Imagem Subaquática (UIFM).

   • Aparência Intrínseca: Um módulo de incorporação de aparência condicionado à pose ajusta a cor base de cada Gaussiana usando uma MLP leve. Isso desentrelaça a radiância intrínseca da cena de efeitos dependentes da visão e deslocamentos induzidos pelo meio, garantindo que a representação base da Gaussiana permaneça estável.
   • Estimação do Meio: Duas redes neurais leves estimam os parâmetros físicos da água.
     • Backscatter-Net: Recebe o mapa de profundidade como entrada para prever coeficientes de atenuação para retroespalhamento, modelando a saturação assintótica da cor da luz da água à distância infinita e desvios de campo próximo.
     • DeattenuateNet: Recebe o mapa de profundidade e a incorporação de visão como entrada para prever coeficientes de atenuação espacialmente variáveis, levando em conta condições de água não homogêneas.
       A imagem degradada final é sintetizada combinando a radiância limpa, a atenuação estimada e o retroespalhamento de acordo com o modelo físico: $I(p) = J(p) \odot A(p) + B(p)$.

3. Otimização Conjunta:
   O sistema otimiza os atributos da Gaussiana (posição, covariância, opacidade, cor) e os parâmetros das redes de aparência e meio conjuntamente. A função de perda combina perda L1 pixel a pixel e similaridade estrutural (L-SSIM) para supervisionar a reconstrução contra as observações panorâmicas subaquáticas brutas.

Principais Contribuições

• Framework Unificado: O artigo apresenta a primeira formulação unificada que acopla a renderização de Gaussiana omnidirecional com a formação explícita de imagem subaquática, permitindo a reconstrução conjunta de geometria, aparência dependente da visão e degradação do meio a partir de entradas panorâmicas.
• Splatting de Gaussiana Omnidirecional: Introdução de um módulo que realiza o lançamento de raios esféricos diretamente no espaço da câmera, reduzindo efetivamente as distorções geométricas associadas a aproximações de projeção 2D em campos de visão de 360°.
• Modelagem Consciente da Física: Uma arquitetura inovadora que desacopla explicitamente a radiância intrínseca da cena da atenuação e retroespalhamento subaquáticos usando priores de profundidade e incorporações condicionadas à pose, permitindo uma restauração de cena fundamentada fisicamente.
• Novos Benchmarks: O estabelecimento de um novo conjunto de dados de benchmark panorâmico subaquático, OmniUW (sintético, 5 cenas no Unreal Engine 5) e Insta360 (mundo real, 5 cenas capturadas com uma câmera Insta360 X4), compreendendo cenas subaquáticas 360° sintéticas e do mundo real.

Resultados
Experimentos extensivos foram conduzidos em ambos os conjuntos de dados sintéticos OmniUW e do mundo real Insta360, comparando o Underwater360 com métodos baseados em NeRF e 3DGS do estado da arte (incluindo variantes específicas para subaquático e omnidirecionais).

• Desempenho Quantitativo: O Underwater360 alcançou desempenho superior ou quase superior na maioria das cenas e métricas (PSNR, SSIM, LPIPS) em ambos os conjuntos de dados. Notavelmente, demonstrou robustez significativa em cenas com degradação severa, onde outros métodos lutaram ou produziram resultados instáveis.
• Melhorias Qualitativas: Comparações visuais mostraram que o método recupera detalhes locais mais claros e aparências de cena mais fiéis. A decomposição da cena em radiância limpa, atenuação e retroespalhamento foi encontrada mais coerente espacialmente e fisicamente plausível em comparação com trabalhos anteriores.
• Insights de Ablação: Os resultados indicaram que, embora o splatting de Gaussiana omnidirecional sozinho seja eficaz para cenas claras, a modelagem explícita de formação de imagem subaquática é crucial para lidar com atenuação severa e retroespalhamento.

Significado e Alegações
Os autores afirmam que o Underwater360 oferece uma nova perspectiva sobre a reconstrução de cenas subaquáticas ao unificar a representação de cena panorâmica com modelagem física explícita. Ao aproveitar a cobertura rica da imagem omnidirecional e a eficiência do 3DGS, o método fornece restrições globais mais fortes para a reconstrução em ambientes subaquáticos desafiadores. O trabalho é posicionado como um passo fundamental em direção à visão 3D subaquática robusta, fornecendo à comunidade o primeiro conjunto de dados de benchmark e um framework capaz de lidar com os desafios acoplados da distorção esférica e da degradação do meio. Os autores reconhecem limitações relacionadas a suposições de cena estática, falta de modelagem de refração para alojamentos de câmera e instabilidade em ambientes extremamente turvos ou com pouca textura, sugerindo esses pontos como direções para trabalhos futuros.