💻 computer science

Wat3R: Underwater 3D Geometry Learning without Annotations

Este artigo apresenta o Wat3R, um framework de aprendizado semisupervisionado cross-domain que possibilita a reconstrução de geometria 3D em ambientes subaquáticos sem quaisquer dados anotados, adaptando modelos treinados em ar para vídeos não rotulados através de uma arquitetura professor-aluno e perda de consistência entre vistas, juntamente com o lançamento de um novo conjunto de dados de benchmark chamado Water3D.

Autores originais: Jiangwei Ren, Xingyu Jiang, Zijie Song, Wei Xu, Hongkai Lin, Dingkang Liang, Xiang Bai

Publicado 2026-07-10

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jiangwei Ren, Xingyu Jiang, Zijie Song, Wei Xu, Hongkai Lin, Dingkang Liang, Xiang Bai

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine tentar construir um mapa 3D de um navio naufragado, mas você está vendado e a água ao seu redor está densa com névoa, areia girando e cores estranhas que fazem tudo parecer borrado. Esse é o combate diário dos computadores tentando compreender cenas subaquáticas. Durante anos, a melhor maneira de ensinar um computador a ver debaixo d'água era mostrar a ele milhões de fotos com rótulos 3D perfeitos e desenhados à mão. Mas aqui está o problema: ninguém possui esses rótulos para o oceano. Criá-los é impossível porque a água é muito turva e a luz se comporta de forma estranha.

Apresentamos o Wat3R, um novo método que age como um aluno inteligente que aprende a mergulhar sem nunca precisar que um professor lhe entregue um mapa.

O Problema: O "Cérebro de Terra Firme"

A maioria dos modelos modernos de visão 3D são como alunos que estudaram apenas em uma sala de aula ensolarada e clara (em terra). Eles são incríveis em ver coisas secas, mas quando você os jnga no oceano, eles ficam confusos. A água absorve a luz, a espalha e torna tudo azul ou verde. Se você tentar usar um modelo "treinado em terra" debaixo d'água, ele tropeça. E como não podemos simplesmente contratar uma equipe de mergulhadores para desenhar mapas 3D do fundo do oceano para cada vídeo, não podemos simplesmente retreinar esses modelos da maneira antiga.

A Solução: Um Professor e um Aluno nas Profundezas

Os autores deste artigo criaram um sistema chamado Wat3R que utiliza um truque de "professor-aluno" para resolver isso sem qualquer rótulo subaquático.

Pense nisso assim:

O Professor: Imagine um robô superinteligente que conhece a geometria 3D perfeitamente porque estudou milhões de fotos claras e secas. Mas ele não sabe como a água funciona.
A Simulação: Os pesquisadores pegam as fotos claras do Professor e as "afogam" digitalmente. Eles usam uma fórmula de física para adicionar névoa falsa, mudanças de cor e dispersão de luz, transformando as fotos claras de terra em falsas cenas subaquáticas. Agora, o Professor tem um conjunto de dados "rotulado" de cenas subaquáticas falsas.
O Aluno: Este é o modelo que queremos treinar. Ele começa aprendendo com as fotos subaquáticas falsas do Professor.
O Mergulho Real: Depois, o Aluno sai e observa 5.504 clipes de vídeo subaquáticos reais (cercaą 359.000 imagens) que não possuem rótulos de forma alguma. Ele apenas observa os peixes, as rochas e as bolhas.

Aqui está a mágica: O Professor (que é uma versão ligeiramente mais antiga e estável do Aluno) observa os mesmos vídeos reais e adivinha como as formas 3D se parecem. O Aluno tenta corresponder a essas suposições. Se o Aluno acertar, ele aprende. Se errar, ele se ajusta. Isso acontece repetidamente, permitindo que o Aluno aprenda as "regras" da geometria subaquática apenas observando vídeos reais, sem que ninguém lhe diga qual é a resposta.

A Arma Secreta: "Consistência de Visão Cruzada"

Debaixo d'água, uma única foto pode ser tão borrada que você não consegue ver nada. Mas se você tem um vídeo, você tem muitos ângulos. O artigo introduz uma regra especial chamada Consistência de Visão Cruzada (Cross-View Consistency).

Imagine que você está olhando para uma rocha através de uma janela suja. Você não consegue vê-la bem. Mas se você olhar para a mesma rocha de um ângulo ligeiramente diferente através de uma parte mais limpa da janela, poderá vê-la melhor. O Wat3R faz isso matematicamente. Se o modelo ficar confuso pela névoa em uma visão, ele olha para as outras visões no vídeo para descobrir como a rocha deveria parecer. Ele usa as partes claras do vídeo para corrigir as partes borradas. Isso ajuda o modelo a ignorar o "ruído" da água e focar nos formatos reais.

O Que Eles Provaram (e o Que Não Provaram)

Os autores não apenas adivinharam; eles testaram isso rigorosamente.

O Conjunto de Dados: Eles construíram um novo conjunto de dados chamado Water3D, contendo 42 cenas subaquáticas reais com mapas 3D precisos (poses e profundidades) para testar seu trabalho. Isso é importante porque, como eles observam, os conjuntos de dados subaquáticos existentes são frequentemente muito pequenos ou carecem de rótulos 3D adequados.
Os Resultados: Quando testaram o Wat3R em conjuntos de dados subaquáticos padrão como Sea-thru e FLSea Stereo, ele superou os melhores modelos atuais (como VGGT, DA3 e MapAnything).
- No conjunto de dados Sea-thru, o Wat3R reduziu a taxa de erro em cerca de 12,1% em comparação com o modelo anterior (VGGT) em um teste de 10 visões.
- Em termos de precisão de profundidade, ele melhorou em 23,7% em algumas métricas.
- Mesmo ao olhar para apenas uma única foto (profundidade monocular), o Wat3R foi melhor do que modelos treinados especificamente para imagens únicas, provando que o aprendizado de "visão cruzada" o ajudou a entender melhor a água.

O Que Eles Explicitamente Descartaram

O artigo é muito claro sobre o que não funciona:

Apenas melhorar a imagem primeiro: Eles tentaram pegar fotos subaquáticas, limpá-las com ferramentas existentes (como "Sea-thru" ou "PSPL") e depois alimentá-las a um modelo 3D. Isso falhou em melhorar muito os resultados. Os autores argumentam que a limpeza da imagem muitas vezes introduz novos erros ou inconsistências que confundem o modelo 3D. É melhor ensinar o modelo a enxergar através da bagunça, em vez de tentar consertar a bagunça primeiro.
Dados sintéticos sozinhos: Embora tenham usado dados subaquáticos falsos para começar, mostraram que usar apenas dados falsos não é suficiente. É necessário usar os vídeos reais, não rotulados, para tornar o modelo verdadeiramente robusto.

O Quão Certos Eles Estão?

Os autores estão confiantes em seus números porque testaram em quatro diferentes conjuntos de dados públicos, além de seu próprio conjunto de dados Water3D. Eles não apenas simularam os resultados; eles os mediram contra o "ground truth" real sempre que disponível.

Eles mostraram que o Wat3R funciona melhor em degradações de "leves" a "severas", embora admitam que em águas extremamente turvas (lamacentas) ou com objetos em movimento rápido, o modelo ainda enfrenta dificuldades porque simplesmente não há informação visual suficiente para se basear.
Eles afirmam explicitamente que seu método é o primeiro framework semissupervisionado que generaliza para cenas subaquáticas sem a necessidade de anotações 3D subaquáticas.

A Conclusão

O Wat3R é como um mergulhador que aprende a navegar no oceano profundo não lendo um mapa, mas observando como a luz se dobra e como os objetos parecem de diferentes ângulos, tudo isso enquanto ignora a névoa. Ele prova que você não precisa de rótulos perfeitos para ensinar um computador a ver debaixo d'água; você só precisa de uma maneira inteligente de deixá-lo aprender com o caos de um vídeo real. O código e seu novo conjunto de dados Water3D estão disponíveis para qualquer pessoa testar, abrindo as portas para melhores robôs subaquáticos, arqueologia e mapeamento, sem a tarefa impossível de rotular cada gota de água.

Resumo Técnico: Wat3R – Aprendizado de Geometria 3D Subaquática sem Anotações

Declaração do Problema
A estimativa de geometria 3D (poses de câmera, profundidades e nuvens de pontos) em ambientes subaquáticos é dificultada por desafios físicos únicos, incluindo atenuação de luz, espalhamento e degradação dependente da visão. Esses fatores causam desvios de domínio significativos em comparação com cenas terrestres. Além disso, a escassez de dados subaquáticos de grande escala e alta qualidade com anotações 3D impede o treinamento direto de modelos de reconstrução feed-forward de última geração (SOTA), que tipicamente dependem de vastos ground truths densos. Métodos existentes ou falham em generalizar devido aos desvios de domínio ou exigem quantidades impraticáveis de dados subaquáticos anotados.

Metodologia: Estrutura Wat3R
Os autores propõem o Wat3R, uma estrutura de aprendizado semisupervisionado de domínio cruzado projetada para adaptar o modelo de reconstrução 3D feed-forward VGGT para cenas subaquáticas sem exigir quaisquer dados subaquáticos anotados. A estrutura opera em uma arquitetura de professor-aluno (paradigma Mean Teacher) e utiliza duas fontes primárias de dados:

Dados Sintéticos Rotulados: Conjuntos de dados terrestres anotados existentes (o conjunto de treinamento original do VGGT) são aumentados com renderização subaquática baseada em física para simular várias degradações subaquáticas. Isso inicializa priors geométricos fortes para o domínio subaquático.
Dados Reais Não Rotulados: Uma grande coleção de filmagens de vídeo subaquáticas do mundo real é utilizada como um conjunto de treinamento não rotulado para refinar e generalizar o modelo.

Componentes Técnicos Principais:

Renderização Baseada em Física: Para gerar dados sintéticos rotulados, os autores empregam um modelo de imagem subaquática simplificado ( $I = J e^{-\beta^D z} + B^\infty(1-e^{-\beta^B z})$ ) que simula a atenuação de transmissão direta e o retroespalhamento (backscatter). Mapas de profundidade densos de um modelo monocular (DA3) são usados para renderizar aparências subaquáticas enquanto preservam as anotações geométricas originais para supervisão.
Aumento de Nível de Sequência: Para evitar o colapso do modelo e aumentar a diversidade geométrica em dados de vídeo não rotulados, a estrutura emprega aumento de nível de sequência. Isso inclui embaralhamento da ordem dos quadros, subamostragem aleatória, rotação e jittering de cor, garantindo que o modelo aprenda pistas geométricas robustas em vez de continuidade temporal.
Objetivo de Treinamento de Consistência de Percepção: A função de perda total combina três componentes:
- Perda Supervisionada: Aplicada em dados sintéticos usando anotações de verdade fundamental (ground-truth).
- Perda de Consistência por Visão (Per-View): Aplicada em dados não rotulados, tratando as previsões do professor como rótulos pseudo (pseudo-labels).
- Perda de Consistência entre Visões (Cross-View): Uma perda inovadora projetada para abordar a degradação da informação. Ela aproveita pistas geométricas de outras visões para compensar a perda de visibilidade na visão atual. Utiliza uma máscara estática (derivada de K-means em mapas de profundidade e verificações de consistência multi-visão) para filtrar objetos dinâmicos e regiões instáveis (ex: água aberta ou turbidez severa), garantindo que a supervisão entre visões seja aplicada apenas a pixels de primeiro plano estáticos e confiáveis.

Principais Contribuições

Estrutura Wat3R: O primeiro framework semisupervisionado baseado em VGGT que generaliza para diversas cenas subaquáticas sem exigir anotações 3D subaquáticas. Demonstra que representações geométricas robustas podem ser aprendidas unicamente de vídeos subaquáticos reais não rotulados.
Perda de Consistência entre Visões (Cross-View Consistent Loss): Um mecanismo que agrega informações geométricas de múltiplas visões para compensar a degradação visual causada pela atenuação e espalhamento da água, permitindo o aprendizado em regiões fortemente degradadas.
Dataset Water3D: A construção de um novo e diversificado dataset subaquático multi-visão contendo 42 cenas com anotações 3D abrangentes (poses de câmera e profundidades). Este dataset aborda a falta de benchmarks de avaliação abrangentes no campo.

Resultados Experimentais
Experimentos extensivos foram conduzidos em datasets públicos (Sea-thru, FLSea, SQUID) e no novo dataset Water3D através de quatro tarefas:

Estimativa de Profundidade Multi-visão: O Wat3R supera métodos SOTA (incluindo VGGT, DA3, $\pi^3$ e MapAnything) e pipelines de dois estágios que combinam melhoria de imagem com modelos 3D. No dataset Sea-thru, o Wat3R alcançou uma melhoria de 23,7% em RMSE sobre o VGGT.
Reconstrução de Nuvem de Pontos: No Water3D, o Wat3R demonstrou precisão e completude superiores em relação aos baselines, com melhorias significativas em métricas gerais (ex: +31,6% de melhoria em precisão geral sobre o VGGT).
Estimativa de Pose de Câmera: Avaliado no SeaThru-NeRF, o Wat3R mostrou maior robustez na estimação de pose, alcançando uma melhoria de 37,8% em AUC@5° sobre o VGGT.
Estimativa de Profundidade Monocular: Apesar de não ter sido treinado com supervisão de imagem única, o Wat3R obteve o melhor desempenho em quatro datasets, indicando que os priors geométricos aprendidos transferem-se com sucesso para entradas de visão única.

Significância e Alegações
O artigo afirma que o Wat3R fornece um paradigma prático para o aprendizado geométrico em ambientes complexos onde as anotações são escassas. Ao eliminar a necessidade de dados subaquáticos anotados e aproveitar vídeos reais não rotulados, o método alcança um desempenho robusto mesmo em condições de baixa visibilidade. Os autores enfatizam que sua abordagem consegue unir o hiato de domínio entre a visão terrestre e a subaquática, oferecendo uma solução que é tanto eficaz quanto escalável para robótica subaquática, mapeamento e arqueologia. O trabalho destaca que a adaptação direta de modelos feed-forward poderosos, guiada por restrições de consistência e transferência de sintético-para-real, é um caminho viável para a percepção 3D subaquática.