💻 computer science

Wat3R: Underwater 3D Geometry Learning without Annotations

Este artículo presenta Wat3R, un marco de aprendizaje semisupervisado de dominio cruzado que permite la reconstrucción de la geometría 3D en entornos submarinos sin ningún dato anotado mediante la adaptación de modelos entrenados en aire a videos no etiquetados a través de una arquitectura de profesor-estudiante y una pérdida de consistencia entre vistas, junto con el lanzamiento de un nuevo conjunto de datos de referencia llamado Water3D.

Autores originales: Jiangwei Ren, Xingyu Jiang, Zijie Song, Wei Xu, Hongkai Lin, Dingkang Liang, Xiang Bai

Publicado 2026-07-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiangwei Ren, Xingyu Jiang, Zijie Song, Wei Xu, Hongkai Lin, Dingkang Liang, Xiang Bai

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina intentar construir un mapa 3D de un barco hundido, pero estás con los ojos vendados y el agua a tu alrededor está llena de niebla espesa, arena arremolinada y colores extraños que hacen que todo se vea borroso. Esa es la lucha diaria de las computadoras que intentan comprender escenas submarinas. Durante años, la mejor manera de enseñar a una computadora a ver bajo el agua era mostrarle millones de fotos con etiquetas 3D perfectas y dibujadas a mano. Pero aquí está el problema: nadie tiene esas etiquetas para el océano. Hacerlas es imposible porque el agua es demasiado turbia y la luz se comporta de manera extraña.

Entra Wat3R, un nuevo método que actúa como un estudiante astuto que aprende a bucear sin necesidad de que un profesor le entregue un mapa.

El Problema: El "Cerebro de Solo Tierra"

La mayoría de los modelos modernos de visión 3D son como estudiantes que solo estudiaron en un aula soleada y despejada (en tierra). Son increíbles viendo cosas secas, pero cuando los sueltas en el océano, se confunden. El agua absorbe la luz, la dispersa y vuelve todo azul o verde. Si intentas usar un modelo "entrenado en tierra" bajo el agua, este tropieza. Y como no podemos simplemente contratar a un equipo de buceadores para que dibujen mapas 3D del fondo del océano para cada video, no podemos simplemente reentrenar estos modelos de la forma antigua.

La Solución: Un Profesor y un Estudiante en las Profundidades

Los autores de este artículo crearon un sistema llamado Wat3R que utiliza un truco de "profesor-estudiante" para resolver esto sin ninguna etiqueta submarina.

Piénsalo de esta manera:

El Profesor: Imagina un robot superinteligente que conoce la geometría 3D perfectamente porque estudió millones de fotos claras y secas. Pero no sabe cómo funciona el agua.
La Simulación: Los investigadores toman las fotos claras del Profesor y las "ahogan" digitalmente. Utilizan una fórmula física para añadir niebla falsa, cambios de color y dispersión de luz, convirtiendo las fotos claras de tierra en fotos submarinas falsas. Ahora, el Profesor tiene un conjunto de datos "etiquetados" de escenas submarinas falsas.
El Estudiante: Este es el modelo que queremos entrenar. Comienza aprendiendo de las fotos submarinas falsas del Profesor.
La Inmersión Real: Luego, el Estudiante sale y observa 5,504 clips de video submarinos reales (aproximadamente 359,000 imágenes) que no tienen etiquetas de ningún tipo. Solo observa los peces, las rocas y las burbujas.

Aquí está la magia: El Profesor (que es una versión ligeramente más antigua y estable del Estudiante) observa los mismos videos reales y adivina cómo son las formas 3D. El Estudiante intenta coincidir con esas suposiciones. Si el Estudiante acierta, aprende. Si se equivoca, se ajusta. Esto sucede una y otra vez, permitiendo que el Estudiante aprenda las "reglas" de la geometría submarina simplemente observando videos reales, sin que nadie le diga cuál es la respuesta.

El Arma Secreta: "Consistencia de Visión Cruzada"

Bajo el agua, una sola foto puede ser tan borrosa que no se puede ver nada. Pero si tienes un video, tienes muchos ángulos. El artículo introduce una regla especial llamada Consistencia de Visión Cruzada (Cross-View Consistency).

Imagina que estás mirando una roca a través de una ventana sucia. No puedes verla bien. Pero si miras la misma roca desde un ángulo ligeramente diferente a través de una parte más limpia de la ventana, puedes verla mejor. Wat3R hace esto matemáticamente. Si el modelo se confunde por la niebla en una vista, mira las otras vistas en el video para determinar cómo debería verse la roca. Utiliza las partes claras del video para corregir las partes borrosas. Esto ayuda al modelo a ignorar el "ruido" del agua y concentrarse en las formas reales.

Lo Que Demostraron (y lo que no)

Los autores no solo adivinaron; probaron esto rigurosamente.

El Conjunto de Datos: Construyeron un nuevo conjunto de datos llamado Water3D, que contiene 42 escenas submarinas reales con mapas 3D precisos (posiciones y profundidades) para probar su trabajo. Esto es importante porque, como señalan, los conjuntos de datos submarinos existentes suelen ser demasiado pequeños o carecen de etiquetas 3D adecuadas.
Los Resultados: Cuando probaron Wat3R en conjuntos de datos submarinos estándar como Sea-thru y FLSea Stereo, superaron a los mejores modelos actuales (como VGGT, DA3 y MapAnything).
- En el conjunto de datos Sea-thru, Wat3R redujo la tasa de error en aproximadamente un 12.1% en comparación con el mejor modelo anterior (VGGT) en una prueba de 10 vistas.
- En términos de precisión de profundidad, mejoró un 23.7% en algunas métricas.
- Incluso al observar una sola foto (profundidad monocular), Wat3R fue mejor que los modelos entrenados específicamente para imágenes individuales, demostando que el aprendizaje de "visión cruzada" le ayudó a entender mejor el agua.

Lo Que Descartaron Explícitamente

El artículo es muy claro sobre lo que no funciona:

Solo mejorar la imagen primero: Intentaron tomar fotos submarinas, limpiarlas con herramientas existentes (como "Sea-thru" o "PSPL") y luego alimentar al modelo 3D. Esto falló en mejorar mucho los resultados. Los autores argumentan que limpiar la imagen a menudo introduce nuevos errores o inconsistencias que confunden al modelo 3D. Es mejor enseñar al modelo a ver a través del desorden, no intentar arreglar el desorden primero.
Datos sintéticos por sí solos: Aunque usaron datos submarinos falsos para comenzar, demostraron que usar solo datos falsos no es suficiente. Se necesitan los videos reales sin etiquetas para que el modelo sea verdaderamente robusto.

¿Qué Tan Seguros Están?

Los autores están seguros de sus números porque probaron en cuatro diferentes conjuntos de datos públicos además de su propio conjunto Water3D. No solo simularon los resultados; los midieron contra la realidad (ground truth) donde estaba disponible.

Demostraron que Wat3R funciona mejor en degradaciones de "leves" a "severas", aunque admiten que en aguas extremadamente turbias (fangosas) o con objetos que se mueven rápido, el modelo todavía tiene dificultades porque simplemente no hay suficiente información visual para apoyarse.
Establecen explícitamente que su método es el primero marco de trabajo semi-supervisado que se generaliza a escenas submarinas sin necesidad de anotaciones 3D submarinas.

La Conclusión

Wat3R es como un buceador que aprende a navegar en el océano profundo no leyendo un mapa, sino observando cómo se dobla la luz y cómo se ven los objetos desde diferentes ángulos, todo mientras ignora la niebla. Demuestra que no necesitas etiquetas perfectas para enseñar a una computadora a ver bajo el agua; solo necesitas una forma inteligente de dejar que aprenda del caos de un video real. El código y su nuevo conjunto de datos Water3D están disponibles para que cualquiera los pruebe, abriendo la puerta a mejores robots submarinos, arqueología y cartografía sin la tarea imposible de etiquetar cada gota de agua.

Resumen Técnico: Wat3R – Aprendizaje de Geometría 3D Subacuática sin Anotaciones

Planteamiento del Problema
La estimación de la geometría 3D (poses de cámara, profundidades y nubes de puntos) en entornos submarinos se ve obstaculizada por desafíos físicos únicos, que incluyen la atenuación de la luz, la dispersión y la degradación dependiente de la vista. Estos factores causan cambios de dominio significativos en comparación con las escenas terrestres. Además, la escasez de anotaciones 3D de gran escala y alta calidad para datos submarinos reales impide el entrenamiento directo de modelos de reconstrucción feed-forward de vanguardia (SOTA), que típicamente dependen de densas verdades de campo (ground truths) masivas. Los métodos existentes o fallan al generalizar debido a los cambios de dominio o requieren cantidades impracticables de datos submarinos anotados.

Metodología: Marco de Trabajo Wat3R
Los autores proponen Wat3R, un marco de aprendizaje semi-supervisado de dominio cruzado diseñado para adaptar el modelo de reconstrucción 3D feed-forward VGGT a escenas submarinas sin requerir ningún dato submarino anotado. El marco opera bajo una arquitectura de profesor-alumno (paradigma de Mean Teacher) y utiliza dos fuentes de datos principales:

Datos Sintéticos Etiquetados: Los conjuntos de datos terrestres ya existentes y anotados (el conjunto de entrenamiento original de VGGT) se aumentan con un renderizado submarino basado en la física para simular diversas degradaciones submarinas. Esto inicializa prioridades geométricas sólidas para el dominio submarino.
Datos Reales No Etiquetados: Se utiliza una gran colección de metraje de video del mundo real para el entrenamiento no supervisado con el fin de refinar y generalizar el modelo.

Componentes Técnicos Clave:

Renderizado Basado en la Física: Para generar datos sintéticos etiquetados, los autores emplean un modelo de imagen submarina simplificado ( $I = J e^{-\beta^D z} + B^\infty(1-e^{-\beta^B z})$ ) que simula la atenuación de la transmisión directa y la retrodispersión. Se utilizan mapas de profundidad densos de un modelo monocular (DA3) para renderizar apariencias submarinas mientras se preservan las anotaciones geométricas originales para la supervisión.
Aumento a Nivel de Secuencia: Para evitar el colapso del modelo y aumentar la diversidad geométrica en los datos de video no etiquetados, el marco emplea aumentos a nivel de secuencia. Esto incluye el desorden de los órdenes de los fotogramas, submuestreo aleatorio, rotación y oscilación de color (color jittering), asegurando que el modelo aprenda pistas geométricas robustas en lugar de la continuidad temporal.
Objetivo de Entrenamiento de Consistencia de Conciencia: La función de pérdida total combina tres componentes:
- Pérdida Supervisada: Aplicada en datos sintéticos utilizando anotaciones de verdad de campo.
- Pérdida de Consistencia por Vista: Aplicada en datos no etiquetados, tratando las predicciones del profesor como etiquetas pseudo (pseudo-labels).
- Pérdida de Consistencia entre Vistas: Una pérdida novedosa diseñada para abordar la degradación de la información. Aprovecha las pistas geométricas de otras vistas para compensar la pérdida de visibilidad en la vista actual. Utiliza una máscara estática (derivada de K-means sobre mapas de profundidad y verificaciones de consistencia multivista) para filtrar objetos dinámicos y regiones inestables (por ejemplo, agua abierta o turbidez severa), asegurando que la supervisión entre vistas se aplique solo a píxeles de primer plano estáticos y fiables.

Contribuciones Clave

Marco de Trabajo Wat3R: El primer marco semi-supervisado basado en VGGT que se generaliza a diversas escenas submarinas sin requerir anotaciones 3D submarinas. Demuestra que se pueden aprender representaciones geométricas robustas únicamente a partir de videos submarinos reales no etiquetados.
Pérdida de Consistencia entre Vistas: Un mecanismo que agrega información geométrica de múltiples vistas para compensar la degradación visual causada por la atenuación y la dispersión del agua, permitiendo el aprendizaje en regiones fuertemente degradadas.
Conjunto de Datos Water3D: La construcción de un nuevo y diverso conjunto de datos multivista submarino que contiene 42 escenas con anotaciones 3D exhaustivas (poses de cámara y profundidades). Este conjunto de datos aborda la falta de bancos de pruebas de evaluación exhaustivos en el campo.

Resultados Experimentales
Se realizaron experimentos extensos en conjuntos de datos públicos (Sea-thru, FLSea, SQUID) y en el nuevo conjunto de datos Water3D a través de cuatro tareas:

Estimación de Profundidad Multivista: Wat3R supera a los métodos SOTA (incluyendo VGGT, DA3, $\pi^3$ y MapAnything) y a los procesos de dos etapas que combinan la mejora de imagen con modelos 3D. En el conjunto de datos Sea-thru, Wat3R logró una mejora del 23.7% en RMSE sobre VGGT.
Reconstrucción de Nube de Puntos: En Water3D, Wat3R demostró una precisión y completitud superiores en comparación con las líneas base, con mejoras significativas en las métricas generales (por ejemplo, una mejora del +31.6% en la precisión general sobre VGGT).
Estimación de Pose de Cámara: Evaluado en SeaThru-NeRF, Wat3R mostró una mayor robustez en la estimación de pose, logrando una mejora del 37.8% en AUC@5° sobre VGGT.
Estimación de Profundidad Monocular: A pesar de no haber sido entrenado con supervisión de una sola imagen, Wat3R logró el mejor rendimiento en cuatro conjuntos de datos, lo que indica que las prioridades geométricas aprendidas se transfieren con éxito a las entradas de una sola vista.

Significancia y Reivindicaciones
El artículo afirma que Wat3R proporciona un paradigma práctico para el aprendizaje geométrico en entornos complejos donde las anotaciones son escasas. Al eliminar la necesidad de datos submarinos anotados y aprovechar videos reales no etiquetados, el método logra un rendimiento robusto incluso en condiciones de baja visibilidad. Los autores enfatizan que su enfoque logra cerrar con éxito la brecha de dominio entre la visión terrestre y la submarina, ofreciendo una solución que es tanto efectiva como escalable para la robótica, el mapeo y la arqueología submarina. El trabajo destaca que la adaptación directa de potentes modelos feed-forward, guiada por restricciones de consistencia y transferencia de sintético a real, es un camino viable para la percepción 3D submarina.