💻 computer science

BathyFacto: Refraction-Aware Two-Media Neural Radiance Fields for Bathymetry

BathyFacto es una extensión de campo de radiancia neuronal consciente de la refracción que modela la propagación de la luz aire-agua utilizando la ley de Snell para generar nubes de puntos submarinas métricamente precisas a partir de imágenes de UAV, superando significativamente a los NeRF estándar y a los métodos de corrección ingenuos tanto en precisión de profundidad como en completitud geométrica a través de diversos ángulos de cámara.

Autores originales: Markus Brezovsky, Anatol Günthner, Frederik Schulte, Lukas Winiwarter, Boris Jutzi, Gottfried Mandlburger

Publicado 2026-07-17

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Markus Brezovsky, Anatol Günthner, Frederik Schulte, Lukas Winiwarter, Boris Jutzi, Gottfried Mandlburger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando tomar una foto de un cofre del tesoro situado en el fondo de una piscina. Si miras directamente hacia abajo, el cofre parece estar prácticamente donde está. Pero si lo miras desde un lado, el agua actúa como una lente extraña e invisible. El agua dobla los rayos de luz que viajan desde el cofre hasta tu ojo, haciendo que el cofre parezca estar flotando más alto y en un lugar diferente de donde realmente está. Este doblado de la luz se llama refracción, y ocurre porque la luz viaja a diferentes velocidades a través del aire y del agua.

Durante décadas, los científicos han utilizado cámaras en drones para mapear el fondo del océano y de los ríos, un proceso llamado fotogrametría. Ellos unen miles de fotos para construir un modelo 3D del mundo. Pero hay un inconveniente: los programas informáticos estándar utilizados para construir estos modelos 3D asumen que la luz viaja en líneas perfectamente rectas, como un rayo láser en el vacío. Cuando esos programas intentan mapear escenas submarinas, se confunden por la luz que se dobla. Construyen un mapa 3D sistemáticamente erróneo, haciendo que el fondo del río parezca más superficial y desplazado hacia un lado. Es como intentar dibujar el mapa de una habitación mientras usas gafas que distorsionan todo lo que ves.

Para solucionar esto, los investigadores han estado experimentando con los Campos de Radiancia Neurales (NeRFs, por sus siglas en inglés). Piensa en un NeRF no como una cámara, sino como un "fantasma" digital súper inteligente que aprende cómo es una escena desde todos los ángulos posibles. Le proporcionas un montón de fotos y aprende un volumen 3d continuo del mundo, lo que permite generar nuevas fotos desde ángulos que la cámara ni siquiera visitó. Sin embargo, la mayoría de estos fantasmas digitales fueron entrenados en un mundo donde la luz solo viaja en línea recta. No saben cómo manejar la física "doblada" del agua. Aquí es donde entra la nueva investigación, intentando enseñar a estos fantasmas digitales a ver a través del agua correctamente.

El artículo: BathyFacto – Enseñando a la IA a ver a través del agua

El artículo presenta una nueva herramienta llamada BathyFacto (una mezcla lúdica de "Batimetría" y "Nerfacto", un tipo popular de NeRF). El equipo, liderado por Markus Brezovsky y sus colegas, construyó una versión especial de esta IA que comprende la física del doblado de la luz en la superficie aire-agua.

Aquí está el problema central que resolvieron: cuando un dron vuela sobre un río, la luz del lecho del río tiene que viajar a través del agua, golpear la superficie y luego doblarse al entrar en el aire para llegar a la cámara. Los modelos de IA estándar asumen que la luz viajó recta todo el camino, lo que genera un mapa "fantasma" que es aproximadamente 1.37 metros demasiado superficial y desplazado. BathyFacto soluciona esto diciéndole explícitamente a la IA: "Oye, el rayo de luz viaja recto en el aire, golpea la superficie del agua y luego se dobla según la Ley de Snell (la regla de la refracción) antes de golpear el fondo".

Cómo funciona (el rayo "quebrado")
Imagina que estás dibujando el camino para un puntero láser. En el aire, dibujas una línea recta. Cuando la línea golpea la superficie del agua, no te detienes; doblas la línea en un ángulo específico y continúas dibujando bajo el agua. BathyFacto hace exactamente esto, pero de una manera muy ingeniosa. En lugar de intentar gestionar dos mundos separados (aire y agua), utiliza una arquitectura de "muestreador único". Dibuja una línea recta "virtual" a través de toda la escena para que la IA aprenda de ella, pero luego utiliza un "envoltorio de densidad quebrado" (kinked density wrapper). Esto es como una regla mágica que corrige instantáneamente la posición de cualquier punto que mida una vez que cruza la línea del agua, asegurando que la IA calcule la densidad y el color en la ubicación submarina real, no en la ubicación falsa de la línea recta.

Los resultados: De la simulación a la realidad
El equipo probó BathyFacto en un mundo simulado creado con gráficos por computadora (Blender), donde conocen la profundidad exacta y perfecta de todo (la "verdad fundamental" o ground truth). Los resultados fueron impactantes:

La forma antigua (NeRF estándar): La IA adivinó que la profundidad estaba desviada en +1.370 metros (demasiado superficial) y solo logró reconstruir el 11.6% de la escena submarina con precisión. Incluso si intentaban corregir manualmente la profundidad más tarde, seguía estando desviada por unos 0.4 metros.
La nueva forma (BathyFacto con refracción): La IA acertó la profundidad casi perfectamente, con una desviación de solo -0.001 metros (¡eso es un milímetro!). Reconstruyó con éxito el 85.7% de la escena submarina dentro de una tolerancia de 0.2 metros.

El artículo también comparó su método con un enfoque tradicional de "Estereoscopía de Multi-Vista" (MVS), que es la forma estándar en que los topógrafos trabajan hoy en día. Encontraron que, si bien el método tradicional funciona bien si el dron mira directamente hacia abajo (nadir), falla cuando el dron mira el agua desde un ángulo. En sus pruebas simuladas, Bathy Facto recuperó una geometría consistente en todo el rango de ángulos de cámara, desde la vista directa hacia abajo hasta las vistas laterales pronunciadas, mientras que el método tradicional solo era fiable para la visualización cercana al nadir. Los autores enfatizan que este éxito se demostró en datos simulados y señalan que la validación de su método con imágenes de UAV (vehículos aéreos no tripulados) del mundo real está prevista para trabajos futuros.

Lo que esto significa (y lo que no significa)
Los autores son muy claros sobre los límites de su trabajo. Demostraron que BathyFacto funciona increíblemente bien en datos simulados donde la superficie del agua es un plano plano y tranquilo y el agua está clara. Argumentan explícitamente contra la idea de que simplemente puedes "corregir" la profundidad más tarde con un truco matemático simple; el artículo muestra que sin modelar el doblado de la luz durante el proceso de entrenamiento, la geometría 3D sigue estando fundamentalmente rota.

Sin embargo, también admiten que el agua del mundo real es desordenada. Su simulación no incluyó agua turbia, hojas flotantes o olas que riegan la superficie. Señalan que para ríos y océanos reales, la superficie del agua podría no ser un plano perfecto y plano, y el agua podría estar turbia, lo que podría confundir a la IA. Sugieren que el trabajo futuro debe abordar estos desafíos de "olas" y "turbidez".

En resumen, BathyFacto es un gran paso adelante para enseñar a la IA a ver el mundo submarino tal como es, no como una reflexión distorsionada. Convierte una suposición borrosa y desplazada en un mapa preciso y métricamente exacto, pero por ahora, es un campeón en el entorno controlado de una simulación por computadora, esperando su turno para sumergirse en el mundo real y agitado.

Resumen Técnico: BathyFacto

Planteamiento del Problema
La fotogrametría a través del agua mediante Vehículos Aéreos No Tripulados (UAV) ofrece un método rentable para la batimetría en aguas poco profundas. Sin embargo, los procesos estándar de Structure-from-Motion (SfM) y Multi-View Stereo (MVS) dependen de la suposición de una propagación de rayos rectos. Cuando los rayos de luz atraviesan la interfaz aire-agua, se refractan según la ley de Snell, desviándose hacia la normal de la superficie. Ignorar este fenómeno físico resulta en reconstrucciones de geometría submarina sistemáticamente sesgadas. Aunque existen correcciones de post-procesamiento, estas suelen requerir el manejo de rayos de imagen individuales y siguen siendo sensibles a las incertidumbres en la estimación de la superficie. Además, las variantes existentes de Neural Radiance Fields (NeRF) típicamente asumen un único medio homogéneo, fallando al no modelar explícitamente la interfaz, lo que limita su precisión geométrica para aplicaciones batimétricas métricas.

Metodología
Los autores presentan BathyFacto, una extensión de la arquitectura Nerfacto para dos medios, integrada en el marco de trabajo Nerfstudio, que es consciente de la refracción. El método está diseñado para producir nubes de puntos submarinas métricamente consistentes. La metodología central involucra tres etapas primarias:

Adaptación de Datos: Los productos fotogramétricos (imágenes orientadas, poses de cámara y marcadores de límites) se convierten a un formato compatible con Nerfstudio. Se ajusta una superficie de agua plana a los marcadores de la línea de costa y se normaliza la escena. Se generan máscaras de medio por píxel para distinguir entre píxeles de tierra (solo aire) y de agua (dos medios).
Arquitectura de Dos Medios:
- Geometría Compartida: BathyFacto utiliza un único campo de densidad basado en hash-grid compartido tanto para el aire como para el agua, asegurando la consistencia geométrica a través de la interfaz.
- Cabezal de Color Condicionado por Medio: Un único MLP (Multi-Layer Perceptron) de color recibe un flag de un bit para el medio (0 para aire, 1 para agua) como una entrada adicional. Esto permite que la red aprenda apariencias específicas del medio (por ejemplo, la absorción del agua) mientras comparte los pesos de densidad.
- Trazado de Rayos: Cada rayo de cámara se traza como dos segmentos lineales segmentados: un segmento recto en el aire hasta la superficie de agua plana, y un segmento refractado en el agua. La dirección refractada se calcula utilizando la ley de Snell con índices de refracción conocidos ( $n_{aire}=1.0$ , $n_{agua}=1.333$ ).
- Muestreador Único con Densidad con "Kink" (Doblez): En lugar de mantener jerarquías de muestreo separadas para aire y agua, el método emplea un muestreador de red de propuesta único que opera sobre un "rayo recto virtual" que abarca ambos medios. Un "envoltorio de densidad con kink" (kinked density wrapper) corrige transparentemente las posiciones de muestreo a lo largo de la dirección refractada antes de la evaluación de la densidad. Esto permite que la red de propuesta asigne muestras de forma adaptativa a través de la frontera aire-agua sin una gestión compleja de doble jerarquía.
Exportación Corregida por Refracción: El exportador estándar de nubes de puntos de NeRF se extiende para proyectar hacia atrás las predicciones de profundidad a lo largo de la geometría de rayos de dos segmentos. Transformaciones de coordenadas reversibles mapean los puntos desde el marco de entrenamiento normalizado de vuelta al sistema de coordenadas fotogramétrico global original, permitiendo una comparación métrica directa con la geometría de referencia.

Contribuciones Clave

Nerfacto de Dos Medios: Una extensión de Nerfacto que incorpora la refracción explícita por la ley de Snell en una interfaz aire-agua plana, utilizando un campo de densidad compartido y un cabezal de color condicionado por el medio.
Arquitectura de Muestreo Eficiente: Un diseño de muestreador único con un envoltorio de densidad con kink que permite la asignación adaptativa de muestras a través de las fronteras de los medios usando un rayo recto virtual, evitando la necesidad de jerarquías de muestreo separadas.
Integración con Nerfstudio: Implementación dentro del marco modular Nerfstudio, aprovechando la codificación hash-grid, el muestreo de la red de propuesta y la optimización de la pose de la cámara, promoviendo así la reproducibilidad.
Exportación de Nube de Puntos Métrica: Un flujo de trabajo para exportar nubes de puntos 3D corregidas por refracción en un marco de referencia global sin requerir alineación de cuerpo rígido (ICP) para la evaluación.
Evaluación Exhaustiva: Un estudio de ablación en un escenario simulado de dos medios con verdad de terreno conocida, comparando configuraciones con y sin corrección de refracción contra bases de comparación de un solo medio y MVS tradicional.

Resultados
El método fue evaluado en un conjunto de datos simulado con 130 imágenes oblicuas de UAV. Los resultados, medidos en el marco de coordenadas globales absolutas sin ningún alineamiento de cuerpo rígido, son los siguientes:

Precisión Geométrica: BathyFacto con la refracción habilitada logró una desviación mediana con signo de Nube-a-Malla (C2M) de −0.001 m y una completitud del 85.7% con una tolerancia de 0.2 m.
Comparación con la Base (Baseline):
- La base de Nerfacto de un solo medio exhibió un sesgo de profundidad sistemático de +1.370 m con solo un 11.6% de completitud.
- BathyFacto sin refracción (ablación) mostró un sesgo de +1.409 m y un 9.9% de completitud.
- Incluso tras aplicar una corrección de profundidad ingenua (multiplicando la profundidad por el índice de refracción) a las bases de comparación, permaneció un desfase significativo de aproximadamente 0.4 m.
Comparación con MVS: Una referencia MVS corregida por refracción logró una precisión comparable (+0.006 m de mediana), pero estuvo limitada a geometrías de visión casi nadirales. BathyFacto recuperó con éxito una geometría consistente a través de todo el rango de ángulos de incidencia de la cámara.
Sensibilidad: El método demostró robustez ante pequeñas perturbaciones del plano de agua (errores de inclinación $\le$ 2° y desplazamientos verticales $\le$ 15 cm), aunque la precisión se degradó significamente con errores de inclinación mayores.

Significancia y Reivindicaciones
El artículo afirma que BathyFacto aborda la brecha entre la investigación existente en NeRF refractivo —que a menudo se centra en el renderizado cualitativo o configuraciones de laboratorio a pequeña escala— y la necesidad de reconstrucción 3D métricamente interpretable a partir de imágenes de UAV. Al integrar el modelado de rayos de dos medios de forma explícita en un marco moderno de NeRF, el método permite la generación de nubes de puntos submarinas que son geométricamente consistentes con la realidad física de la refracción de la luz. Los autores enfatizan que, si bien las métricas de espacio de imagen 2D (PSNR, SSIM) mejoraron con el modelado de la refracción, la contribución decisiva es la restauración de la fidelidad geométrica, permitiendo la comparación directa con referencias externas sin alineación post-hoc. El trabajo posiciona a BathyFacto como un paso hacia el monitoreo pasivo y rutinario basado en imágenes, siempre que se pueda modelar adecuadamente la superficie del agua y se aborden las limitaciones relativas a la turbidez y las olas superficiales en trabajos futuros.

El artículo: BathyFacto – Enseñando a la IA a ver a través del agua

Más como este