💻 computer science

BenthicFlow: Generating Extensible Underwater Environments via Flow Matching

BenthicFlow es un marco generativo unificado que emplea un único modelo de ajuste de flujo condicional y un muestreo inspirado en MultiDiffusion para crear entornos submarinos 3D espacialmente extensibles y coherentes con texturas RGBD y mapas de profundidad alineados, abordando eficazmente los desafíos de la escasez de datos y la generalización en la visión computacional submarina.

Autores originales: Joaquín Figueira, Camile Lendering, Manfred Gonzalez-Hernandez, Giacomo D'Amicantonio, Erkut Akdag, Egor Bondarev

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Joaquín Figueira, Camile Lendering, Manfred Gonzalez-Hernandez, Giacomo D'Amicantonio, Erkut Akdag, Egor Bondarev

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El fondo del océano es una frontera vasta y en gran parte inexplorada, pero está siendo mapeada cada vez más por vehículos autónomos que se deslizan silenciosamente sobre arrecifes, arena y escombros. Estas máquinas capturan decenas de miles de imágenes durante una sola misión, creando un archivo masivo del lecho marino. Sin embargo, convertir estas fotografías en bruto en mapas tridimensionales útiles es increíblemente difícil. El agua distorsiona la luz, el fondo marino a menudo carece de rasgos distintivos y los datos resultantes suelen ser solo imágenes planas sin información de profundidad o posiciones de cámara fiables. Debido a estos obstáculos, los científicos e ingenieros luchan por construir modelos digitales precisos del mundo submarino. Esta brecha es importante porque los investigadores necesitan entornos 3D realistas para entrenar robots, probar sistemas de navegación y estudiar la ecología marina, pero no pueden reunir fácilmente los datos específicos y de alta calidad requeridos para estas simulaciones.

Para resolver esto, un equipo de investigadores ha desarrollado un nuevo sistema llamado BenthicFlow, que actúa como un motor generativo para la creación de paisajes submarinos. En lugar de intentar unir fotos reales o depender de guiones informáticos rígidos, este sistema aprende los patrones visuales del fondo del océano a partir de datos de prospección existentes y luego inventa nuevas escenas plausibles que parecen y se sienten reales. El desafío central que el equipo abordó fue cómo crear estas escenas a gran escala sin que parezcan un mosaico de baldosas mal combinadas. Los métodos anteriores generaban piezas pequeñas e independientes del fondo marino y luego intentaban pegarlas más tarde, un proceso que frecuentemente resultaba en costuras visibles y texturas inconsistentes. BenthicFlow adopta un enfoque diferente al generar toda la escena en un proceso único y continuo. Utiliza un único modelo matemático que crea simultáneamente tanto la imagen en color como el mapa de profundidad, asegurando que la textura de la arena o la roca coincida perfectamente con su forma tridimensional desde el principio.

El sistema funciona tomando unas pocas imágenes de referencia de una ubicación submarina específica y utilizándolas para guiar la creación de un entorno mucho más grande. Imagine el proceso como pintar un mural masivo donde el artista consulta constantemente algunos pequeños bocetos para mantener el estilo y la paleta de colores correctos. La computadora comienza con un área grande de ruido estático y la refina gradualmente, paso a paso, hasta convertirla en una imagen clara. Para manejar el vasto tamaño del fondo del océano, el sistema divide la tarea en secciones superpuestas, procesándolas todas a la vez y mezclando los resultados a medida que avanza. Esto asegura que la transición de una sección a la siguiente sea fluida, sin líneas duras o rupturas en el patrón. Una vez que la computadora ha generado una imagen de alta resolución del lecho marino junto con su correspondiente mapa de profundidad, eleva esta imagen plana hacia un entorno 3D completo. Lo hace convirtiendo cada píxel en un diminuto elemento de superficie plana que está orientado correctamente en el espacio, creando un mundo 3D continuo y navegable que puede ser visto desde cualquier ángulo.

Los investigadores probaron su sistema utilizando datos recolectados de tres ubicaciones distintas: dos arrecifes en Australia y una zona costera en Hawái. Encontraron que las escenas generadas eran notablemente fieles a los entornos reales, capturando los colores, texturas y condiciones de iluminación específicos de cada sitio. Al compararse con otras herramientas avanzadas de generación de imágenes, BenthicFlow produjo imágenes que eran mucho más consistentes con los datos submarinos reales, evitando el coral extraño y estilizado y el agua azul clara que los modelos genéricos suelen producir. El sistema también demostró ser capaz de interpolar entre diferentes ubicaciones, mezclando suavemente las características de un arrecife con otro para crear paisajes diversos y coherentes. Además, la información de profundidad generada por el sistema era altamente consistente con las texturas visuales, lo que significa que la computadora no solo creó una imagen bonita, sino una representación estructuralmente precisa del terreno.

Al generar con éxito estos entornos submarinos extensibles, este trabajo proporciona una poderosa nueva herramienta para la ciencia marina y la robótica. La capacidad de crear simulaciones 3D a gran escala y realistas permite a los ingenieros entrenar vehículos autónomos en mundos virtuales que imitan de cerca los desafíos del océano real, desde aguas turbias hasta terrenos complejos, sin necesidad de visitar físicamente cada sitio de antemano. También ofrece a los ecólogos una forma de modelar cómo se ve un fondo marino saludable, proporcionando una línea base para detectar anomalías como el blanqueamiento del coral o especies invasoras. El estudio demuestra que, al unificar la generación de imágenes y geometría en un proceso único y continuo, es posible superar las limitaciones de los métodos anteriores y crear gemelos digitales del fondo del océano que sean tanto expansivos como profundamente auténticos.

Resumen Técnico: BenthicFlow

Declaración del Problema
La visión computacional submarina enfrenta un cuello de botella crítico: aunque los vehículos autónomos submarinos (AUV) han acumulado vastas colecciones de imágenes, los datos 3D estructurados y utilizables siguen siendo escasos debido a la falta de poses de cámara fiables, la carencia de supervisión 3D densa y la degradación de la estructura desde el movimiento (SfM) y el SLAM en entornos de baja textura y turbidez. Los enfoques generativos existentes para cerrar esta brecha de datos sufren limitaciones significativas. Los métodos previos, como el generador de terreno extensible en [52], ensamblan escenas grandes uniendo teselas generadas de forma independiente mediante un modelo de inpainting separado. Esta estrategia introduce artefactos en los límites, falla en mantener la coherencia global en toda la escena y restringe la generación a sitios de prospección únicos, careciendo de la capacidad de interpolar entre entornos geográficamente distintos. Además, los modelos fundacionales de propósito general no logran capturar la apariencia específica, a menudo plana y turbia, de las imágenes de prospección, optando en su lugar por arrecifes de coral estilizados y de aguas claras.

Metodología
Los autores proponen BenthicFlow, un marco unificado que genera mosaicos RGB-profundidad (RGBD) espacialmente extensibles y alineados, y los eleva a entornos 3D explícitos. El flujo de trabajo consta de tres etapas primarias:

Representación Latente (d-RAE): El sistema opera en un espacio latente comprimido gestionado por un Autoencoder de Representación modificado (d-RAE). Este codificador utiliza un backbone DINOv2 congelado para imágenes RGB y un Vision Transformer (ViT) separado entrenado desde cero para mapas de profundidad. Estos se fusionan en una única representación latente ( $z \in \mathbb{R}^{h \times w \times 1024}$ ), asegurando una alineación natural entre la textura y la geometría durante el entrenamiento.
Generación Extensible mediante Flow Matching Condicional:
- Condicionamiento: El modelo está condicionado por imágenes de referencia de sitios de prospección específicos. Se extraen descriptores de apariencia global de las semillas de referencia, que se someten a un pooling de media e interpolación bilineal para formar una rejilla de condicionamiento continua. Esto permite la generación de escenas diversas preservando al mismo tiempo las características específicas del sitio.
- Flow Matching: Un único modelo de flujo condicional (CFM), implementado como un U-Net totalmente convolucional, aprende a regredir un campo de velocidad que transforma ruido gaussiano isotrópico en la distribución latente objetivo.
- Muestreo inspirado en MultiDiffusion: Para generar escenas más grandes que la resolución de entrenamiento, el lienzo latente se subdivide en ventanas superpuestas. A diferencia de los métodos previos que unen las teselas a posteriori, BenthicFlow reconcilia las ventanas superpuestas durante la trayectoria generativa. En cada paso de integración, las velocidades predichas de los tokens superpuestos se promedian utilizando un pesaje de ventana de seno separable. Esto asegura la coherencia global sin necesidad de una red de costura secundaria.
Elevación 3D (3D Lifting): El lienzo latente denotado se decodifica de nuevo en un mosaico RGBD de alta resolución. Esta observación 2.5D se eleva luego a una representación 3D continua utilizando surfels gaussianos alineados con la superficie. A diferencia de los Gaussianos 3D isotrópicos, los surfels se orientan según las normales locales de la superficie, con extensiones anisotrópicas en el plano para evitar el puenteo de discontinuidades de profundidad. Un paso de refinamiento de apariencia únicamente ajusta el color y la opacidad para coincidir con la vista de origen mientras preserva la integridad geométrica.

Contribuciones Clave

Generación Extensible Unificada: Una formulación de flow-matching por ventanas donde las ventanas latentes superpuestas se reconcilian a lo largo de una trayectoria generativa compartida. Esto permite la creación de mosaicos RGBD espacialmente extensibles utilizando un único modelo generativo, eliminando la necesidad de redes de inpainting o de costura separadas.
Interpolación entre Sitios: Un único campo de velocidad condicional capaz de abarcar múltiples sitios de prospección geográficamente distintos e interpolar suavemente entre ellos, una capacidad no demostrada por los generadores submarinos previos.
Elevación 3D con Surfels: Una etapa de elevación que convierte los mosaicos RGBD en representaciones 3D espacialmente continuas utilizando surfels gaussianos alineados con la superficie, mejorando la cobertura de la superficie y preservando la geometría estimada.

Resultados
Los experimentos se realizaron sobre más de 600,000 fotogramas bentónicos de tres ubicaciones distintas (Bateman Bay, Scott Reef y Hawái).

Calidad de Imagen: BenthicFlow superó significativamente al baseline de referencia FLUX.2-dev, logrando un FID (Fréchet Inception Distance) promedio de 16.2 frente a 99.7. También demostró una adherencia condicional superior (Similitud de Coseno de 0.842 frente a 0.649).
Especificidad del Sitio: Los clasificadores k-NN entrenados con los datos generados retuvieron más del 95% de la precisión balanceada y de los puntajes macro F1 de los datos reales, confirmando la preservación de las claves visuales específicas del sitio.
Continuidad (Seamlessness): La métrica Seam Gradient Ratio (SGR) indicó una mezcla óptima con un 62.5% de superposición de ventanas, donde los artefactos de frontera resultaron indistinguibles del resto de la textura.
Consistencia de Profundidad: El sistema logró una alineación casi perfecta entre las imágenes generadas y los mapas de profundidad (correlación de Pearson $r=0.997$ ), validando la consistencia estructural de la generación multimodal.
Fidelidad 3D: Los estudios de ablación en la etapa de elevación 3D mostraron que el uso de surfels alineados con la superficie con refinamiento anclado produjo la mejor fidelidad de vista única (SSIM 0.925, LPIPS 0.046), superando los enfoques de Gaussianos isotrópicos.

Significancia
El artículo afirma que BenthicFlow aborda las limitaciones de los procesos generativos submarinos existentes mediante su formulación unificada. Al tratar la generación y el inpainting como una sola operación dentro de una trayectoria de muestreo compartida, el marco produce escenas 3D coherentes y a gran escala que coinciden estrechamente con las distribaciones objetivo sin los artefactos asociados con la costura post-hoc. La capacidad de interpolar entre sitios geográficamente distintos proporciona una prioridad de normalidad para la ecología marina y una fuente escalable de terreno sintético para entrenar sistemas de percepción de vehículos autónomos submarinos, particularmente en escenarios donde no es posible recolectar datos del sitio objetivo por adelantado. El trabajo establece una base para generar entornos submarinos auténticos y topológicamente complejos que el modelado procedimental y los canales de difusión estándar han luchado por replicar.

Más como este