HPC-Enabled Video-based Coastal Wave Parameter Estimation Using V-JEPA and Deep Spatiotemporal Learning

Resumen Técnico: Estimación de Parámetros de Olas Costeras Basada en Video Mediante HPC con V-JEPA y Aprendizaje Espaciotemporal Profundo

Planteamiento del Problema
Los métodos tradicionales in situ para el monitoreo de olas costeras, como las boyas de oleaje y los sensores de presión, enfrentan limitaciones significativas que incluyen altos costos de despliegue, una cobertura espacial deficiente y susceptibilidad a daños durante condiciones de tormenta. Si bien los métodos basados en visión ofrecen una alternativa rentable, los enfoques actuales de aprendizaje profundo suelen tener dificultades con la escasez de datos, un modelado temporal multiescala inadecuado, una generalización deficiente en entornos diversos y una falta de interpretabilidad física. Además, capturar la compleja dinámica temporal de las olas oceánicas a través de diferentes escalas (desde eventos de rotura de corto plazo hasta swells de periodo largo) sigue siendo un desafío para los modelos supervisados estándar.

Metodología
Los autores proponen un novedoso marco de aprendizaje profundo habilitado para Computación de Alto Rendimiento (Hcho/HPC), diseñado para la estimación conjunta y sin sensores de cinco parámetros de olas costeras: altura significativa de ola ($H_s$), altura máxima de ola ($H_{max}$), periodo pico ($T_p$), periodo de cruce por cero ($T_z$) y dirección de la ola ($\theta$). El sistema procesa video costero monocular a través de un pipeline modular:

1. Backbone (V-JEPA): El marco utiliza un backbone de Vision Transformer (ViT-Small) preentrenado con V-JEPA (Arquitectura de Predicción de Incrustaciones Conjuntas de Video). Este enfoque de aprendizaje autosupervisado permite una extracción robusta de características espaciotemporales a partir de video no etiquetado, manejando eficazmente desafíos visuales como la espuma, el spray y los cambios de iluminación sin depender excesivamente de grandes conjuntos de datos etiquetados.
2. Codificación Temporal (Dual-Stream SlowFast): Para capturar el espectro temporal de banda ancha de las olas costeras, se emplea un codificador dual-stream SlowFast. La vía "fast" (rápida) procesa la secuencia temporal completa (16 fotogramas) para capturar eventos de rotura de corto plazo, mientras que la vía "slow" (lenta) opera sobre una secuencia temporal submuestreada (4 fotogramas) para modelar swells de periodo más largo.
3. Aumentación Guiada por Saliencia: Una vía de flujo óptico basada en el algoritmo de Farneback genera mapas de saliencia de movimiento. Esto guía el proceso de recorte para sesgar la atención del modelo hacia regiones hidrodinámicamente activas, tales como el surf activo y las zonas de rotura.
4. Regresión y Restricciones Físicas: Un cabezal de regresión multitarea predice los cinco parámetros. El entrenamiento es supervisado por una función de pérdida compuesta que combina el Error Cuadrático Medio (MSE) con un término de regularización guiado por la física. Este término impone consistencia con la relación de dispersión de ondas de aguas profundas de Airy ($\lambda_p = 0.1$), asegurando que el modelo se adhiera a la dinámica física de las olas.
5. Infraestructura Computacional: Todo el marco fue entrenado en un clúster NVIDIA DGX A100 (8× A100 GPUs, 320 GB de memoria agregada) utilizando PyTorch. Los autores señalan que esta infraestructura de HPC fue esencial para entrenar el pipeline espaciotemporal completo y lograr una aceleración teórica de 600x–900x en comparación con el hardware de consumo.

Contribuciones Clave

• Estimación de Múltiples Parámetros Sin Sensores: El artículo presenta una arquitectura unificada capaz de estimar simultáneamente cinco parámetros distintos de las olas desde una sola vista de cámara, eliminando la necesidad de instrumentación in situ.
• Arquitectura Eficiente en Datos: Al aprovechar el preentrenamiento autosupervisado de V-JEPA, el marco demuestra la viabilidad en un régimen de datos limitados, utilizando solo seis escenas de entrenamiento anotadas mientras mantiene la generalización a sitios de prueba geográficamente diversos.
• Aprendizaje Profundo Informado por la Física: La integración de las restricciones de dispersión de ondas de Airy en la función de pérdida proporciona un mecanismo para regularizar el cabezal de regresión, reduciendo el espacio de soluciones y estabilizando el flujo de gradientes.
• Escalabilidad Habilitada por HPC: El estudio demuestra el papel crítico de los recursos de HPC en el entrenamiento de modelos espaciotemporales complejos basados en video, logrando una convergencia rápida (parada temprana en la época 31) y un alto rendimiento.

Resultados Experimentales
El modelo fue evaluado en un conjunto de datos que comprende seis escenas de entrenamiento anotadas y un conjunto de prueba mantenido geográficamente diverso. Las métricas de desempeño clave incluyen:

• Correlación: El marco logró coeficientes de correlación de Pearson (PCC) estadísticamente significativos en todos los parámetros: $H_s$ (0.451), $H_{max}$ (0.578), $T_p$ (0.643), $T_z$ (0.680) y Dirección de la Ola $\theta$ (0.832).
• Generalización: El desempeño en el conjunto de prueba mantenido se mantuvo consistente con las métricas del conjunto completo, lo que indica la capacidad del modelo para generalizar a través de diferentes ubicaciones costeras, ángulos de cámara y condiciones de iluminación sin sobreajuste.
• Limitaciones: Los valores del coeficiente de determinación ($R^2$) fueron relativamente bajos (máximo 0.246 para $T_p$), lo que los autores atribuyen al pequeño tamaño del conjunto de datos de entrenamiento anotado (6 escenas) más que a deficiencias arquitectónicas. El modelo exhibió sesgos sistemáticos, incluyendo una subestimación de las alturas de ola y un sesgo positivo en la dirección de la ola ($+17.9^\circ$), esto último atribuido a la falta de calibración del rumbo de la cámara y ortorrectificación.

Significancia y Reivindicaciones
El artículo posiciona este trabajo como una prueba de concepto que demuestra la viabilidad del uso de aprendizaje profundo autosupervisado habilitado por HPC para el monitoreo de olas costeras en entornos con escasez de datos. Los autores afirman que, si bien sus valores actuales de $R^2$ indican que la captura de la varianza requiere conjuntos de datos anotados más grandes, las altas correlaciones temporales (PCC) confirman que el marco extrae exitosamente señales de parámetros de olas estadísticamente válidas a partir de video bruto.

La significancia del trabajo radica en su demostración de que el aprendizaje autosupervisado (V-JEPA) combinado con restricciones informadas por la física puede superar las limitaciones de los modelos supervisados tradicionales que dependen de masivos conjuntos de datos etiquetados. Los autores concluyen que la propuesta sirve como base para futuras mejoras, sugiriendo específicamente que escalar a conjuntos de datos más grandes y diversos, e implementar la calibración geométrica, podría mejorar significativamente el desempeño, particularmente para la estimación direccional y la captura de la varianza.