HPC-Enabled Video-based Coastal Wave Parameter Estimation Using V-JEPA and Deep Spatiotemporal Learning

Resumo Técnico: Estimativa de Parâmetros de Ondas Costeiras Baseada em Vídeo Habilitada por HPC Usando V-JEPA e Aprendizado Espaçotemporal Profundo

Definição do Problema
Os métodos tradicionais de monitoramento de ondas in-situ, como boias de ondas e sensores de pressão, enfrentam limitações significativas, incluindo altos custos de implantação, baixa cobertura espacial e suscetibilidade a danos durante condições de tempestade. Embora os métodos baseados em visão ofereçam uma alternativa de baixo custo, as abordagens de aprendizado profundo existentes frequentemente lutam contra a escassez de dados, modelagem temporal multiescala inadequada, generalização deficiente entre diversos ambientes e falta de interpretabitidade física. Além disso, capturar a complexa dinâmica temporal das ondas oceânicas em diferentes escalas (desde eventos de quebra de curto prazo até swells de longo período) continua sendo um desafio para modelos supervisionados padrão.

Metodologia
Os autores propõem um novo framework de aprendizado profundo habilitado por Computação de Alto Desempenho (HPC), projetado para a estimativa conjunta e sem sensores de cinco parâmetros de ondas costeiras: altura significativa da onda ($H_s$), altura máxima da onda ($H_{max}$), período de pico ($T_p$), período de cruzamento zero ($T_z$) e direção da onda ($\theta$). O sistema processa vídeo costeiro monocular através de um pipeline modular:

1. Backbone (V-JEPA): O framework utiliza um backbone de Vision Transformer (ViT-Small) pré-treinado com V-JEPA (Arquitetura Preditiva de Embedding Conjunto de Vídeo). Esta abordagem de aprendizado autossupervisionado permite a extração robusta de características espaço-temporais de vídeos não rotulados, lidando efetivamente com desafios visuais como espuma, spray e mudanças de iluminação sem depender fortemente de grandes conjuntos de dados rotulados.
2. Codificação Temporal (Dual-Stream SlowFast): Para capturar o espectro temporal de banda larga das ondas costeiras, é empregado um codificador dual-stream SlowFast. A via "fast" (rápida) processa a sequência temporal completa (16 frames) para capturar eventos de quebra de curto prazo, enquanto a via "slow" (lenta) opera em uma sequência temporal subamostrada (4 frames) para modelar swells de períodos mais longos.
3. Aumento Guiado por Saliência: Um fluxo de fluxo óptico baseado no algoritmo de Farneback gera mapas de saliência de movimento. Isso guia o processo de recorte para enviesar a atenção do modelo para regiões hidrodinamicamente ativas, como zonas de surfe ativo e zonas de quebra.
4. Regressão e Restrições Físicas: Uma cabeça de regressão multitarefa prevê os cinco parâmetros. O treinamento é supervisionado por uma função de perda composta que combina o Erro Quadrático Médio (MSE) com um termo de regularização guiado pela física. Este termo impõe consistência com a relação de dispersão de águas profundas de Airy ($\lambda_p = 0,1$), garantindo que o modelo adira à dinâmica física das ondas.
5. Infraestrutura Computacional: Todo o framework foi treinado em um cluster NVIDIA DGX A100 (8× GPUs A100, 320 GB de memória agregada) usando PyTorch. Os autores observam que esta infraestrutura de HPC foi essencial para treinar o pipeline espaço-temporal completo e alcançar um aumento de velocidade teórico de 600x–900x em comparação com hardware de consumo.

Principais Contribuições

• Estimativa de Múltiplos Parâmetros Sem Sensores: O artigo apresenta uma arquitetura unificada capaz de estimar simultaneamente cinco parâmetros distintos de ondas a partir de uma única visão de câmera, eliminando a necessidade de instrumentação in-situ.
• Arquitetura Eficiente em Dados: Ao aproveitar o pré-treinamento autossupervisionado do V-JEPA, o framework demonstra a viabilidade em um regime de dados limitados, utilizando apenas seis cenas de treinamento anotadas enquanto mantém a generalização para locais de teste geograficamente diversos.
• Aprendizado Profundo Informado pela Física: A integração de restrições de dispersão de ondas de Airy na função de perda fornece um mecanismo para regularizar a cabeça de regressão, reduzindo o espaço de solução e estabilizando o fluxo de gradiente.
• Escalabilidade Habilitada por HPC: O estudo demonstra o papel crítico dos recursos de HPC no treinamento de modelos de vídeo espaço-temporais complexos, alcançando convergência rápida (parada antecipada no epoch 31) e alto rendimento.

Resultos Experimentais
O modelo foi avaliado em um conjunto de dados composto por seis cenas de treinamento anotadas e um conjunto de teste mantido fora do conjunto (held-out) geograficamente diverso. As principais métricas de desempenho incluem:

• Correlação: O framework alcançou Coeficientes de Correlação de Pearson (PCC) estatisticamente significativos em todos os parâmetros: $H_s$ (0,451), $H_{max}$ (0,578), $T_p$ (0,643), $T_z$ (0,680) e Direção da Onda $\theta$ (0,832).
• Generalização: O desempenho no conjunto de teste mantido fora foi consistente com as métricas do conjunto completo, indicando a capacidade do modelo de generalizar para diferentes localizações costeiras, ângulos de câmera e condições de iluminação sem overfitting.
• Limitações: Os valores do coeficiente de determinação ($R^2$) foram relativamente baixos (máximo de 0,246 para $T_p$), o que os autores atribuem ao tamanho pequeno do conjunto de dados de treinamento anotado (6 cenas) e não a deficiências arquitetônicas. O modelo exibiu vieses sistemáticos, incluindo uma subestimação das alturas das ondas e um viés positivo na direção da onda ($+17,9^\circ$), este último atribuído à falta de calibração de bearing da câmera e ortorretificação.

Significância e Alegações
O artigo posiciona este trabalho como uma prova de conceito demonstrando a viabilidade do uso de aprendizado profundo autossupervisionado habilitado por HPC para o monitoramento de ondas costeiras em ambientes de escassez de dados. Os autores alegam que, embora os valores atuais de $R^2$ indiquem que a captura de variância requer conjuntos de dados anotados maiores, as altas correlações temporais (PCC) confirmam que o framework extrai com sucesso sinais de parâmetros de ondas estatisticamente válidos a partir de vídeos brutos.

A significância do trabalho reside na demonstração de que o aprendizado autossupervisionado (V-JEPA) combinado com restrições informadas pela física pode superar as limitações dos modelos supervisionados tradicionais que dependem de conjuntos de dados rotulados massivos. Os autores concluem que o método proposto serve como uma base para melhorias futuras, sugerindo especificamente que escalar para conjuntos de dados maiores e diversos e implementar calibração geométrica poderia aumentar significativamente o desempenho, particularmente para a estimativa direcional e captura de variância.