HPC-Enabled Video-based Coastal Wave Parameter Estimation Using V-JEPA and Deep Spatiotemporal Learning

Sintesi Tecnica: Stima dei Parametri delle Onde Costiere basata su Video tramite HPC utilizzando V-JEPA e Apprendimento Spazio-Temporale Profondo

Problematica
I metodi tradizionali per il monitoraggio delle onde costiere in situ, come le boe oceanografiche e i sensori di pressione, presentano limitazioni significative, tra cui elevati costi di installazione, scarsa copertura spaziale e suscettibilità ai danni durante le condizioni di tempesta. Sebbene i metodi basati sulla visione offrano un'alternativa più economica, gli approcci esistenti di deep learning spesso faticano con la scarsità di dati, un'inadeguata modellazione temporale multi-scala, una scarsa generalizzazione in ambienti diversi e una mancanza di interpretabilità fisica. Inoltre, catturare la complessa dinamica temporale delle onde oceaniche attraverso diverse scale (dalle rotture a breve termine alle onde lunghe di periodo lungo) rimane una sfida per i modelli supervisionati standard.

Metodologia
Gli autori propongono un nuovo framework di deep learning abilitato dall'HPC (High-Performance Computing), progettato per la stima congiunta e senza sensori di cinque parametri delle onde costiere: altezza significativa dell'onda ($H_s$), altezza massima dell'onda ($H_{max}$), periodo di picco ($T_p$), periodo di zero upcrossing ($T_z$) e direzione dell'onda ($\theta$). Il sistema elabora video costieri monoculari attraverso una pipeline modulare:

1. Backbone (V-JEPA): Il framework utilizza un backbone Vision Transformer (ViT-Small) pre-addestrato con V-JEPA (Video Joint Embedding Predictive Architecture). Questo approccio auto-supervisionato consente un'estrazione robusta di caratteristiche spazio-temporali da video non etichettati, gestendo efficacemente sfide visive come schiuma, spruzzi e cambiamenti di illuminazione senza fare affidamento eccessivo su grandi dataset etichettati.
2. Codifica Temporale (Dual-Stream SlowFast): Per catturare lo spettro temporale a banda larga delle onde costiere, viene impiegato un codificatore dual-stream SlowFast. La via "fast" (veloce) elabora l'intera sequenza temporale (16 fotogrammi) per catturare eventi di rottura a breve termine, mentre la via "slow" (lenta) opera su una sequenza temporale sottocampionata (4 fotogrammi) per modellare le onde di periodo più lungo.
3. Augmentation Guidata dalla Saliency: Un flusso di optical flow basato sull'algoritmo di Farneback genera mappe di salienza del movimento. Queste guidano il processo di cropping per orientare l'attenzione del modello verso regioni idrodinamicamente attive, come le zone di surf attivo e di rottura.
4. Regressione e Vincoli Fisici: Una testa di regressione multi-task predice i cinque parametri. L'addestramento è supervisionato da una funzione di perdita composita che combina l'Errore Quadratico Medio (MSE) con un termine di regolarizzazione guidato dalla fisica. Questo termine impone la coerenza con la relazione di dispersione in acque profonde di Airy ($\lambda_p = 0.1$), garantendo che il modello aderisca alla dinamica fisica delle onde.
5. Infrastruttura Computazionale: L'intero framework è stato addestrato su un cluster NVIDIA DGX A100 (8× GPU A100, 320 GB di memoria aggregata) utilizzando PyTorch. Gli autori sottolineano che questa infrastruttura HPC era essenziale per addestrare l'intera pipeline spazio-temporale e raggiungere un'accelerazione teorica di 600x–900x rispetto all'hardware di consumo.

Contributi Chiave

• Stima Multi-Parametro Senza Sensori: Il documento presenta un'architettura unificata capace di stimare simultaneamente cinque distinti parametri delle onde da una singola vista della telecamera, eliminando la necessità di strumentazione in situ.
• Architettura Efficiente nei Dati: Sfruttando il pre-addestramento auto-supervisionato di V-JEPA, il framework dimostra la fattibilità in un regime di dati limitati, utilizzando solo sei scene annotate pur mantenendo la generalizzazione verso siti di test geograficamente diversificati.
• Deep Learning Informato dalla Fisica: L'integrazione dei vincoli di dispersione delle onde di Airy nella funzione di perdita fornisce un meccanismo per regolarizzare la testa di regressione, riducendo lo spazio delle soluzioni e stabilizzando il flusso del gradiente.
• Scalabilità Abilitata dall'HPC: Lo studio dimostra il ruolo critico delle risorse HPC nell'addestramento di complessi modelli video spazio-temporali, raggiungendo una rapida convergenza (early stopping al termine dell'epoca 31) e un alto throughput.

Risultati Sperimentali
Il modello è stato valutato su un dataset composto da sei scene di addestramento annotate e un set di test geograficamente diversificato. Le metriche chiave di prestazione includono:

• Correlazione: Il framework ha ottenuto coefficienti di correlazione di Pearson (PCC) statisticamente significativi per tutti i parametri: $H_s$ (0.451), $H_{max}$ (0.578), $T_p$ (0.643), $T_z$ (0.680) e Direzione dell'Onda $\theta$ (0.832).
• Generalizzazione: Le prestazioni sul set di test tenuto separato sono rimaste coerenti con le metriche del set completo, indicando la capacità del modello di generalizzare tra diverse località costiere, angoli di ripresa e condizioni di illuminazione senza overfitting.
• Limitazioni: I valori del coefficiente di determinazione ($R^2$) sono stati relativamente bassi (massimo 0.246 per $T_p$), il che gli autori attribuiscono alle piccole dimensioni del dataset di addestramento annotato (6 scene) piuttosto che a carenze architettoniche. Il modello ha mostrato bias sistematici, inclusa una sottostima delle altezze delle onde e un bias positivo nella direzione dell'onda ($+17.9^\circ$), quest'ultimo attribuito alla mancanza di calibrazione del bearing della telecamera e di ortorettificazione.

Significatività e Rivendicazioni
Il documento posiziona questo lavoro come una prova di concetto che dimostra la fattibilità dell'uso del deep learning auto-supervisionato abilitato dall'HPC per il monitoraggio delle onde costiere in ambienti con scarsità di dati. Gli autori affermano che, sebbene gli attuali valori di $R^2$ indichino che la cattura della varianza richiede dataset annotati più ampi, l'alta correlazione temporale (PCC) conferma che il framework estrae con successo segnali di parametri delle onde statisticamente validi dai video grezzi.

La significatività del lavoro risiede nella dimostrazione che l'apprendimento auto-supervisionato (V-JEPA), combinato con vincoli informati dalla fisica, può superare i limiti dei modelli supervisionati tradizionali che dipendono da massicci dataset etichettati. Gli autori concludono che il metodo proposto funge da base per futuri miglioramenti, suggerendo specificamente che il passaggio a dataset più ampi e diversificati e l'implementazione della calibrazione geometrica possano migliorare significativamente le prestazioni, in particolare per la stima direzionale e la cattura della varianza.