HPC-Enabled Video-based Coastal Wave Parameter Estimation Using V-JEPA and Deep Spatiotemporal Learning

Technische Samenvatting: HPC-gestuurde video-gebaseerde schatting van kustgolfparameters met behulp van V-JEPA en diep spatiotemporeel leren

Probleemstelling
Traditionele in-situ methoden voor het monitoren van kustgolven, zoals golfboeien en druksensoren, kampen met aanzienlijke beperkingen, waaronder hoge implementatiekosten, gebrekkige ruimtelijke dekking en kwetsbaarheid voor schade tijdens stormomstandigheden. Hoewel visuele methoden een kosteneffectief alternatief bieden, worstelen bestaande deep learning-benaderingen vaak met dataschaarste, inadequate multi-schaal temporele modellering, slechte generalisatie over diverse omgevingen en een gebrek aan fysieke interpreteerbaarheid. Bovendien blijft het vastleggen van de complexe temporele dynamiek van oceangolven over verschillende schalen (van kortstondige brekende gebeurtenissen tot langdurige deining) een uitdaging voor standaard gesuperviseerde modellen.

Methodologie
De auteurs stellen een nieuw, door High-Performance Computing (HPC) ondersteund deep learning-framework voor, ontworpen voor de sensorvrije, gezamenlijke schatting van vijf kustgolfparameters: significante golfhoogte ($H_s$), maximale golfhoogte ($H_{max}$), piekperiode ($T_p$), nul-doorloopperiode ($T_z$) en golfrichting ($\theta$). Het systeem verwerkt monoculaire kustvideo via een modulaire pipeline:

1. Backbone (V-JEPA): Het framework maakt gebruik van een Vision Transformer (ViT-Small) backbone die is voorgetraind met V-JEPA (Video Joint Embedding Predictive Architecture). Deze zelfgesuperviseerde benadering maakt robuuste spatiotemporele kenmerkextractie mogelijk uit ongeannoteerde video, waardoor visuele uitdagingen zoals schuim, spetters en veranderende lichtomstandigheden effectief worden afgehandeld zonder zwaar te leunen op grote gelabelde datasets.
2. Temporele Codering (Dual-Stream SlowFast): Om het broadband temporele spectrum van kustgolven te vangen, wordt een dual-stream SlowFast-encoder ingezet. Het "fast" pad verwerkt de volledige temporele sequentie (16 frames) om kortstondige brekende gebeurtenissen te vangen, terwijl het "slow" pad werkt op een temporeel gedownsamplede sequentie (4 frames) om langere-periode deining te modelleren.
3. Saliency-Gestuurde Augmentatie: Een optische stroom-stream gebaseerd op het Farneback-algoritme genereert bewegingssaliency-kaarten. Dit stuurt het crops-proces aan om de aandacht van het model te richten op hydrodynamisch actieve regio's, zoals de actieve branding en brekende zones.
4. Regressie en Fysische Constraints: Een multi-task regressie-kop voorspelt de vijf parameters. De training wordt gesuperviseerd door een samengestelde verliesfunctie die de Mean Squared Error (MSE) combineert met een physics-guided regularisatieterm. Deze term dwingt consistentie af met de Airy wave deep-water dispersierelatie ($\lambda_p = 0.1$), wat ervoor zorgt dat het model voldoet aan de fysieke golfdynamica.
5. Computationele Infrastructuur: Het volledige framework werd getraind op een NVIDIA DGX A100-cluster (8× A100 GPU's, 320 GB geaggregeerd geheugen) met behulp van PyTorch. De auteurs merken op dat deze HPC-infrastructuur essentieel was voor het trainen van de volledige spatiotemporele pipeline en het bereiken van een theoretische versnelling van 600x–900x vergeleken met consumentenhardware.

Belangrijkste Bijdragen

• Sensorvrije Multi-Parameter Schatting: Het artikel presenteert een verenigde architectuur die in staat is om gelijktijdig vijf verschillende golfparameters te schatten vanuit een enkel camerastandpunt, waardoor de noodzaak voor in-situ instrumentatie wordt geëlimineerd.
• Data-Efficiënte Architectuur: Door gebruik te maken van de zelfgesuperviseerde voortraining van V-JEPA, demonstreert het framework de haalbaarheid in een scenario met beperkte data, waarbij slechts zes geannoteerde trainingsscènes worden gebruikt terwijl de generalisatie naar geografisch diverse testlocaties behouden blijft.
• Physics-Informed Deep Learning: De integratie van Airy wave dispersie-constraints in de verliesfunctie biedt een mechanisme om de regressie-kop te regulariseren, waardoor de oplossingsruimte wordt beperkt en de gradiëntstroom wordt gestabiliseerd.
• HPC-Enabled Schaalbaarheid: De studie demonstreert de cruciale rol van HPC-bronnen bij het trainen van complexe video-gebaseerde spatiotemporele modellen, waarbij een snelle convergentie werd bereikt (vroegtijdige stopzetting bij epoch 31) en een hoge throughput werd behaald.

Experimentele Resultaten
Het model werd geëvalueerd op een dataset bestaande uit zes geannoteerde trainingsscènes en een geografisch diverse, apart gehouden testset. De belangrijkste prestatiemetrieken zijn:

• Correlatie: Het framework bereikte statistisch significante Pearson Correlatiecoëfficiënten (PCC) voor alle parameters: $H_s$ (0.451), $H_{max}$ (0.578), $T_p$ (0.643), $T_z$ (0.680) en Golfrichting $\theta$ (0.832).
• Generalisatie: De prestaties op de apart gehouden testset bleven consistent met de metrieken van de volledige set, wat wijst op het vermogen van het model om te generaliseren over verschillende kustlocaties, camerahoeken en lichtomstandigheden zonder te overfitten.
• Beperkingen: De coefficient of determination ($R^2$) waarden waren relatief laag (maximum 0.246 voor $T_p$), wat de auteurs toeschrijven aan de kleine omvang van de geannoteerde trainingsdataset (6 scènes) in plaats van architecturale tekortkomingen. Het model vertoonde systematische biases, waaronder een onderschatting van golfhoogtes en een positieve bias in de golfrichting ($+17.9^\circ$), het laatste toegeschreven aan een gebrek aan camera bearing-kalibratie en orthorectificatie.

Betekenis en Claims
Dit artikel positioneert dit werk als een proof-of-concept die de haalbaarheid aantoont van HPC-gestuurd, zelfgesuperviseerd deep learning voor kustgolfmonitoring in omgevingen met weinig data. De auteurs beweren dat hoewel de huidige $R^2$-waarden aangeven dat het vangen van variantie grotere geannoteerde datasets vereist, de hoge temporele correlaties (PCC) bevestigen dat het framework erin slaagt om statistisch geldige golfparameter-signalen uit ruwe video te extraheren.

De betekenis van het werk ligt in de demonstratie dat zelfgesuperviseerd leren (V-JEPA) in combinatie met physics-informed constraints de beperkingen van traditionele gesuperviseerde modellen kan overwinnen die afhankelijk zijn van massale gelabelde datasets. De auteurs concluderen dat de voorgestelde methode dient als een fundament voor toekomstige verbeteringen, waarbij zij specifiek suggereren dat opschaling naar grotere, diverse datasets en de implementatie van geometrische kalibratie de prestaties aanzienlijk kunnen verbeteren, met name voor directionele schatting en het vangen van variantie.