Physics-Guided Spatiotemporal Learning for Coastal Wave Peak Period Estimation from Video

Technische Samenvatting: Fysica-gestuurd Spatiotemporeel Leren voor de Schatting van de Golfpiekperiode uit Video

Probleemstelling
Nauwkeurige monitoring van nabijgelegen golfdynamiek, specifiek de golfpiekperiode ($T_p$), is essentieel voor de kusttechniek, rampenbestrijding en klimaatresilience. Traditionele in-situ systemen (boeien, LiDAR) en remote sensing-platforms bieden nauwkeurigheid, maar kampen met hoge implementatiekosten, onderhoudsdificulteiten en beperkte ruimtelijke dekking. Hoewel videobasische monitoring een kosteneffectief alternatief is geworden, missen bestaande deep learning-benaderingen vaak fysieke interpreteerbaarheid, vertrouwen ze op tussenliggende preprocessingsstappen (bijv. timestack-constructie, spectrale analyse) of falen ze in het generaliseren over diverse kustmorfologieën door een tekort aan deskundig geannoteerde datasets. Er is een kritieke behoefte aan een end-to-end deep learning-framework dat direct $T_p$ schat uit ruwe monoculaire video, terwijl het zich houdt aan hydrodynamische fysieke restricties.

Methodologie
De auteurs stellen een Fysica-gestuurd Diep Spatiotemporeel Leerframework voor, ontworpen om nabijgelegen golfpiekperioden direct uit ruwe videostreams te schatten. De methodologie is gestructureerd rond drie kerncomponenten:

1. Geautomatiseerde Region of Interest (ROI) Detectie:
   In plaats van handmatige cropping gebruikt het systeem een detector gebaseerd op temporele variantie. Door de pixelintensiteitsvariantie over de tijd te analyseren, isoleert het algoritme de "actieve band" van de brandingzone, waarbij statische land- en luchtregio's worden weggefilterd. Dit proces is architectuur-agnostisch, wat zorgt voor een consistente focus van de input over verschillende model-backbones.

2. Tri-fase Transfer Learning Strategie:
   Om gegevensschaarste aan te pakken, maakt het framework gebruik van een driestaps trainingspipeline:

   • Fase 0 (Synthetische Pre-training): Modellen worden voorgetraind op meer dan 1.000 synthetische videosequenties gegenereerd met behulp van de Lineaire Airy Golftheorie. Dit installeert fundamentele golfvoortplantingsfysica en periodieke relaties voordat het model wordt blootgesteld aan real-world ruis.
   • Fase 1 (Silver Set Pre-training): Modellen worden getraind op een grotere dataset van echte kustvideo's (20 scènes) met "ruisachtige" labels gegenereerd via een optical flow-gebaseerde pseudo-labeling pipeline. Deze fase past de modellen aan aan real-world verlichting, texturen en omgevingsvariaties.
   • Fase 2 (Golden Set Fine-tuning): De modellen worden gefinetuned op een hoogwaardige, door experts geannoteerde dataset (13 scènes, ~6.900 clips) van de Namibische kust. Deze fase stemt de modelvoorspellingen af op de grondwaarheid af, afgeleid van TimeStack-analyse en deskundige visuele beoordeling.

3. Fysica-gestuurde Verliesfunctie:
   Het trainingsdoel combineert een data-getrouwheidsterm (Smooth Huber loss) met een fysica-geïnformeerde regularisatieterm. Deze straf ontmoedigt voorspellingen buiten het fysiek plausibele bereik voor diep- tot intermediair water (8–20 seconden, overeenkomend met 0,05–0,125 Hz), wat ervoor zorgt dat het model de hydrodynamische restricties gedefinieerd door de Airy-golftheorie respecteert.

4. Modelarchitecturen:
   De studie evalueert verschillende spatiotemporele architecturen, waaronder:

   • LtViViT: Een lichtgewicht Video Vision Transformer.
   • PtAttnCNN (TinyWaveNet): Een ResNet18-gebaseerde architectuur met aandachtmechanismen.
   • Recurrente Modellen: PtLSTM en WaveConvLSTM.

Belangrijkste Resultaten
De evaluatie, uitgevoerd aan de Namibische kust onder variërende omstandigheden (open stranden, rotsachtige landtongen, havens), leverde de volgende bevindingen op:

• Architectuur Prestatie-afwegingen:
  • LtViViT behaalde de hoogste instantane voorspellingsnauwkeurigheid met de laagste Root Mean Square Error (RMSE) van 0,7692 s in Fase 2. Het blinkt uit in het vastleggen van gelokaliseerde spatiotemporele afhankelijkheden.
  • PtAttnCNN (TinyWaveNet) vertoonde superieure oceanografische vaardigheid, met de beste Willmott Skill Score (WS: 0,9811 met $\lambda=5,0$) en de laagste Scatter Index (SI: 0,0892). Hoewel de RMSE hoger was (1,4898 s), vertoonde het een strakkere trendvolgende consistentie en een betere algemene operationele betrouwbaarheid.
• Impact van Fysica-gestuurde Regularisatie:
  Ablatie-studies bevestigden dat het verhogen van het fysica-gewicht ($\lambda$) naar 5,0 de Willmott Skill Score aanzienlijk verbeterde en de Scatter Index verminderde. De fysieke restrictie onderdrukte effectief fysiek onwaarschijnlijke voorspellingen (bijv. periodes < 2s) en verminderde spurieuze spectrale pieken veroorzaakt door visuele artefacten zoals camerabewegingen.
• Efficiëntie en Haalbaarheid:
  De voorgestelde TinyWaveNet + $\lambda=5,0$ configuratie is ultra-lichtgewicht (0,28 M parameters) met een inferentie-latentie van 0,53 ms, wat het geschikt maakt voor real-time edge-implementatie.
• Fysieke Consistentie Audit:
  Een post-hoc audit met Grad-CAM onthulde dat het model 61,28% van zijn ruimtelijke aandacht richt op hydrodynamisch actieve brandingzones. Bovendien werd een sterke Pearson-correlatie (R = 0,842) gevonden tussen de voorspelde $T_p$ en fysiek afgeleide pixel-snelheden, wat valideert dat het model de dispersierelatie heeft geleerd in plaats van beeldartefacten.

Significantie en Claims
Het artikel claimt dat dit framework een belangrijke stap vormt richting kostenefficiënte, fysiek consistente en operationeel haalbare kustmonitoring. Door automatische ROI-detectie, multi-stage transfer learning (Sim-to-Real) en fysica-geïnformeerde regularisatie te integreren, overwint het systeem de beperkingen van traditionele videoverwerking (gevoeligheid voor verlichting en kalibratie) en puur datagedreven modellen (gebrek aan fysieke gronding).

De auteurs benadrukken dat deze studie een cruciale afweging belicht: terwijl Transformer-gebaseerde modellen (LtViViT) superieure punt-per-punt nauwkeurigheid bieden, bieden lichtgewicht recurrente-convolutionele modellen met sterke fysica-regularisatie (PtAttnCNN) betere langetermijn trendconsistentie en operationele vaardigheid. Het framework wordt gepresenteerd als een levensvatbaar alternatief voor dure sensorarrays voor langdurige monitoring van golfpiekperioden, wat kustbeheer, erosiecontrole en klimaatadaptatiestrategieën ondersteunt. De auteurs merken op dat hoewel de huidige validatie beperkt is tot de Zuid-Atlantische/Namibische context vanwege de omvang van de dataset, de methodologie is ontworpen om schaalbaar te zijn naar andere golfklimaten in toekomstig werk.