HPC-Enabled Video-based Coastal Wave Parameter Estimation Using V-JEPA and Deep Spatiotemporal Learning

Résumé Technique : Estimation de paramètres de vagues côtières par vidéo assistée par le calcul haute performance (HPC) via V-JEPA et l'apprentissage spatiotemporel profond

Énoncé du problème
Les méthodes traditionnelles de surveillance des vagues côtières in situ, telles que les bouées océaniques et les capteurs de pression, présentent des limitations significatives, notamment des coûts de déploiement élevés, une faible couverture spatiale et une vulnérabilité aux dommages lors de conditions de tempête. Bien que les méthodes basées sur la vision offrent une alternative plus rentable, les approches d'apprentissage profond existantes peinent souvent face à la rareté des données, une modélisation temporelle multi-échelle inadéquate, une faible généralisation à travers divers environnements et un manque d'interprétabilité physique. De plus, capturer la dynamique temporelle complexe des vagues océaniques à travers différentes échelles (des événements de déferlement à court terme aux houles de longue période) reste un défi pour les modèles supervisés standards.

Méthodologie
Les auteurs proposent un nouveau cadre d'apprentissage profond assisté par le calcul haute performance (HPC), conçu pour l'estimation conjointe et sans capteur de cinq paramètres de vagues côtières : la hauteur significative des vagues ($H_s$), la hauteur maximale des vagues ($H_{max}$), la période de pic ($T_p$), la période de passage à zéro ($T_z$) et la direction des vagues ($\theta$). Le système traite la vidéo côtière monoculaire via un pipeline modulaire :

1. Backbone (V-JEPA) : Le cadre utilise un backbone de type Vision Transformer (ViT-Small) pré-entraîné avec V-JEPA (Video Joint Embedding Predictive Architecture). Cette approche auto-supervisée permet une extraction robuste de caractéristiques spatiotemporelles à partir de vidéos non étiquetées, gérant efficacement les défis visuels tels que l'écume, les embruns et les changements d'illumination sans dépendre lourdement de grands ensembles de données étiquetées.
2. Encodage Temporel (Dual-Stream SlowFast) : Pour capturer le spectre temporel large bande des vagues côtières, un encodeur dual-stream SlowFast est employé. La voie « rapide » (fast) traite la séquence temporelle complète (16 images) pour capturer les événements de déferlement à court terme, tandis que la voie « lente » (slow) opère sur une séquence temporellement sous-échantillonnée (4 images) pour modéliser les houles de plus longue période.
3. Augmentation Guidée par la Salience : Un flux de saillance optique basé sur l'algorithme de Farneback génère des cartes de saillance de mouvement. Cela guide le processus de recadrage pour orienter l'attention du modèle vers les régions hydrodynamiquement actives, telles que les zones de déferlement actif et de surf.
4. Régression et Contraintes Physiques : Une tête de régression multi-tâche prédit les cinq paramètres. L'entraînement est supervisé par une fonction de perte composite combinant l'erreur quadratique moyenne (MSE) avec un terme de régularisation guidé par la physique. Ce terme impose la cohérence avec la relation de dispersion en eau profonde d'Airy ($\lambda_p = 0,1$), garantissant que le modèle respecte la dynamique physique des vagues.
5. Infrastructure de Calcul : L'ensemble du cadre a été entraîné sur un cluster NVIDIA DGX A100 (8× GPU A100, 320 Go de mémoire agrégée) en utilisant PyTorch. Les auteurs notent que cette infrastructure HPC était essentielle pour entraîner le pipeline spatiotemporel complet et atteindre une accélération théorique de 600x–900x par rapport au matériel grand public.

Contributions Clés

• Estimation Multi-paramètres Sans Capteur : L'article présente une architecture unifiée capable d'estimer simultanément cinq paramètres de vagues distincts à partir d'une seule vue de caméra, éliminant ainsi le besoin d'instrumentation in situ.
• Architecture Efficace en Données : En exploitant le pré-entraînement auto-supervisé de V-JEPA, le cadre démontre la faisabilité dans un régime de données limitées, n'utilisant que six scènes annotées tout en maintenant une généralisation vers des sites de test géographiquement divers.
• Apprentissage Profond Informé par la Physique : L'intégration des contraintes de dispersion des v waves d'Airy dans la fonction de perte fournit un mécanisme pour régulariser la tête de régression, réduisant l'espace de solution et stabilisant le flux de gradient.
• Scalabilité Assistée par le HPC : L'étude démontre le rôle critique des ressources HPC dans l'entraînement de modèles vidéo spatiotemporels complexes, atteignant une convergence rapide (arrêt précoce à l'époque 31) et un débit élevé.

Résultats Expérimentaux
Le modèle a été évalué sur un ensemble de données comprenant six scènes d'entraînement annotées et un ensemble de test géographiquement diversifié. Les principaux indicateurs de performance incluent :

• Corrélation : Le cadre a obtenu des coefficients de corrélation de Pearson (PCC) statistiquement significatifs pour tous les paramètres : $H_s$ (0,451), $H_{max}$ (0,578), $T_p$ (0,643), $T_z$ (0,680) et la direction des vagues $\theta$ (0,832).
• Généralisation : La performance sur l'ensemble de test tenu à l'écart est restée cohérente avec les métriques de l'ensemble complet, indiquant la capacité du modèle à se généraliser à différents sites côtiers, angles de caméra et conditions d'éclairage sans surapprentissage.
• Limitations : Les valeurs du coefficient de détermination ($R^2$) étaient relativement faibles (maximum 0,246 pour $T_p$), ce que les auteurs attribuent à la petite taille de l'ensemble de données d'entraînement annotées (6 scènes) plutôt qu'à des déficiences architecturales. Le modèle a présenté des biais systématiques, notamment une sous-estimation des hauteurs de vagues et un biais positif dans la direction des vagues ($+17,9^\circ$), ce dernier étant attribué à un manque de calibration de l'orientation de la caméra et d'orthorectification.

Signification et Revendications
L'article positionne ce travail comme une preuve de concept démontrant la faisabilité de l'utilisation de l'apprentissage profond auto-supervisé assisté par le HPC pour la surveillance des vagues côtières dans des environnements pauvres en données. Les auteurs affirment que, bien que les valeurs actuelles de $R^2$ indiquent que la capture de la variance nécessite des ensembles de données annotés plus importants, les hautes corrélations temporelles (PCC) confirment que le cadre extrait avec succès des signaux de paramètres de vagues statistiquement valides à partir de vidéos brutes.

La signification de ce travail réside dans la démonstration que l'apprentissage auto-supervisé (V-JEPA) combiné à des contraintes informées par la physique peut surmonter les limitations des modèles supervisés traditionnels qui dépendent de jeux de données étiquetés massifs. Les auteurs concluent que le procédé proposé sert de fondation pour de futures améliorations, suggérant spécifiquement que le passage à des ensembles de données plus vastes et diversifiés et la mise en œuvre d'une calibration géométrique pourraient considérablement améliorer les performances, particulièrement pour l'estimation directionnelle et la capture de la variance.