HPC-Enabled Video-based Coastal Wave Parameter Estimation Using V-JEPA and Deep Spatiotemporal Learning

技術要約：V-JEPAおよび深層時空間学習を用いた、HPC対応のビデオベース沿岸波浪パラメータ推定

問題提起
波浪ブイや圧力センサなどの従来の現場観測手法は、高い導入コスト、乏しい空間カバレッジ、および嵐の際における損傷の受けやすさといった重大な制限に直面している。コンピュータビジョンを用いた手法は費用対効果の高い代替案となるが、既存のディープラーニング・アプローチは、データの不足、不適切なマルチスケール時間モデリング、多様な環境における汎化性能の低さ、および物理的な解釈性の欠如に苦慮することが多い。さらに、異なるスケール（短期間の砕波イベントから長周期のスウェルまで）にわたる海洋波の複雑な時間的ダイナミクスを捉えることは、標準的な教師ありモデルにとって依然として課題である。

手法
著者らは、5つの沿岸波浪パラメータ（有意波高 $H_s$、最大波高 $H_{max}$、ピーク周期 $T_p$、ゼロ交差周期 $T_z$、および波向 $\theta$）のセンサーレスかつ同時推定のために設計された、ハイパフォーマンス・コンピューティング（HPC）対応の新しいディープラーニング・フレームワークを提案している。本システムは、モジュール式のパイプラインを通じて単眼沿岸ビデオを処理する：

1. バックボーン (V-JEPA): フレームワークは、V-JEPA（Video Joint Embedding Predictive Architecture）で事前学習されたVision Transformer (ViT-Small) バックボーンを利用している。この自己教師あり学習アプローチにより、ラベルなしビデオからの堅牢な時空間特徴抽出が可能となり、大量のラベル付きデータに大きく依存することなく、泡、飛沫、照明の変化といった視覚的な課題を効果的に処理できる。
2. 時間エンコーディング (Dual-Stream SlowFast): 沿岸波の広帯域な時間スペクトルを捉えるために、デュアルストリームのSlowFastエンコーダを採用している。「Fast」パスは、短期間の砕波イベントを捉えるために全時間シーケンス（16フレーム）を処理し、「Slow」パスは、より長い周期のスウェルをモデル化するために時間的にダウンサンプリングされたシーケンス（4フレーム）を処理する。
3. サリエンシー誘導型拡張 (Saliency-Guided Augmentation): Farnebeckアルゴリズムに基づくオプティカルフロー・ストリームが、動きのサリエンシーマップを生成する。これにより、クロッピング（切り出し）プロセスを誘導し、活動的なサーフゾーンや砕波帯などの流体力学的に活動的な領域へとモデルの注意を向ける。
4. 回帰と物理制約: マルチタスク回帰ヘッドが5つのパラメータを予測する。学習は、平均二乗誤差（MSE）と物理ガイド付き正則化項を組み合わせた複合損失関数によって監督される。この項は、モデルが物理的な波のダイナミクスに従うことを保証するために、エアリーの深水波分散関係（$\lambda_p = 0.1$）との整合性を強制する。
5. 計算インフラストラクチャ: フレームワーク全体は、PyTorchを用い、NVIDIA DGX A100クラスター（8× A100 GPU、320 GBのアグリゲートメモリ）上で訓練された。著者らは、このHPCインフラストラクチャが、完全な時空間パイプラインの訓練および消費者向けハードウェアと比較して理論的な600倍〜900倍のスピードアップを実現するために不可欠であったと述べている。

主な貢献

• センサーレス・マルチパラメータ推定: 単一のカメラビューから5つの異なる波浪パラメータを同時に推定できる、統一されたアーキテクチャを提示している。これにより、現場計器の必要性を排除している。
• データ効率の高いアーキテクチャ: V-JEPAの自己教師あり事前学習を活用することで、フレームワークは、わずか6つの注釈付き訓練シーンを用いながら、地理的に多様な保持テストサイトへの汎化性能を維持しつつ、データが限られた状況下での実現可能性を示した。
• 物理情報に基づくディープラーニング (Physics-Informed Deep Learning): 損失関数にエアリーの波の分散制約を統合することで、回帰ヘッドを正則化するメカニズムを提供し、解空間を縮小させ、勾配の流れを安定させている。
• HPCによるスケーラビリティ: 本研究は、複雑なビデオベースの時空間モデルを訓練する上でのHPCリソースの決定的な役割を実証しており、迅速な収束（エポック31での早期終了）と高いスループットを達成した。

実験結果
モデルは、6つの注釈付き訓練シーンと、地理的に多様な保持テストセットを含むデータセットを用いて評価された。主な性能指標は以下の通りである：

• 相関: フレームワークは、すべてのパラメータにおいて統計的に有意なピアソン相関係数（PCC）を達成した：$H_s$ (0.451)、$H_{max}$ (0.578)、$T_p$ (0.643)、$T_z$ (0.680)、および波向 $\theta$ (0.832)。
• 汎化性能: 保持テストセットにおける性能はフルセットの指標と一致しており、モデルが異なる沿岸地点、カメラ角度、および照明条件に対してオーバーフィットすることなく、汎化できることを示している。
• 限界: 決定係数（$R^2$）の値は比較的低く（$T_p$ の最大値は 0.246）、著者らはこれをアーキテクチャの欠陥ではなく、注釈付き訓練シーンのサイズ（6シーン）が小さいことに起因すると考えている。また、モデルは系統的なバイアスを示しており、これには波高の過小評価と、波向における正のバイアス（$+17.9^\circ$）が含まれる。後者は、カメラの方位校正およびオルソレクティフィケーション（正射投影変換）の欠如に起因するものである。

意義と主張
本論文は、データが乏しい環境における、HPC対応の自己教師ありディープラーニングを用いた沿岸波浪モニタリングの実現可能性を示す概念実証（プルーフ・オブ・コンセプト）として本研究を位置づけている。著者らは、$R^2$ 値が低いことは分散の捕捉にはより大きな注釈付きデータセットが必要であることを示唆しているものの、高い時間的相関（PCC）は、本フレームワークが生のビデオから統計的に妥当な波浪パラメータ信号を正常に抽出できていることを裏付けていると主張している。

本研究の意義は、自己教師あり学習（V-JEPA）と物理情報に基づく制約を組み合わせることで、大規模なラベル付きデータセットに依存する従来の教師ありモデルの限界を克服できることを示した点にある。著者らは、提案手法が将来の改善のための基礎となることを結論づけており、具体的には、より大規模で多様なデータセットへのスケールアップと幾何学的校正の実装が、特に方向推定と分散の捕捉において性能を大幅に向上させることを示唆している。