技術概要：CmIVTP – 異種モダル相互作用に基づく船舶軌道予測

1. 問題定義

海事インテリジェント交通システム（MITS）は、航行の安全性と効率性を確保するために、正確かつリアルタイムな船舶軌道予測を必要とする。しかし、現在の手法は単一ソースデータへの依存により、重大な限界に直面している。

• AIS の限界: 自動識別システム（AIS）データは巨視的な運動学を提供する一方、しばしば疎であり、伝送遅延に悩まされ、小型船や非協力的な船舶（例：「ダークボート」）では利用できない場合がある。
• CCTV の限界: 閉回路テレビ（CCTV）は豊かな局所セマンティクスと環境文脈を提供するが、遮蔽や撮像干渉に弱く、単独では船舶の動的挙動を完全に捉えることができない。
• ドメインギャップ: 既存のマルチモーダル手法は、しばしばレーン制約された車両向けに設計された陸上モデルを海事ドメインへ転用しており、複雑な流体力学と暗黙の相互作用によって船舶の動きが支配される、非構造化の開放水域環境を考慮できていない。
• データ不足: AIS と CCTV データを同期させた大規模データセットが存在せず、堅牢なマルチモーダルモデルの訓練を阻害している。

2. 手法：CmIVTP フレームワーク

著者は、AIS と CCTV の異種データを融合して複雑な船舶 - 環境相互作用をモデル化するフレームワーク、CmIVTP（Cross-modal Interaction-based Vessel Trajectory Prediction）を提案する。このアーキテクチャは 4 つの主要モジュールから構成される。

A. 視覚的シーン対象認識エンコーダ（VSTaE）

このモジュールは、CCTV シーンデータから時空表現を抽出し、船舶 - 環境相互作用（例：危険物や他船との近接性）を捉える。

• 対象認識空間特徴抽出: ResNet-18 バックボーンを用いてグローバル特徴マップを生成する。ターゲット固有の埋め込み（RoI Align 経由）、グローバル文脈（グローバル平均プーリング経由）、およびバウンディングボックス位置符号化の 3 種類の特徴を融合する。
• 時間的文脈モデリング: 特徴マップの系列を ConvLSTM で処理し、時間的進化を捉える。短期的なダイナミクス（急激な操縦）を優先しつつ、長期的な傾向（高い慣性）を保持するため、指数重み付けメカニズムが適用される。
• 時空融合: 空間特徴と時間特徴を MLP 経由で連結し、統一されたシーン表現を生成する。

B. 異種モダル相互作用に基づくエンコーダ（CmIE）

単純な特徴連結を回避するため、CmIE は船舶のダイナミクスを視覚的制約と深く整合させるために**異種モダル相互作用トランスフォーマ（CMIT）**を採用する。

• 非対称アーキテクチャ: AIS 由来の運動特徴を主クエリとして、CCTV/シーン特徴をメモリとして扱う。
• メカニズム: このモジュールは、軌道の滑らかさを確保するためにまずモダル内精製（Self-Attention）を順次実行し、その後、運動表現に環境制約を注入するために異種モダル相互作用（Cross-Attention）を実行する。これにより、モデルはモダル内のセマンティクスとモダル間の相互作用の両方を捉えることができる。

C. 不確実性認識変分デコーダ（UaVD）

決定論的マッピングを超え、このモジュールは確率的な分布問題として軌道予測をモデル化し、確率的な船舶挙動を考慮する。

• 潜在空間モデリング: 条件付き変分オートエンコーダ（CVAE）フレームワークに基づき、観測されていない要因（例：人間の意図、急激な擾乱）を表す潜在変数（$z$）をサンプリングする。
• マルチモーダル生成: 異なる $z$ 値をサンプリングすることで、デコーダは進路維持、旋回、減速など、多様かつ物理的に妥当な将来軌道（モード）を生成する。
• アーキテクチャ: 融合特徴とサンプリングされた潜在変数に基づき、MLP を用いて将来の全系列を同時にデコードする。

D. 船舶群軌道バンク（VGTB）

効率性と精度を向上させるため、このフレームワークは過去の AIS データから代表的な運動パターンのバンクを構築する。

• クラスタリング: 過去の AIS 軌道を正規化し（K-means 使用）、代表的な運動パターンにクラスタリングする。
• 検索と精製: 対象船舶に対して、バンクから最も類似した過去の軌道（事前分布）を検索する。この事前分布は、学習可能なオフセットと動的ゲーティングメカニズムを用いてベースネットワークの予測と融合され、モデルが過去の事前分布を活用しつつ現在の条件に適応することを可能にする。

E. データセット：Maritime-MmD+

著者は、上海の黄浦江から AIS データと CCTV 映像を含む大規模な同期データセット**Maritime-MmD+**を導入する。これは、橋梁エリアや変化する船舶密度を有する湾曲水路など、多様なシナリオを網羅しており、マルチモーダル軌道予測のための堅牢なベンチマークを提供する。

3. 主要な貢献

1. 新規フレームワーク: データの疎性と欠損に対処するため、異種モダル相互作用を通じて AIS のダイナミクスと CCTV の文脈を統合する CmIVTP の提案。
2. アーキテクチャの革新:
   • VSTaE: 微細な船舶 - 環境相互作用を捉える。
   • CmIE: 非対称なクロスアテンションを用いて運動特徴と視覚特徴を融合する。
   • UaVD: 変分推論を通じて軌道の不確実性をモデル化し、マルチモーダル予測を実現する。
   • VGTB: 過去の運動事前分布を活用して予測を精製する。
3. データセットの作成: マルチモーダル研究を支援する同期 AIS-CCTV データセット、Maritime-MmD+ の公開。
4. 性能: 各種予測時間幅、船舶密度、AIS 欠損率において、最先端のベースラインと比較して優れた精度と堅牢性を示す。

4. 実験結果

Maritime-MmD+ データセット上で広範な実験を実施し、CmIVTP を決定論的（GRU、LSTM、TCNN、Transformer）および不確実性認識（VAE、GAN）ベースラインと比較した。

• 予測精度: CmIVTP はすべての予測ステップ（$\Delta t = 12, 24, 36$）において、平均変位誤差（ADE）と最終変位誤差（FDE）を最小化した。例えば、$\Delta t = 36$において、CmIVTP は ADE $0.65 \times 10^{-2}$を達成し、次点のベースライン（Trans.、$0.86 \times 10^{-2}$）を大幅に上回った。
• データ欠損に対する堅牢性: AIS データが欠損している場合（シミュレートされたレート $\rho = 0.1, 0.2, 0.3$）、モデルは卓越した回復力を示した。ベースラインは性能の大幅な低下を被ったのに対し、CmIVTP は安定した収束と低い誤差範囲を維持し、CCTV の視覚特徴を用いて欠損した AIS 信号を効果的に補完した。
• 密度処理: 船舶相互作用が複雑な高密度シナリオ（$\phi_h$）において、CmIVTP は最低の誤差率を維持し、衝突回避操縦に起因する非線形な逸脱を成功裡に捉えた。
• アブレーション研究:
  • 単一モダリティ（AIS、CCTV、またはシーン表現）またはモジュール（VSTaE、CmIE、UaVD、VGTB）のいずれかを除去すると性能が低下し、完全なマルチモーダルアーキテクチャの必要性が確認された。
  • VGTB モジュールは、有害なバイアスを導入することなく、特に類似度が低い（稀な）軌道ケースにおいて予測を効果的に精製することが示された。
• 不確実性分析: 潜在空間の可視化は、運動属性（例：蛇行性、変位）に対応する構造化された組織を示した。モデルは完全なデータに対してコンパクトな分布を生成し、欠損データに対しては適切に多様な分布を生成し、真値が予測範囲内に含まれることを保証した。

5. 意義と主張

本論文は、CmIVTP が単一ソースデータの固有の限界を克服することで、海事インテリジェンスにおける重要な進歩を代表すると主張する。その主な意義は以下の点にある。

• 信号遮断環境における信頼性: マルチモーダルデータの冗長性を活用することで、AIS 信号が失われたり利用不可能になった場合でも、連続的かつ信頼性の高い軌道予測を保証する。
• 文脈認識モデリング: このフレームワークは、船舶のダイナミクスと環境制約の間の複雑な相互作用を成功裡にモデル化しており、混雑した水域や制限水域における安全性にとって不可欠である。
• 基盤ベンチマーク: Maritime-MmD+ の導入は、分野における重要なギャップを埋め、マルチモーダル海事行動分析の将来の研究のための標準化されたリソースを提供する。

著者は結論として、極端な環境条件（例：濃霧）や新しい水路への一般化に関する課題が残っているものの、CmIVTP は海事安全性の向上と海事自律水上船舶（MASS）の進化を支援するための、堅牢でスケーラブルな解決策を提供すると述べている。