論文要約：リモートセンシングにおけるマルチモーダル基盤モデルのための知識誘導型事前学習アプローチ

1. 問題定義 (Problem)

既存のリモートセンシング分野における大規模データを用いた自己教師あり学習（Self-supervised Learning）に基づく基盤モデルの事前学習手法は、主に「マスクされた部分の復元（Masked Reconstruction）」や「次のトークンの予測（Next-token Prediction）」に依存しています。これらは特定のタスクで高い性能を発揮しますが、地理空間変数と環境変数（例：気象データと衛星画像）の間の因果関係（Causal Interplay）を十分に捉えていないという課題があります。

具体的には、気象条件（ドライバー）が植生や土壌水分などの地表状態（レスポンス）にどのように影響を与えるかという「因果的な相互作用」を、従来の手法は明示的にモデル化していません。そのため、気象と地表状態の因果関係が重要なタスク（作物種の分類、土壌水分の推定・予測など）において、最適な表現（Embedding）を学習できていない可能性があります。

2. 提案手法 (Methodology)

著者らは、この課題を解決するために**「知識誘導型可変ステップ予測（Knowledge Guided Variable-Step Forecasting: KG-VSF）」**という新しい事前学習タスクを提案しました。

2.1 核心的なアイデア

KG-VSF は、予測タスクを「条件付き生成（Conditional Generation）」としてモデル化します。

• 入力（条件）: 過去の衛星画像（応答変数の観測値）と、過去の気象データ、そして予測時点までの気象データ（ドライバー変数）。
• 出力（予測）: 将来の時点における衛星画像。
• 特徴: 単なる時系列予測ではなく、「気象が地表に与える影響」を明示的に学習させるために、気象データを予測の条件（コンテキスト）として利用します。これにより、モデルは「特定の気象条件下で、どのような地表変化が起こるか」という因果関係を埋め込みとして学習します。

2.2 アーキテクチャ

• エンコーダ:
  • 衛星画像: 共有の Vision Transformer (ViT) を使用し、時系列のスペクトル画像から空間特徴を抽出。
  • 気象データ: 時系列データのため、Unidirectional LSTM を使用してエンコード。
  • 時間情報: 年内日数（DOY）と時間間隔（Delta）の埋め込みを追加。
  • マルチモーダル統合: 上記の埋め込みを時系列方向に結合し、前方注意機構（Forward-only attention）を持つ Transformer で時空間情報を抽出。これにより、未来の情報漏洩を防ぎつつ、因果的な依存関係を学習します。
• フォレスキャスタ（Forecaster）: 現在の埋め込みと、予測時点までの気象データを用いて、将来の画像埋め込みを生成する軽量な層。
• デコーダ: 生成された埋め込みをスペクトル画像空間へ復元（MLP デコーダ）。

2.3 事前学習のフェーズ

より効果的な因果関係の学習のために、2段階の事前学習プロセスを採用しています。

1. フェーズ 1（マスク復元）: 各モダリティ（画像、気象）およびマルチモーダル系列の復元タスクを通じて、基本的な表現を学習。
2. フェーズ 2（予測）: 気象データを条件として将来の画像を予測するタスクを導入。これにより、気象と地表状態の因果的相互作用を埋め込みに注入します。

3. 主な貢献 (Key Contributions)

1. KG-VSF の提案: 気象（ドライバー）と衛星画像（レスポンス）の間の既知の因果関係を利用した、新しいマルチモーダル事前学習タスクの提案。
2. 因果関係の明示的学習: 従来のマルチモーダル手法（対照学習や単なる復元）が捉えきれなかった「気象が地表に与える影響」という方向性のある因果関係を、事前学習の目的関数そのものに組み込んだ点。
3. 広範な下流タスクでの検証: 作物種マッピング、土壌水分推定・予測、欠損画像補完、将来画像予測など、多岐にわたるリモートセンシングタスクにおいて、既存手法を上回る性能を実証。
4. 物理的整合性の検証: 反実仮想（Counterfactual）実験（気象条件を意図的に変更した場合の予測変化）や、気象データのシャッフル/ゼロ化実験を通じて、モデルが単なる相関ではなく、物理的に整合性のある因果関係を学習していることを証明。

4. 実験結果 (Results)

Global データセットと US 農地データセットを用いて、KG-VSF を以下の既存手法と比較しました。

• 比較対象:
  • SM-MR（単一モダリティマスク復元）
  • MM-MR（マルチモーダルマスク復元）
  • SM-VSF（単一モダリティ可変ステップ予測）
  • MM-VSF（マルチモーダル可変ステップ予測）
  • 既存の基盤モデル（Prithvi EO.2 など）

主要な結果:

• 作物種マッピング（Pixel-wise Crop Mapping）: KG-VSF は平均 F1 スコア 0.7602 を記録し、次点の MM-MR (0.7056) や既存モデル Prithvi (0.5050) を大幅に上回りました。少量のサンプルでも高い性能を発揮しました。
• 土壌水分推定・予測: 気象データが直接的な要因となるこのタスクにおいて、KG-VSF は決定係数（R²）で 0.8081（推定）および 0.7834（予測）を達成し、他の手法を凌駕しました。特に土壌水分は気象に強く依存するため、KG-VSF の因果学習の効果が顕著に現れました。
• 欠損画像予測・将来画像予測: 雲や欠損による画像の欠落を補完するタスクや、100 日以上先の将来画像を予測するタスクにおいても、KG-VSF は最も低い MSE（平均二乗誤差）を記録しました。特に長期予測において、気象と地表の因果関係を学習していることが有効に働きました。
• 埋め込みの可視化（t-SNE）: KG-VSF で学習された埋め込みは、作物の種類ごとに明確に分離されたクラスターを形成し、他の手法よりも構造化された表現を獲得していることが確認されました。

5. 意義と結論 (Significance & Conclusion)

• 科学的意義: 地理空間 AI において、単なるデータのパターン認識を超え、**「物理法則や因果関係に基づく推論」**を事前学習段階から組み込むことの有効性を示しました。これにより、気候変動や農業管理など、ドライバーとレスポンスの関係が重要な分野でのモデルの信頼性と解釈性が向上します。
• 応用可能性: 本アプローチはリモートセンシングに限らず、医療（臨床データと患者予後の関係）や金融（経済指標と市場動向の関係）など、因果関係が重要な他の科学分野やドメインにも応用可能です。
• スケーラビリティ: 事前学習データの量を増やすことで、下流タスクの性能がさらに向上することが確認されており、大規模な基盤モデル開発への道筋を示しました。

結論として、KG-VSF は、マルチモーダル基盤モデルの事前学習において、ドメイン知識（因果関係）を積極的に活用することで、従来の自己教師あり学習手法よりも優れた表現を学習し、複雑な環境予測タスクにおいて高い性能を発揮することを示しました。