Leveraging Multi-Temporal Sentinel 1 and 2 Satellite Data for Leaf Area Index Estimation With Deep Learning

技術概要：マルチタイム Sentinel-1 および Sentinel-2 データを活用した葉面積指数推定

問題定義
葉面積指数（LAI）は、生態系の健全性、植物の生産性、炭素循環を評価するための基本的な指標である。従来の地上ベースの方法（破壊的サンプリング、全対称方程式）は正確な局所データを提供するが、空間的カバレッジに欠ける。衛星リモートセンシングは地域から全球規模の監視に対する解決策を提供するが、光学データ（例：Sentinel-2）は雲に覆われることが頻繁であり、これが直接測定を妨げ、データ利用可能性を低下させる。既存の LAI 予測のための深層学習アプローチは、しばしば単一のタイムスタンプ、単一のセンサータイプ（光学またはレーダー）に依存するか、ピクセルを独立して扱うため、隣接ピクセルからの貴重な文脈情報やマルチセンサーデータの相補性を無視している。

手法
著者は、Sentinel-1（レーダー）および Sentinel-2（マルチスペクトル）衛星からのマルチタイムデータを統合する、ピクセル単位の LAI 予測のための新規深層学習フレームワークを提案する。手法の核心は、異質な入力モーダルと時間的依存性を処理するように設計されたカスタム深層ニューラルネットワークアーキテクチャにある。

• データセット構築: 本研究は、ヨーロッパ各地域からの公開 Sentinel-1 および Sentinel-2 データを利用する。サンプルは、1 週間以内の間隔で隔てられた 3 つの連続するタイムスタンプ（$T \in \{t-2, t-1, t\}$）で構成される。入力は以下の通りである：

  • Sentinel-1 レーダーデータ（VH および VV 偏波）。
  • 過去のタイムスタンプからの Sentinel-2 派生 LAI マップ（Sen2Cor プロセッサを介して生成された雲、水域、陸域などを識別するセマンティックマスクを含む）。
  • 1 年間の日の経過を表す正弦および余弦値として符号化された季節性情報。
  • 真値はタイムスタンプ $t$ における LAI マップである。
  • データセットは、「非曇り」、「曇り」、および「ユニークな地域」（チェコ共和国およびイタリア）に分割され、汎化性をテストする。

• アーキテクチャ: モデルは 2 つの並列エンコーダと単一のデコーダ（図 1）を備える：

  1. エンコーダ 1: Sentinel-1 レーダーデータ、セマンティックマスク、および季節性を処理する。
  2. エンコーダ 2: 過去の Sentinel-2 LAI 値（$t-2, t-1$）、マスク、および季節性を処理する。
  3. デコーダ: 両方のエンコーダからの特徴マップを連結して最終的なピクセル単位の LAI 予測を生成する U-Net 構造。この設計は、冗長性を削減するためにマルチタイムデータの早期縮小を優先する。

• トレーニング戦略: アーキテクチャの複雑さにより、2 段階のトレーニングアプローチが採用される：

  1. 事前トレーニング: 各エンコーダは、LAI を予測するピクセル単位の畳み込み層を用いて個別にトレーニングされ、平均二乗誤差（MSE）を最適化する。
  2. エンドツーエンドの微調整: 事前トレーニングされた重みが完全なネットワークに統合される。モデルは中間監視を用いて最適化され、損失関数は最終デコーダ出力の MSE と中間エンコーダ段階の出力を組み合わせる。損失関数は以下のように定義される：
     $$Loss = MSE(LAI_{gt}, LAI_{dec}) + \alpha \cdot MSE(LAI_{gt}, LAI_{enc1}) + \beta \cdot MSE(LAI_{gt}, LAI_{enc2})$$
     ここで、$\alpha$ および$\beta$は中間段階の重要性を重み付けるハイパーパラメータ（それぞれ 0.1 および 0.15 に設定）である。損失計算は、雲に覆われたピクセルを明示的に除外する。

主要な結果
提案された手法は、256x256 の画像セクションからなるテストセットで評価された。

• 性能: 完全なモデルは、非曇りデータにおいて RMSE 0.058、$R^2$スコア 0.930 を達成した。
• アブレーション研究:
  • Sentinel-1 データのみを使用すると結果は poor だった（$R^2 = 0.434$）。
  • Sentinel-2 データのみ（マスクおよび季節性を含む）を使用すると良好に機能したが（$R^2 = 0.903$）、曇りデータでは著しく劣化し（$R^2 = -0.294$）、空間的カバレッジに欠ける。
  • 統合アプローチ（すべての入力）はデータセット全体で堅牢な性能を維持したが、「ユニークな地域」（未視の場所）における性能は誤差率が高く、場所固有のバイアスが示唆された。
• 比較: 深層学習アプローチは、空間的コンテキストなしの単一ピクセルデータでテストされた際、マルチ線形回帰（$R^2 = -0.0445$）やランダムフォレスト（$R^2 = -0.0166$）といった従来のピクセル単位のベースラインを大幅に上回った。

意義と主張
本論文は、深層ニューラルネットワークを介して Sentinel-1 および Sentinel-2 データの統合されたマルチタイム情報を効果的に活用する、ピクセル単位の LAI 予測に関する先駆的な調査を提示すると主張している。主な貢献は以下の通りである：

1. 新規アーキテクチャ: 特定のセンサーモーダルに特化した二重の並列エンコーダの使用を特徴とし、季節性と空間的コンテキストを考慮するデコーダによって統合される。
2. 複雑性の処理: マルチモーダル入力の複雑さを管理し、効果的な特徴表現を確保するための中間監視と事前トレーニングの実装。
3. 文脈認識: 独立したピクセル予測を超えて、グローバルなコンテキストと隣接ピクセル情報を活用し、先行研究における頻繁な限界に対処する。
4. オープンな貢献: 著者は、分野の将来の改善を促進するためにコードと貢献を公開している。

著者は、手法が良好に機能する一方で、データ不均衡（特に曇りトレーニングサンプルの不足）および完全に新しい地理的場所への汎化に関する課題が残っていると控えめに指摘している。将来の研究では、曇り入力に対する損失関数の重みを高く設定することや、地形や気象データなどの追加のメタ情報を組み込むことが有益であると示唆している。