技術概要：地球観測における欠損センサーに対するモデル予測の頑健性向上

問題定義

地球観測（EO）向けのマルチセンサー機械学習（ML）モデルは、予測精度を向上させるために、光学、レーダー、気象など多様なソースからのデータを統合する。しかし、技術的な故障や環境要因（例：光学画像を妨げる雲）により、実世界での展開においてセンサーデータの持続性は保証されない。既存の文献では、単一センサー入力に焦点を当てた時系列ドロップアウトや、静的画像に焦点を当てたセンサー不変モデルなどの戦略を通じて欠損データへの対応が検討されてきた。しかし、特定のセンサー入力が利用できない場合に標準的な ML モデルが本質的な頑健性を欠き、偏った予測や予測の失敗を招くという、マルチセンサー時系列シナリオにおける欠損センサーの処理に関する重要なギャップが残されている。

手法

著者らは、欠損センサーに対するモデルの頑健性を向上させるために、マルチセンサー時系列シナリオに特化した 2 つの新しい手法を提案する。

1. 入力センサードロップアウト（ISensD）

データ拡張技術に着想を得て、ISensD はトレーニング中に入力レベルで**センサードロップアウト（SensD）**メカニズムを導入する。

• メカニズム: 与えられたサンプルに対して、センサー全体の入力特徴がランダムにマスクされる。
• 実装:
  • 標準 SensD: ドロップアウト比率 $r$ というハイパーパラメータを使用し、センサー特徴をベルヌーイ分布（$d_s \sim \text{Bernoulli}(r)$）に基づいてマスクする。
  • No Ratio (NR): パラメータなしのバリアントであり、各バッチに対して、可能なすべての欠損センサーの組み合わせ（$2^{|S|} - 1$）から 1 つの組み合わせをランダムに選択する。
• トレーニング: モデルは、標準的なマルチセンサー融合アーキテクチャ（入力レベル融合）を用いてこれらのマスクされた入力に対してトレーニングされ、真値に対する損失を最小化するようにパラメータが最適化される。

2. アンサンブルセンサー不変（ESensI）

センサー不変モデルに着想を得て、ESensI は共有予測ヘッドを備えたアンサンブルアーキテクチャを提案する。

• メカニズム: モデルは各センサーごとに特徴を抽出するためのセンサー専用エンコーダ（$E_{\theta_s}$）を使用するが、すべてのセンサーに対して単一の共有予測ヘッド（$P_\phi$）を利用する。
• センサーエンコーディング: モデルが処理されているセンサー特徴を認識できるようにするため、学習可能なセンサーエンコーディングベクトル（$\rho_s$）を共有ヘッドの前にエンコードされた特徴に追加する。
• 最適化: 標準的なアンサンブルではセンサー固有のヘッドが独立して最適化されるのに対し、ESensI はセンサー専用パラメータと共有ヘッドパラメータを共同で最適化し、モデルにセンサー間での不変表現を学習させる。

実験設定

これらの手法は、3 つのマルチセンサー時系列 EO データセットで検証された。

1. CropHarvest (CH): Sentinel-2（光学）、Sentinel-1（レーダー）、ERA5（気象）、SRTM（地形）を使用した多作物認識。
2. Live Fuel Moisture Content (LFMC): Landsat-8（光学）、Sentinel-1（レーダー）、および各種静的環境センサーを使用した植生水分量の推定。
3. Particulate Matter 2.5 (PM25): 大気条件、ダイナミクス、および降水データを使用した大気質回帰。

ベースライン: 提案手法は、以下の 4 つの文献ベースラインと比較された。

• Input: 平均補間を用いた標準的な入力レベル融合。
• ITempD: センサー用に適応させた時系列ドロップアウトを用いた入力融合。
• Feature: 例に基づく（類似性検索）補間を用いた特徴レベル融合。
• Ensemble: 欠損センサーの予測を無視した、センサー専用モデルの集約。

評価指標: 頑健性の主要指標は、**パフォーマンス頑健性スコア（PRS）**であり、これは完全なセンサー利用時のモデルと比較して、欠損センサーを持つモデルの相対的な予測誤差を測定する。

主要な結果

• 欠損センサーに対する頑健性: ISensDとESensIの両方は、欠損センサーの割合が増加するにつれて、標準的なベースライン（Input、ITempD、Feature）を上回る、著しく高い頑健性（高い PRS 値）を示した。
• アンサンブルの優位性: 不変ヘッドを持たない標準的なEnsemble手法は、全体として最も頑健なアーキテクチャであることが証明され、生きた頑健性指標において提案された ESensI を凌駕することが多かった。ただし、ESensI は特定のケース（例：PM25 データセット）において Ensemble 手法を改善した。
• ISensD の性能: ISensD 手法は、その直接的なベースライン（Input および ITempD）に対して頑健性の著しい向上を示した。パラメータなしの「No Ratio（NR）」バリアントは、調整された比率バージョンと同等の性能を発揮し、実用的な代替手段であることを示唆している。
• 完全センサー性能とのトレードオフ: 重要な観察点は、頑健性と完全センサー精度の間のトレードオフであった。Ensemble および ESensI 手法は欠損センサーシナリオで優れていたが、すべてのセンサーが利用可能な場合、標準的な Input 手法と比較して予測性能（F1/R2）が低下する傾向があった。著者らは、ISensD が完全センサーシナリオにおいて Input ベースラインよりも性能が劣ったことを指摘し、これはトレーニング中にモデルが欠損データシナリオを過度に優先している可能性を示唆している。

意義と主張

本論文は、センサーが欠損する可能性があるマルチセンサー時系列シナリオに特化した手法を提供することで、EO 文献における重要なギャップを埋めると主張している。

• 貢献: ISensD と ESensI の導入は、センサーが故障した場合に再トレーニングを必要とせずにモデルの頑健性を高めるための実用的な戦略を提供する。
• 控えめな主張: 著者らは、これらの手法が頑健性を向上させる一方で、すべてのデータが存在する際に予測精度を最大化するわけではないことを認めている。彼らは明示的に、この頑健性の源泉は完全に理解されていないと述べている。それはモデルの適応性、特定のセンサー情報の無視、または特定の予測タスクに対する特定のセンサーデータの本質的な無関係性に起因する可能性がある。
• 今後の課題: 著者らは、この頑健性の背後にあるメカニズムの調査と、欠損センサーへの耐性と完全センサー精度の間のトレードオフのバランスを取る必要性を特定している。