Deep Learning Super Resolution for Satellite Cloud Mask Downscaling

技術要約：衛星雲マスクのダウンスケーリングのためのディープラーニング・超解像

問題提起
光学衛星データは、地球表面の67%以上に影響を及ぼす霧や雲によって頻繁に損なわれており、地表情報の欠乏を招いています。リモートセンシングにおける永続的な課題は、空間解像度と時間解像度の間の根本的なトレードオフです。最高解像度を両方の次元で同時に捉えられる単一のセンサーは存在しません。SEVIRIデータを提供するMSGのような静止衛星は高い時間解像度を提供しますが、Terra/Aqua（MODISデータを提供）のような極軌道衛星と比較して空間解像度が制限されています。この制限は、太陽エネルギー予測、気象予測、災害管理など、継続的な高解像度の雲モニタリングを必要とするアプリケーションを妨げています。さらに、既存の雲マスク（CM）製品は、誤分類や、雲除去アプリケーションのための高解像度画像の不足に悩まされることがよくあります。

手法
著者らは、SEVIRIの雲マスク製品をMODISの空間解像度に一致するようにダウンスケールするための、教師ありディープラーニングによるアプローチを提案しており、これは実質的にクロスセンサー超解像（SR）タスクを実行するものです。

1. データセット作成 (SEVMOD-CM):

   • データソース: 本研究では、MSG衛星からのSEVIRIデータ（11のスペクトルチャネル + CM製品、3km解像度）と、TerraおよびAqua衛星からのMODIS CM製品（MOD35/MYD35 L2、1km解像度）を利用しています。
   • 前処理: 2020年から2023年までのヨーロッパおよび北アフリカをカバーするデータを、15分間のウィンドウ内で時間的に同期させました。
   • アライメント: SEVIRIデータをMODISに合わせるためにEPSG:4326に再投影しました。元々はカテゴリカルであったSEVIRIのCMは、二値化され、12番目のチャネルとして追加されました。
   • パッチ生成: 固定サイズの128×128 MODISパッチを抽出し、対応するSEVIRIパッチを32×32のグリッドにクロップおよびリサンプリングすることで、4倍のアップスケーリング比を作成しました。
   • 最終データセット: 初期セットの約63,000ペアから、訓練およびテスト用に雲活動を含む20,828ペアを保持しました（80/10/10分割）。

2. ディープラーニングモデル:
   2つの異なるアーキテクチャが開発され、SEVMOD-CMデータセット上で訓練されました。

   • SpatialCNN: 従来のSR手法を拡張し、残差学習と漸進的アップサンプリングを備えた畳み込みニューラルネットワーク（CNN）です。柔軟な数のSEVIRI入力チャネル（1〜12）を受け入れ、シグモイド活性化関数とバイナリ交差エントロピー（BCE）損失を使用して、確率的な雲マスクを出力します。
   • SpatialGAN: SRGANに基づき、二値の雲マスク再構成に適応させた生成敵対的ネットワーク（GAN）です。BCE（ピクセル単位の分類の一貫性のため）と、知覚的および敵対的損失（空間的一貫性のための正則化器として重み付けされたもの）を組み合わせた複合損失関数を採用しています。

3. 評価:
   モデルは、標準的なバイキュービック補間（Bicubic Interpolation）のベースラインと比較されました。性能は、ピーク信号対雑音比（PSNR）、平均二乗誤差（MSE）、および構造類似性指数（SSIM）を用いて定量化されました。

主な貢献

• 新規データセット: SEVIRIとMODISの観測をペアにした、包括的でAI対応のクロスセンサー雲マスクデータセットであるSEVMOD-CMの導入。
• デュアルモデルフレームワーク: 二値の雲マスク製品および静止衛星と極軌道衛星の間の差異に特化した、2つの高度なSRアルゴリズム（SpatialCNNおよびSpatialGAN）の実装。
• クロスセンサーへの適用: 本研究は、単一センサーのSRタスクを超えて、異なる衛星センサーの雲マスク製品にディープラーニングSR手法を直接適用する初期の試みです。

結果
保持されたテストセット（20,828ペア）における実験結果は以下の通りです。

• SpatialGANは、最も高い構造類似性指数（SSIM: 0.7811）と最も低い平均二乗誤差（MSE: 0.0480）を達成し、CNNおよびベースラインの両方よりも優れた構造再構成と低い誤差を示しました。
• SpatialCNNは同様の性能を示しましたが、すべての評価指標（PSNR: 17.99 dB, SSIM: 0.534, MSE: 0.173）においてバイキュービック補間ベースラインよりもわずかに劣っていました。
• バイキュービック補間は、最高のPSNR（18.32 dB）を達成しましたが、SpatialGANよりも低いSSIM（0.578）および高いMSE（0.12）となりました。
• 視覚的分析: 定性的評価（図4）では、ターゲットとなるMODISのパターンの固有の複雑さにもかかわらず、SpatialGANがベースラインと比較して、より鮮明で知覚的に正確な雲の形状と分布の再構成を生成したことが示されました。

意義と主張
本論文は、提案されたモデルとデータセットが、静止衛星由来の雲マスク製品に超解像技術を適用することの実現可能性を示すことで、リモートセンシングコミュニティに大きな価値を提供すると主張しています。著者らは、特にSpatialGANが雲の全体的な構造と分布の再構成に成功しており、大気モニタリング、気象予測、災害リスク軽減、太陽エネルギー予測、および気候研究などのアプリケーションに対して改善された空間分析を提供するものであると強調しています。

著者らは、クロスセンサー画像における固有の空間的、時間的、およびスペクトル的な不整合が、現在のアップサンプリング手法では完全には解決できない根本的な課題であることを指摘し、謙虚に限界を認めています。彼らは、これらのクロスセンサーSRの課題に対処するために、Vision Transformerや拡散モデルのような高度なアーキテクチャを含む将来の研究方向を示唆しています。