ChronoEarth-492K: A Large Scale and Long Horizon Spatiotemporal Hyperspectral Earth Observation Dataset and Benchmark

ChronoEarth-492K の技術的概要：大規模かつ長時間軸の空間時間超分光地球観測データセットおよびベンチマーク

問題定義
超分光イメージング（HSI）は、地球表面の物質レベルの特性評価に不可欠な高密度なスペクトル情報（数百の連続バンド）を提供し、多分光センサーの能力を超えます。自己教師あり学習（SSL）の最近の進歩は、静的な空間表現のために HSI を活用してきましたが、既存の大規模データセットは「時間的に浅い」ままです。それらは主に静的なシーン理解のために設計されており、森林破壊、土地利用の転換、生態系の変化などの地表動態をモデル化するために必要な、連続的で長期的な時間カバレッジが欠如しています。その結果、長時間軸の空間時間超分光基盤モデルの開発と体系的な評価は、適切なデータと標準化されたベンチマークの欠如によって妨げられています。

手法
著者らは、このギャップを ChronoEarth-492K と ChronoEarth-Benchmark の構築によって埋めました。

• データソースとキュレーション：ChronoEarth-492K は、世界最長の連続的な宇宙搭載超分光アーカイブである NASA の EO-1 Hyperion ミッション（2001–2017 年）に基づいています。著者らは、185,398 のグローバルな地点にわたる 492,354 の放射較正されたパッチをキュレーションしました。
• 前処理：
  • スペクトル較正：元の 242 バンドから、不安定で信号の低いバンド（例：水吸収領域）を除去し、統一された波長グリッドに整合した 155 のスペクトル的に一貫したバンドを保持しました。
  • グローバルパッチング：シーンは均一な 30m 解像度にリサンプリングされ、重なりのない $128 \times 128$ ピクセルのパッチに分割されました。UTM ゾーンに基づく決定論的なグローバル格子システムを使用して、各パッチに一意の場所識別子（UID）を割り当てました。
  • 空間時間整合：異なるタイムスタンプにわたって同じ UID を共有するパッチを集約して時間系列を形成しました。データセットには、3 回以上の観測（$\ge 3$）を持つ 28,786 の場所が含まれており、短時間軸および長時間軸の分析の両方を可能にします。
• ベンチマーク構築：ChronoEarth-Benchmark は、超分光観測と整合した 6 つのオープンソースの地理空間製品（土地被覆、作物の種類、森林動態、土壌特性を網羅）を統合しています。3 つのタスクカテゴリを定義します：
  1. 静的タスク：単一の超分光観測からラベルを予測する。
  2. 短時間軸（SH）タスク：予測のために時間的に隣接する観測（例：$T \le 4$）を集約する。
  3. 長時間軸（LH）タスク：歴史的情報系列（例：2001 年から $n$ 年）に基づいて将来の状態（例：$n+1$ 年）を予測する。
  • 一般化設定：ベンチマークには、ドメインシフト下でのモデルの堅牢性を評価するための空間時間および大陸一般化分割が含まれています（例：ヨーロッパ/北米で訓練し、アフリカ/ラテンアメリカでテストする）。
• 実験プロトコル：著者らは、最先端の超分光基盤モデル（SpectralViT、LESSViT、DOFA、HyperSigma など）を評価しました。時間入力に対処するために、2 段階のアプローチを採用しました：(1) 完全なデータセットでの静的事前学習、および (2) 因果的マスク目的（次のフレームを予測）を使用して多時間系列での 2 段階目の時間事前学習。時間適応戦略には、最大プーリング、注意ベースの集約、および時間 SSL を用いた微調整が含まれます。

主要な貢献

1. ChronoEarth-492K：17 年間のグローバル観測、492,354 のパッチ、28,786 の多時間系列を提供する、大規模かつ時間較正された超分光 SSL データセット。
2. ChronoEarth-Benchmark：静的、短時間軸、長時間軸の時間タスクを網羅し、制御された空間および時間一般化設定を備えた統一評価スイート。
3. 経験的ベースライン：超分光基盤モデルの広範な評価により、参照ベースラインを確立し、多様な設定下での時間事前学習およびモデリングの有効性を実証。

結果

• 静的性能：ChronoEarth での自己教師あり事前学習は、ランダム初期化からの教師あり学習よりも一貫して下流性能を向上させました。空間 - スペクトル相互作用を明示的にモデル化するアーキテクチャ（例：LESSViT）は、一般的に静的タスクにおいて他のモデルを上回りました。
• 一般化：モデルは空間および時間分布のシフト下で性能低下を示し、地理的変動が一般化を制限する支配的な要因として特定されました。ただし、ChronoEarth で事前学習されたモデルは、EO-1 Hyperion と EnMAP の間のスペクトル差にもかかわらず、EnMAP ベースのデータセットへの効果的なクロス衛星転移を実証しました。
• 時間モデリング：
  • 短時間軸：追加の時間観測を組み込むことは一般的に性能を向上させました。時間的に事前学習されたモデル（2 段階目 SSL を使用）は、最大プーリングおよび教師あり注意ベースのバリアントの両方を上回り、学習された時間集約が単純なプーリングに優れていることを示しました。
  • 長時間軸：時間履歴の延長は、一般的に土地被覆転換タスク（CLCD、NLCD-S）の性能を向上させました。時間的に事前学習されたモデルは他の戦略を一貫して上回り、拡張された依存関係を捕捉するための学習された時間モデリングの必要性を確認しました。ただし、作物の種類（CDL）のような時間感応性の高いターゲットについては、非常に長い時間軸（$T \le 8$）では性能が不安定になり、より長い歴史的文脈が特定のタスクに対してノイズを導入する可能性があることを示唆しています。

重要性
本論文は、ChronoEarth とそのベンチマークが、体系的な空間時間超分光表現学習のための最初の大規模かつ時間的基盤を持つプラットフォームを提供すると主張しています。静的なシーン理解を超えて進むことで、この研究は長期的な環境動態の研究を可能にし、時間一般化および予測能力を評価するための標準化された枠組みを確立します。著者らは、現在の手法が時間モジュールで静的なバックボーンを拡張しているものの、将来の研究は空間、スペクトル、時間の学習を統合したユニファイドアーキテクチャで、長期的かつ不規則にサンプリングされた観測をよりよく処理するネイティブな空間時間基盤モデルの開発に焦点を当てるべきであると指摘しています。