SSL4EO-S12 v1.1: A Multimodal, Multiseasonal Dataset for Pretraining, Updated

本論文は、地理空間整合性の修正や新しいモダリティの追加などにより大規模基盤モデルの事前学習を強化した、マルチモーダルかつ多季節の地球観測データセット「SSL4EO-S12 v1.1」の発表と、そのオープンな利用可能性について述べています。

要約

この論文は、**「地球の四季をまるごと記録した、AI 学習用の超巨大な写真アルバム」**のアップデート版について紹介しています。

元のアルバム（SSL4EO-S12）はすでに世界中の AI 研究者に愛用されていましたが、いくつかの「欠点」がありました。今回のバージョン（v1.1）は、その欠点を直し、さらに新しい「道具」を追加して、より賢い AI を育てるための完璧な教材に生まれ変わりました。

以下に、専門用語を避け、日常の例えを使ってわかりやすく解説します。

1. 何を作ったの？「地球の四季アルバム」の完全版

このデータセットは、世界中の主要な都市 1 万カ所とその周辺を、「春・夏・秋・冬」の 4 つの季節から撮影した写真集です。

• 枚数: 約 24 万カ所の場所 × 4 季節 ＝ 約 100 万枚の画像パッチ（写真の断片）が収録されています。
• 特徴: 単なる写真だけでなく、**「レーダー画像（雨や雲に強い目）」と「普通のカメラ画像（色が見える目）」**の 2 種類を、ピタリと重ね合わせた状態で提供しています。

2. 何が「アップデート」されたの？（3 つの大きな改善）

① 「位置合わせ」のズレを修正（ジグソーパズルの完成）

前のバージョンでは、レーダー写真と普通の写真が少しズレて重なることがありました。

• 例え話: 2 枚の透明シートを重ねてジグソーパズルをするとき、前のバージョンは「少しだけ位置がズレていて、絵柄がボヤけて見えた」状態でした。
• 今回の改善: 今回は、より大きな範囲を撮影し直し、**「ズレを完全にゼロにして、絵柄がピタリと合うように」**調整しました。これで AI は「ここは建物だ」と正確に判断できるようになります。

② 「分析-ready（すぐに使える）」な形に（レトルトカレー化）

前のデータは、AI に食べさせる前に「下ごしらえ（調理）」を自分でしなくてはいけませんでした。

• 例え話: 生の野菜を渡されて、「自分で洗って、切って、火を通してください」と言われたような状態です。
• 今回の改善: 今回は**「レンジでチンするだけで美味しいレトルトカレー」のように、「すぐに AI が学習できる形（分析-ready）」**に調理済みで提供しています。研究者は「下ごしらえ」に時間をかけず、すぐに AI の頭脳（モデル）を鍛えることに集中できます。

③ 新しい「道具」を追加（5 感の拡張）

AI が地球を理解するために、新しい感覚を追加しました。

• 標高データ（DEM）: 「ここは山で、ここは平地」という地形の高低差（3D 地図のようなもの）。
• 植生指数（NDVI）: 「ここは木々が生い茂っている」という植物の元気さを示すデータ。
• 土地分類（LULC）: 「ここは住宅街、ここは工場」という土地の用途がわかるラベル。
• 例え話: 前のバージョンが「目（カメラ）」と「触覚（レーダー）」しかなかったとしたら、今回は**「足で感じる地面の硬さ（標高）」や「鼻で感じる植物の香り（植生）」**まで追加しました。これにより、AI は地球をより立体的に理解できるようになります。

3. どのように保存されているの？（効率的な箱詰め）

この膨大なデータ（約 100 万枚）を、研究者がスムーズに読み込めるように工夫されています。

• Zarr と WebDataset: 大量のファイルをバラバラに置くのではなく、**「大きなコンテナ（箱）」に整然と詰め込み、必要な部分だけを「ストリーミング（水道から水を流すように）」**で読み込めるようにしました。
• メリット: 研究者は、自分のパソコンの容量が少なくても、クラウドから必要なデータだけを必要な分だけ流し込んで学習できます。

4. なぜこれが重要なの？

このデータを使って学習した AI は、以下のようなことができるようになります。

• 洪水の被害範囲を即座に特定する（水に強いレーダーと、色が見えるカメラの両方があるから）。
• 都市の計画を立てる（建物の増減や土地の使い方を四季を通じて追えるから）。
• 森林の減少や農作物の成長を監視する（新しい植生データがあるから）。

まとめ

SSL4EO-S12 v1.1 は、**「地球を四季を通じて、5 感で捉えた、ズレなく、すぐに使える、超高性能な AI 学習教材」**です。
これにより、世界中の研究者は、より賢く、より正確な「地球観測 AI」を簡単に作れるようになり、気候変動対策や災害対策などの課題解決に大きく貢献することが期待されています。

このデータセットは、CC-BY-4.0という「自由に使える」ライセンスで公開されており、誰でも Hugging Face というサイトからダウンロードして、AI の研究に使えるようになっています。

技術概要

以下は、提示された論文「SSL4EO-S12 V1.1: A MULTIMODAL, MULTISEASONAL DATASET FOR PRETRAINING, UPDATED」に基づく詳細な技術的サマリーです。

1. 背景と課題 (Problem)

大規模な地球観測（EO）データセットは、リモートセンシング分野における基盤モデル（Foundation Models: FM）の開発に不可欠です。先行する「SSL4EO-S12」データセットは広く採用され、CROMA や DeCur などのモデル開発を可能にしましたが、以下の 2 つの主要な課題を抱えていました。

1. 空間的な位置合わせの不整合: センチネル -1（S-1: レーダー）とセンチネル -2（S-2: 光学）の画像パッチ間の地理空間的な位置合わせに誤差があった。
2. 分析準備済みデータ（ARD）の不足: 既存のデータ構造が非効率であり、大規模な基盤モデルの事前学習（Pretraining）に直接適用できる分析準備済みデータ（Analysis-Ready Data）の形式が整っていなかった。

また、従来のデータセットは単一時刻に焦点を当てたものが多く、時系列データや多様なモーダリティ（データの種類）を統合した事前学習には限界がありました。

2. 手法とデータ処理 (Methodology)

SSL4EO-S12 v1.1 は、上記の課題を解決し、マルチモーダルかつマルチ季節性のデータセットを再構築するために以下の処理を行いました。

• データ収集と空間整合性の確保:
  • Google Earth Engine からデータを取得。
  • 位置合わせの精度向上のため、対象領域を広くダウンロードし、S-1 の GRD データを S-2 の L2A 座標系に再投影（Reprojection）して整合させました。
  • 距離歪みを防ぐため、EPSG:4326 ではなく、ネイティブな UTM 座標系を維持し、不要な再投影を回避しました。
• 厳格なフィルタリングと前処理:
  • 各地点で 4 つの季節（2019-2021 年）のタイムスタンプを選択。
  • 欠損値（NaN）が 1% 超过する地点は除外し、残りの欠損値は最隣接補間（Nearest Neighbor Interpolation）で埋めました。
  • 雲マスクの精度向上のため、S-2 製品が提供するマスクではなく、SEnSeI v2 モデルを用いて高精度な雲マスクを生成しました。
• RGB 画像の可視化最適化:
  • 従来の 0-2000 値域を 0-255 に単純マッピングすると、雲や雪で飽和したり、暗くなったりする問題に対処するため、各画像内の RGB チャンネルの 2% 及び 98% 分位点に基づき、極端な画素値を圧縮するヒストグラム等化に近い処理を施し、8 ビット（0-255）に変換しました。
• データ構造とフォーマット:
  • Zarr 形式: 各タイムシリーズを Zarr ファイル（ZipStore, Zarr v2）にパッケージ化。
  • WebDataset: 効率的なデータ読み込みとメタデータ（雲マスク等）の表現のため、WebDataset の tar シャード形式で格納。
  • 解像度: すべてのバンドを 10m 解像度に統一（S-2 の 10m, 20m, 60m を nearest 補間でアップサンプリング）。パッチサイズは 264x264 ピクセルに固定。
• 分割: 学習用と検証用に 99:1 で分割（TerraMesh に準拠し、空間的重なりによる情報漏洩を防止）。

3. 主な貢献 (Key Contributions)

1. 位置合わせの修正と ARD 形式の提供: 空間的なミスマッチを解消し、直接事前学習に使用可能な分析準備済みデータセットを公開。
2. マルチモーダルデータの追加: 既存の S-1/S-2 光学・レーダーデータに加え、以下の追加モーダリティを提供：
   • 標高データ (DEM): Copernicus DEM (30m 解像度、10m にリサンプリング)。
   • 土地利用・被覆 (LULC): ESRI データ源。
   • 植生指数 (NDVI): S-2 反射率から計算。
   • これらはすべて TerraMesh データセットと整合性を持たせています。
3. 大規模な時系列データセット: 世界最大の 1 万都市周辺を含む 246,144 の地点（合計 984,576 サンプル）からなる、4 季節のタイムシリーズデータを提供。
4. オープンソース化: CC-BY-4.0 ライセンスで Hugging Face 上で公開。

4. 結果と評価 (Results)

• データ規模: 246,144 の地点、4 つのタイムスタンプ、合計 984,576 のサンプル。
• ベンチマーク性能 (PANGAEA):
  • 複数の下流タスク（土地被覆分類、洪水検出、焼失跡検出など）における評価を行いました。
  • 既存の S-2 のみで学習したモデル（MAE, DINO, MoCo）や、S-1/S-2 の v1 データで学習した CROMA を上回る性能を示しました。
  • 特に、v1.1 のマルチモーダルデータで学習された「TerraMind」モデルは、PANGAEA ベンチマークの全タスクのうち、2 つを除くすべてのタスクで最高性能を記録しました。これは、v1.1 が追加したセマンティック（LULC）およびトポグラフィック（DEM）な文脈が、表現学習を強化したことを示唆しています。

5. 意義と将来展望 (Significance)

SSL4EO-S12 v1.1 は、リモートセンシング分野における基盤モデル開発のための重要なリソースとなります。

• マルチモーダル・マルチモーダル学習の促進: 光学、レーダー、標高、植生、土地利用など多様なデータソースを時空間的に整合させたデータセットは、自己教師あり学習（Self-Supervised Learning）を通じたより豊かで頑健な表現学習を可能にします。
• 研究の民主化: 分析準備済み（ARD）かつ効率的なデータロード形式（Zarr/WebDataset）により、研究者は複雑な前処理なしに大規模なモデル訓練に着手できます。
• 応用範囲の拡大: 都市計画、洪水監視、変化検出、マルチモーダル融合、時系列推論など、多岐にわたる地球観測タスクの基盤として機能します。

本データセットは、SSL4EO-∗ファミリーの一員として、オープンソースの地球観測データ科学コミュニティにおけるマルチモーダル融合や時空間推論の研究を推進する基盤となるでしょう。