Clustering Guided Domain-Specific Pretrained Foundation Model Very High-Resolution Arctic Remote Sensing

技術要約：極高解像度北極リモートセンシングのための、クラスタリングに基づいたドメイン特化型事前学習基盤モデル

問題提起
地球観測（EO）データの未曾有の可用性にもかかわらず、膨大なアーカイブが科学的合成のために十分に活用されていない。地球情報学における中心的な課題は、大規模で不均一なリモートセンシング・データセットを、科学的に利用可能な製品へと変換することである。自己教師あり学習や基盤モデル（Masked Autoencoders [MAE] など）の最近の進展はコンピュータビジョンにおいて有望な成果を示しているが、それらをリモートセンシングへ直接適用することは容易ではない。リモートセンシング画像は、日常的な画像とは根本的に異なる。すなわち、「ジオオブジェクト（地理的対象物）」は、離散的な視覚的インスタンスではなく、スケール、空間的コンテキスト、および時間的プロセスの創発的な特性である。さらに、Prithvi-EO-2.0のような既存のリモートセンシング基盤モデル（RSFM）は、主に中解像度から低解像度のデータ、あるいは混合解像度のデータセットを用いて訓練されている。ここから、「単一の汎用モデルが多様な地球システムプロセスを適切に表現できるのか、あるいは、特に急速な気候変動による変化と微細な永久凍土の特徴（例：アイスウェッジ・ポリゴン、後退性熱融解スランプ）を必要とする北極圏のような環境固有のパターンを捉えるために、ドメイン適応が必要なのか」という問いが生じる。

手法
本研究は、多様性を考慮したリージョンスケールの画像キュレーションと、Vision Transformer（ViT）エンコーダのMAE自己教師あり事前学習を組み合わせることで、北極圏に特化したRSFMを開発するための新しいフレームワークを提案する。本手法は、以下の5つの主要コンポーネントで構成される。

1. データキュレーションとサンプリング:

   • ソース: 著者らは、北極の永久凍土ツンドラ生態系にわたる約500万km²の領域をカバーする、約267TBのVantor VHSR多波長衛星画像（解像度約0.5m）を利用した。
   • 戦略: 視覚的に反復的、あるいは情報の少ない領域のオーバーサンプリングを避けるため、二段階のクラスタリング・ワークフローを採用した。
     • ステージ1（シーンレベル）: 約32,000個の候補シーンを、スペクトル記述子（バンドごとの平均/標準偏差）および取得メタデータを用いて特徴付けた。クラスター数を事前に指定しないアフィニティ・プロパゲーション・クラスタリングを用いて、代表的なシーンの例証を選択した。
     • ステージ2（チップレベル）: 選択されたシーンを、重複のない1024x1024ピクセルのチップに分割した。これらのチップはさらに、スペクトル統計量とGaborベースのテクスチャ特徴量によって特徴付けられた。第2のアフィニティ・プロパゲーション・クラスタリングにより、各シーン内の代表的なチップの例証を選択した。
   • 成果: このプロセスにより、約300万個の代表的なトレーニングパッチがキュレーションされ、シーンの多様性を確保しつつ冗長性を削減した。

2. 事前学習アーキテクチャ:

   • モデル: ドメイン適応されたMAE目的関数を用いて、ViT-Largeエンコーダを事前学習した。
   • 損失関数: 再構成目的関数は、共分散を考慮したマハラノビス項とスペクトル角マッパー（SAM）項を組み合わせた。これにより、標準的なピクセル単位の損失よりも、リモートセンシングのスペクトル挙動をより正確に反映する、多変量スペクトルの偏差とスペクトル形状の一貫性の両方を捉える。
   • 訓練: 16個の計算ノード（計64個のGPU）を用いて800エポック訓練を行った。チェックポイントは、再構成損失のみに依存するのではなく、ダウンストリームの検証タスクにおける評価に基づいて、最終的な重みの選択が行われた。

3. ダウンストリーム評価:

   • 事前学習されたエンコーダは、ViTDetLocフレームワーク（位置埋め込みによって拡張されたトランスフォーマーベースの検出・セグメンテーション・アーキテクチャ）に統合された。
   • データセット: モデルは、以下の4つの手作業でラベル付けされた北極の特徴マッピング・データセットに対してファインチューニングおよび評価が行われた。
     • 人工構造物（建物、道路、タンク）。
     • アイスウェッジ・ポリゴン（IWP）。
     • 後退性熱融解スランプ（RTS）。
     • ツンドラ毛細管ネットワーク（TCNs）。
   • ベースライン: パフォーマンスは、ImageNetで初期化されたViT-Largeベースラインおよび汎用地球観測基盤モデルであるPrithvi-EO-2.0と比較された。

主な貢献

• ドメイン特化型キュレーション: 本論文は、粗いランドカバーラベルではなく、実際の画像特性（スペクトル、テクスチャ、メタデータ）に基づいて訓練データを選択する、スケーラブルで多様性を考慮したサンプリング戦略を導入しており、VHSR北極画像に固有の微細な変動性に対処している。
• 北極特化型基盤モデル: キュレートされた北極VHSR画像を用いて事前学習されたRSFMの開発は、ドメイン適応された自己教師あり事前学習が、汎用モデルよりも微細な北極のマッピングに対して、より転移性の高い表現を生み出すことを実証している。
• 希薄な特徴に対する検証: 標準的なモデルが苦戦しやすい、困難で希薄かつ視覚的に微細な北極の特徴（例：毛細管ネットワークや熱融解スランプ）に対して、モデルの有効性を検証している。

結果

• キュレーション分析: ランダムサンプリングは、フルアーカイブに対するワッサースタイン距離が小さくなるサブセット（周辺分布への適合が近いことを示す）を生成したが、クラスタリングベースのアプローチは、記述子空間においてより大きな分散をもたらした。これは、キュレーション戦略が多様性を優先し、冗長性を削減することに成功し、より幅広い視覚的条件および取得条件にモデルを曝露させたことを裏付けている。
• ダウンストリーム・パフォーマンス:
  • 北極MAE事前学習モデルは、4つのタスクすべてにおいてImageNet初期化ベースラインを一貫して上回り、前景の平均F1スコアにおいて約5〜8パーセントポイントの向上を達成した。
  • 北極MAEの具体的な前景平均F1スコアは、0.87（人工構造物）、0.72（IWP）、0.93（RTS）、0.87（TCNs）であった。
  • 極めて重要なことに、提案モデルはすべてのダウンストリーム比較においてPrithvi-EO-2.0を上回り、少なくとも15%の改善を達成した。著者らはこれを、解像度のミスマッチ（Prithviは30mデータを使用、Vantorは0.5m）とドメインシフトに起因するとしており、汎用モデルからのクロス解像度転移が、専門的な微細スケールの北極タスクには不十分であることを示唆している。

意義と主張
本論文は、アーキテクチャとMAE目的関数を固定したまま、リージョンスケールで事前学習データの分布を最適化することで、複数のVHSRリモートセンシングアプリケーションに対して再利用可能な、ドメイン特化型のエンコーダを作成できると主張している。著者らは、微細なテクスチャ、局所的な形態、および特定の表面条件（北極の永久凍土ダイナミクスなど）を伴うタスクにおいては、キュレートされた画像を用いたドメイン特化型の自己教師あり事前学習が、汎用的な地球観測基盤モデルに依存するよりも、より転移性の高い表現を提供すると論じている。本研究は、大規模でラベルのない北極の画像アーカイブを、限られたラベル付きデータであってもダウンストリームの検出およびセグメンテーションタスクをサポートする基盤モデルへと変貌させるための、スケーラブルな経路を示している。