Low-Rank Adaptation of Geospatial Foundation Models for Wildfire Mapping Using Sentinel-2 Data

技術的概要：野生火災マッピングのための地理空間基盤モデルの低ランク適応

問題定義
焼失面積（BA）マッピングの精度向上は、被害評価、排出量モデリング、および火災と気候の相互作用の理解にとって極めて重要である。深層学習（U-Net 変種など）は従来のスペクトル指数法を凌駕する性能を示してきたが、既存のアプローチは地理的および時間的な汎化能力が限られており、特定の国や特定の火災シーズンに焦点を当てることが多い。さらに、大規模な衛星画像コレクションで事前学習された新興の地理空間基盤モデル（GFMs）は、新たな機会を提供する。しかし、これらの大規模モデル（数億のパラメータ）を、完全微調整を通じて野生火災マッピングのような特定の下游タスクに適応させることは、計算コストが高く、ドメインシフト下での過学習を起こしやすい。一方、デコーダーのみの微調整は、エンコーダーに必要なドメイン固有の変動を捉えられない可能性がある。大規模かつクロスドメインの野生火災マッピングにおいて、GFMs に対する最も効率的な適応戦略に関する理解が不足している。

手法
本研究は、米国とカナダ（2017–2023 年）の Sentinel-2 データ（B4、B8、B12 バンド）を用いて、焼失面積マッピングを二時相変化検出問題として扱う。データセットは 3,820 件の火災事象から構成され、ソースドメイン（2017–2020 年、多様なバイオーム）とターゲットドメイン（2021–2023 年、特に北方林/タイガおよびツンドラバイオーム）に分割され、時空間的な汎化性をテストする。

提案するアーキテクチャは、共有された Transformer ベースのエンコーダーと UPerNet デコーダーを利用する。中核的な調査は、3 つの最先端 GFMs（TerraMind、DINOv3、Prithvi-v2）に対する 3 つの適応戦略を比較するものである：

1. 完全微調整：すべてのパラメータを更新する。
2. デコーダーのみの微調整：エンコーダーを固定し、デコーダーのみを更新する。
3. 低ランク適応（LoRA）：元のエンコーダーの重みを固定し、特定の層（Prithvi-v2 の場合は自己注意層、投影層、MLP 層）に学習可能な低ランク行列（$\Delta W = BA$）を注入する。

LoRA の実装では、バックボーン全体を固定し、アダプター、ピラミッド型ネック、デコーダー、および分類ヘッドのみを更新する。モデルは、クラス不均衡に対処するため、焼失と非焼失に対して 3:1 の重み付けを施したクラスバランス付き交差エントロピー損失を用いて訓練される。

主要な結果
実験は、クロスドメイン汎化（時間的およびバイオームのシフト）に焦点を当てて、3,820 件の火災事象 across 行われた。結果は以下の通りである：

• LoRA の優位性：3 つの基盤モデルすべてにおいて、LoRA は最も高い交差結合率（IoU）と F1 スコアを達成し、完全微調整およびデコーダーのみの微調整を上回った。
• 性能向上：
  • Prithvi-v2：LoRA による改善が最も顕著で、IoU 78.78、F1 88.13 を達成した。これは完全微調整に対して +6.8 の IoU および +4.4 の F1 の大幅な向上を表す。
  • TerraMind と DINOv3：LoRA による改善も見られた（例：TerraMind の IoU は 70.52 から 75.59 に増加）。
• パラメータ効率：LoRA はエンコーダーパラメータの 1% 未満（TerraMind/DINOv3 で 0.51%、Prithvi-v2 で 1.03%）のみを更新した。エンコーダー - デコーダーネットワーク全体を考慮しても、学習可能なパラメータ数は完全微調整よりも著しく低く抑えられた（例：Prithvi-v2 全体ネットワークで 6.79% 対、完全微調整で 100%）。
• 汎化性：デコーダーのみの微調整は完全微調整を一貫して上回り、バックボーンパラメータのすべてを更新することが過学習につながるという正則化効果を示唆している。LoRA はこの堅牢性をさらに高め、火災の周縁部における偽陽性と、未焼失領域における偽陰性を減少させた。

意義と主張
著者は、本研究が軽量のパラメータ効率化手法である LoRA を用いて適応された地理空間基盤モデルが、大規模な焼失面積マッピングに対する堅牢でスケーラブルな解決策を提供することを示していると主張する。主な主張は以下の通りである：

• 効率性と精度のトレードオフ：LoRA は 1% 未満のパラメータ更新で最も強力なクロスドメイン汎化を実現し、精度と計算コストの間に有利なトレードオフを提供する。
• ドメイン固有の事前学習：結果は、ドメイン固有の事前学習（Prithvi-v2 に見られるように）が汎用ビジョンモデルよりも火災領域に対して強力な表現をもたらすことを示唆しており、LoRA はこれらの高容量モデル内で火災誘発スペクトル変化を効率的に分離する。
• 運用上のスケーラビリティ：このアプローチにより、単一の固定化された基盤モデルを中央サーバーに展開し、軽量な LoRA アダプターを動的に切り替えて、異なる地理的または季節的な火災レジームからの画像を処理することが可能となり、完全に分離されたモデルをロードする必要がなくなる。
• 世界的な潜在能力：本研究は地理的に北米に焦点を当てているが、異なるバイオームおよび年次間での成功した転移は、学習された表現が厳密に局所化されていないことを示唆しており、このアプローチは新しい地域のためのターゲットドメインデータを最小限に抑えつつ、世界的にスケーラブルであることを意味する。

本研究は、パラメータ効率化微調整が、完全微調整の計算負担と汎化の落とし穴を回避する、運用上のクロスドメイン野生火災監視のための実用的な選択であると結論付けている。