技術的概要：GSD をトークンとして扱う枠組みを超えて：リモートセンシング VLM 向けの連続スケール条件付け

1. 問題定義

リモートセンシング視覚言語モデル（RS-VLM）は、地上サンプリング距離（GSD）の極端な変動性により、自然画像の対応モデルと根本的なミスマッチに直面している。自然画像は通常、安定したスケール範囲内に存在するのに対し、RS 画像はサブデシメートルの航空画像（約 0.06 メートル/ピクセル）からデカメートルの衛星製品（約 10 メートル/ピクセル、またはそれより粗い）まで、2 オーダー以上の変動幅を有する。

既存の RS-VLM は、以下の 2 つの主要な制限により、この物理的現実を効果的に処理できていない。

1. スケール非依存の微調整: これらのモデルは全解像度にわたって静的なパラメータを使用するため、モデルは異なる視覚領域（例：微細なテクスチャ対ぼやけた領域）を単一の平均化された表現に収束させ、微細な詳細の認識と粗い領域の推論の両方を劣化させる。
2. GSD をトークンとして扱う手法: 現在のアプローチは、GSD メタデータを離散的なテキストトークン（例：「0.4 メートル解像度」）として注入する。この手法はスカラーをテキストとしてトークン化するだけであり、パラメータレベルの適応を誘発せず、センサーメタデータが欠落している場合や信頼性が低い場合には完全に機能しない。

どちらのアプローチも、GSD をモデルの内部計算経路を動的に支配すべき連続的な物理変数として扱っていない。

2. 手法：ScaleEarth

著者は、Qwen3-VL-8B をバックボーンとしたパラメータ効率型の微調整フレームワークScaleEarthを提案する。中核的な革新は、GSD を受動的なメタデータとしてではなく、モデルの計算を駆動する連続的な条件付け変数として扱う点にある。このフレームワークは、以下の 3 つの主要コンポーネントで構成される。

A. CS-HLoRA（連続スケール条件付きハイパー LoRA）

CS-HLoRA は中核的な適応メカニズムである。これは、ダウン射影行列とアップ射影行列の間に GSD 駆動のゲート挿入することで、標準的な低ランク適応（LoRA）の更新経路を修正する。

• メカニズム: 更新は $\Delta W(s) = \frac{\alpha_{lora}}{r} B \text{diag}(h(s)) A$ と定義され、ここで $s = \log_{10}(\text{GSD})$ である。
• ゲーティング関数: ゲート $h_k(s) = \sigma(\alpha(\tau_k - s))$ はシグモイド関数であり、入力スケールに基づいて LoRA ランク次元をソフトに選択する。
• 物理的ティア初期化: 64 のランク次元は、最小マッピング単位理論に基づき、3 つの物理的に動機付けられたティアに初期化される。
  • オブジェクトランク（0–10）: 高解像度（GSD < 1 メートル）で活性化され、微細な詳細を扱う。
  • 構造ランク（11–31）: 中～低解像度（1–10 メートル）で活性化され、配置と構造的関係を取り扱う。
  • 意味的ランク（32–63）: 全スケール範囲で活性化され、景観レベルの意味を取り扱う。
• 連続的ルーティング: GSD が変化するにつれて、活性化する LoRA 次元が滑らかにシフトし、スケール非依存微調整の平均化されたポリシーを、事前学習済みバックボーンを変更することなく、スケール依存の適応経路に置き換える。

B. SSE-U（ヘテロスケダスティックスケール推定）

デプロイ時にセンサーメタデータへの依存なしにフレームワークが動作することを保証するため、ScaleEarth には軽量なヘテロスケダスティックサブヘッド SSE-U が含まれる。

• 機能: 視覚特徴（プーリングされた ViT 特徴）から直接 GSD（$\hat{\mu}$）とその不確実性（$\hat{\sigma}^2$）を予測する。
• 学習: 正確な GSD アノテーションを持つサンプルに対して、ガウス負対数尤度（NLL）を通じて学習される。
• 推論: メタデータが欠落している場合、モデルは不確実性が低い場合は予測された GSD を使用し、そうでない場合は中立のアンカースケールにフォールバックする。これにより、不確実性を考慮したスケール条件付きデコーディングが可能となる。

C. GeoScale-VQA データセット

整合する監督を提供するため、著者は 150 万サンプル規模のスケール層別 RS-VQA コーパスGeoScale-VQAを構築した。

• 構築: 既存のデータセット（RSVQA-HR/LR, RSVQA-xBEN, GeoLLaVA-8K, PatternNet, MtSCCD）と新たに生成されたサンプルを組み合わせる。
• スケール認識生成: 質問 - 回答ペアは、画像の GSD ティア（高：0.2m 未満、中：0.2–1.0m、低：1.0m 超）を条件として生成される。高ティアのプロンプトはオブジェクトの詳細を強調し、中ティアは空間配置に焦点を当て、低ティアは景観の意味をターゲットとする。
• 品質管理: 構文チェックに続き、Claude による監督付き品質スクリーニングという 2 段階のフィルタリングプロセスにより、事実の整合性とスケールの整合性が確保される。

D. 学習パイプライン

ScaleEarth は 2 段階の学習戦略を採用する。

1. ステージ 1（RS ドメイン SFT）: RS-GPT4V に対する全パラメータの教師あり微調整により、自然画像から RS への分布ギャップを埋める。
2. ステージ 2（スケール条件付き適応）: バックボーンを凍結（4 ビット量子化）する。CS-HLoRA アダプターと SSE-U ヘッドを GeoScale-VQA 上で共同学習する。目的関数は VLM 損失と GSD 推定損失を組み合わせる（$\mathcal{L} = \mathcal{L}_{VLM} + \lambda_{gsd}\mathcal{L}_{nll}$）。

3. 主要な貢献

1. CS-HLoRA: 物理的に根拠のあるティア初期化を備えた GSD 駆動ゲートを通じて LoRA 低ランク部分空間を変調する新規微調整手法。アーキテクチャの変更や解像度固有の個別アダプターなしに、単一モデルが物理的スケールに適応して計算を調整することを可能にする。
2. SSE-U: 視覚特徴のみから GSD と不確実性を予測するヘテロスケダスティックスケール推定ヘッド。メタデータへの依存を低減し、不確実性を考慮したデコーディングをサポートする。
3. GeoScale-VQA: 150 万サンプル規模のスケール認識型 RS-VQA コーパス。監督とパラメータ効率型適応が同一の物理スカラー（GSD）によって駆動される、閉じた手法 - データループを形成する。

4. 実験結果

モデルは 2 つの包括的なベンチマークで評価された。XLRS-Bench（超解像度認識と推論）とOmniEarth-Bench（6 つの圏にわたる地球システム認知）である。

• XLRS-Bench: ScaleEarth は、新しい最先端の平均精度**57.4%**を達成し、最強の専門ベースライン（GeoEyes、54.2%）を 3.2%、最良のオープンソース汎用モデル（Qwen3-VL-235B-A22B、51.1%）を 6.3% 上回った。これは 8B バックボーンのみを使用しているにもかかわらずである。地域土地利用分類（78.6%）やオブジェクト運動状態（66.1%）などのスケール感受性タスクで顕著な改善が観察された。
• OmniEarth-Bench: ScaleEarth は多肢選択タスクで平均精度**40.71%**を達成し、最強のゼロショットオープンソースベースライン（InternVL3-72B、33.26%）を 7.45 ポイント、最強のクローズドソースベースライン（Claude-3.7-Sonnet、29.07%）を 11.64 ポイント上回った。
• アブレーション研究: CS-HLoRA を除去すると精度が 4.2% 低下し、スケール認識監督を除去すると 3.8% 低下した。物理的ティア初期化をランダム化すると、さらに 3.5% 性能が低下し、測地学的事前知識の有効性が確認された。
• GSD スプーフィングテスト: GSD 入力を体系的に攪乱した際、ScaleEarth は真の GSD でピークに達する滑らかなベル型精度曲線を示した。対照的に、離散的なバケットベースのルーティング（MoE-LoRA）はバケット境界で急激な不連続性を示し、標準 LoRA やテキストトークン注入は平坦な応答を示した。これにより、性能向上が単なる容量の追加ではなく、連続的な物理条件付けに由来することが証明された。

5. 意義と主張

本論文は、ScaleEarth によってアーキテクチャ、監督、データの間に確立された閉ループが、RS-VLM にとってより広範な設計原則を示唆していると主張している。すなわち、上空画像と自然画像を根本的に区別する物理変数は、補助的なテキストプロンプトとして単に破棄または挿入されるのではなく、モデルを直接的かつ体系的に形成すべきであるという原則である。

著者は、ScaleEarth が以下のことを実証していると主張する。

• GSD を連続的な条件付け変数として扱うことで、単一モデルがオブジェクト、構造、意味レベルのティア間で計算を動的にルーティングできる。
• このアプローチは、スケール非依存モデルや、スケールを離散的なテキストトークンまたはバケット化されたルーティング信号として扱うモデルの両方を上回る。
• SSE-U による不確実性を考慮したフォールバックのおかげで、センサーメタデータが欠落しているデプロイシナリオでもフレームワークは堅牢である。

この研究は、超解像度シナリオでの微細な認識が必要なタスクや、複雑な地球システムタスクにおけるクロススケール推論など、より信頼性の高い解像度認識型リモートセンシング AI への一歩として位置づけられる。