論文技術要約：Task-Guided Prompting for Unified Remote Sensing Image Restoration (TGPNet)

1. 背景と課題 (Problem)

リモートセンシング画像修復（RSIR）は、劣化した観測データから高忠実度な画像を復元し、環境モニタリングや資源管理などの下流タスクの精度を向上させるために不可欠です。しかし、既存の手法には以下の重大な課題があります。

• 単一タスク・単一モダリティへの依存: 従来の深層学習モデルは、ノイズ除去、雲除去、影除去、ぼけ除去、SAR（合成開口レーダー）の斑点ノイズ除去など、特定の劣化タイプやセンサー（光学、SAR、熱赤外など）に特化して設計されています。
• 実運用のボトルネック: 現実世界のリモートセンシングデータは、複数の劣化が混在し、かつ多様なセンサーモダリティ（可視光、マルチスペクトル、SAR、熱赤外）を跨ぐことが一般的です。このため、状況に応じて複数の専門モデルを切り替えて運用する必要があり、計算コストと実装の複雑さが膨大になります。
• 既存の統一モデルの限界: 自然画像分野で開発された「オールインワン」モデルは、リモートセンシング特有の物理的性質（能動/受動センシングの違い、加法的/乗法的ノイズの違い）を考慮しておらず、そのまま適用できません。

2. 提案手法：TGPNet (Methodology)

著者らは、異なる劣化タイプとセンサーモダリティを単一のアーキテクチャで処理するための統一フレームワークTGPNetを提案しました。その中核となるのは、**タスク誘導型プロンプティング（Task-Guided Prompting, TGP）**戦略です。

2.1 全体アーキテクチャ

TGPNet は、Restormer をベースとした U 字型のエンコーダ - デコーダ構造を採用しています。

• エンコーダ: 入力画像を階層的にダウンサンプリングし、多スケールの特徴を抽出します。
• デコーダ: 特徴をアップサンプリングして画像を復元しますが、各ステージにTGP モジュールが統合されています。
• 残差学習: 入力画像と予測される残差画像を足し合わせることで最終的な復元画像を生成します。

2.2 中核技術：Task-Guided Prompting (TGP)

TGP モジュールは、ネットワークが単一の重みセットを持ちながら、タスクに応じて動的に振る舞いを変えることを可能にします。これは以下の 2 つのコンポーネントで構成されます。

1. 学習可能なタスク固有埋め込み (Learnable Task-Specific Embedding, LTSE):

   • 特定の劣化タイプ（例：「雲除去」や「SAR 斑点除去」）を指定するタスクプロンプト（$F_{TP}$）を入力とします。
   • 階層的な畳み込み層とグローバル平均プーリングを通じて、劣化の特性を反映したコンパクトな特徴ベクトル（$F_E$）に変換します。
   • このベクトルは、劣化の物理的特性を暗黙的に符号化した「潜在物理記述子」として機能します。

2. 階層的特徴変調 (Hierarchical Feature Modulation, HFM):

   • LTSE によって生成された特徴ベクトル $F_E$ を用いて、デコーダの各ステージにおいてアフィン変換パラメータ（スケーリング係数 $\gamma$ とシフト係数 $\beta$）を生成します。
   • これらのパラメータは、デコーダの中間特徴マップに対してチャンネルごとに適用され（$F_{M} = \gamma \cdot F_{D} + \beta$）、特徴の統計量をタスク固有の信号分布に適合させます。
   • これにより、ネットワークのコア重みを変更することなく、劣化タイプに応じた特徴処理を動的に再構成できます。

2.3 複合劣化への対応

訓練データに含まれない複合劣化（例：ノイズ＋雲）に対処するため、TGPNet は**逐次処理（Sequential Processing）**戦略を採用しています。

• 単一のタスクプロンプトで直接処理するのではなく、劣化を分解し、順序立ててタスク固有のプロンプト（例：まずノイズ除去、次に雲除去）を適用します。
• これにより、未知の複合劣化に対しても高い汎化性能を発揮します。

3. 主要な貢献 (Key Contributions)

1. 初の異種モダリティ統一フレームワーク:
   • 光学（RGB/マルチスペクトル）、SAR、熱赤外（TIR）という根本的に異なるセンサーモダリティと、5 つの主要な劣化タイプ（ノイズ、雲、影、ぼけ、斑点）を単一モデルで処理する初のフレームワークを提案しました。
2. Task-Guided Prompting (TGP) 戦略の考案:
   • 学習可能なタスク埋め込みと階層的特徴変調を組み合わせることで、単一の共有バックボーン上で動的かつ適応的な特徴処理を実現しました。
3. 包括的なベンチマークの構築と公開:
   • 5 つのタスクと 4 つのモダリティを網羅する大規模な統一 RSIR ベンチマーク（URSIR）を構築し、公開します。これには RICE、SEN12MS-CR、NRD、HIT-UAV などの既存データセットと、新たに作成された UAV-TSS データセットが含まれます。

4. 実験結果 (Results)

4.1 性能評価

• 統一タスク性能: 2 種類から 5 種類の劣化タスクを同時に学習させた場合、TGPNet は既存の統一モデル（PromptIR, AdaIR, MOCE-IR など）および専門特化モデルを凌駕する SOTA（State-of-the-Art）性能を達成しました。
  • 例：4 タスク設定（雲、影、ノイズ、SAR）において、平均 PSNR は 31.52 dB、SSIM は 0.8874 を記録し、次点のモデルより 0.78 dB 上回りました。
• 専門タスク性能: 単一タスク（特に雲除去）に特化したモデルと比較しても、TGPNet は同等以上の性能（RICE2 データセットで PSNR 35.89 dB）を維持しました。
• 未知の複合劣化への汎化: 訓練時に存在しなかった「ノイズ＋雲」や「ノイズ＋影」などの複合劣化に対し、逐次処理アプローチを用いることで、既存の手法（直接プロンプト平均化など）を大幅に上回る性能を示しました（PSNR で 8 dB 以上の改善）。

4.2 効率性

• TGPNet は、パラメータ数（21.27M）と推論速度（60.84ms）のバランスが優れており、大規模なリモートセンシングデータ処理やリアルタイム応用に適しています。

4.3 解析

• 特徴空間の分析: t-SNE 可視化とクラスタリング指標（ARI, AMI など）により、TGP モジュールが異なる劣化タイプの特徴を明確に分離（ディスエンタングルメント）し、タスク固有の表現を学習していることが確認されました。

5. 意義と結論 (Significance)

本論文は、リモートセンシング画像修復の分野において以下の点で画期的な進展をもたらしました。

• 実用性の向上: 複数の専門モデルを切り替える必要がなく、単一のモデルで多様なセンサーと劣化に対応できるため、運用パイプラインの簡素化とスケーラビリティが実現されました。
• 物理的制約の克服: 異なる物理的性質を持つセンサー（SAR の乗法的ノイズ vs 光学の加法的ノイズ）を、物理方程式を明示的に埋め込むことなく、データ駆動型のプロンプティングによって統一的に扱えることを示しました。
• 将来の研究方向: 現在の手法は「非ブラインド（劣化タイプが既知）」であるという制限がありますが、本研究で確立された統一アーキテクチャとプロンプティング戦略は、将来的に自己教師あり学習によるブラインド修復や、より複雑な現実世界シナリオへの展開の基盤となります。

要約すると、TGPNet は「単一のモデルで多様な劣化とセンサーを処理する」という長年の課題に対し、タスク誘導型プロンプティングという革新的なアプローチで解決策を提示し、実用的かつ高性能な統一フレームワークとして確立した研究です。