SoDa2: Single-Stage Open-Set Domain Adaptation via Decoupled Alignment for Cross-Scene Hyperspectral Image Classification

技術サマリー：SoDa2：クロスシーン高スペクトル画像分類のための結合されたアライメントによる単一ステージのオープンセットドメイン適応

問題定義
クロスシーン高スペクトル画像（HSI）分類はリモートセンシングにおける基本的なタスクであるが、実世界シナリオへの適用には重大な課題が存在する。従来の深層学習手法は、訓練（ソース）データとテスト（ターゲット）データが独立同一分布であると仮定している。しかし、センサー、撮影条件、大気効果の変動により「ドメインシフト」が生じ、新しいシーンへの適用時にモデル性能が低下する。さらに、実世界のターゲットドメインには「未知クラス」（ソースドメインに存在しないカテゴリ）が含まれることが多く、標準的なクローズドセットドメイン適応（DA）手法を無効化している。HSI 向けの既存のオープンセットドメイン適応（OSDA）手法には、主に 2 つの限界がある：

1. ハイブリッドアライメントの問題：ほとんどの手法は、混合されたスペクトル・空間特徴を統一された空間でアライメントする。しかし、スペクトル特徴と空間特徴は分類に対して異なる貢献をし、独立して分布している。混合特徴を直接アライメントすると、クロスドメインの転移可能性が損なわれる可能性がある。
2. 計算効率の低さ：現在の OSDA 手法は、通常、二重分類器アーキテクチャと 2 ステージのトレーニング戦略（事前学習に続く共同学習）に依存しており、手順が複雑で計算コストが高い。

手法：SoDa2
著者は、結合されたアライメントに基づく単一ステージのオープンセットドメイン適応手法であるSoDa2を提案する。このフレームワークは、未知のカテゴリに関する事前知識なしに、ドメイン不変特徴を抽出しつつ、既知クラスと未知クラスを適応的に識別するように設計されている。アーキテクチャは 3 つの中核コンポーネントから構成される：

1. 貢献認識型双モーダル特徴抽出：
   特徴を早期に融合する代わりに、この手法はスペクトル特徴と空間特徴を独立して抽出するために並列ブランチを採用する。

   • スペクトルブランチ：クロスレイヤー残差接続を備えた畳み込み層を使用し、微細なバンド情報と高レベルのスペクトル特徴を保持する。
   • 空間ブランチ：3 次元畳み込み層を利用してグローバルな構造と局所的なテクスチャを捉え、浅い詳細を保持するために残差接続を使用する。
   • アテンションメカニズム：チャネルアテンションと空間アテンションモジュールをそれぞれのブランチに適用し、特徴を適応的に再重み付けすることで、分類タスクにとって最も情報量の多いスペクトルバンドと空間位置を強調する。

2. 結合されたアライメントモジュール：
   ドメインシフトに対処するため、この手法はソースドメインとターゲットドメイン間の最大平均不一致（MMD）を最小化する。重要なのは、このアライメントが結合されていることである：

   • MMD は、スペクトル特徴（$L_{spe}$）と空間特徴（$L_{spa}$）に対して個別に計算される。
   • このアプローチは、異質な混合特徴をアライメントすることによる混乱を回避し、モデルが各モーダルに対して独立したドメイン不変表現を学習することを可能にする。
   • 総アライメント損失は、スペクトル MMD 損失と空間 MMD 損失の和である。

3. オープンセット認識モジュール（単一ステージフレームワーク）：
   この手法は、ターゲットドメインに対して二重ブランチエンコーダを使用し、単一のトレーニングステージで既知クラスと未知クラスを識別する：

   • アライメント特徴エンコーダ：MMD 損失によって制約されたドメイン不変特徴を学習する（ソースとターゲット間の共有セマンティクス）。
   • 内在特徴エンコーダ：クロスドメイン制約なしにターゲット固有の特徴を学習し、未知クラスの識別特性を捉える。
   • 一貫性測定：この手法は、各ターゲットサンプルのアライメント特徴と内在特徴間の二乗コサイン類似度を計算する。
   • ガウス混合モデル（GMM）：これらの類似度スコアの分布を、2 つの成分（既知クラスと未知クラスを表す）を持つ GMM でモデル化する。サンプルは、そのスコアがどのガウス成分と一致するかに基づいて分類され、未知クラスに対する明示的なラベルなしにオープンセット認識を可能にする。

主要な貢献

1. 結合されたアライメント戦略：本論文は、スペクトル特徴と空間特徴を MMD を使用して独立してアライメントする新規アプローチを導入し、モーダルが明確な分布特性を持つ HSI データにおけるハイブリッドアライメントの限界に対処する。
2. 単一ステージトレーニングフレームワーク：既存の 2 ステージ OSDA 手法とは異なり、SoDa2 は特徴抽出、ドメインアライメント、オープンセット認識を、コスト効率の高い単一ステージトレーニングプロセスに統合する。
3. 貢献認識型特徴抽出：アテンションメカニズムを備えた並列スペクトルブランチと空間ブランチの設計により、両モーダルからの識別特徴を選択的に強化することが可能になる。
4. GMM ベースのオープンセット認識：この手法は、アライメント特徴と内在特徴間の一致スコアをモデル化するために GMM を採用し、未知カテゴリに関する事前知識を必要とせずに既知クラスと未知クラスを自動的に分離する。

実験結果
著者は、SoDa2 を 3 つのクロスシーン HSI データセットで評価した：

• PU-PC：パヴィア大学（ソース）からパヴィアセンター（ターゲット）へ。
• HU13-HU18：ヒューストン 2013（ソース）からヒューストン 2018（ターゲット）へ。
• ZY-GF：資源 1-02D 塩城（ソース）から高分 5 号塩城（ターゲット）へ。

この手法は、OSBP、STA、DAMC、UADAL、ANNA、MTS、WGDT などの最先端 OSDA 手法と比較された。性能は、既知クラスの平均精度（$OS^*$）、未知クラスの精度（$UNK$）、およびそれらの調和平均（$HOS$）を用いて測定された。

• 性能：SoDa2 は 3 つのデータセット全体で優れた性能を達成した。例えば、PU-PC タスクでは、$HOS$が 80.7$UNK$が 94.3% となり、2 番目に優れた手法（WGDT）を上回った。ZY-GF タスクでは、$HOS$が 94.7% に達した。
• アブレーション研究：実験により、スペクトルと空間の結合されたアライメント損失の組み合わせが最良の結果をもたらすことが確認され、結合戦略の必要性が検証された。さらに、特徴融合前にアテンションメカニズムを適用する特定の順序が、まず融合してからアテンションを適用するよりも効果的であることが示された。
• パラメータ感度：本研究では、ガウス成分の数（$K$）を 2 に、アライメント損失の重み（$\alpha$）を 10 に設定することが、既知クラスと未知クラスの認識の間の最適なバランスを提供することが決定された。

意義と主張
本論文は、SoDa2 がクロスシーン HSI 分類におけるドメインシフトと未知クラス識別の二重の課題を効果的に解決すると主張している。スペクトル特徴と空間特徴のアライメントを結合することで、この手法は各モーダル固有の特性を保持しつつ分布の不一致を低減する。単一ステージフレームワークは、複雑な 2 ステージトレーニング戦略に対する計算効率の高い代替手段を提供する。著者は、この手法が優れた分類精度とモデル転移可能性を達成し、リモートセンシング応用におけるオープンセットクロスシーンタスクに対する堅牢な解決策を提供すると主張している。この手法のコードはコミュニティに公開されている。