Hyperspectral Image Fusion with Spectral-Band and Fusion-Scale Agnosticism

技術要約：スペクトルバンドおよび融合スケールに対する不可知性を備えたハイパースペクトル画像融合

問題提起
現在の深層学習を用いたマルチスペクトル・ハイパースペクトル画像（MS/HS）融合の手法は、実世界への適用性と転移性を阻害する3つの根本的な限界に直面している：

1. アーキテクチャの硬直性： ほとんどのモデルはチャンネル次元がハードコードされており、異なるバンド数（例：31バンド対191バンド）を持つセンサーごとに個別の学習やコストのかかる微調整を必要とする。
2. データの希少性とモデルの規模： HSIデータセットは通常、小さく孤立している。単一の小さなデータセットでモデルを学習させることは、容量を制限し過学習を招く。また、異種センサー間でデータをプールできないことは、汎用的な特徴量の学習を妨げる。
3. 固定された空間スケーリング： 既存のモデルは特定の整数倍アップスケーリング係数（例：4倍、8倍）に対して学習されており、多くのアプリケーションで必要とされる任意または非整数のスケーリング係数を扱うことができない、離散的なグリッド間マッピングを学習している。

手法：SSAフレームワーク
著者らは、スペクトルバンドおよび融合スケールに対して不可知性（agnosticism）を持つユニバーサルなフレームワークであるSSAを提案する。このアーキテクチャは、エンドツーエンドの連続表現ベースの融合パイプラインであり、主に2つの革新的な要素で構成されている：

1. スペクトル不可知性のためのマトリョーシカ・カーネル（MK）：
   マトリョーシカ表現学習（MRL）に着想を得て、著者らはマトリョーシカ・カーネル層（MKL）を導入した。入力/出力次元をハードコードする代わりに、MKLは最大チャンネル数（$C_{max}$）をサポートする「入れ子状」の重み構造（$W_{nested}$）を利用する。フォワードパス中、モデルは特定の入力チャンネル数（$C_{in}$）または所望の出力チャンネル数（$C_{out}$）に基づいて、入れ子状の重みから有効なカーネル（$W_{valid}$）を動的にスライスする。これにより、単一のモデルがアーキテクチャの変更なしに、異種スペクトル入力の処理および変動するバンド数での出力を再構成することが可能となる。

2. スケール不可知性のための暗黙的ニューラル表現（INR）：
   本フレームワークは、離散的なアップサンプリング層を暗黙的ニューラル表現（INR）バックボーンに置き換える。融合プロセスは、高解像度HSI（HR-HSI）を多層パーセプトロン（MLP）によってパラメータ化された連続関数としてモデル化する。

• エンコーディング： 低解像度HSI（LR-HSI）と高解像度MSI（HR-MSI）は、潜在的なスペクトルコードおよび空間コードへとエンコードされる。
• 連続的なクエリ： 高解像度空間内の任意の座標 $p$ に対して、モデルは潜在コードをクエリする。局所的な空間特徴をサンプリングし、低解像度の潜在空間における最近傍のスペクトル近傍を特定する。
• デコーディング： 共有MLPデコーダは、潜在コードと相対座標に基づき、クエリ座標に対するスペクトル残差ベクトルを予測する。
• **再構成：$\text{HR-HSI}$は、予測された残差をバイキュービック補間されたベース画像に加算することで得られる。この座標ベースのアプローチにより、非整数のスケールを含む任意の空間解像度での再構成が可能になる。

学習戦略
著者らは、クロスセンサー共同学習戦略を採用している。各データセットに対して個別のモデルを学習させるのではなく、異種データセットのプール（例：CAVE、Pavia、Washington DC）からミニバッチをサンプリングすることで構成する。単一のミニバッチ内では、サンプルは同一の空間次元とバンド数を共有し（バッチ処理のための構造的一貫性を確保）、モデルパラメータは多様なデータセットにわたって最適化される。これにより、ネットワークはデータセット固有の特徴を記憶するのではなく、普遍的な融合マッピングを学習することを強制される。

主な貢献

• マトリョーシカ・カーネル（MK）： 任意のスペクトルバンド数をネイティブに処理することを可能にし、異種データセットでの共同学習を促進する新しいアーキテクチャ原理。
• 連続的スケールモデリング： 離散的なスケーリングを連続関数に置き換えるためにINRを統合し、任意の空間スケールでの再構成を実現。
• 統一フレームワーク： SSAモデルは、未知のセンサーやスケールに対して汎用性を持ちながら、SOTA（最先端）の性能を達成し、センサーごとの再学習の必要性を大幅に削減する。

実験結果
多様なセンサーとスペクトル範囲（31〜191バンド）をカバーする7つの公開ハイパースペクトルデータセット（CAVE、Harvard、PaviaC、PaviaU、Chikusei、Botswana、Washington DC）を用いて広範な実験を行った。

• 性能： 単一のSSAモデルは、CAVEおよびPaviaCのすべてのイン分布指標（PSNR、SAM、ERGAS、SSIM）においてSOTA性能を達成した。
• 汎用性： アウトオブ分布の評価（スケール 8×、16×、32×）において、SSAは一貫して最高または2番目に優れた結果を獲得し、各データセットに対して個別に学習された特化型モデルを上回った。
• 未知のシナリオ： 異なるバンド構成を持つ未知のデータセット（Houston、Loukia）や、未知の分数スケール（例：3.2×、5.7×）に対しても、再学習なしで堅牢な汎用性を示し、バイキュービックリサイズや固定スケール学習に依存するベースラインを上回った。
• アブレーション解析： マトリョーシカ・カーネルのデザインが、マルチデータセット学習による干渉を効果的に軽減すること、およびモデル容量の増加が、現代のGPUにおける実用的な推論効率を損なうことなく再構成品質を向上させることを確認した。

意義と主張
本論文は、SSAがMS/HS融合における「アーキテクチャの硬直性、データの希少性、固定された空間スケーリング」という三すくみの課題に対処すると断じている。単一の共同学習モデルが、データセット固有の特化型モデルと同等またはそれを上回る性能を発揮できることを示すことで、著者らはそのアプローチが将来のHSI基盤モデルへの道を開くものであると主張している。この研究は、普遍的かつ不可知なフレームワークへと移行することが、現在のセンサー依存の深層学習手法の限界を克服するための実行可能な道であることを示唆している。著者らは、INRの計算コストを潜在的な制限として認めつつも、汎用的なハイパースペクトル解析の基盤としてのモデルの堅牢性を強調している。