Transfer learning RGB models to hyperspectral images with trainable tensor decompositions

技術概要：学習可能なテンソル分解を用いた RGB モデルからハイパースペクトル画像への転移学習

問題定義
ハイパースペクトルイメージング（HSI）は、数百の波長にわたってデータを取得し、リモートセンシング、医療画像、園芸分野のタスクにおいて豊富な情報を提供します。しかし、RGB 画像と比較して大規模で多様なデータセットが不足しているため、HSI における深層学習モデルのトレーニングは妨げられています。その結果、事前学習済みの RGB バックボーンモデル（例：ImageNet でトレーニングされたモデル）からの転移学習は望ましい戦略となります。しかし、根本的な非互換性が存在します。標準的なバックボーンモデルは 3 チャンネルの RGB 入力を想定しているのに対し、ハイパースペクトル画像ははるかに高いチャンネル次元（$\hat{C}_{in} > 3$）を持っています。

この次元の不一致に対する既存の解決策は、重大なトレードオフを伴います：

1. 画像側の適応: 次元削減（例：PCA）やチャンネル選択を通じてハイパースペクトル画像を 3 チャンネルに削減することは、モデル構造を維持しますが、重要なスペクトル情報を失います。
2. モデル側の適応: 最初の畳み込み層を $\hat{C}_{in}$ 入力チャンネルを持つ層に置き換えることは、画像データを保持しますが、新しい重みをゼロからトレーニングする必要があります。これにより、元のフィルタが学習した空間パターンの喪失、学習可能パラメータ数の増加、そして小規模な HSI データセットにおける過学習のリスクの高まりを招きます。

手法
著者は、学習可能な部分的テンソル分解を活用することでこのギャップを埋める新規アプローチを提案します。中核となる洞察は、バックボーンモデルの畳み込みフィルタを空間成分とスペクトル成分に分解できるという点です。これらを分離することで、大規模な RGB データセットから学習された空間パターンを保持しつつ、スペクトル成分を特定のハイパースペクトルドメインに適応させることが可能になります。

このプロセスは以下のステップを含みます：

1. 分解: 事前学習済みのバックボーンの最初の畳み込み層の重み（$W^1$）を、CP（Canonic Polyadic）またはTuckerテンソル分解のいずれかを用いて分解します。
   • CP 分解: フィルタをランク 1 テンソルの和として近似し、フィルタを 1 つのスペクトルベクトルと 2 つの空間ベクトル（水平および垂直）に分離します。
   • Tucker 分解: 行列乗算を通じてテンソルを低次元のコアテンソルに射影します。著者は、空間構造を保持しながらスペクトル次元のみを圧縮する部分的Tucker 分解を適用します。
2. 成分の置換: 元の 3 チャンネルのスペクトル成分を破棄します。これらは、ハイパースペクトル入力に一致する次元 $\hat{C}_{in}$ の新しい学習可能なスペクトル成分に置き換えられます。
3. 固定とトレーニング: 元の事前学習済みフィルタから導出された空間成分は固定されます。新しいスペクトル成分と最終的な分類層のみがトレーニングされます。
4. 実装: 分解された層は、グループ化された分離可能畳み込みを用いて実装されます。CP の場合、ポイントワイズ畳み込みに続いて 2 つのディープワイズ畳み込みが行われます。Tucker の場合、ポイントワイズ畳み込みに続いて標準的な 2 次元畳み込みが行われます。

主要な貢献

• 新規転移メカニズム: 本論文は、事前学習された空間情報を犠牲にすることなく、またスペクトルデータを破棄することなく、3 チャンネル RGB バックボーンをハイパースペクトル入力に適応させる手法を導入します。
• パラメータ効率性: 空間成分を固定することで、この手法は最初の層をゼロから再トレーニングする場合と比較して学習可能パラメータ数を劇的に削減し、データ不足の状況における過学習リスクを軽減します。
• 空間事前知識の保持: このアプローチは、事前学習済みバックボーンフィルタに特徴的な「色付きの楕円形」やエッジ検出挙動を維持し、これは堅牢なビジョンタスクにとって不可欠です。

実験結果
著者は、3 つのリモートセンシングデータセット（ボツワナ、インディアンパインズ、ケネディ宇宙センター）と 2 つの園芸データセット（アボカド、ブドウの葉）の 5 つのデータセットで手法を評価しました。彼らは、CP および Tucker アプローチを以下の 2 つのベースラインと比較しました：

• Reduce: 3 チャンネルへの次元削減。
• Scratch: 最初の層をゼロからトレーニングされた新しい層に置き換える。

知見:

• 精度: 提案された CP および Tucker 手法は、「Reduce」ベースラインを一貫して上回りました。特に「Scratch」が低性能だった「Grape leaves」のような複雑なデータセットにおいて、「Scratch」ベースラインよりも一般的に高い精度を示しました。
• 堅牢性: 過学習実験（学習率を変化させ、エポック数を延長してトレーニング）において、「Scratch」手法は分解アプローチよりも著しく速く過学習しました。分解された手法はより高い安定性を示しました。
• バックボーン独立性: 結果は、異なるバックボーンアーキテクチャ（AlexNet、DenseNet、ResNet18）全体で維持されました。
• ランク感度: 分解ランク $R=2$ が一般的に最良のバランスを提供しましたが、ランクを $R=3$ に増やしても一貫してさらなる改善をもたらすわけではなく、ハイパーパラメータ調整の必要性を示唆しています。

意義と主張
本論文は、このアプローチがハイパースペクトル画像と RGB バックボーン間の次元の不一致を解決しつつ、画像のスペクトル情報とモデルの空間事前知識の両方を保持することに成功すると主張しています。著者は、画像を圧縮するかモデルをゼロから再トレーニングするかする既存のハイパースペクトル転移学習アプローチと比較して、自らの手法がより高精度であり、過学習に対してより堅牢であると述べています。

この研究は、ハイパースペクトルイメージングのための汎用バックボーン創出への一歩として位置づけられています。ただし、著者は限界について謙虚であり、テンソル分解された層は初期化や最適化戦略に対して敏感になり得ると指摘しています。今後の研究としては、これらの層に特化した最適化戦略に焦点を当て、最終的にはネットワーク全体を逆伝播することなく転移学習を可能にする手法の探求に注力すべきであると示唆しています。