テクニカル・サマリー：コントラスト学習を用いた低ラベル環境下におけるハイパースペクトル画像予測の強化

問題提起

ハイパースペクトル画像（HSI）解析は、ラベル付きデータの不足、スペクトル情報の高次元性、および深層学習モデルの学習における複雑さという重大な課題に直面している。従来の教師あり学習のアプローチは、多大な労力を要するアノテーションを必要とすることが多く、これにはコストがかかり、エラーも発生しやすい。さらに、既存の手法は主に単一ラベルのピクセルレベルの分類に焦点を当てており、隣接するピクセルの文脈的影響を軽視しがちである。この制限は、単一のピクセルに複数の材料が含まれる可能性がある混合スペクトル信号や、シーン内の複数の物体を特定することが重要となる土地被覆分類などのアプリケーションにおいて、特に問題となる。自己教師あり学習（SSL）やコントラスト学習（CL）はコンピュータビジョンにおいて有望な成果を示しているが、データ制約のある環境下でのパッチレベルのマルチラベル分類タスクへの適用については、依然として未開拓の領域である。

手法

本論文では、ラベル不足のシナリオにおける性能を向上させるために、自己教師ありコントラスト学習を活用した、合理化された2段階の分類フレームワークを提案する。

ステージ1：自己教師あり事前学習
著者らは、ラベルなしデータを用いてベースとなるエンコーダとプロジェクションネットワークを学習させる。

• データ拡張（Data Augmentation）： 各入力パッチに対して、ランダムな水平および垂直の反転を通じて、2つの拡張ビュー（ポジティブペア）を生成する。
• アーキテクチャ： エンコーダは、ReLU活性化関数とドロップアウトを備えた全結合層で構成される。これは、拡張されたビューを隠れ表現（$h_1, h_2$）へと写像する。プロジェクションヘッド（2層の全結合層）は、これらをベクトル埋め込み（$z_1, z_2$）へと写像する。
• 目的関数： モデルは、正規化温度スケール・クロスエントロピー損失（NT-Xent損失）を用いて学習される。この損失関数は、同じパッチの2つの拡張ビュー間の埋め込みの類似性を最大化すると同時に、バッチ内の他のパッチからの埋め込み（ネガティブペア）との類似性を最小化する。
• 成果： エンコーダは、明示的なクラスの監督なしに、ラベルなしデータから不変かつ識別的な特徴を抽出することを学習する。

ステージ2：教師ありファインチューニング
プロジェクションヘッドは破棄され、事前学習済みのエンコーダが分類器と統合される。

• 学習戦略： 著者らは2つのシナリオを評価する：
  • CL-tune： エンコーダの層の重みをアンフリーズ（凍結解除）し、ラベル付きデータを用いて分類器と共に重みを再学習させる。
  • CL-freeze： エンコーダの層を凍結し、分類器のみを学習させる。
• タスク： フレームワークは以下の2つのタスクで評価される：
  • マルチラベル分類： パッチには、複数のクラスの存在を示すラベルが付与される（混合材料）。
  • シングルラベル分類： パッチには、標準的な慣行に従い、中心ピクセルのみに基づいたラベルが付与される。
• 損失関数： マルチラベルタスクにはバイナリ・クロスエントロピー・ロジット損失が、シングルラベルタスクにはクロスエントロピー損失が使用される。

主な貢献

1. 限定的なデータに対する堅牢性： 本研究は、コントラスト学習ベースの手法が、ラベル付き学習データを最大50%削減した場合でも堅牢性を維持することを実証している。この手法は、フルデータセットで学習された完全な教師あり手法に匹敵する競争力のある性能を維持する。
2. パッチレベルのマルチラベル分類： 本研究は、HSIにおけるパッチレベルのマルチラベル分類という、これまで十分に研究されてこなかった領域に取り組んでいる。シーンのサブセットを含む小さなパッチを用いて学習することで、手法はパッチ内の複数の材料を特定し、空間的な文脈を捉え、混合スペクトル信号の影響を軽減する。
3. 前処理なしでのシングルラベル性能： このアプローチは、主成分分析（PCA）や形態学的プロファイルのような複雑な前処理技術を必要とせずに、従来の教師あり手法や他の自己教師ありベースラインよりも優れたシングルラベル分類精度を達成する。
4. 表現に関する定性的洞察： t-SNE可視化を通じて、著者らは、コントラスト学習ベースのエンコーダが、明示的な学習なしに、コンテキストおよび遷移的特徴（例：空間的な近接性や材料の類似性）を捉えていることを明らかにしている。これは、モデルがデータに内在する空間情報を暗黙的に解明していることを示唆している。

実験結果

手法の妥当性は、4つの公開データセット（Pavia University (PaviaU)、Salinas、Houston 2013、Houston 2018）で検証された。

• マルチラベル性能： CL-tune戦略は、CL-freeze戦略および3つの完全教師ありベースライン（Iterative、Joint、およびCascadeスキーム）を大幅に上回った。PaviaUおよびSalinasにおいて、CL-tuneは、最高の教師ありベースラインに対して、それぞれ1.73%～4.37%および1.25%～2.46%の精度向上を実現した。極めて重要な点として、ラベル付きデータの50%のみで学習した場合でも、CL-tuneモデルは、100%のデータで学習された完全教師ありモデルとほぼ同等の精度を達成した。
• シングルラベル性能： CLベースの分類器は、HSI-CNN、TRI-CNN、SSCL、および3D-CNNを含む確立された手法を上回った。特筆すべきは、PCAを使用せず、より小さなデータセット（PaviaUでは全ラベルサンプルの約9%）とより単純なアーキテクチャを用いながら、3D-CNN手法よりも高い精度を達成したことである。
• データ削減の影響： データが減少するにつれて性能は自然に低下したが、より大きな隠れ表現サイズ（64 vs 32）を持つモデルは、特にクラス多様性の高いデータセット（PaviaU、Houston 2013）において、より高い耐性を示した。
• 温度パラメータ： 実験により、温度スケーリングパラメータ（$T$）が0.1のときに、モデルの確信度と汎化性能のバランスが取れ、最適な精度が得られることが確認された。

意義と主張

本論文の主要な意義は、自己教師ありコントラスト学習によって強化された簡潔でミニマルなアーキテクチャが、ハイパースペクトルイメージングにおけるラベル付きデータの不足という限界を効果的に克服できることを実証した点にあると主張している。

著者らは、提案手法が、複雑な深層学習構造（ResNetなど）や重厚な前処理パイプラインに代わる実行可能な選択肢を提供すると断言している。エンコーダを分類器と共に再学習させる（CL-tune）ことを可能にすることで、モデルは特徴抽出能力を下流タスクの特定の要件に適応させ、分類性能の向上につながる。さらに、定性的分析は、コントラスト学習が本質的に、空間的および文脈的な関係を符号化する表現の学習を促進し、複雑な混合パッチのシナリオにおいてもクラスを区別する能力を高めることを示唆している。このアプローチは、広範なラベル付きデータの取得が困難な実世界のアプリケーションに対する、堅牢なソリューションとして提示されている。