技術要約：コントラスティブ蒸留による軽量SAR船舶検出（SURGE）

問題提起

深層畳み込みおよびトランスフォーマーベースの検出器（例：Faster R-CNN、RetinaNet、DETR）は、合成開口レーダー（SAR）における船舶検出において高い精度を達成しているが、メモリやレイテンシの制約から、リアルタイムまたはオンボードでのデプロイメントには計算コストが高すぎる場合が多い。軽量モデルは効率性を向上させる一方で、SARのバックスキャッタに固有の複雑な構造的関係や幾何学的キューを捉えることに苦慮することが多く、その結果、クラッタに対する識別力が低下する。

既存の知識蒸留（KD）手法は、主に特徴マップのマッチングやロジットのアライメントに依存している。これらの手法は局所的な活性化の類似性を強制するが、教師となる検出器が特徴空間においてオブジェクト表現をどのように組織化しているかという「関係的な幾何学（relational geometry）」を明示的にモデル化することには失敗している。その結果、学生モデルは、SAR画像におけるターゲットを区別するために不可ニな構造的推論ではなく、局所的な応答のみを学習してしまう。さらに、コア設計を変更することなく、ヘテロジニアスな検出器アーキテクチャ（2段階、1段階、およびトランスフォーマーベース）を扱える統一されたフレームワークも不足している。

手法：SURGEフレームワーク

著者らは、共有投影埋め込み空間内でのコントラスティブなInfoNCE目的関数を用いて、強力な教師からコンパクトな学生へと関係的な幾何学を転送するように設計されたフレームワークであるSURGE（Structured Unified Relational knowledGE distillation）を提案する。

コアメカニズム

1. アーキテクチャに依存しない領域生成:
   本フレームワークは、ヘテロジニアスな検出器ファミリーからの予測を、整合性のある候補領域へと変換する：

   • 2段階検出器: 領域は領域提案ネットワーク（RPN）から派生する。
   • 1段階検出器: 高信頼度の高密度な予測をバウンディングボックスへとデコードし、疑似プロポーザルとして扱う。
   • トランスフォーマー (DETR): デコーダによって予測された高信頼度のバウンディングボックスを使用する。
     これらの領域は、前処理の違いを考慮して、学生の画像空間に対して空間的に整列される。

2. クロス検出器特徴量アライメント:
   教師由来の領域は、グラウンドトゥルースの座標系にマッピングされ、学生の画像空間へと変換される。領域レベルの特徴量は、教師ネットワークと学生ネットワークの両方からRoIAlignを介して抽出される。

3. 関係認識型蒸留目的関数:
   特徴量はグローバルにプーリングされ、共有埋め込み空間（$z^T_i$ および $z^S_i$）に投影され、L2正規化される。蒸留は、学生をアンカーとしたInfoNCE（Information Noise-Contrastive Estimation）目的関数として定式化される：

   • ポジティブペア: 同じセマンティックラベルを持ち、グラウンドトゥルースとのIoUが $\ge \tau_{pos}$ である領域によって定義される。
   • ネガティブペア: IoUが $\le \tau_{neg}$ である領域によって定義される。
   • 損失関数: この目的関数は、学生の埋め込みが、教師によるセマンティックおよび位置情報のキューによって誘導される相対的な近傍構造を、直接的な一対一の特徴回帰を行うのではなく、保持することを促進する。

4. 統一トレーニング戦略:

   • 畳み込み検出器（Faster R-CNN, RetinaNet）の場合: 全体の損失は、標準的な検出損失、バニラな出力レベルの蒸留（ロジット/ボックス）、および提案された関係的損失を組み合わせる。
   • トランスフォーマーベースの検出器（DETR）の場合: 順序のないセットベースの予測が不安定な教師・学生間の対応関係を招くため、出力レベルの蒸留は省略される。代わりに、DETRは領域レベルの関係的蒸留にのみ依存する。

主な貢献

本論文は、主に4つの貢献を述べている：

1. SURGEフレームワーク: SAR船舶検出のための、統一された関係認識型KDフレームワーク。その新規性は、新しい汎用的な損失関数を導入することではなく、オブジェクトレベルの埋め込み間で関係的な幾何学を転送するために、ヘテロジニアスな予測を整合された候補領域に変換することにある。
2. 統一インターフェース: コアアーキテクチャを変更することなく、2段階、1段階、およびトランスフォーマーベースの検出器に適用可能な領域レベルの蒸留インターフェース。
3. 初のトランスフォーマーベースのSAR KD: 著者らの知る限り、クエリレベルの監督に依存することなく、トランスフォーマーベースのSAR船舶検出器に対して効果的な関係的転送を実証した最初のフレームワークである。
4. 性能向上: SSDDおよびHRSIDベンチマークにおける実験では、軽量な2段階検出器において大幅な改善（最大6.2 mAPおよび8.0 AP75のゲイン）を示す一方で、パラメータ数を50%以上削減している。

実験結果

フレームワークは、Faster R-CNN（2段階）、RetinaNet（1段階）、およびDETR（トランスフォーマー）を用いて、SSDDおよびHRSIDベンチマークで評価された。

• 2段階検出器 (Faster R-CNN): 最も顕著な改善が見られた。SSDDにおいて、ResNet-18の学生モデルは62.87 mAPから68.03 mAPへと向上した（蒸留なしの学生と比較して+5.16 mAP）。特筆すべきは、蒸留された学生が、パラメータ数を約51%削減しながら、ResNet-101の教師モデルを+1.33 mAP上回ったことである。HRSIDにおいては、+6.03 mAPおよび+7.71 AP75のゲインを得た。
• 1段階検出器 (RetinaNet): 結果は混在している。SSDDでは、提案手法はベースラインの学生およびバニラなKDと比較して、統計的な変動範囲内の結果となった。しかし、より複雑なHRSIDデータセットにおいては、一貫したゲイン（+0.65 mAP, +1.10 AP75）を示した。
• トランスフォーマー検出器 (DETR): 一貫した、とはいえ比較的小さなゲイン（SSDDで+0.33 mAP）を提供した。著者らは、従来の出力レベルの蒸留ベースラインは、不安定な対応関係により性能を低下させるため、DETRについては報告していないと述べている。
• アブレーション研究: 関係的蒸留をバニラなKDと組み合わせることで最良の結果が得られ、関係的監督が従来の蒸留を置き換えるのではなく、補完することを裏付けている。
• 効率性: 本フレームワークはトレーニング時のみに使用されるため、デプロイメント時のレイテンシおよびメモリ使用量は、ベースラインの学生モデルと同一である。

意義と主張

本論文は、SURGEがリソース制約下での効率的なSAR船舶検出のための、原則に基づいたスケーラブルな戦略として関係認識型蒸留を確立したと主張している。

• 構造的推論: 著者らは、本手法の成功が、コンテキストや幾何学的キューが極めて重要なSAR画像において不可欠な、教師の表現空間の「構造的組織」を転送することに起因すると強調している。
• アーキテクチャ非依存性: 本フレームワークは、統一された領域レベルのインターフェースを使用して、異なる検出器パラダイム（2段階、1段階、トランスフォーマー）間のギャップを正常に埋めている。
• 教師を超える性能: Faster R-CNNの場合、蒸留された学生は、非蒸留の学生を上回っただけでなく、より大きな教師モデルの性能をも超えた。これは、関係的な幾何学の転送が、減少したモデル容量を補完できることを示している。
• 範囲に関する謙虚な姿勢: 著者らは、1段階およびトランスフォーマーベースの検出器におけるゲインが2段階検出器と比較して控えめであることを認めており、これはそれらのアーキテクチャにおいて明示的な領域提案が存在しないことに起因するとしている。彼らは、本研究を効率的な検出に向けた一歩として位置づけており、マルチクラス検出やクロスモーダル蒸留への将来の研究を計画している。