FD-CanKD: Frequency-Decoupled Cross-Attention Distillation as a Refinement Prior for Compact Object Detectors

技術要約: FD-CanKD

問題提起
コンパクトな物体検出器は、リソース制約のある視覚的知覚（エッジデバイス、ロボティクスなど）において不可欠であるが、大規模モデルと比較して表現能力のギャップが生じ、分類の信頼性や位置特定精度が低下するという課題がある。知識蒸留（KD）は、教師モデルから生徒モデルへ知識を転送することで解決策を提供するが、従来の検出器の蒸留は、硬直的な点ごとの特徴量マッチングや単一ターゲットの監督（例：予測レベルまたは単一の特徴量アライメント）に依存することが多い。このアプローチは、異種混合の教師の応答を大幅に小さい生徒へと転送する際、非局所的な空間依存性を見落としたり、粗い構造的キューと細部に対して敏感な応答を区別できなかったりする場合があり、制限となる可能性がある。

手法: FD-CanKD
本論文では、ヘッドレベルの予測、関係レベルのコンテキスト、および周波数レベルのコンポーネント選択という、3つの補完的なレベルを通じて教師の知識を転送するように設計された、検出器指向のフレームワークである**FD-CanKD（Frequency-Decoupled Cross-Attention Knowledge Distillation）**を提案する。このフレームワークは、YOLOv12-X教師モデルとYOLOv12-M生徒モデルを用いて具体化されているが、その設計は検出器ファミリーに依存しないものである。

本手法は、学習中に2つの主要なブランチを通じて動作する：

1. ヘッド出力蒸留（Head-Output Distillation）: このブランチは、分類ロジット、バウンディングボックス回帰ロジット、および分布フォーカルロス（DFL）分布を含む教師の最終出力を蒸留することで、タスクレベルの監督を提供する。これにより、生徒が教師の最終的な検出挙動と一致することを保証する。
2. 特徴量レベルの蒸留（中核となる革新）:
   • 関係認識転送（Relation-Aware Transfer）: 直接的な点ごとのマッチングの代わりに、生徒の特徴量はクロスアテンションに基づく非局所的転送を介して強化される。生徒は教師の特徴マップから空間的コンテキストを集約し、同一の場所だけでなく、異なる空間位置を横断して教師の応答を参照することを可能にする。
   • 周波数分離アライメント（Frequency-Decoupled Alignment）: 関係強化された特徴量は、2次元高速フーリエ変換（FFT）を用いて低周波成分と高周波成分に分解される。
     • 低周波ブランチ: 広範な構造的対応関係と粗い物体の形状を保持するために、平均二乗誤差（MSE）を用いてアライメントを行う。
     • 高周波ブランチ: 緩和された**対数圧縮MSE（LogMSE）**を用いてアライメントを行う。この定式化は、等しく転送可能ではない可能性のあるノイズや変動性の高い細部によるペナルティを軽減し、生徒が過度に制約を受けるのを防ぐ。

極めて重要な点として、すべての蒸留モジュール（クロスアテンション・アダプター、周波数分解、およびアライメント損失）は学習後に削除される。デプロイされる生徒モデルは元のアーキテクチャ（YOLOv12-Mの19.7Mパラメータ）を保持し、推論時のオーバーヘッドは発生しない。

主な貢献

• 統合フレームワーク: FD-CanKDは、検出器固有の出力監督、クロスアテンションによる関係転送、および周波数分離アライメントを単一の学習パイプラインに統合する。
• コンポーネント選択的アライメント: 空間的コンテキストが集約された後に、分解された周波数成分に対して異なるアライメント規則（MSE vs. LogMSE）を適用することで、一様な特徴量マッチングを超越する。
• リファインメント・プリオア（精緻化の優先順位）: 著者らは、KDを単なる固定予算の学習目的としてではなく、「精緻化の準備が整った」生徒表現を作成するためのメカニメントとして位置づけている。これにより、その後のファインチューニングにおいてより優れた性能を発揮する。
• 制御された評価: 本研究では、異なる検出器アーキテクチャや学習パイプラインからの交絡変数を避けるため、制御されたYOLOv12の教師・生徒設定を用いて、提案されたアライメント戦略の効果を分離している。

実験結果
実験は、Microsoft COCOデータセットを用い、制御された50エポックのゼロからのプロトコルおよび蒸留後のファインチューニング分析の下で行われた。

• ゼロからの学習性能: 固定された50エポックの設定において、FD-CanKDは46.5 mAP50:95を達成し、代表的なKDベースライン（例：CWD、MGD、FreeKD。これらは46.2から46.5の範囲）と競合した。特筆すべきは、FD-CanKDが生徒レベルのmAP75を維持しつつ、比較されたバリアントの中で最強の**mAP50 (62.8)**を達成したことである。
• 蒸留後の精緻化: 最も顕著な利得は、継続的なファインチューニング中に現れた。20エポックの追加後、FD-CanKDの生徒は48.87 mAP50:95、65.84 mAP50、53.40 mAP75に達した。これは、検出器のみのファインチューニング（47.02 mAP50:95）および標準的なCanKDベースライン（48.75 mAP50:95）を上回った。
• 物体サイズ分析: 性能向上は物体サイズ間で一様ではなかった。FD-CanKDは、+20エポックのチェックポイントにおいて、CanKDに対し**小型物体検出（APs）**で+0.96ポイントの改善を示すなど、一貫した明確な向上を示した。中型および大型物体の性能には無視できる程度の差しかなく、これは周波数分離アライメントが、特に小型インスタンスにとって重要な微細な詳細のキューを保持することに特化した効果を持つことを示唆している。
• 再現性: 蒸留されたチェックポイントにおける3つのシードによる検証では、FD-CanKD（48.42 ± 0.07 mAP50:95）はCanKD（48.41 ± 0.12）よりも分散が小さく、ファインチューニング前の統計的に有意な平均差を主張することなく、手法の安定性を確認した。

意義と主張
本論文は、FD-CanKDが、検出器の蒸留を単なる固定予算の学習目的としてではなく、精緻化の出発点として分析すべきであることを示していると主張している。著者らは、単に監督を増やすだけでは不十分であり、知識は（予測、関係、および周波数の）高密度な検出における役割に基づいて整理されなければならないと論じている。

その意義は、本フレームワークが、その後の最適化に適した生徒表現を生み出す能力にある。周波数成分を分離し、関係認識転送を適用することで、本手法は、混雑したシーンや遮蔽されたシーンにおける微細な局所的応答やコンテキスト依存の検出を、特に小型物体に対して保持する。このアプローチは、デプロイされるモデルのアーキテクチャや推論の複雑さを変更することなく、これらの改善を実現しており、コンパクトな検出器のデプロイメントに対する実用的なソリューションとなっている。著者らは、本研究の結果がYOLOv12ファミリーに特有のものであることを明記しており、これらの原理を他の検出器ファミリー（例：DETRスタイル）へ拡張することは今後の課題であるとしている。