Visual Accommodation: Rethinking Image Scale as a Learnable Variable for Object Detection

技術的サマリー：Ciliary-DETR

問題定義
現代の物体検出ネットワーク、特に DETR（DEtection TRansformer）アーキテクチャに基づくものは、推論時に固定された入力解像度で動作するのが一般的です。訓練中のマルチスケールデータ拡張はスケール変化に対する頑健性を向上させますが、推論段階ではサンプル固有の適応性が欠如しています。人間の視覚系が安定した知覚を維持するために焦点深度（調節）を動的に調整するのとは異なり、現在の検出器は画像解像度を動的でデータに依存する変数ではなく、静的な設計選択として扱っています。既存の適応的スケーリング手法は、マルチブランチアーキテクチャ、マルチ推論戦略、または事前に定義された解像度セットに依存することが多く、これらはスケーラビリティやエンドツーエンドの最適化を妨げます。さらに、特定の画像に対する最適な入力スケールは本質的に観測不可能であり、明示的な教師信号が存在しないため、標準的な訓練設定下では直接のスケール最適化は不適切な問題（ill-posed）となります。

手法：Ciliary-DETR
著者は、生物学的な毛様体筋が眼のレンズを調整するのと同様に、画像解像度を学習可能な変数として扱うフレームワーク「Ciliary-DETR」を提案します。この手法は、検出バックボーンに先行して配置される軽量な「スケール予測器（Scale Predictor）」モジュールを導入し、入力に依存するスケール因子（$\phi$）を動的に推定します。

• アーキテクチャ: スケール予測器は、軽量なバックボーン（ResNet-18）と予測ヘッドで構成されます。入力画像を受け取り、計算オーバーヘッドを削減するためにダウンサンプリングを行い、所望の範囲 $[\tau_{min}, \tau_{max}]$ に制約されたスカラーのスケール因子を出力します。この因子は、検出ネットワーク（例：DN-DETR）へ渡される前に、画像を双線形補間を用いてリサイズするために使用されます。
• 訓練戦略: このフレームワークは「スーパーネット」哲学を活用した二段階の訓練プロセスを採用します。
  1. マルチスケール（MS）訓練: 検出ネットワークは、スケール変化に対する頑健性を構築するために、最初に MS データ拡張を用いて訓練されます。
  2. 共同最適化: スケール予測器と検出ネットワークが共同で訓練されます。この段階では、重みを共有しつつ、パフォーマンスと効率性のトレードオフを探索するために解像度範囲を変化させます（サブネット訓練）。
• 最適化目的: 真のスケールラベルの欠如に対処するため、著者は 2 つの相補的な損失駆動型目的を導入します。
  1. スケール損失（Scale Loss）: 二値交差エントロピー（BCE）に基づく確率的定式化です。アンカーサイズ（$A_{min}, A_{max}$）を用いて飽和領域を定義し、物体サイズを関数としてアップスケーリングまたはダウンスケーリングの好みをモデル化します。この損失は、ネットワークが小さな物体をアップスケーリングし、大きな物体をダウンスケーリングして、その実効サイズを正規化することを促します。
  2. 分布損失（Distribution Loss）: この損失は、明示的な教師信号なしにスケーリング決定を下流の検出パフォーマンスと整合させます。学習可能なベータ分布を用いて、物体スケールと検出損失の関係をモデル化します。このパラメトリック分布と、検出損失から導出される経験的観測分布との間の 1-Wasserstein 距離を最小化することで、ネットワークはデータの性能感受性領域に一致するようにアンカーサイズ（$A_{min}, A_{max}$）を調整することを学習します。

主要な貢献

1. 学習可能な画像スケール: 本論文は、画像スケールを直接学習可能な変数として扱う新たな定式化を提案し、単一のフォワードパス内で動的かつデータに依存した解像度調整を可能にします。
2. 損失駆動型最適化: 明示的なスケール注釈を必要としない、スケーリング動作のためのパラメトリックかつ確率的なフレームワークを導入しています。スケール損失と分布損失の組み合わせにより、安定したデータ駆動型の適応を可能にします。
3. 単一パスマルチスケール推論: この手法は、訓練時の頑健性（MS 拡張による）とテスト時の適応性の間のギャップを埋め、明示的なマルチ解像度推論の計算オーバーヘッドなしに効果的なマルチスケール推論を実現します。
4. モジュール性と互換性: このフレームワークは、検出パイプライン自体のアーキテクチャ変更を必要とせず、現代の DETR ベースの検出器と互換性があるように設計されており、検出ネットワークの簡潔さを維持します。

実験結果
MS COCO および LVIS データセットにおける広範な実験により、Ciliary-DETR の有効性が示されました。

• パフォーマンスと効率性のトレードオフ: 強力なベースライン（例：DN-DETR-R50 および Swin-S）と比較して、Ciliary-DETR は一貫した精度向上（R50 で +1.3 AP、Swin-S で +1.1 AP など）を達成しつつ、計算複雑性（GFLOPs）を約 17–19% 削減しました。
• ゼロショット汎化: スケール予測器は、Deformable-DETR、DINO-DETR、H-DETR などの未見の検出アーキテクチャに対してゼロショットで適用可能であり、GFLOPs を 18–19% 削減しながら AP を維持またはわずかに向上させました。
• TTA との比較: この手法は、ランダムな解像度選択や単純なマルチスケールテスト時拡張（TTA）を上回ります。最適な解像度に対するブルートフォース検索（BFS）に近い結果（0.4–0.5 AP の差以内）を達成しますが、完全に学習可能で単一パスの手法として行われます。
• 頑健性: このモデルは、テスト時に広範な解像度範囲で強い頑健性を示し、訓練範囲外の解像度であっても固定解像度のベースラインを上回ります。

意義と主張
本論文は、Ciliary-DETR が入力レベルの適応に焦点を当てることで、従来のアーキテクチャ最適化とは直交する方向性を提供すると主張しています。生物学的な視覚調節を模倣することで、このフレームワークは各画像の内容に動的に調整される、柔軟かつ効率的な単一パス推論を可能にします。著者は、このアプローチが訓練時の拡張とテスト時の適応の間のギャップを埋め、現代の検出パイプラインのモジュール性を妨げることなくスケーラブルな展開を可能にすると強調しています。この研究は、解像度を学習可能な変数として扱うことが、物体検出システムの精度と効率性の両方を向上させる実用的かつ効果的な戦略であることを示唆しています。