Zero-Harm Feature Calibration and Adaptive Boundary Query for Tiny Object Detection

問題提起

本論文は、Transformerベースのエンドツーエンド検出器（DETRファミリー）における極小物体検出（航空写真や監視映像における、数ピクセル程度しか占めない物体）特有の課題に取り組んでいる。著者らは、現在の性能ギャップは、独立した2つの欠陥によるものではなく、以下の**結合された失敗モード（coupled failure mode）**に起因すると主張している。

1. 表現の崩壊（Representation Collapse）: 従来のアテンション機構（SENetやCBAMなど）は、Sigmoidゲーティングに依存している。$\sigma(0) = 0.5$ であるため、これらの機構は中立的な特徴活性化（微弱な極小物体に共通する性質）を正確に0.5へとマッピングし、実質的にそのエネルギーを半分に減衰させてしまう。これにより、極小物体の重要な境界やテクスチャの情報を損なう一方で、背景ノイズを効果的に抑制することもできていない。
2. 割り当ての誤配分（Assignment Misallocation）: 標準的なDETRのバリアントは、静的なクエリ予算（例：300または900個のクエリ）を使用しているが、これは極小物体データセットにおける極端なロングテール分布（画像あたり1個から2,600個以上まで変動）と一致していない。近年の動的な手法（DQ-DETRなど）はクエリ数を調整しようと試みているが、これらはグローバルなデータセット統計（単峰型のガウス分布を想定）に基づくハードな閾値に依存しており、かつSigmoidによって抑制された特徴量から密度信号を読み取っている。これが、劣化させた特徴量がバイアスのかかった密度推定を招き、それが結果として弱い信号を持つ領域を枯渇させるというフィードバックループを生み出している。

著者らは、これらの問題を個別に扱うことは不十分であると断じている。なぜなら、劣化させた特徴量は割り当て信号を歪ませ、不一致な割り当て予算は、すでに特徴が弱い領域をさらに枯渇させるという、エラーが互いに増幅し合う関係にあるからである。

手法

提案されるフレームワークは、極小物体検出を、共通の表現を共有する2つの結合されたブランチ、すなわちゼロ・ハーム特徴校正（Zero-Harm Feature Calibration: ZFC）ブランチと統計的境界アロケーター（Statistical Boundary Allocator: SBA）ブランチによる結合最適化問題として再定式化する。

1. ゼロ・ハーム特徴校正 (ZFC)

ZFCは、SigmoidゲーティングをTanh中心のメカニズムに置き換えることで、表現の崩壊に対処する。

• 中立性を保持するゲーティング: ゲーティング関数は $1 + \tanh(\cdot)$ として定式化される。$\tanh(0) = 0$ であるため、中立的な入力は正確に1.0の乗法的重みを受け取り、Sigmoidが減衰させてしまうような微弱な前景信号を保持する。
• レベル適応型空間残差: ZFCは、SBAブランチによって生成された密度事前分布マップ（$D$）を利用して、空間的な再校正を行う。ここではレベル適応戦略を採用しており、粗い密度ガイダンスは高レベルの特徴マップに適用されるが、サブピクセルレベルの詳細に背景の干渉を注入することを避けるため、最も細かい特徴マップ（レベル0）では抑制される。

2. 統計的境界アロケーター (SBA)

SBAは、硬直的なデータセットレベルの閾値を、連続的な画像ごとの密度境界に置き換えることで、割り当ての誤配分に対処する。

• 対数空間回帰: 硬い閾値を用いる代わりに、SBAは3つの連続する対数境界（$\log b_1, \log b_2, \log b_3$）を回帰し、物体数の範囲を4つの密度レベルに分割する。これは、厳密な単調性を保証するためにSoftplusを用いたカスケード型残差予測スキームを通じて実現される。
• ソフト・クエリ割り当て: クエリ数は、これらの密度レベルに対するソフトで微分可能な期待値によって決定される。温度スケールされたSoftmaxが、予測されたグローバルなカウントと各区間の中心との近接性に基づいて重みを割り当てることで、クエリ割り当てにおける不連続な跳躍を排除する。
• 真の適応型境界損失 ($L_{TABL}$): 境界を最適化するために、累積分布関数（CDF）に基づく新しい損失関数が使用される。これは、境界がグローバルな平均ではなく、真の画像ごとの統計量に適応することを保証するために、カバレッジ、間隔、およびカウント項を組み合わせたものである。

3. 結合システム

これら2つのブランチは、共有された密度表現 $D$ を通じて明示的に結合されている。

• SBA $\to$ ZFC: SBAは、ZFCのレベル適応型空間残差を導く空間密度事前分布 $D$ を提供し、ZFCに対して「どこを」「どの程度強く」再校正すべきかを指示する。
• ZFC $\to$ SBA: ZFCのTanh中心のゲーティングは、よりクリーンで中立性を保持した特徴を生成する。SBAはこれらの校正された特徴から密度信号を読み取るため、割り当ての決定がより忠実な表現に基づいたものになる。

主な貢献

1. 結合された失敗モードの特定: 本論文は、極小物体検出における表現の崩壊と割り当ての誤配分を、独立した問題ではなく、互いに強化し合う単一の結合された失敗モードとして特定した。
2. ゼロ・ハーム特徴校正 (ZFC): 中立的な前景活性化（重み = 1.0）を保持しつつ背景ノイズを抑制する、Tanh中心のゲーティングメカニズムを提供し、Sigmoidベースのアテンションの構造的限界に対処した。
3. 統計的境界アロケーター (SBA): CDFベースのソフト境界と真の適応型境界損失を用いた、連続的かつ微分可能なクエリ割り当てメカニズムを提供し、ロングテールな密度分布を扱うための硬直的な統計的閾値を置き換えた。
4. 結合最適化フレームワーク: 特徴校正とクエリ割り当てが互いに情報を与え合う統一されたアーキテクチャを提示し、結合された構成が個々のコンポーネントの合計を超える相乗的な利点をもたらすことを示した。

実験結果

提案手法は、DQ-DETRを主要なベースラインとして、AI-TOD-V2およびVisDrone-DET2019のベンチマークを用いて評価された。

• AI-TOD-V2:
  • 32.0% AP（平均適合率）を達成し、DQ-DETR（30.2%）に対して1.8パーセントポイントの向上を実現した。
  • 極小物体において顕著な利点を示した：APvt（極めて微小な物体）は15.3%から**16.9%へ、AP75（高精度）は22.3%から25.7%**へと向上した。
  • 効率性: パラメータ数が同一（58.7M）であるにもかかわらず、SBAによる疎なシーンでのクエリ数の動的な削減により、計算コストを49%（1805.4から921.0 GFLOPsへ）削減した。
• VisDrone-DET2019:
  • 38.2% APを達成し、DQ-DETRを1.2パーセントポイント上回った。
  • 強力な汎化性能を示し、比較された手法の中で最高のAP75を達成した。
• アブレーション研究:
  • ZFCのみ: 誤検出（LRP-FP）は減少したが、割り当ての未修正により、わずかに未検出（LRP-FN）が増加した。
  • SBAのみ: 未検出（LRP-FN）は減少したが、特徴ノイズの未修正により、わずかに誤検出（LRP-FP）が増加した。
  • フルモデル: 結合されたシステムが最高の性能を達成し、両方の軸に同時に対処することが必要であることを裏付けた。

重要性と主張

本論文の主な重要性は、極小物体検出を、一連の独立したパッチ（修正）ではなく、結合最適化問題として再定式化した点にある。共有された密度表現を通じて特徴校正とクエリ割り当てを明示的に結合することで、本フレームワークは以下を実現している。

• デグレードした特徴が不適切な割り当てを招き、不適切な割り当てが弱い特徴を枯渇させるというフィードバックループを打破する。
• （オプションのテスト時拡張のためのSoft-NMSを除き、NMSフリーの推論設定を維持することで）エンドツーエンドのパラダイムを保持する。
• 相乗的な効率性と精度を提供し、極小物体ベンチマークにおいて最先端の結果を達成すると同時に、計算オーバーヘッドを大幅に削減し、航空や監視アプリケーションにおけるリソース制約のあるデプロイメントへの適合性を高めている。

著者らは、これらの利点は単なる加算的なものではなく、結合が機能的であることを強調している。これは、フルモデルの性能が個々のブランチによる改善の合計を超えていることによって証明されている。