Hausdorff Distance Matching with Adaptive Query Denoising for Rotated Detection Transformer

技術概要：回転物体検出 Transformer 向けのハウスドルフ距離マッチングと適応的クエリノイズ除去

問題定義
物体検出用 Transformer（DETR）は水平物体検出において新たなベンチマークを確立してきたが、回転物体検出（方向付きバウンディングボックスを使用）への応用は、専門的な方向検出器に比べて遅れをとっている。著者は、回転 DETR モデルの性能を阻害する 2 つの主要なボトルネックを特定している：

1. 二部マッチングにおける「正方形類似」問題：DETR における標準的な二部マッチングは、局所化コストに L1 距離に依存している。回転検出において、この指標は境界の不連続性と「正方形類似」の問題を引き起こす。すなわち、モデルは同じ角度を共有するが空間的に遠く離れている、あるいは交差率（IoU）が低い予測に対してグランドトゥルースを割り当ててしまう。これにより、重複した低信頼度の予測が生じ、DETR の中核原則である 1 対 1 マッチングに違反する。
2. 静的クエリノイズ除去の限界：既存のクエリノイズ除去手法（DINO など）は、初期トレーニングを加速するためにグランドトゥルースにノイズを導入する。しかし、モデルが改善されるにつれ、その予測はノイズ入りグランドトゥルースよりも正確になる可能性がある。静的ノイズ除去は、モデルにこれらの劣ったノイズ目標から学習し続けることを強制し、トレーニング後期の性能を阻害する。

手法
著者は、2 つの新しいコンポーネントを強化した DINO ベースのベースラインであるRHINO（Rotated detection transformer with Hausdorff distance matching：ハウスドルフ距離マッチングを備えた回転物体検出 Transformer）を提案する：

1. 二部マッチングのためのハウスドルフ距離：
   「正方形類似」問題を解決するため、著者は標準的な L1 距離コストをハウスドルフ距離に置き換える。

   • メカニズム：ハウスドルフ距離は、2 つのバウンディングボックスを定義する点集合間の最大距離を計算する（具体的には角点または辺の中点を使用）。
   • 効果：角度の差を過剰に強調する L1 距離とは異なり、ハウスドルフ距離はボックスの軸方向の整列と空間的重なりを考慮する。これにより、グランドトゥルースは幾何学的整合性の高い予測とマッチングされ、重複した低信頼度の予測が効果的に排除される。
   • 実装：モデルは標準的な 4 次元ボックス表現を 5 次元座標 $[x, y, w, h, \theta]$ に拡張し、角度 $\theta$ を $[0, 180^\circ]$ から $[0, 1]$ にマッピングすることで、反復的リファインメントや変形可能アテンションなどの既存の DETR コンポーネントとシームレスに統合する。

2. 適応的クエリノイズ除去：
   トレーニング後期におけるノイズ目標からの学習という問題に対処するため、著者は適応的フィルタリングメカニズムを導入する。

   • メカニズム：すべての正のノイズ付きクエリを盲目的に教師信号として使用するのではなく、精製されたノイズ付きクエリの集合とモデルの現在の予測との間で二部マッチングを行う。
   • フィルタリング：元のソースグランドトゥルースに正常にマッチングされたノイズ付きクエリ（すなわち、モデルがまだ「凌駕」していない、または依然として最良のマッチングであるもの）のみが、ノイズ除去損失のために保持される。最適マッチングではなくなったクエリはフィルタリングされるか、背景として扱われる。
   • 改良版：「改良適応的クエリノイズ除去（AQD*）」が提案されており、これは主要な分類目的のために選択されなかった場合でも、フィルタリングされたクエリに対して回帰損失を保持し、局所化の微細な調整をさらに導く。

主な貢献

1. 堅牢なベースライン：著者は、提案された修正以外の複雑な手動設計モジュールや専門的な損失関数を必要とせず、最先端の強化（反復的リファインメント、動的アンカーボックス、コントラストノイズ除去）を統合した、回転検出のためのシンプルで堅牢な DETR ベースラインを設計した。
2. ハウスドルフ距離コスト：マッチングコストとしてのハウスドルフ距離の導入は、「正方形類似」問題と重複予測を効果的に緩和し、より安定したトレーニングと高い性能をもたらした。
3. 適応的クエリノイズ除去：モデルの精度が向上するにつれて有害なノイズ付きクエリを選択的に排除する動的フィルタリング戦略を提案し、トレーニング後期においてモデルがノイズ目標に逆戻りするのを防いだ。

実験結果
モデルは、単一スケールトレーニングおよびテスト設定下で、4 つの標準的な回転物体検出データセット：DOTA-v1.0、DOTA-v1.5、DOTA-v2.0、DIOR-R において評価された。

• 性能向上：ResNet-50 ベースバックボーンを使用するモデルと比較して、RHINO は顕著な改善を達成した：
  • DOTA-v2.0：+4.18 AP50。
  • DOTA-v1.5：+4.59 AP50。
  • DIOR-R：+4.99 AP50。
• 最先端性能：RHINO はテストされたすべてのデータセットで新たなベンチマークを設定した。例えば、DOTA-v1.0 において、Swin-Tiny ベースバックボーンを備えた RHINO は 79.42 AP50 を達成し、以前の DETR ベースおよび畳み込みベースの検出器を上回った。
• 高精度指標：モデルは、方位精度のためのより厳格な指標である AP75 においても優れた性能を示し、ハウスドルフ距離が角度精度を効果的に向上させることを示した。
• アブレーション研究：実験により、L1 をハウスドルフ距離に置き換えることで重複予測が減少すること、および固定ノイズレベルを持つ静的ノイズ除去よりも適応的ノイズ除去が優れていることが確認された。

意義
本論文は、RHINO が、複雑なドメイン固有のアーキテクチャ変更に依存することなく、クエリベースの検出器が専門的な方向物体検出器の性能に匹敵し、あるいはそれを超えることを実証していると主張している。回転物体の文脈における二部マッチングの根本的な不一致と静的ノイズ除去の限界に対処することで、この研究は、方向物体検出に関する将来の研究のための強力な DINO ベースのベースラインを提供する。この研究は、慎重な指標選択と適応的トレーニング戦略を通じて、汎用 DETR アーキテクチャを回転検出に適応させる可能性を強調している。