Trajectory-Aware Adaptive Inference in Object Detection Models

技術概要：物体検出モデルにおける軌道認識型適応推論

問題定義
自律海上航行におけるセンサーの統合により、大規模なマルチモーダルデータセットが生成され、効率的なリアルタイム知覚への需要が高まっている。海上航行のような動的環境では、物体検出と軌道知覚は密接に結合しているが、物体検出モデルの推論効率についてはしばしば軽視されている。YOLO ファミリーなどの標準的な検出器は、シーンの難易度に関わらず、すべての入力に対して均一な計算リソースを適用する。この静的なアプローチは、遅延とエネルギー効率が重要なリソース制約環境（自律水上車両（ASV）など）では最適ではない。既存の適応推論手法、例えばマルチエグジット型ニューラルネットワークは、通常、外部の文脈データではなく、内部のモデル信頼度シグナル（エントロピーやソフトマックス確率など）に依存している。したがって、外部の軌道データを活用し、シーンの複雑さに基づいて計算負荷を動的に調整する推論戦略が必要である。

手法
著者は、YOLOv8 ベースの検出器の推論プロセスに GPS 軌道データを統合する「軌道認識型適応推論フレームワーク」を提案する。この手法は、以下の 3 つの主要段階から構成される。

1. 検出器の適応とスケール認識型微調整

   • ベースとなる YOLOv8 モデルを海上データセットで微調整する。
   • YOLOv8 は、異なるスケールで動作する 3 つの検出ヘッド（P3、P4、P5）を介して暗黙的なマルチエグジット構造を有していることを認識し、これらのヘッドを潜在的なエグジットポイントとして扱う。
   • スケール認識型学習率戦略を採用する。トレーニングデータ内のバウンディングボックスをサイズ（小、中、大）ごとに分類する。学習率は、データセットにおける対応する物体サイズの頻度と難易度に基づいて、各検出ヘッドに割り当てられる。過剰に表現されているか、あるいは困難な物体サイズに関連するヘッドは、適切な専門化を確保するために、より高い学習率を受け取る。

2. 軌道に基づく難易度推定

   • 内部の信頼度に依存するのではなく、システムは同期された GPS データから導出された外部の運動手がかりを利用する。
   • 各フレーム（または 1 秒のウィンドウ）について、2 つの主要な指標が計算される。
     • 船間距離（$d_t$）： ハバサイン公式を用いて計算される。
     • 収束率（$v_t$）： 移動物体間の距離が時間とともに減少する割合。
   • これらの指標は「シーンの難易度」の代理指標として機能する。船舶が近接し、収束率が高いシナリオは複雑とみなされ、十分に離れており、低速で移動するシナリオは単純とみなされる。

3. 適応推論制御（早期エグジットポリシー）

   • 条件付きポリシーにより、どの検出ヘッドをアクティブにするかを決定する。
     • 低複雑度： $d_t > \tau_1$（例：30m）かつ $v_t < \tau_2$（例：0.5 m/s）の場合、高解像度のP3 ヘッドのみをアクティブにする。
     • 高複雑度： それ以外の場合、フルモデル（P3、P4、P5 ヘッド）を実行する。
   • このアプローチにより、軌道データが低リスク・低複雑度の環境を示す場合、計算コストの高いネットワーク部分をバイパスすることが可能になる。

主な貢献

• マルチモーダル適応推論： 信頼度ベースの早期エグジットを超えて、計算リソースの割り当てを導くために、モビリティデータ（GPS 軌道）とコンピュータビジョンを統合する。
• スケール認識型微調整： ターゲットドメインにおける物体サイズの幾何学的分布に基づいて検出ヘッドごとの学習率を調整する手法であり、ヘッドの独立した動作を最適化する。
• 実証的検証： 提案された YOLOv8 モデルの包括的な評価を行い、ヘッドごとの遅延と精度のトレードオフに関する洞察を提供し、軌道駆動型の推論制御の有効性を実証する。

実験結果
このフレームワークは、搭載 ASV カメラからの同期ビデオと、同一プラットフォームからの GPS 軌道データ（250 件の GPS レコード、3,686 フレームのビデオ）で構成されるデータセットを用いて評価された。

• ヘッド性能： 検出ヘッドの独立した評価により、P4 ヘッド（中スケール）が検出数を支配し、モデルバリエーション（Nano、Small、Medium）全体で最も高い単体性能（mAP@50）を達成することが明らかになった。P3 ヘッドは、より大きなモデルにおいて小物体に対する感度が高まった。
• 計算効率： 個々のヘッドをアクティブにすることで、FLOPs の大幅な節約（ヘッドとモデルサイズに応じて約 18% から約 33%）と速度向上（Nano モデルの P3 で最大 1.61 倍）が得られた。
• 適応戦略のパフォーマンス： 距離 30m、収束率 0.5 m/s の閾値を設定した現実的な海上シナリオにおいて。
  • 3,686 フレーム中 3,027 フレーム（約 82%）が P3 ヘッドのみを使用して処理された。
  • 中央値の推論遅延は、フルモデルの10.097 ms/フレームから、P3 のみの6.686 ms/フレームに低下した。
  • ビデオシーケンスの総処理時間は、予測された37.22 秒から26.89 秒に減少した。
  • この戦略は、許容可能な検出精度と遅延の低減のバランスを取りながら、効果的な追跡性能を維持した。

意義と主張
本論文は、提案されたフレームワークが精度と効率の間の柔軟なトレードオフを提供し、自律海上航行のようなリアルタイムかつリソース制約のあるアプリケーションに特に適していると主張している。外部の軌道手がかりを活用することで、複雑な内部信頼度モデリングを必要とせずに、入力適応型計算を実現している。著者は、このアプローチが処理オーバーヘッドと遅延を大幅に低減する一方で、動的環境における予測性能を保持していると指摘している。

今後の課題
著者は、以下の将来の方向性を提案している。

• 代替アーキテクチャ（DETR など）への手法の一般化。
• 過酷な条件下（悪天候、センサーノイズ、視界不良）での堅牢性のテスト。
• GPS 座標と画像座標の間の明示的なマッピングを組み込み、軌道情報と視覚情報の融合をさらに強化する。