技術概要：環境条件下における RT-DETR の ResNet バックボーンベンチマーク

問題定義

ロボカップやフーロカップなどの競技ロボットにおいて、自律システムは厳密な時間制約の下で、小さく幾何学的に単純な物体（例：ボール）を検出・追跡するために、リアルタイム視覚認識に大きく依存している。NMS（非最大値抑制）なしでエンドツーエンド検出を可能にするトランスフォーマーベースの検出器である RT-DETR は、畳み込みアーキテクチャに対する強力な代替手段として登場したが、これらの環境においてバックボーンのスケールや環境変化が性能にどのように具体的に影響するかについては、文献が不足している。

既存のフレームワークは、特に照明の変化（不均一な照明、ちらつき、自然光）や背景のコントラスト問題（例：グレーのカーペット、木製の壁）といった環境変動に苦しんでおり、これらは色の誤分類や検出器の不安定化を引き起こす可能性がある。さらに、リアルタイムトランスフォーマー検出器において、バックボーンの深さ、ドロップアウト正則化、およびこれらの環境要因との相互作用は、十分に研究されていない。本研究は、このような変動条件下で RT-DETR を展開する際に、検出精度、信頼性、推論遅延の間の最適なバランスを決定する必要性に対応するものである。

手法

本研究は、ResNet18、ResNet34、ResNet50、ResNet101 の 4 つの ResNet バックボーンバリエーションを使用した RT-DETR アーキテクチャの制御された比較評価を提示する。

実験設定

• データセット: 複数の Roboflow リポジトリから集約された 8,806 枚の画像を特徴とするカスタムデータセット。球体（青、緑、オレンジ、白のボール）が含まれる。人工照明下でのオレンジ色との色調の類似性により、赤いボールのクラスは除外された。
• 前処理: 画像は 640×640 ピクセルにリサイズされた。静的なデータ拡張として、球体の幾何学形状を維持しつつ方位不変性を向上させるため、ランダム回転（±13°）が含まれた。
• トレーニング構成: 全てのモデルは、Ultralytics フレームワークを用いて確率的勾配降下法（SGD）により、NVIDIA RTX 4070 Ti GPU 上でゼロから 150 エポックトレーニングされた。
• 正則化モード: 各バックボーンは 2 つのモードでトレーニングされた：
  1. スタンダードモード: ドロップアウトなし（ドロップアウト率 = 0.0）。
  2. 正則化モード: トランスフォーマーエンコーダの注意機構に 0.2 のドロップアウト率を適用。
• 評価シナリオ: 推論は 4 つの異なる条件下でビデオシーケンスに対してテストされた：
  1. 完全照明（人工）対 低照明。
  2. 白背景対 黒背景。
• 指標: 性能は、平均信頼性（平均予測スコア）、推論時間（ms/フレームの遅延）、および分類精度（クラスごとの正しい検出数）を使用して評価された。

主な貢献

1. 体系的なバックボーン評価: ResNet18 から ResNet101 までの ResNet バックボーンを備えた RT-DETR の比較分析により、表現の深さ、精度、遅延の間のトレードオフを定量化する。
2. 環境ロバスト性分析: 照明変化と背景コントラストの変動が検出器性能にどのように影響するかを制御された条件下で評価し、これらの要因をアーキテクチャの違いから分離する。
3. 正則化の影響評価: 変動する運転条件下での予測信頼性と分類の安定性への影響を決定するため、RT-DETR に対するドロップアウト（0.2）の評価。

実験結果

照明の影響

• 信頼性対精度: 照明の変化は予測信頼性に大きく影響したが、分類精度には最小限の影響しか与えず、ほとんどの構成で一貫して高く（多くの場合 1.00 に近づき、または超えて）維持された。
• バックボーン性能:
  • ResNet50 は、照明変化の下で全体的に最適なトレードオフを示し、ほぼ完璧な精度、最大約 0.869 の信頼性値、および約 0.058–0.059 ms の遅延を達成した。
  • ResNet101 は ResNet50 に対して明確な改善を示さず、この特定のタスクでは深さの増加に伴う逓減収益を示唆している。
  • ResNet18 は計算コストが低かったが、困難な照明下でわずかに低下した信頼性を示した。
• 正則化: ドロップアウト（0.2）を適用することは、一般的に照明条件全体で信頼性値を安定させ、完全照明と低照明の性能間のギャップを縮小したが、極端な条件への感度を完全に排除したわけではない。

背景コントラストの影響

• 信頼性感度: 背景の変化（白対黒）は、精度よりも信頼性に影響を与えた。標準条件（ドロップアウト 0.0）では、特に対照的な背景に対する青と白のボールにおいて、信頼性値はより分散していた。
• 正則化効果: ドロップアウト（0.2）は信頼性値を均質化し、白背景と黒背景の間の性能ギャップを縮小し、内部特徴表現のロバスト性を向上させた。
• バックボーン性能:
  • 背景変化の下では、ResNet34 が最もバランスの取れた性能を提供し、ほぼ完璧な精度と最大約 0.887 の最高信頼性値を達成しつつ、低遅延とコンパクトなモデルサイズを維持した。

遅延

推論遅延は環境条件（照明または背景）によってほとんど影響を受けず、主にバックボーンアーキテクチャの深さによって決定された。

意義と結論

本論文は、環境要因（照明とコントラスト）は、予測の正しさ（精度）または計算コストではなく、主に予測の信頼性を劣化させることを結論づけている。深いモデル（ResNet101）は優れたロバスト性を保証するわけではないが、中間深度のモデルは競技ロボットタスクに対して最も安定した動作を提供する。

• 最適なアーキテクチャ: 本研究は、最適なアーキテクチャは文脈依存であることを特定している。ResNet50 は照明変化が支配的なシナリオに推奨され、一方ResNet34 は背景コントラスト変化が顕著な環境に優れている。
• 正則化の役割: ドロップアウトは安定性を向上させ、条件間での信頼性の変動を減少させるが、困難な視覚環境を完全に補償するものではない。
• 設計への示唆: 単純な幾何学的物体を含む現実世界のロボット応用においては、単にモデルの深さをスケールアップするよりも、中間アーキテクチャを適切な正則化と組み合わせる方が、性能、効率、ロバスト性の間でより好ましいバランスを提供する。