技術要約：予算適応型ルーティング（Budget-Adaptive Routing）

問題提起

視覚的知覚（物体検出など）におけるエッジ・クラウド推論の協調作業では、通常、「弱条件付き（weak-conditioned）」ルーティング・アーキテクチャが採用されます。この標準的な設計では、軽量なローカル検出器（$M_w$）がすべてのフレームを処理し、ルーティング推定器が、その弱検出器の中間出力（プロポーザル、埋め込み、または活性化）を用いて、フレームをより強力で正確なクラウド検出器（$M_s$）にオフロードすべきかどうかを決定します。

本論文は、このアプローチにおける構造的な非効率性を指摘しています。すなわち、弱モデルのフォワードパスは、その後クラウドへオフロードされるフレームも含めて、すべてのフレームに対して実行されるという点です。これは「暗黙的な計算税（implicit compute tax）」を生み出します。オフロード予算（$\rho$、クラウドに送信されるフレームの割合）が高いとき、システムは、結局のところ強力なモデルが回答することになるフレームに対しても、弱検出器のコスト（$C_w$）を支払うことになります。この直列的な依存関係は、不要なレイテンシも導入します。なぜなら、ルーティングの決定は、弱モデルのパスが完了するまで下せないからです。

著者らは、この設計はオフロード予算が低い場合（弱パスがスキップされることが稀な場合）には必要ですが、予算が高い場合には最適ではなくなると主張しています。核心となる問いは、推定器が（弱パスを完全にバイパスするために）生のピクセルのみを使用してオフロードの必要性を予測できるか（「スキップ型」アプローチ）、そして、単一の固定された配置がすべての動作領域において最適となり得るのか、という点です。

手法

本論文は、オフロード予算に基づいて、2つの推定器の配置を動的に選択する**予算適応型ルーティング（Budget-Adaptive Routing）**を提案しています。

1. 弱スキップ型推定器（Pre-Weak）

弱検出器の出力に依存する代わりに、この推定器は生の画像ピクセルから直接ルーティング信号を予測します。

• アーキテクチャ: 高度に圧縮されたMobileNetV2-Liteバックボーン（0.15 GFLOPs、4.49 GFLOPsの弱検出器より約29倍軽量）。
• 学習ターゲット: 著者らは、生のピクセルには十分な信号が含まれていないという仮定に異議を唱えています。彼らは、コンテキスト付きオフロード報酬（$\Delta AP$）を導入しました。これは、特定のフレームがエッジではなくクラウドで処理された場合の、データセット全体のmAPの変化量として定義されます。
  • $\Delta AP$ のロングテール分布（ほとんどのフレームで利得がゼロになる）に対処するため、2つの変換されたターゲットを提案しています：
    • OffloadBin: バイナリ分類ターゲット（$\Delta AP > 0$ なら 1、それ以外は 0）。
    • MORIC+: 利得と損失の大きさをゼロを中心に左右対称に正規化した回帰ターゲット。
• メカニズム: 推定器はスコアを出力し、スレッショルダー（閾値判定器）がこれをバイナリのオフロード決定にマッピングします。この際、実行中の分位点推定（running quantile estimate）を通じて、目標とするオフロード比率 $\rho$ を維持します。

2. 弱条件付き推定器（Post-Weak）

これは比較のためのベースラインであり、低予算戦略として機能します。

• アーキテクチャ: 弱検出器の出力から得られるMORIC特徴量を用いて学習されたXGBoostモデル。
• 役割: 弱パスの後に利用可能な、より豊かな特徴を活用します。これらはオフロード予算が低いときには「無料」です。なぜなら、弱パスは実行せざるを得ないからです。

3. 予算適応型ルーティング・ロジック

システムは単一の配置に固執しません。代わりに、$\rho$ に基づいて2つの戦略を切り替える、オフライン調整済みのアービター（仲裁器）を採用します。

• 低予算時 ($\rho < \rho_{frontier}$): 弱条件付きを使用します。ほとんどのフレームにおいて弱パスは避けられないため、より豊かな特徴を利用することで、追加の計算コストなしにルーティング精度を向上させることができます。
• 高予算時 ($\rho \ge \rho_{ceiling}$): 弱条件付きを再び使用します。非常に高いオフロード率では、ローカルに保持される数少ないフレームが重要な重みを持ち、弱条件付き推定器のより豊かな信号が、計算節約のメリットを上回ります。
• 中予算時 ($\rho_{frontier} \le \rho < \rho_{ceiling}$): 弱スキップ型を使用します。ここでは、オフロードされるフレームに対して弱検出器を実行することによる「計算税」が最大になります。弱パスをスキップすることで、大幅なGFLOPsとレイテンシの削減が可能となり、生のピクセルによる推定器は十分に正確です。

閾値（PASCAL VOCにおいて $\rho_{frontier} \approx 0.3$ および $\rho_{ceiling} \approx 0.8$）は、予算をスイープし、性能のエンベロープ（包絡線）が反転する箇所を特定することによって、オフラインで決定されます。

主な貢献

1. 暗黙的な計算税の定式化: 著者らは、標準的な「弱モデル優先」の仮定が、オフロード予算とともにスケールする隠れた計算コスト（$\rho \cdot C_w$）を課し、高予算のデプロイメントにおいて不整合を生じさせることを明確にしました。
2. 競争力のある弱スキップ型推定器: 軽量な画像のみの推定器（0.15 GFLOPs）が、最も優れた弱条件付きベースライン（4.49 GFLOPsの弱パスを必要とする）よりもルーティング品質において優れていることを示しました。これは、生のピクセルにはルーティングには不十分であるという前提に挑戦するものです。
3. 予算適応型ルーティング・フレームワーク: 配置（スキップするか、条件付きにするか）を選択するハイブリッドシステムを提案しています。このアプローチは、2つの固定戦略の性能を全動作範囲にわたって追跡し、その上限をトレースします。
4. 軽量な弱条件付きベースライン: 既存のSOTA（EdgeML, DCSB）よりもルーティング品質において優れた、サブミリ秒の推論コストを持つ新しい弱条件付き推定器（MORIC上のXGBoost）を導入しました。

結果

MobileNetV3弱検出器とResNet50強検出器を用いたPASCAL VOCデータセットでの評価結果：

• ルーティング品質: OffloadBinで学習された弱スキップ型推定器は、オラクル利得（oracle gain）に対して 0.557 のスピアマン順位相関係数を達成しました。これは、最高の弱条件付きベースライン（XGBoost/MORICの0.472）を上回り、従来のSOTA（EdgeMLの0.138）を大幅に凌駕しています。
• 計算効率: 高オフロード予算（$\rho=0.9$）において、弱スキップ型アプローチは、弱条件付きアプローチと比較して、フレームあたり 3.90 GFLOPs（弱検出器のコストのほぼ全量）の計算量を削減します。
• レイテンシ: 弱スキップ型アプローチは、$\rho=0.9$ においてエンドツーエンドのレイテンシを最大 19.1 ms（約30%の削減）短縮します。これは、24.70 msの弱パスに対する直列的な依存関係を取り除くことによるものです。
• 精度エンベロープ: 予算適応型ルーターは、ピーク mAP@0.5 で 0.808 を達成しました。これは、強力なモデル単独の性能（0.791）より +1.7 ポイント 高く、すべての固定配置ベースラインを動作範囲全体で上回っています。これにより、精度と計算量の結合フロント（境界）において、両戦略の上限をトレースしています。

意義と主張

本論文は、推定器の配置が、選択的オフロードにおける極めて重要かつ、これまで十分に探索されてこなかった設計軸であることを主張しています。推定器を弱モデルの前に移動させることで、システムはオフロードされるフレームに対して弱検出器を実行するという「計算税」を回避できます。

著者らは、弱スキップ型も弱条件付き型も、動作曲線全体において支配的ではないことを強調しています。その意義は、予算適応型のアプローチにあります。これは、最適な戦略は動作レジームに依存することを認めるものです。この手法により、システムは与えられた予算に対して可能な限り高い精度を実現しつつ、計算量とレイテンシを最小限に抑えることができ、特定の動作点においては強力なモデル自体をも凌駕します。この研究は、「フレームが困難であるかどうか」を予測することは、「フレームに何が含まれているか」を予測することよりも大幅に安価かつ効果的であることを示唆しており、高品質なルーティング決定のために生のピクセルを使用できることを証明しています。