Does learning when to look pay for home service robots? A preregistered test of adaptive perception scheduling in closed-loop navigation

技術要約：いつ見るべきかを学習することは、家庭用サービスロボットの利益になるのか？

問題提起
バッテリー駆動の組み込みコンピュータ上で動作する家庭用サービスロボットは、重大な計算上のボトルネックに直面している。それは、物体検出が知覚パイプラインにおいて最も高コストなタスクになりやすいことである。計算負荷を軽減するために、適応的な知覚戦略（フレームのスキップ、領域のクロッピング、またはモデルサイズの切り替えなど）が一般的によく用いられるが、これらがクローズドループ・ナビゲーションにおいて評価されることは稀である。静的なビデオ解析においては、検出の失敗は単に再現率（リコール）を低下させるだけで済む。しかし、移動するロボットにおいては、検出の失敗はタスクの失敗、停止、あるいは衝突につながる可能性がある。既存の文献には、ロボットの動きがその知覚出力に完全に依存するクローズドループ・ナビゲーションの制約条件下において、適応的知覚による計算量の節約が実際に成立するかどうかを、厳密かつ事前登録された手法で評価した研究が欠けている。

手法
著者らは、クローズドループ・ナビゲーション・タスクにおける適応的知覚コントローラーを12個のベースラインと比較するため、事前登録された実験を実施した。

• 環境およびセットアップ： 本研究では、すべての学習データから除外された25個のフォトリアリスティックなホームスキャン（HM3D）を用いたHabitatシミュレータを使用した。障害物（家庭用品）はナビゲーションメッシュの外側に配置されており、ローカルプランナーは検出器がそれらを正常に識別できた場合にのみ、それらを回避できる仕組みとなっている。ロボットはRGB-Dカメラ（解像度320×240）を使用し、0.1秒の制御周期でダイナミックウィンドウ・プランナーを用いて動作した。
• 評価対象のコントローラー： 提案手法は、「いつ」検出器を実行するか、「どこ」を見るか、そして「どの」モデルサイズを使用するかを学習する。
  • WHEN（いつ）： 学習されたトリガーが、8つの安価な信号（例：フレーム間の差分、自己運動、衝突までの時間など）を用いて、現在の信念（belief）に重要な障害物が欠落しているかどうかを予測する。
  • WHERE（どこ）： 手設計のタイル・スコアラーが、運動エネルギーとブレーキング・コリドー（制動経路）に基づいて特定の画像領域を選択する。
  • WHAT（何を）： ティア・ルール（階層ルール）が、衝突までの時間に基づいて検出解像度（Heavy、Medium、またはLight）を選択する。
  • 安全メカニズム： 「セーフティ・シールド」は、ロボットが一定距離を移動しても注視が行われなかった場合に強制的に検出を行い、「エクスペリエンス・メモリ（経験メモリ）」は過去のシーンの結果を想起しようと試みる。
• ベースライン： コントローラーは、毎フレーム重い（Heavy）または軽い（Light）検出器を実行するもの、固定レートのフレームスキップ、ランダムなフレーム選択、および様々なヒューリスティックなトリガー（画素差分、エッジ特徴、モーションゲーティング）を含む12個のベースラインと比較された。
• 事前登録および基準： タスク、妥当性ゲート、および成功基準は、メインの比較を実行する前に事前登録によって固定された。適応的手法が成功したとみなされるには、以下の条件を満たす必要がある：
  1. 成功率が最高のベースライン（Always-Heavy）と0.05以内の差であること。
  2. 衝突率が最高のベースライン（Always-Light）と0.05以内の差であること。
  3. ベースラインよりも有意に少ないGFLOPsを使用すること。

主な結果
本研究の結果、適応型コントローラーは事前登録された成功基準を満たさなかった。

• ベースラインとの性能比較： 完全な適応型コントローラー（"ours-full"）は、エピソードの55.0%で成功し、8.3%で衝突した。対照的に、"always-light"ベースライン（最も安価な検出器を毎フレーム実行するもの）は、76.7%のエピソードで成功し、衝突率はわずか0.8%であった。"always-heavy"ベースラインは、79.2%の成功率を達成した。
• 計算量の節約： 適応型コントローラーは、重い（Heavy）検出器に対して85%の計算削減を実現し（11,609 GFLOPs 対 76,805 GFLOPs）、12個中11個のベースラインよりも大幅に低コストであった。
• 失敗モード： 適応型手法は、単なる衝突よりも、主に誤った、あるいは古いトラック（未完了のタスク）の後ろで立ち往生することによって失敗した。学習されたトリガーは効果的に収束せず、同等の計算予算においては単純な固定レートのスキップの方が優れた性能を示すことが多かった。
• メモリ転送： エクスペリエンス・メモリは新しい家への汎化に失敗した。実際、同じシーンを繰り返し訪問するにつれて検出器の呼び出しが増加しており、これは計算の必要性が、ロボットの位置よりも視覚的な外観から予測するのが難しいことを示唆している。

意義および主張
本論文は、家庭用サービスロボットにとって、現在最も強力なベースラインは、最も安価で適切な検出器を毎フレーム実行するという「単純かつ安価なデフォルト設定」であると主張している。

• ハードウェアへの影響： 測定されたプロセッサ（Apple M1 Pro）において、Lightティアの検出器のみが0.1秒の制御周期内に完了する。Heavyティアのレイテンシ（244ms）は制御周期を2.4倍超過している。したがって、Lightティアを前提としたロボットは、より小さなオンボードコンピュータを使用でき、予算内に収めるための複雑なスケジューラを必要としない。
• 設計指針： 著者らは4つの実用的なガイドラインを提供している：
  1. 最も安価で適切な検出器を毎フレーム実行することから始める。適応的スケジューラは、デプロイ前に、クローズドループ・テストにおいてこのデフォルト設定を上回らなければならない。
  2. 衝突だけでなく、タスク完了率（成功率）を測定すること。不十分な知覚は、しばしばタスクの未完了を招くためである。
  3. スケジューラを予算全域にわたって評価すること。単純な固定レートのスキップが、同等のコストにおいて学習されたトリガーよりも優れた性能を示すことがある。
  4. 経験のクロスホーム転送に関する主張は、位置に基づいた制御（position-keyed control）と比較してベンチマークを行うべきである。

結論
本研究は、「いつ」見るべきかを学習することは、安全性、タスク成功率、および計算量のバランスという観点において、現在の家庭用サービスロボットにはメリットがないと結論付けている。この否定的な結果は有用なベンチマークとして提示されており、将来の適応的知覚手法は、まずクローズドループ環境において単純な低コスト検出器を凌駕しなければならないという基準を確立している。