技術要約: DIRECT – エンボディド・プランナーにおけるテスト時計算量の割り当て時期と場所

問題提起

視覚言語モデル（VLM）は、抽象的な指示を実行可能なサブスキルへと分解する、エンボディド・エージェントのための高レベル・プランナーとしてますます導入が進んでいます。能力を高めるための主流の戦略は、Chain-of-Thought（CoT）推論、より大きなモデルサイズ、あるいは拡張されたメモリ履歴といった手法を通じて、推論時のリソースを増やす「テスト時計算量（test-time compute）」をスケールアップさせることです。しかし、著者らは、テスト時計算量をすべてのタスクに対して一様にスケールアップさせることが、現実世界のデプロイメントにおいて重大な摩擦を生むことを指摘しています。最先端のVLMのレイテンシは数十秒に達することもあり、また、一様なスケーリングは収穫逓減や不均一なリプレースをもたらすことがよくあります。例えば、「思考型（Thinking）」モデルは、単純なタスクにおいては非思考型モデルと同等の成功率を達成しながらも、3.8倍遅くなる場合があります。

核心となる問題は、テスト時計算量は一様なレバーではないということです。異なるスケーリングの軸（推論の深さ、モデルサイズ、メモリ）は、質的に異なる能力をもたらし、それらは特定のタスクの要求に対してのみ有益となります。高価な計算量を一様に割り当てることは無駄であり、一方で割り当てが不足すると複雑なタスクで失敗につながります。本論文は、テスト時計算量を「いつ」「どこで」費やすかを決定することが、最先端の性能を現実世界のロボットシステムにもたらす鍵であると主張しています。

手法: DIRECT フレームワーク

著者らは、マルチモーダルなシーン・コンテキストに基づいて、タスクごとにテスト時計算量を動的に割り当てるためのルーティング・フレームワークである DIRECT (Dynamic Inference Router for Embodied Compute Tradeoffs) を提案しています。

コア・アーキテクチャ

DIRECTは、タスク入力 $x = (I, \ell)$ — 初期シーンの観測 $I$（RGB画像またはマルチビュー・スタック）と自然言語による指示 $\ell$ で構成される — を、固定された候補集合 $\mathcal{M} = \{m_1, \dots, m_K\}$ からの特定のプランナー $m_k$ へとマッピングする軽量なルーターとして機能します。

• 入力エンコーディング: ルーターは、凍結されたBGE-M3テキストエンコーダを使用して指示をエンコードし、凍結されたSigLIPファミリーのビジョンエンコーダを使用してシーンをエンコードします。これらの埋め込みを結合して、タスク特徴ベクトル $\phi(x)$ を形成します。
• ルーター・モデル: 本フレームワークは、線形モデル、多層パーセプトロン（MLP）、k-近傍法（KNN）、およびOne-vs-Rest（OVR）分類器を含む、様々なパラメータ効率の良いアーキテクチャを評価します。
• 決定目的関数: ルーターは、品質（$q$、タスクの成功）とコスト（$c$、レイテンシまたはFLOPs）のバランスをとる効用関数 $U(q, c)$ を最大化するプランナーを選択します。本フレームワークは、品質スコアとコストスコアを予測して最適なトレードオフを決定する回帰ベースのヘッドを含む、様々な効用のインスタンス化をサポートしています。

データ収集と学習

• シミュレーション: VLABenchやRoboMMEのようなベンチマークにおいて、著者らはプランナーとタスクのあらゆるペアについて、品質（成功率）とコスト（レイテンシまたはFLOPs）を測定し、品質（$Q$）およびコスト（$C$）行列を構築します。
• ハードウェア（物理ロボット）: 全面的な物理的なロールアウトは非現実的であるため、著者らは合成データパイプラインを採用しています。彼らはシーンをサンプリングし、候補となる指示を生成し、大規模なVLMを使用してスキルの分解案を提示させます。その後、LLMジャッジが、参照スキルのに対するそれらの計画の「ステアラビリティ（操舵性）」をスコアリングします。これにより、ルーターは、すべての学習ステップでロボットハードウェアを必要とすることなく、物理的なスタイルのタスクで訓練することが可能になります。訓練されたルーターは、ゼロショットで物理ハードウェア（DROIDセットアップのFrancaアーム）にデプロイされます。

調査されたスケーリングの軸

フレームワークは、以下の3つの主要なスケーリングの軸にわたって評価されています：

1. Chain-of-Thought (CoT) の深さ: 「思考型（Thinking）」（意図的な推論）モデルと「指示型（Instruct）」（非思考型）モデルの間のルーティング。
2. モデルサイズ: 様々なパラメータ数を持つVLMバリアント間（例：2Bから235Bまで）のルーティング。
3. メモリ履歴: 異なるメモリアーキテクチャを持つプランナー間（例：軽量なフレームサンプリング vs. MemERのような検索ベースのメモリ）のルーティング。

主な結果

実験は、VLABench、RoboMME、および物理的なFranka DROIDハードウェアを用いて行われ、270,000件以上のシミュレーション上のルーティング決定と245件のハードウェア軌跡が含まれています。

1. Chain-of-Thought ルーティング

• 知見: CoT推論は平均的なパフォーマンスを向上させますが、44%のタスクでは不要であり、それらのタスクでは非思考型モデルが、何桁も低いレイテンシで同等またはそれを上回る性能を発揮します。
• 結果: DIRECTは、同種および異種のモデルペア全体で最高のルーティング効率（$\eta$）を達成します。VLABenchにおいて、DIRECTは高価なモデルに近い品質を回復しつつ、レイテンシを約30%削減します（例：$\eta \approx 75\%$）。物理ハードウェア上では、DIRECTは、マルチステップのグローサリータスクにおいて、「思考型」プランナー（19.58s）に対し、大幅に低いレイテンシ（6.85s）で「思考型」プランナーと同等の成功率を実現します。

2. モデルサイズ ルーティング

• 知見: モデルサイズのスケールアップは、単調な改善曲線をもたらすわけではありません。大きなモデルは、すべてのタスクを一様に改善するのではなく、主にプランナーが制御できるスキルの幅を広げます。基本的なスキルには小さなモデルで十分な場合が多いです。
• 結果: DIRECTは、不規則なスケーリング曲線を単調な改善へと変換します。与えられたスキルセットに対して最小限の能力を持つモデルへとルーティングすることで、最大のモデル（例：235B）の性能を回復しつつ、平均レイテンシを大幅に削減します。物理ハードウェア上では、折り畳みや閉じる動作のような複雑なスキルに対してのみ選択的に大きなモデルへ格上げすることで、27Bプランナーの成功率を、安価なモデルに近いレイテンシ（0.21s vs. 0.36s）で実現します。

3. メモリ ルーティング

• 知見: メモリ指向の計算量は、遠い過去の履歴を必要とするタスク（例：観測不可能なゴール）においてのみ有益です。短いリコールで済む簡単なタスクでは、軽量なメモリスキームが、重い検索ベースのモデルよりもはるかに低いコストで優れた性能を発揮します。
• 結果: DIRECTは、長いホライゾンのメモリを必要とするタスクを特定してメモリ拡張型プランナーへとルーティングし、観測可能なタスクにはメモリフリーのプランナーを使用します。RoboMMEおよび物理ハードウェアにおいて、DIRECTは、静的なメモリ拡張型プランナーよりも大幅に少ないフレームを処理しながら、オラクル（可能な最高のプランナー）に近い成功率を達成します。

重要性と主張

本論文は、テスト時計算量をナイーブにスケールアップさせることは無駄であること、そしてスケーリングの恩恵は一様ではなくタスクに依存することを主張しています。DIRECTの主な重要性は、以下の点にあります：

1. 低コストでのフロンティア性能の回復: タスクの要求を適切なプランナーに動的に適合させることで、DIRECTは、最も強力で高価なモデルと同等の成功率を達成しながら、コスト（平均レイテンシを最大65%削減）を劇的に抑えます。
2. 計算の非一様性の実証: 本研究は、異なるスケーリングの軸（推論、サイズ、メモリ）が質的に異なる能力向上をもたらすことを実証しており、静的なモデル選択ではなく、タスクごとの割り当てが必要であることを示しています。
3. 現実世界での実行可能性の実現: レイテンシとトークン使用量を減少させつつ成功率を損なわないことで、DIRECTは、最先端のVLMの能力と、エンボディド・エージェントのリアルタイム制約との間に生じている摩擦に対処します。

著者らは、ハイレベル・プランナーを固定された能力としてではなく、動的な変数として扱うことが、ロボットシステムにおけるフロンティアレベルのエンボディド・プランニングを実現するための実用的な道筋であると結論付けています。このフレームワークは、タスクの難易度を推論するために軽量な埋め込みベースの特徴量に依存しており、効果的なルーティングは複雑で重い推論メカニズムなしでも達成できることを示唆しています。