技術要約: PolicyTrim

問題提起

Vision-Language-Action (VLA) モデルは、ロボット操作における統一されたパラダイムを確立したが、その実世界への展開は、しばしば**実行効率（execution efficiency）によってボトルネックとなる。既存の研究は、主に（トークン・プルーニング、量子化、KVキャッシュの再利用などの）計算中心の効率化、すなわちステップごとの推論レイテンシを削減することに焦点を当てているが、これらのモデルの本質的な方策効率（intrinsic policy efficiency）**については、ほとんど未探索のままである。

本論文は、本質的な方策効率を支配する2つの主要な要因を特定している：

1. 有効な実行長（Effective Executable Length）: モデルが環境を再観測する前に、信頼性高く実行できる予測アクションの数。現在のVLA方策は、**アクション・チャンクの末尾における予測の劣化（prediction degradation at the tail of action chunks）**に悩まされており、これが保守的な実行ウィンドウと頻繁な再推論を強いている。
2. 総物理ステップ数（Total Physical Steps）: タスクを完了するために必要な物理的なステップ数。現在のモデルは、プランニングの信頼性の低さに起因して、冗長な物理ステップや修正動作を生成することが多く、結果として実行軌跡が不必要に長くなっている。

これらの要因が、フォワード推論呼び出しの総回数を決定する。著者らは、モデルが成功する場合であっても、実行パスに高い分散を示すことがあり、効率的なパスは偶然にのみ現れること、また、より長い実行ウィンドウを強制すると、蓄積された末尾のエラーによって成功率が低下することを観察している。

手法: PolicyTrim

著者らは、モデルのアーキテクチャを変更したり追加のエキスパート・デモンストレーションを必要としたりすることなく、本質的な方策効率を高めるために設計された、2段階の強化学習（RL）ベースのポストトレーニング・フレームワークであるPolicyTrimを提案する。このフレームワークは、Group Relative Policy Optimization (GRPO) を利用して、2つの連続するステージを通じて方策を最適化する。

ステージ1: 信頼性の高いアクション・チャンクの拡張

目標は、「信頼できる予測ホライゾン」を、モデルのアーキテクチャ上の限界へと押し上げることで、信頼できる実行ウィンドウを拡張することである。

• 動的な実行ホライゾンの探索: 固定の実行長を強制する代わりに、サンプリングされたグループ内の各軌跡に対して個別の**受容比率（acceptance ratio, $\gamma$）**を割り当てる。これにより、「信頼性のスウィープ（reliability sweep）」が作成され、短・中・長期のチャンク位置における信頼できる予測の経験的な境界を並行して調査する。
• 信頼ホライゾン報酬: 報酬関数は、タスク完了の成功と、受容比率（$\gamma_i$）によってスケールされたホライゾン報酬を組み合わせる。極めて重要な点として、ホライゾン報酬は条件的である。つまり、グループ内の少なくとも1つの軌跡が成功した場合にのみ有効となる。これにより、成功が保証されていない場合に、方策が信頼性の低いロングチャンク行動へと崩壊することを防ぐ。
• 最適化: GRPOを用いて方策を更新し、同一のタスクインスタンス内で異なる実行長を対比させることで、どのチャンク位置が信頼できるアクションを生み出すかを学習する。

ステージ2: 冗長性を考慮したステップ削減

ステージ1で拡張されたホライゾンに基づき、このステージではタスク完了に必要な総物理ステップ数を削減することを目指す。

• ステップ節約報酬: ベースラインの予算（$S_{base}$）よりも少ないステップでタスクを完了した成功軌跡に対して、より高い報酬を与え、簡潔な実行を促す。
• グループ・アンカー型正則化: 方策が「脆弱なショートカット（偶然発生した再現性のない短い経路）」を悪用することを防ぐため、安定性ペナルティを導入する。このペナルティは、サンプリングされたグループ内のステップ分布を正則化し、グループのコンセンサスから大きく逸脱する軌跡を抑制する。フロア・パラメータ（$\sigma_{floor}$）により、方策が収束するにつれてペナルティが有界であることを保証する。
• 結合報酬: 最終的な報酬は、タスクの成功、ステップの節約、および安定性ペナルティを統合し、効率性の向上がタスクの能力を犠牲にしないようにする。

主な貢献

1. 展開のボトルネックの特定: 本論文は、方策効率を計算効率とは異なるものとして区別し、信頼性の低い末尾の予測と冗長な物理ステップが、VLA展開における重要かつ見落とされているボトルネックであることを強調している。
2. PolicyTrim フレームワーク: アーキテクチャの変更や追加データなしに、信頼できるプランニング・ホライゾンを拡張し、ステップの冗長性を削減する新しいポストトレーニング・フレームワーク。
3. メカニズム設計:
   • 信頼できる予測の最前線を漸進的に押し上げる動的な探索戦略。
   • 冗長なアクションを排除しつつ、方策の崩壊を防ぐための、冗長性認識報酬とグループ・アンカー型安定性正則化の組み合わせ。
4. 実証的検証: 複数のベンチマークおよび多様なVLAアーキテクチャにおいて、大幅な改善を示す広範な実験。

結果

著者らは、LIBERO、ManiSkill、Meta-Worldの3つのベンチマークと、$\pi0.5$、OpenVLA-OFT、GR00Tの3つのVLAモデルを用いてPolicyTrimを評価し、Agilex Piperアームを用いた実世界での展開も行った。

• 効率性の向上:
  • アクション・チャンクの利用率: 3倍向上（例：LIBEROにおける$\pi0.5$の平均実行長を5ステップから15ステップへ増加）。
  • 物理ステップ数: 平均で**51.4%**減少（例：Objectサブセットにおいて125.0から64.3ステップへ減少）。
  • エンドツーエンドの高速化: 成功率を損なうことなく、最大5.83倍のデプロイメント時間の高速化を実現。
• 成功率: すべてのベンチマークにおいて、タスク成功率は維持またはわずかに向上した（例：LIBERO-Objectにおいて97.8% $\to$ 98.5%）。
• クロスアーキテクチャの汎用性: 本手法は、拡散ベースの方策（$\pi0.5$, GR00T）と自己回帰型/並列デコーディング型モデル（OpenVLA）の両方に効果的であることが証明された。ただし、ステージ1の具体的な適用方法はデコーディング機構によって異なる。
• 実世界への転移: 物理ロボット実験において、PolicyTrimは静的および動的なターゲット条件の両方において、成功率を維持または向上させつつ、壁時計時間（wall-clock execution time）を平均1.86倍短縮した。
• アブレーション研究: ステージ1単体では末尾のエラーによりステップ数が増加し、ステージ2単体では安定性ペナルティがないと成功率の崩壊を招くことを確認した。最適なパフォーマンスを得るには両方の組み合わせが必要である。

重要性と主張

本論文は、PolicyTrimが既存の計算中心の手法とは直交する軸の効率性に対処していると主張している。既存の技術は単一の推論呼び出しのレイテンシを削減するが、PolicyTrimはタスク完了に必要な推論呼び出しの頻度を削減する。

著者らは以下のように断言している：

• 方策効率は、現在のアーキテクチャの最適化では対処されていない、展開されたVLAシステムにおける主要なボトルネックである。
• 提案されたフレームワークは、既存の推論加速技術（例：VLA-Cache）とスタックすることで、複合的な利得をもたらす乗算的な高速化の源泉を提供する。
• 信頼できるロングホライゾン実行を明示的に報酬付けし、冗長なステップを罰することで、PolicyTrimはVLAモデルがより堅牢かつ簡潔な軌跡を実行することを可能にし、実用的でスケーラブルなロボット展開へと近づける。

結論として、PolicyTrimは堅牢な実行フレームワークを提供する一方で、今後の方向性としては、動的な環境に適応するためのオンデバイスの継続学習との統合が挙げられる。