技術要約：実行前に再考せよ：World Action Modelsのための適応型実行

問題提起

World Action Models (WAM) は、将来の行動と環境の変化を同時に予測するロボット操作のパラダイムを提示している。標準的な WAM のデプロイメントでは、将来の行動の「チャンク」を生成し、再計画ステップをトリガーする前に、そのチャンクの**固定されたプレフィックス（接頭辞）**を実行する。著者らは、この固定された実行ホライゾン（期間）は、実行のダイナミクスに対して根本的に不一致であると主張している。

論文で示されているように、アクションチャンクの信頼性はステージ依存的である：

• 容易なステージ： チャンクは多くのステップにわたって正確であり続け、頻繁な再計画は計算資源の無駄となる。
• 困難なステージ： エラーはわずか数ステップで急速に蓄積し、固定ホライゾンでは、十分に早く再計画が行われない限り失敗を招く。

既存の適応型実行手法は、アクションのエントロピー、予測の一貫性、あるいはアテンションの重みといったプロキシ（代理）指標に依存している。著者らは、これらは実行における決定的な要因、すなわち**「タスクが実際に進行しているかどうか」**を明示的に測定していないため、不十分であると主張している。一連の動作は滑らか（低エントロピー）であっても進展がない場合があり、逆に高エントロピーであってもタスクを進展させる場合がある。さらに、多くの既存手法（例：未来の想像による検証）は、過度な計算コストを導入するか、オンライン強化学習を必要とするため、実用的なデプロイメントには適さない。

手法：TempoWAM

本論文は、ステップ数ではなく推定されたタスクの進捗に基づいて実行ホライゾンを適応させる、軽量でプラグアンドプレイな実行スキームである TempoWAM (Timing Execution by Monitoring Progress Online) を提案している。これは主に2つのコンポーネントで構成される：

1. 再帰的進捗モニター (Recurrent Progress Monitor: RPM)

RPM は、現在の候補アクションが実行された場合に到達するであろうタスクの進捗（$v_t \in [0, 1]$）を推定する軽量なモジュールである。以下の入力を受け取る：

• 現在の観測 ($o_t$): ベースとなる WAM の凍結されたビジュアルバックボーンを介してエンコードされる。
• 候補アクション・プレフィックス ($c^{rem}_t$): 残りのチャンクから抽出された次の $n_t$ 個のアクション。再帰的エンコーダによってエンコードされる。
• 実行履歴 ($v_{t-1}$): 以前の進捗推定値。時間的コンテキストを維持するために学習された射影を介して注入される。
• タスク指示 ($\ell$): ベースとなる WAM から埋め込まれる。

このモジュールは、特徴量を集約して進捗推定値を出力するために GRU コアを使用する。これは、時間ベースの進捗ラベル ($y_u = u/T_{ep}$) に対するバイナリクロスエントロピー損失を用いてデモンストレーションの軌跡上で学習され、安定性と視覚的ノイズへの堅牢性を確保するために、滑らかさと履歴の一貫性の正則化によって拡張されている。

2. 適応型実行プロトコル (Adaptive Execution Protocol: AEP)

AEP は、現在のチャンクの実行を継続するか、残りを破棄して再計画を行うかを決定する。これは、観測された進捗率 ($\rho^{cur}_t$) を必要な進捗率 ($\rho^{need}_t$) と比較することで機能する。

• 進捗率： 絶対的な進捗ではなく、ステップあたりの進展率を評価する。
• キャリブレーション（較正）： 学習時の教師あり学習とデプロイメント時の現実との乖離を埋めるため、プロトコルは二段階のキャリブレーション係数 ($\kappa_{final}$) を採用している：
  • オフライン・キャリブレーション： デモンストレーションのエピソードから、最小二乗法によるフィッティングを通じてタスク固有の係数 ($\kappa_{task}$) が導出される。
  • オンライン適応：
    • エピソード内： 指数移動平均 (EMA) が、単一のエピソード内でのドリフトを追跡するために係数を更新する。
    • エピソード間： スケーリング係数 ($\delta'$) が、目標値 ($s^*$) に対する成功率に基づいて調整される。成功率が目標を下回っている場合は、プロトコルを厳格化し（より早く再計画）、目標を上回っている場合は緩和して（再計画を減らして）効率を向上させる。

決定ルールは、校正された比率 $r_t \ge 1$ であれば実行を継続し、そうでなければチャンクを破棄して WAM を呼び出し、新たな予測を行う。

主な貢献

1. 基準の転換： 著者らは、アクションの合理性のみを評価することは、適応型実行には不十分であることを示している。彼らは、タスクの進捗こそが、いつ再計画すべきかを決定するための自然かつ必要な基準であると主張している。
2. プラグアンドプレイ・アーキテクチャ： TempoWAM は軽量なアドオンとして設計されている。ベースとなる WAM の変更や再学習を必要としない。それは完全に実行層で動作するため、様々な WAC アーキテクチャ（FastWAM や Motus で実証済み）と互換性がある。
3. 効率と成功のトレードオフ： この手法は、容易なステージではチャンクの再利用を動的に延長し、困難なステージでは早期の再計画をトリガーすることで、計算コスト（推論呼び出し）とタスク成功率の間の優れたバランスを実現している。

実験結果

著者らは、シミュレーションベンチマーク (LIBERO, RoboTwin 2.0) および実世界のロボットタスクにおいて TempoWAM を評価した。

• RoboTwin 2.0:

  • 短ホライゾン・タスク： TempoWAM は、固定ホライゾンと比較して、WAM の推論呼び出しを減少させつつ、成功率を維持またはわずかに向上させた。
  • 長ホライゾン・タスク： 固定ホライゾン（12 または 24 ステップ）を上回り、実行ステップ数を削減しながら、成功率を 1.54 ポイント（クリーン環境）および 0.87 ポイント（ランダム化環境）向上させた。
  • 比較： アテンションベースの Auto-Horizon やエントロピーベースの AAC といった適応型ベースラインを大幅に上回った。これらは成功率を改善できなかったか、あるいは過度な計算コストを要した。

• LIBERO ベンチマーク:

  • TempoWAM は、全4つのスイート（Long, Spatial, Object, Goal）において成功率を維持しながら、平均 WAM 呼び出し回数を 14.88 から 12.46 に削減した。
  • LIBERO-10 スイートでは、呼び出し回数を減らしながら、成功率を 95.00% から 95.60% に向上させた。

• 実世界ロボット:

  • 3つのタスク（飲み物を取る、ピック・アンド・プレース、ハンドクリームをパックする）において、TempoWAM は最も容易なタスク（「飲み物を取る」）では呼び出し回数を 26.9% 削減し、困難なタスク全般においては成功率を 13.3 パーセントポイント向上させた（特に、評価された中で最も困難な「ハンドクリームをパックする」タスクにおいて）。
  • クロスバックボーン汎用性： Motus WAM に再学習なしで装着した際、TempoWAM は特に "move_can_pot" タスクにおいて成功率を 59 ポイント向上させ、そのアーキテクチャに依存しない性質を証明した。

• 計算オーバーヘッド：

  • RPM によるオーバーヘッドは無視できる程度である。ビジュアルエンコーディングを含めても、最適化された 1 回の WAM 推論時間の 3.54% を消費するに過ぎず、特徴量を共有した場合は 0.34% まで低下する。

意義と主張

本論文は、TempoWAM が現在の WAM デプロイメントにおける重要な限界、すなわち固定実行ホライゾンの硬直性に対処していると主張している。実行の決定を、間接的な不確実性のプロキシや既定のステップ数ではなく、推定されたタスクの進捗に基づかせることで、システムは環境の実際の状態に適応する。

著者らは、自身の手法が進捗を認識しており（progress-aware）、かつ効率的であることを強調している。高価な未来の想像やオンライン強化学習のトレーニングを必要とせず、代わりに軽量な再帰的モニターと校正されたプロトコルを活用して、実行ホライゾンを動的に調整する。結果は、WAM において、再計画の決定は「残りのアクションが依然としてタスクを進展させているか」によって駆動されるべきであり、TempoWAM がシミュレーションおよび実世界のドメインの両方で一貫してその能力を提供することを示唆している。

論文は、時間ベースのラベルは非反復的で進捗が単調なタスク（評価されたベンチマークの多くが該当する）には有効であるが、観測からラベルへのマッピングが一対一ではない周期的なタスクや対称的なタスクを扱うには、今後の課題が必要であると結論づけている。