技術的概要：WarmPrior — 時間的プリアを用いたフローマッチング方策の直線化

問題定義

ロボティクス操作における生成方策、特に拡散モデルやフローマッチングに基づくものは、視覚運動制御において支配的なパラダイムを確立しています。これらの枠組みでは、ニューラル場が固定されたソース分布（通常は等方性ガウス分布 $N(0, I)$）から、アクションチャンクのデータ多様体へとサンプルを輸送します。ネットワークアーキテクチャ、補間関数、積分器において進展が見られる一方で、ソース分布はほとんど静的なままです。

著者らは、この標準的なアプローチにおける重要な限界を特定しました。すなわち、等方性ガウスソースは状態を持たず、情報に乏しく、ロボットの運動が持つ連続的かつ時間的に相関する性質を無視しているという点です。その結果、方策は各推論ステップで、すべてのアクションチャンクをゼロから再構築することを強いられます。ノイズ除去スケジュールが短縮され（推論ステップの減少）、スタート地点への負担が増大するにつれて、「盲目的」なソースは必要な時間的コンテキストを提供できず、曲がった確率経路と、特に低推論予算や複雑なタスクにおける最適でない性能をもたらします。

手法：WarmPrior

本論文は、WarmPrior を導入します。これは、利用可能な最近のアクション履歴から構築された時間的に根拠のあるプリアに、状態を持たない標準的なソース分布を置き換える手法です。この介入は最小限であり、ソース分布 $p_0$ のみを修正し、ニューラルネットワーク、補間関数、および訓練目的関数は変更しません。

WarmPrior は 2 つの変種として実装されます：

1. WarmPrior-Past (WP-Past)：プリアの平均を以前に実行されたアクションチャンクに固定します。ソースは $a_0 = a_{\text{prev}} + \sigma \epsilon$ としてサンプリングされ、ここで $\epsilon \sim N(0, I)$ です。
2. WarmPrior-Preview (WP-Preview)：各ステップでチャンク長の 2 倍 ($2H$) の予測を方策に学習させますが、実行するのは最初の $H$ だけです。残りの $H$ ステップは、次のチャンクの「プレビュー」として機能します。推論時、次のステップのプリア平均は、モデルによる現在のチャンクの以前の予測 ($a_0 = \hat{a}_{\text{prev}}[H:2H] + \sigma \epsilon$) に設定されます。

どちらの変種においても、ソースを決定論的な点質量ではなく適切な確率分布として維持するため、スケール $\sigma$ を持つ残差ガウス摂動が追加されます。アンカーされていない位置（コールド領域）は、標準的なガウスプリアを維持します。

主要な貢献とメカニズム

1. フロー経路の幾何学的直線化

改善の主要なメカニズムは、確率経路の直線化です。ターゲット多様体（最近のアクション履歴または予測）の近くに輸送を初期化することで、学習されたフロー経路はより短く、直線的になります。

• 分岐コストの削減：著者らはこれを「分岐コスト」分析を通じて形式化しました。独立した結合を用いた標準的なフローマッチングでは、速度ネットワークが曖昧な終点に対して平均化を強いられます。これにより曲がった軌道が生じます。WarmPrior は暗黙的な最適輸送（OT）結合として機能し、中間点を与えられた終点の条件付き分散を低減します。これにより、経路の曲率を引き起こす不可避な残差誤差が抑制されます。
• 実証的証拠：実験により、WarmPrior 変種はベースラインと比較して経路曲率 ($\kappa$) が大幅に低下することが示され、これは成功率の向上と直接相関していました。

2. 調整可能な時間的一貫性

WarmPrior は、時間的一貫性と多モード表現性のバランスを取る連続的なノブ $\sigma$ を導入します。

• 暗黙的なコミットメント：$\sigma$ を小さくすると、新しいアクションチャンクは前のモードの盆地内に留まり、ネットワークに完全な履歴を明示的に条件付けすることなく、「モードスイッチング」（チャンク境界で有効なアクションモード間を振動すること）を防ぎます。
• ロバスト性：これにより、明示的なアクションチャンキングが無効化された場合 ($H=1$) であっても、方策は一貫性を維持できます。これは、標準的なベースラインが通常、壊滅的な失敗を招く領域です。

3. 強化されたプリア空間強化学習

この手法は、プリア空間における強化学習（RL）（例：DSRL）へも拡張されます。WarmPrior で事前学習された方策を凍結されたベースとして使用することで、RL エージェントは原点ではなく、時間的に根拠のある平均を中心とした探索空間で動作します。これにより探索空間が縮小され、エージェントは有能なアンカーの周りに有界な残差修正を学習できるようになり、より速い収束と高い漸近性能が実現されます。

実験結果

シミュレーションベンチマーク

Diffusion Policy のバックボーンと GR00T N1.5 VLA モデルを使用して、Robomimic（状態および画像観測）およびMimicGen（画像観測）で評価されました：

• 成功率：WarmPrior はすべてのタスクにおいて、$N(0, I)$ ベースラインを一貫して上回りました。
• 推論予算：フローの曲率が最も重要となる低推論予算（NFE = 1）において、改善は最も顕著でした。例えば、NFE=1 の難しい Transport-MH タスクにおいて、WP-Preview は成功率を 23.3% から 34.5% に向上させました。
• 実機ロボット：Franka Research 3 に GR00T N1.5 モデルをデプロイしたところ、WarmPrior は 4 つの卓上操作タスク（食品廃棄物処理、カップ積み上げ、ブロック積み上げ、ケーブル挿入）で成功率を向上させました。特にケーブル挿入のような精度を要求するタスクで最大の改善が見られました。

強化学習の効率性

Robomimic タスクにおけるプリア空間 RL 実験において、WarmPrior 変種（WP-Past および WP-Preview）は、90% 前後で頭打ちとなる従来の DSRL ベースラインと比較して、より速く学習し、より高い漸近成功率（Square で 99% 超、Transport で約 97%）に達しました。

リアルタイムチャンキング（RTC）との比較

本論文は、重なり合うアクションを固定する推論時手順であるリアルタイムチャンキング（RTC）と WarmPrior を比較しました。結果は、両手法とも性能を向上させますが、異なる失敗モードに対処することを示しています。RTC は推論時にチャンク間の不連続性を修正する一方、WarmPrior は訓練時に学習されたフローを直線化します。両者を組み合わせることで相加的な改善が得られ、それらが補完的であることを確認しました。

意義と主張

本論文は、ソース分布が生成ロボティクス制御において重要かつ未探索の設計軸であると主張しています。「状態を持たないデフォルト」から「時間的に根拠のあるプリア」へとパラダイムをシフトさせることで、WarmPrior はコアネットワークアーキテクチャや訓練損失を変更することなく、一貫した性能向上を実現します。

著者らは、WarmPrior を複雑なアーキテクチャ変更の代替としてではなく、生成プロセス自体への根本的な改善として位置付けています。これは、以下のためのシンプルでプラグアンドプレイのメカニズムを提供します：

1. フロー軌道を直線化し、速度ネットワークへの負担を軽減する。
2. 明示的なアクションチャンキングがなくても機能する、調整可能な時間的一貫性のメカニズムを提供する。
3. 探索空間を再構成することで、下流の強化学習におけるサンプル効率を向上させる。

この研究は、生成ロボティクス制御の将来の進展は、ネットワークや積分器を超えて、プリア空間 $p_0$ 自体の構築に目を向けるべきであることを示唆しています。