技術要約: πR2: 反応的なリアルタイム・フロー・ポリシー

問題提起

ロボティクス基盤モデルの最近の進展により、大規模な学習済みバックボーン（例：Vision-Language Models または VLM）、表現力豊かなマルチモーダル・ポリシー・ヘッド（拡散またはフロー・マッチング）、およびアクション・チャンキングを組み合わせた標準的なアーキテクチャが確立されました。このパラダイムはスケーラブルな模倣学習を可能にしますが、動的なクローズドループ制御に適用する場合、以下の2つの決定的な制限に直面します。

1. 反応性の低下: アクション・チャンクはオープンループで実行されます。一度チャンクが予測されると、次のチャンクが生成されるまで、ロボットは実行中に到着する感覚入力に対して反応することができません。
2. 高レイテンシ: 知覚から行動に至るパイプラインには、重い計算（大規模なバックボーンの推論 + 複数回のデノイジング・ステップ）が伴います。このレイテンシは頻繁な再計画を妨げ、ポリシーが「古い」感覚的観測に依存することを強います。その結果、ロボットは古い状態に基づいて行動を決定してしまい、高速で滑らか、かつ反応的な修正が必要なタスク（例：接触を伴う操作）には不向きとなります。

チャンクのサイズを小さくして反応性を向上させることは、バックボーンの計算コストと複数のデノイジング・イテレーションのコストが高すぎるため、現実的ではありません。

手法

著者らは、既存のフロー・マッチング・ポリシーを、大規模なバックボーンやマルチアクション予測を破棄することなく、リアルタイムのクローズドループの反応性を実現するように修正するフレームワークである πR2 を提案しています。このアプローチは、2つの核となるアーキテクチャおよびスケジューリングの革新に基づいています。

1. プロプリオセプション（固有感覚）反応型拡散強制

著者らは、入力処理コストにおける非対称性を特定しました。プロプリオセプション信号（関節位置、速度、トルク）は、視覚や言語のデータよりも数桁速く処理できます。

• デュアルチャネル・コンディショニング: ポリシーは、コンディショニングを2つのチャネルに分離します。
  • 高速チャネル: 毎制御ティック（例：40 msごと）に更新されるプロプリオセプション。
  • 低速チャネル: 非同期的に更新されるVLMバックボーンからの視覚および言語特徴量。
• 非同期処理: アクション・ヘッドは、毎回のデノイジング・ステップにおいて新鮮なプロプリオセプションに基づいて条件付けを行いますが、視覚・言語特徴量の限定的な鮮度低下（staleness）は許容します。学習中、低速チャネルは人工的にランダムな時間 $d_{vlm}$ だけ遅延させられ、モデルに古い視覚入力を扱う方法を教え込みます。推論時、視覚・言語特徴量はバックグラウンド・スレッドで処理され、アクション・ヘッドはキャッシュされた特徴量と新鮮なプロプリオセプションを使用して即座に実行されます。

2. レイテンシ適応型フロー・スケジュール

ハードウェア、ネットワーク・レイテンシ、または計算負荷によって生じる可変的な推論遅延 ($d$) を処理するために、πR2 は測定された遅延 $d$ によってパラメータ化された 階段状ノイズ・スケジュール（staircase noise schedule） を導入します。

• 3領域スケジュール: ターゲット遅延 $d$ に対して、長さ $H$ のアクション・チャンクを以下のように分割します。
  1. フロント (Front) ($0 \le p < d$): すでに実行されている「インフライト（飛行中）」のアクション。これらは インペインティング・コンディショニング（クランプされたクリーンな状態）として扱われ、再予測されません。
  2. インテリア (Interior) ($d \le p < H-d$): クリーンからノイズへの線形ランプ。モデルはここで新しいアクションを予測します。
  3. テイル (Tail) ($H-d \le p < H$): 将来の予測のためにバッファに追加される純粋なノイズ・スロット。
• シングルステップ推論: フル・チャンクを予測するために $K$ 回のデノイジング・ステップを必要とする標準的なフロー・マッチングとは異なり、πR2 は $d$ 個の新しいクリーンなアクションを放出するために 1回のデノイジング・ステップを1回のコールで使用 します。その後、バッファは前方にスライドし、新鮮なノイズ・スロットを追加します。
• 学習戦略: ランダムな遅延 $d$ をサンプリングし、対応する階段状スケジュールを適用することでモデルを学習させます。マスクは「フロント（インフライト）」のアクションを損失計算から除外します。これにより、単一のモデルがデプロイメント時の様々な推論レイテンシに適応できるようになります。

主な貢献

1. 反応的なリアルタイム推論: πR2 は、フロー・ポリシーが（GR00T-N1.7のような大規模なVLAを用いてA5000 GPU上で25 Hzを実現し）約 4倍速く クローズドループの再計画を行うことを可能にし、40 ms ごとに新鮮なプロプリオセプション観測に基づいて動作します。
2. アーキテクチャの最小限の変更: この手法は既存のアーキテクチャへの修正を最小限に抑えます。コンディショニング機構とノイズ・スケジュールを変更するだけで、学習済みのポリシー（例：VLA）をファインチューニングすることによって適用可能です。
3. レイテンシ適応: 提案されたノイズ・スケジュールにより、単一のモデルが可変的な推論遅延をシームレスに処理でき、遅延が変動しても滑らかな実行を維持できます。

実験結果

著者らは、xArm6 + XHand プラットフォーム上で GR00T-N1.7 モデルを用い、シミュレーションと実世界の双方で πR2 を評価しました。

• シミュレーション (Leap Cube Reorientation):

  • 推論遅延がない場合、πR2 はデノイジング・コストを償却しつつ、小さな実行ホライゾン（$h=1, 2$）を持つ標準的なフロー・ポリシーと同等の性能を示しました。
  • 現実的なレイテンシ制約下では、非同期処理を用いた πR2 は、ベースライン（Naive Async, Train-Time RTC）を大幅に上回りました。遅延が増加するにつれて、ベースラインは急激に性能を低下させましたが、πR2 は高い成功率を維持しました。これは、視覚が古くなっていても、最新のプロプリオセプションが反応的なタスクにおいて極めて重要であることを裏付けています。

• 実世界の操作:

  • タスクには、「Don't Spill（こぼさない）」、「Tidy Up Book（本を片付ける）」、「Insert Box（箱を入れる）」、「Catch Book（本をキャッチする）」などの接触を伴うシナリオが含まれました。
  • パフォーマンス: πR2 は、最も強力なベースライン（Train-Time RTC）と比較して、シミュレーションで最大 23%、実世界で最大 30% の成功率向上を実現しました。
  • 定性的分析: 「Tidy Up Book」タスクにおいて、πR2 はライブなプロプリオセプションのフィードバックに基づいてグリップ力を調整し（約50 Nで停止）、ベースライン（Train-Time RTC）が接触に対して反応が遅れ、過剰に握りつぶしてしまった（約120 N）のに対し、成功しました。πR2 は、失敗からの回復能力と、滑らかで反応的な動きを実行する優れた能力を示しました。

意義と主張

本論文は、πR2 が大規模な基盤モデルの表現力と、動的な操作に求められる反応性の間のギャップを正常に埋めたと主張しています。プロップリセプション（固有感覚）の遅いセマンティック・バックボーンと速い制御ループを分離し、フロー・スケジュールをレイテンシに適応させることで、πR2 はロボットに以下を可能にします。

• アクション・チャンク内での感覚入力（特にプロプリオセプション）への反応。
• マルチアクション予測と大規模な学習済みバックボーンの利点の維持。
• 複雑なVLAアーキテクチャでは以前は不可能であった、リアルタイムのクローズドループ制御周波数（25 Hz）の達成。

著者らは、このアプローチがゼロからの学習を必要とするのではなく、既存のポリシーの原理的なファインチューニングである点を強調しており、現在のロボティクス基盤モデルに反応的な振る舞いをデプロイするための実用的なソリューションであるとしています。