技術要約：Masked Action Chunkingを用いたリアルタイム・ロボット実行（REMAC）

問題提起

リアルタイムの実行は、動的な環境で動作するロボットのようなサイバー物理システムにとって極めて重要であり、わずかな遅延であってもタスクの失敗につながる可能性があります。Vision-Language-Action (VLA) モデルはロボット操作を進歩させてきましたが、リアルタイムの応答性を確保することは依然として課題となっています。

既存のアプローチは、速度と精度の間でトレードオフに直面しています：

• モデルレベルの加速は、多くの場合、速度のために精度を犠牲にします。
• アクション・チャンキング（ステップごとに一連のアクションを予測すること）は効率を向上させますが、突然の状態変化に対する反応性を低下させ、チャンク境界における不連続性を導入します。
• 非同期推論（現在のチャンクを実行している間に次のチャンクを予測すること）は、継続的なアクションの可用性を確保しますが、以下の2つの特定の失敗モードを悪化させます：
  1. インターチャンク不連続性（Inter-chunk Discontinuity）: 潜在的なモードの乖離による、連続するアクション・チャンク間の不整合な遷移。
  2. イントラチャンク不整合（Intra-chunk Inconsistency）: 非常に重要でありながら見落とされがちな問題であり、チャンク内で実行されるアクションが現在の知覚と部分的に一致しない現象です。具体的には、チャンクの最初の $d$ 個のアクション（$d$ は推論遅延）は、前のチャンクの予測（古い観測 $o_{t-h}$ に基づくもの）から引き継がれるため、現在の状態 $o_t$ とのミスマッチが生じます。

従来の手法は、テスト時のリファインメント（平滑化、インペインティング、または勾配補正など）を用いてインターチャンク不連続性に対処してきましたが、これらは失敗しやすいヒューリスティックに依存していることが多く、追加のレイテンシを導入します。また、イントラチャンク不整合についてはほとんど無視されています。

手法：REMAC

著者らは、学習済みのフロー・マッチング・ポリシーに対して、追加の推論レイテンシを発生させることなく、修正的な調整を学習する学習時の適応戦略であるReal-time Execution with Masked Action Chunking (REMAC) を提案しています。この手法は、イントラチャンクの一貫性とインターチャンクの連続性の両方をターゲットとしています。

1. Masked Action Chunking

イントラチャンク不整合に対処するため、REMACは観測と実行の間の遅延を考慮するように学習目的関数を変更します。

• プレフィックス・マスキング (Prefix Masking): 学習損失は、アクション・チャンクの「実行可能」な部分に限定されます。遅延を条件としたプレフィックス・マスク $m_d$ は、前のチャンクから引き継がれ、現在の観測とミスマッチしている最初の $d$ 個のアクションを、教師信号から除外します。これにより、ポリシーは引き継がれたプレフィックスの不確実性にもかかわらず、残りのアクションに対して堅牢な予測を学習することに集中できます。
• 自己条件付けカリキュラム (Self-Conditioned Curriculum): テスト時の条件（実行されるアクションが利用できない状況）を訓練中にシミュレートするために、著者らは、スケジューリングされた混合パラメータ $\sigma$ を用いて、訓練入力を正解のアクションからポリシー自身の予測へと徐々にシフトさせるカリキュラムを導入しています。これにより、露出バイアス（exposure bias）を軽減し、学習を安定させます。
• 残差アライメント ($\Delta$-matching): 追加の損失項により、学習済みのポリシーに対する残差的な補正を学習することを促し、誘導された調整を、事前学習された予測と正解との差分に明示的に整合させます。

2. Prefix-Preserved Sampling

推論時のサンプリング・パイプラインは、学習手順と一致するように調整されます。

• 初期化: 初期潜在アクション状態は、ガウス事前分布から描かれるのではなく、遅延期間中に実行される予定のアクション（前のチャンクからの「プレフィックス」）を使用して初期化されます。
• 保存された実行 (Preserved Execution): フロー・マッチング・サンプラーの積分ステップの間、現在と次回のチャンクが重複するセグメント（すでに実行に向けてコミットされているアクション）は保持され、再生成されません。残りの部分のチャンクのみが合成されます。

3. 実装

• パラメータ効率: 手法は、事前学習されたポリシーを微調整するために Low-Rank Adaptation (LoRA) を使用しており、最大でも1.5%のパラメータしか追加しません。これにより、元のモデルの予測能力を維持しながら、遅延を考慮した調整を学習することが可能になります。
• ゼロ・レイテンシ・オーバーヘッド: LoRA の重みはバックボーンにマージされ、サンプリング手順は追加の計算を必要としないため、ベースとなるポリシーと比較して追加の推論遅延が発生しません。

主な貢献

1. イントラチャンク不整合の特定: 本論文は、引き継がれたアクションと現在の知覚との間のミスマッチが、非同期推論における重要な失敗モードであり、インターチャンク不連続性とは異なるものであることを明らかにしています。
2. REMAC フレームワーク: 遅延を考慮したポリシーを学習するために、マスクされたアクション・チャンク、自己条件付けカリキュラム・スケジューリング、および残差アライメントを組み合わせた新しい学習戦略を提案しています。
3. レイテンシのない適応: RTC（テスト時補正）などのテスト時補正手法とは異なり、REMACは追加の推論レイテンシを導入しません。
4. 互換性: 本手法は、既存のテスト時アルゴリズムと組み合わせることが可能な、プラグアンドプレイ型の強化策として設計されています。

実験結果

著者らは、12のシミュレーションタスク（Kinetix）と、Franka Research 3 ロボットを用いた3つの実世界での把持タスクにおいて、REMACを評価しました。

• シミュレーション (Kinetix):

  • REMACは、すべての推論遅延（$d=0$ から $d=4$）において、ベースライン（Naive Async, Bidirectional Decoding, RTC）を一貫して上回りました。
  • より高い成功率と、より速いタスク完了時間を実現しました。
  • 遅延が増加しても、ベースラインと比較して性能低下が著しく抑制されました。
  • アブレーション研究により、各コンポーネント（Prefix Masking, Curriculum, $\Delta$-matching）が最終的な性能に寄与していることが確認され、フルメソッドが最高の成功率を達成しました。

• 実世界への展開:

  • 様々な難易度の物体を把持するタスク（例：クリアランスの狭いラットルービックキューブ）において、REMACは、Synchronous inference、Naive Async、Temporal Ensembling、およびRTCよりも高い完了進捗を達成しました。
  • 最大150msの注入された遅延（ネットワークやハードウェアのレイテンシをシミュレート）の下でも、REMACは堅牢性を維持しましたが、RTCの性能は追加のレイテンシにより著しく低下しました。
  • 運動学的解析により、REMACは同期的な手法と比較して、速度や加速度の急激な変化が少なく、より滑らかな軌跡を生成することが示されました。

重要性

本論文は、REMACが、テスト時のヒューリスティックではなく、学習時の適応を通じてイントラチャンク不整合の根本原因に対処することで、非同期推論下での堅牢なリアルタイム・ロボット実行を実現するソリューションを提供すると主張しています。意図されたアクションと実際の実行との間のミスマッチに対してポリシーが耐性を持ち続けられるようにすることで、REMACは、追加のレイテンシを発生させることなく、動的な環境におけるより迅速かつ信頼性の高いタスク完了を促進します。著者らは、本手法を、既存のVLAフレームワークにシームレスに統合でき、さらなる向上を目指して他のテスト時戦略と組み合わせることが可能な、汎用的なバックボーンの改善策として位置付けています。