技術的サマリー：Legato – アクションチャンキングフローポリシーのためのネイティブ継続学習

1. 問題定義

ビジョン・ランゲージ・アクション（VLA）モデルは、アクションチャンキング（モデルが単一の推論ステップで未来のアクションベクトルのシーケンスを予測する戦略）を用いて、実世界のロボットにますます展開されています。チャンキングは推論コストを平均化し、高頻度制御を可能にしますが、チャンク境界における不連続性という根本的な欠陥をもたらします。

これらの不連続性は、主に 2 つの要因から生じます：

1. 推論遅延: 次のチャンクを計算する必要がある時間により、現在のチャンクの実行と次のチャンクの生成との間にギャップが生じます。
2. 本質的な多様性: フローベースのポリシーは多峰性分布を示すことが多く、チャンク間でポリシーが意図するアクションモードを突然切り替える「偽の多峰性スイッチング」を引き起こします。

既存のリアルタイムチャンキング（RTC）などの解決策は、推論時のインペインティングを適用し、新しいチャンクを以前のアクションと部分的に重なるように制約することで、これを緩和しようと試みています。しかし、RTC は推論時のみ適用される外部メカニズムです。ポリシー自体がこの継続を処理するように訓練されていないため、躊躇、急激な方向転換、本質的に滑らかではない軌道に対して依然として脆弱です。本論文は、安定したチャンク付き実行には、チャンクの継続がポリシーのネイティブかつ学習された特性である必要があると主張します。

2. 手法：Legato

著者は、アクションチャンキングされたフローベースの VLA ポリシーのための訓練時継続フレームワークであるLegatoを提案します。Legato は、ステップごとのガイダンス下での訓練と推論の一貫性を確保するために学習されたフローダイナミクスを再構成することで、継続メカニズムを内部化します。

コアコンポーネント

Legato は、効果的な継続に必要な 2 つの重要な要件に対処します：

1. ステップごとのガイダンス: ガイダンスは初期化時だけでなく、すべてのデノイジングステップで繰り返し適用されなければなりません。
2. 訓練・推論の一貫性: 訓練中に学習されたダイナミクスは、推論中に使用されるダイナミクスと一致しなければなりません。

A. スケジュール形状ガイダンス

Legato は、アクションチャンク範囲 $H$ 上のガイダンススケジュール $\omega \in [0, 1]^H$ を導入します。このスケジュールは 3 つのパラメータで定義されます：

• $d$: 推論遅延（完全ガイダンスプレフィックス）。
• $s$: 1 サイクルあたりの実行長さ。
• $r$: ガイダンス強度が減少するランプダウン長さ。
  これらは $r + s + d = H$ を満たします。

プレフィックスをハードクランプする（訓練時 RTC のように）代わりに、Legato は滑らかなスケジュールを使用します：チャンクの開始を既知のアクション（訓練中は正解、推論中は前のチャンクプレフィックス）に固定し、ガイダンス強度を徐々にゼロまでランプダウンします。これはアクション・ノイズ混合によって実現されます：
$$\epsilon_{eff} = (1 - \omega) \odot \epsilon + \omega \odot A$$
ここで、$\epsilon$ はノイズ、$A$ は参照アクションです。

B. フローダイナミクスの再構成

標準的なフローマッチングは、ノイズをアクションへ輸送する速度場 $u_{FM}$ を訓練します。しかし、推論時にステップごとのガイダンスを適用すると、異なるダイナミックシステムが誘発されます。訓練・テストのミスマッチを排除するために、Legato は反復的なステップごとのガイダンスによって誘発される正確な連続時間ダイナミクスを導出し、訓練中にターゲット速度場を再構成します。

ネットワークは、修正されたターゲット速度 $v_{target}$ を予測するように訓練されます：
$$v_{target}(t, A, \epsilon, \omega) = (1 - \kappa \odot (1 - t)) \odot (A - \epsilon)$$
ここで、$\kappa = \omega / \Delta t$ です。これにより、ポリシーは推論時の外部介入なしに、スケジュール形状ガイダンスをネイティブにサポートできるようになります。

C. ランダム化スケジュール条件付け

ハードウェアやランタイム最適化に伴う推論遅延の変動に対処するため、Legato は訓練中にスケジュールパラメータ（$d, r$）をランダム化します。ポリシーは明示的にスケジュール $\omega$ に条件付けられます（特徴量として追加されます）。これにより、単一のモデルが異なる推論遅延に適応し、再訓練なしに推論時に軌道の滑らかさと重なりの一貫性の間のトレードオフを制御することが可能になります。

3. 主な貢献

1. Legato フレームワーク: フローダイナミクスを再構成することで厳密な訓練・推論の一貫性を維持しつつ、ステップごとのスケジュール形状ガイダンスを可能にする訓練時継続フレームワーク。
2. ランダム化スケジュール条件付け: 変動する推論遅延をサポートし、軌道の滑らかさに対する柔軟な制御を提供するメカニズム。これにより、モデルは異なるハードウェアおよび遅延条件間で一般化できます。
3. 実証的検証: 継続をポリシーのネイティブ特性として学習することが、推論時修正手法よりも優れていることを示す、広範な実世界実験。

4. 実験結果

著者は、デュアルアームロボットを用いた5 つの実世界操作タスク（ボウルの積み重ね、注ぎ込み、ピッキング・プレース、引き出しの開閉、タオルの折りたたみ）において Legato を評価しました。

パフォーマンス指標

• タスク完了時間: Legato は RTC と比較して、一貫して短い完了時間を達成しました（約10% の改善）。
• 軌道の滑らかさ: Legato は、より低いNSPARC（負のスペクトルアーク長）およびオーバーラップ RMSE値によって示されるように、著しく滑らかな軌道を生成しました。
• 偽の多峰性スイッチング: Legato は躊躇や急激な方向転換を減少させ、より一貫した把持目標とアーム選択につながりました。

比較分析

• RTC 対 Legato: Legato は、5 つのすべてのタスクにおいて、速度と滑らかさの両面で RTC を上回りました。
• 訓練時 RTC 対 Legato: Legato は、訓練中にハードプレフィックス制約を適用するベースラインを上回りました。著者はこれを、Legato のフローダイナミクスの再構成が、反復的なガイダンスの有効なデノイジング行動とよりよく整合していることに起因すると説明しています。
• 一般化: この手法は、異なる VLA バックボーン（$\pi_0$、$\pi_0.5$、Gr00t N1.6）および変動する推論遅延において、堅牢性を示しました。

5. 意義と主張

本論文は、Legatoが、アクションチャンキングの連続性を外部の推論時修正から、ポリシーのネイティブかつ学習された特性へと転換するものであると主張します。

• 本質的な滑らかさ: フローダイナミクスを再構成することで、Legato はポリシーがチャンク間の遷移を本質的に理解し、多峰性スイッチングに伴う「ジッター」や躊躇を軽減することを保証します。
• 効率性: 躊躇と方向転換の減少は、実世界のシナリオにおけるタスク完了時間の短縮に直接つながります。
• 適応性: ランダム化スケジュール条件付けの使用により、単一のモデルを異なる推論遅延を持つ多様なハードウェア環境に展開することが可能になり、実用的なロボット展開にとって重要な要件を満たします。

著者は、現在の定式化がデノイジングステップを訓練時の指定に限定している一方で、提案された手法は継続ダイナミクスを学習することが、ハード制約を強制することよりも優れており、より滑らかで効率的な実世界ロボット制御への堅牢な道筋を提供することを成功裏に実証していると結論付けています。