技術要約：マルチタスク操作のための自己実演生成制御を用いたVLAのファインチューニング

問題提起

$\pi0.5$のような最先端のVision-Language-Action (VLA) モデルは、大規模な事前学習に由来する強力な意味理解と指示遂行能力を備えています。しかし、これらを新しいロボット構成（例：特定のALOHAロボット）にデプロイする場合、グリッパーやカメラ構成、シーン設定などのわずかなハードウェアの不一致によって、特に物理的な把持において深刻な性能低下を引き起こします。

ターゲットロボットから得られるエキスパート監視データを用いた標準的なファインチューニングは、特定のタスクにおける把持性能を向上させますが、**破滅的忘却（catastrophic forgetting）**を招きます。モデルは、元の指示遂行能力、行動の事前知識、および（例として、「ピックアップ」タスクのみにファインチューニングされたモデルが「置く」動作を忘れてしまうような）特定のタスク範囲外の動作を実行する能力を失います。さらに、新しいロボットに対してすべての事前学習済みスキルについてエキスパートによるテレオペレーション・データを再収集することは、非常にコストがかかり、元の事前学習データセットが入手不可能な場合には多くの場合において実行不可能です。

手法

著者らは、エキスパート監視によるデモンストレーションと自己実演生成ロールアウト（self-demonstrated generative rollouts）を組み合わせることで、元の事前学習データにアクセスすることなく、VLAを新しいロボットに適応させる自己教師ありファインチューニング・フレームワークを提案しています。

1. コアメカニズム：自己教師あり生成制御

本手法は、人間のテレオペレーションのみに頼るのではなく、凍結されたベースVLA（$\pi0.5$）を利用して、ターゲットロボット上で独自のインタラクション・データを生成します。

• ロールアウト生成: ベースとなるポリシーに対し、その事前学習分布から抽出された自己教師ありタスク指示（$p_{SS}$）（例：「スプーンを持ち上げて青いボウルの中に置いてください」）を用いてプロンプトを与えます。
• 実行: ポリシーはターゲットの環境およびターゲットのロボット上でこれらのアクションを実行します。たとえポリシーがタスクの完了に失敗した場合（例：把持に失敗した場合）でも、得られる軌跡には意味的に相関のあるアクションと観測が含まれます。
• データ収集: これらの軌跡は、ベースポリシー自身が予測したアクション・チャンクを「教師」ターゲットとするリハーサル・データセット（$D_{SS}$）を形成します。
• ドメイン適合: これらのロールアウトはターゲットのハードウェア、ターゲットのカメラ、およびターゲットのプロンプトを用いて行われるため、元の事前学習データとは異なり、エンボディメント（身体性）やドメインのギャップが存在しません。

2. 共同最適化

モデルは、エキスパート監視によるデモンストレーションと自己教師あり生成ロールアウトを用いたデュアル目的関数を用いてファインチューニングされます。

• エキスパート監視損失 ($L_{ES}$): 新しい、あるいは特定のタスク（例：「赤いキューブを持ち上げる」）のための、少量のエキスパート・テレオペレーション・データ（$D_{ES}$）で学習されます。
• 自己教師あり損失 ($L_{SS}$): ベースポリシーから生成されたロールアウト（$D_{SS}$）で学習されます。
• 結合目的関数: 全体の損失は $L(\theta) = L_{ES}(\theta) + \lambda L_{SS}(\theta)$ であり、ここで $\lambda$ は両者のバランスを調整します。
• アーキテクチャ: 本手法は、VLMバックボーン（SigLIP + PaliGemma）とアクション・エキスパートを含む $\pi0.5$ アーキテクチャを利用しています。学習目的は、離散化されたFASTアクション・トークンに対するクロスエントロピー損失と、連続的なアクション・チャンクに対する**条件付きフロー・マッチング（Conditional Flow Matching）**を組み合わせたものです。著者らは、VLMとアクション・エキスパートの両方をフルファインチューニングすることが最良の結果をもたらすことを見出しています。

主な貢献

1. 自己教師あり蒸留: 本論文は、ターゲットロボット上でのオンライン・ロールアウトから、行動の事前知識と意味理解を直接蒸留する手法を導入しています。これにより、あらゆるタスクに対して大規模なエキスパート・データセットや元の事前学習データにアクセスする必要がなくなります。
2. 破滅的忘却の軽減: 本手法は、新しいエキスパート・タスク（例：「持ち上げる」動作）に対してファインチューニングを行う際に、事前学習済みのスキル（例：「置く」動作）が失われることを防ぐことに成功しています。
3. 指示遂行能力の向上: 自己実演によるリハーサルを行うことで、ポリシーはテキスト指示への感度を維持し、モデルがテキストプロンプトを無視して視覚的キューを優先してしまう「視覚・アクション・ショートカット」を回避します。
4. 新しいベンチマーク: 著者らは、エキスパート・タスク、自己教師ありタスク、新規オブジェクト、および新規タスク構成への汎化をテストするために、シミュレーション・ベンチマークである RoboTwin と、実世界の ALOHA ロボットによる評価プロトコルを提供しています。

実験結果

実世界の結果 (ALOHA ロボット)

• タスク・カバレッジ: 「ピックアップ」のための14分間のエキスパート・データと、「ピック・アンド・プレース」のための自己デモを用いて訓練されたポリシーは、エキスパートによるピックアップ・タスクで90%の成功率、ピック・アンド・プレース・タスクで55%の成功率を達成しました。対照的に、エキスパートのみのファインチューニングでは、ピック・アンド・プレース・タスクにおいて0%の成功率となりました（「置く」動作を忘却したため）。
• 指示遂行能力 (IF): 提案手法は、新規オブジェクトに対するIFを50%（エキスパートのみ）から55%へ、またピック・アンド・プレース・タスクにおけるIFを75%から90%へと向上させました。
• 汎化性能: 本手法は、訓練データに存在しないスキルである「プッシュ」タスクを実行する能力を保持しており、エキスパートのみのポリシーの成功率が5%であったのに対し、60%の成功率を達成しました。
• サンプル効率: 複雑で接触の多い二腕によるギア挿入タスク（分布外のタスク）において、本手法は成功率をエキスパートのみの30%から90%へと向上させました。

シミュレーション結果 (RoboTwin)

• 忘却の防止: 新しいエキスパート・タスクへのファインチューニングにより、古いタスクの性能は90.8%から16.6%へと低下しました。自己デモを用いた共同訓練は、新しいタスクの性能を98%へと同時に向上させつつ、古いタスクの性能を**70.6%**まで回復させました。
• オラクルとの比較: 本手法は、パラメータ効率の良いファインチューニング（LoRA）を上回り、元の中間学習データへのアクセス権を持つ「オラクル（Oracle）」のベースラインに近い性能を示しました。なお、本手法は元のデータには一切アクセスしていません。

意義と主張

本論文は、自己教師あり生成ロールアウトが、元の事前学習データが存在しない状況における効果的な「リハーサル」メカニズムとして機能することを主張しています。その意義は、以下の点にあります。

1. あらゆるスキルに対して大規模なデータを再収集することなく、VLAを新しいロボットに適応させられること。
2. 特定の新しいエキスパート・タスクを学習しながら、汎用的な能力（指示遂行や多様な動作）を維持できること。
3. ターゲットロボットのハードウェアおよび環境に固有のトレーニングデータを生成することで、エンボディメント・ギャップを埋めること。

著者らは、このアプローチにより、単一のポリシーがターゲットロボット上で新しいエキスパート・タスクを学習すると同時に、その特定のロボット上ではエキスパートによるデモンストレーションを一度も受けていない事前学習済みスキルを保持できることを強調しています。また、自己デモンストレーションにはしばしば失敗が含まれるものの、それらを用いて訓練を行うことは、必要な意味的・行動的事前知識を蒸留するのに十分であり、データ収集がボトルネックとなる実世界のデプロイにおいて実用的なアプローチであると述べています。