技術要約：INSIGHT – ステアラブルなVLAによる自己主導型スキル獲得

問題提起

Vision-Language-Action (VLA) モデルは、汎用的なロボット操作を進展させてきたが、本質的に訓練データに含まれるスキルの範囲に限定されている。新しい操作スキルの獲得には、通常、高価な人間によるデモンストレーションと、あらゆる新しいタスクに対するファインチューニングが必要となる。強化学習（RL）は代替案となるが、現実世界においては膨大なサンプル複雑性と安全性の制約を伴うことが多い。さらに、Vision-Language Model (VLM) や Large Language Model (LLM) をプランナーやコーディングエージェントとして利用する既存の手法は、一般にテスト時に動作するものであり、定義済みのスキルを組み合わせたり軌跡を生成したりするだけで、基礎となる学習済みポリシー自体を更新することはない。その結果、ロボットは（例：岩をすくい上げる訓練しか受けていない火星探査機が、瓦礫を掃く必要がある場合など）、人間の介入なしに自律的に能力セットを拡張することができない。

手法：INSIGHT フレームワーク

INSIGHT は、VLA をプリミティブ・アクションレベルで「ステアラブル（操縦可能）」にすることで、2段階のパイプラインを通じて自律的なスキル獲得を実現し、上述の限界に対処する。

ステージ1：自動プリミティブセグメンテーションとステアラブルVLAの訓練

第1ステージでは、手動のアノテーションを必要とせずに、標準的なテレオペレーションによるデモンストレーションをステアラブルなVLAポリシーへと変換する。

• プリミティブの定義: プリミティブとは、単一の支配的な運動モード（例：軸に沿った移動、回転、またはグリッパーの状態遷移）と自然言語ラベル（例：「上方へ持ち上げる」、「グリッパーを閉じる」）によって特徴付けられる、再利用可能なアクションセグメントとして定義される。
• 自動セグメンテーション: VLM にタスクの説明と例示となるプリミティブが与えられ、期待されるプリミティブの順序シーケンスが生成される。これらの VLM 生成プランは、グリッパーの状態遷移（開閉）、エンドエフェクターの運動量、および支配的な軸のタグを用いて、人間のデモンストレーションデータと整合される。
• ファインチューニング: セグメント化されラベル付けされた軌跡は、事前学習済み VLA のファインチューニング（LoRA を使用）に使用される。各プリミティブセグメントは、その言語ラベルで条件付けられた個別の訓練エピソードとなる。学習されたプログレスチャネルがアクション空間に追加され、個々のプリミティブに対する終了信号を提供する。
• 成果: その結果、特定のプリミティブを実行するために言語を通じてステアリング可能な VLA が得られる。これは、タスク全体の指示だけでなく、プリミティブ単位での制御を可能にする。

ステージ2：VLM誘導型スキル獲得ループ

既知のプリミティブの語彙（$V$）を持つステアラブルなVLAが与えられたとき、INSIGHT は未知のタスクに対して不足しているスキルを自律的に獲得する。

1. プリミティブ・ギャップの特定: 未知のタスクに対し、VLM プランナーはタスクをプリミティブのシーケンスに分解する。プラン内のプリミティブ $p_i$ が現在の語彙 $V$ に存在しない場合、それは「プリミティブ・ギャップ」としてフラグが立てられる。
2. パラメータ化と実行: 各ギャップに対し、VLM は低レベルの制御パラメータ、具体的には運動軸（並進 $\{dx, dy, dz\}$ または回転 $\{dr_x, dr_y, dr_z\}$）と符号付きの大きさ（magnitude）を提案する。ロボットはプランを実行する。既知のプリミティブはステアラブルVLAによって処理され、ギャップはVLMが提案したパラメータを用いた低レベルコントローラによって実行される。
3. 成功評価と統合: VLM オーラクルがロールアウト前後のシーンを分析し、タスクの成功を検証する。新しいプリミティブの成功したロールアウトは自動的にラベル付け、保存され、訓練データセットに追加される。
4. 再訓練: VLA は、元のデータセットと新たに獲得されたプリミティブを組み合わせたデータセットを用いて再訓練される。これにより、語彙 $V$ が拡張され、ロボットは将来の反復において、その完全な構成タスクを自律的に実行できるようになる。

主な貢献

1. 自動プリミティブセグメンテーション・パイプライン: VLM によるプラン分解と運動学的キューを用いて、テレオペレーションによるデモンストレーションをラベル付きプリミティブに分解する手法。これにより、手動アノテーションを排除し、プリミティブレベルのステアラビリティを可能にする。
2. VLM誘導型データフライホイール: VLM が新しいタスクに必要な不足プリミティブを特定し、低レベル制御を通じて成功したデモンストレーションを自律的に生成し、新たな能力を統合するためにVLAを再訓練するという、クローズドループシステム。
3. 構成的スキル獲得: 獲得されたプリミティブを組み合わせて複雑な長期間のタスクを解決できることを実証しており、効果的な継続的・生涯学習を可能にする。

実験結果

本フレームワークは、シミュレーション（LIBERO環境、Franka Pandaを使用）および実機ハードウェア（UFactory xArm）における5つのタスクで評価された。

• シミュレーション (ブロック反転): 「ピック・アンド・プレース」のデモンストレーションのみから開始して、INSIGHT は「ブロック回転」プリミティブを獲得した。246回の獲得プリミティブ・ロールアウト後、ブロック反転タスクにおいて 75% の成功率を達成した。対照的に、同じ計算予算を用いた Soft Actor-Critic (SAC) RL ベースラインは、反転において 0% の成功率であった。
• シミュレーション (引き出しの閉鎖): 引き出しを開けるデモンストレーションのみで訓練された場合、INSIGHT は分布外（OOD）の初期状態（引き出しが既に開いている状態）から「引き出しを押し閉める」プリミティブを獲得した。引き出しを開ける能力を保持したまま、閉めるタスクにおいて 100% の成功率を達成した。
• 実機 (ひねりと注ぐ):
  • ひねり (Twisting): INSIGHT は、ボトルキャップを開けるタスクにおいて 92% のエンドツーエンド成功率を達成した。これに対し、Code-as-Policies (CaP-X) ベースラインは 32%、標準的なファインチューニング済み VLA ($\pi0.5$) は 0% であった。
  • 注ぐ (Pouring): INSIGHT は、豆を注ぐタスクにおいて 96% の成功率を達成し、CaP-X の 16% を大きく上回った。
  • 構成 (Composition): 複雑な14プリミティブからなる「ひねってから注ぐ」タスクにおいて、INSIGHT は 80% のエンドツーエンド成功率を達成し、CaP-X (4%) を大幅に上回った。
  • 効率性: INSIGHT は、テスト時にすべてのステップを推論するのではなく、学習されたプリミティブを実行するため、CaP-X（例：ひねりにおいて 41.5秒 vs 13.6秒）よりも実時間あたりの試行時間が大幅に短かった。
• 実機 (掃き掃除): すくい上げるデモンストレーションのみから、INSIGHT は瓦礫を掃くための横方向の押し出しプリミティブを獲得し、5/5 回の評価試行で成功した。
• スキルの保持: すべての実験において、統合されたVLAは、新しいプリミティブを獲得した後も、元のベーススキルに対する 100% の性能を保持していた。

意義と主張

本論文は、プリミティブのステアラビリティが、VLAポリシーにおける継続的なスキル獲得のための実用的な基盤を提供することを主張している。 スキルを構成可能でステアラブルなプリミティブに分離することで、INSIGHT はロボットが以下を行うことを可能にする：

• 新しいタスクに対して、具体的にどのような能力が不足しているかを特定する。
• 不足している特定のスキルを自律的に練習し、獲得する。
• 以前のスキルに対する破滅的忘却を起こすことなく、新しいスキルを統一されたポリシーに統合する。

著者らは、これを VLM を単なるテスト時のプランナーとして扱うのではなく、ロボットのスキルセットを永続的に拡張するデータ獲得ループにおける能動的なエージェントとして活用する手法への転換であると位置づけている。このアプローチは、新しい行動のために高価な人間によるデモンストレーションを収集することなく、未知の環境（火星探査機の例のような）に適応できるロボットへの道を提示している。

著者が指摘する制限事項:

• プリミティブの獲得は、現在は単一軸の運動に限定されている。
• システムは成功したロールアウトをフィルタリングしている。失敗分析を組み込むことで、サンプル効率を向上させることができる。
• ロールアウト間の環境リセットには、依然として人間の介入が必要である。
• 本手法は、まだヒューマノイドや移動型マニピュレータのような高自由度（high-DOF）のエンボディメントではテストされていない。