CAST: Counterfactual Labels Improve Instruction Following in Vision-Language-Action Models

技術要約: CAST – Vision-Language-Action モデルにおける指示遂行能力を向上させる反事実的ラベル

問題提起
汎用的なロボットには、多様でオープンボキャブラリな言語指示に従う能力が必要です。Vision-Language-Action (VLA) モデルは、言語をロボットの動作へとマッピングするための有望なアーキテクチャを提供しますが、現在のところ、きめ細かな指示への追従（fine-grained instruction following）に苦慮しています。主な制限は、既存のロボットデータセットにおける意味的な多様性と言語のグラウンディング（接地）の欠如にあります。多くのデータセットでは、観測内容と特定の行動が強く相関しています（例：「引き出しを開ける」という状況は「引き出しを開ける」という行動を暗示する）。これにより、**後方崩壊（posterior collapse）**が発生します。この現象において、言語が追加的な予測情報を提供しないため、ポリシーは言語入力を無視し、視覚的な観測のみからタスクを推論することを学習してしまいます。さらに、既存のデータセットは、類似した観測に対してきめ細かなタスクの多様性を欠いていることが多く、ナビゲーションデータセットの中には言語ラベルが全く存在しないものもあります。これらの問題を解決するためにデータキュレーションをスケールアップすることは、コストが高く、手間もかかります。

手法: 合成軌跡を用いた反事実的拡張 (CAST)
著者らは、既存の未整理なロボット軌跡データセットに対して、Vision-Language Model (VLM) を活用して反事実的な言語ラベルと合成された行動を生成するデータ拡張フレームワークである CAST を提案しています。核心となる洞察は、同一の観測に対して（異なる指示によって駆動される）複数の異なる行動をポリシーに学習させることで、モデルが正しい行動を予測するために言語入力に注意を払わざるを得なくなり、それによって後方崩壊を軽減できるという点にあります。

CAST パイプラインは、主に4つのステージで構成されます：

1. 決定点の特定 (Decision Point Identification): 既存の軌跡を、行動の変化（例：回転、停止）に基づいて原子的なチャンクに分割します。これらの境界は決定点として機能します。
2. 反事実的指示の生成 (Counterfactual Instruction Generation): 各決定点において、現在の観測と元の軌跡のコンテキストを用いて、VLM（具体的には Gemini 2.5 Pro）にクエリを投げます。VLM は、妥当な反事実的指示（例：実行された「右に曲がる」の代わりに「左に曲がる」）および対応する原子的なコマンド（例：「左に曲がる」）を生成します。
3. 合成行動の生成 (Synthetic Action Generation): 単純な原子的コマンド（例：「前進する」、「左に曲がる」）に従うように実世界のロボットデータで学習された、事前学習済みの原子的ポリシー ($\pi_a$) を使用して、これらの反事実的指示に対する実際の行動チャンクを生成します。このポリシーは、元の軌跡から分岐して、新しい妥当な「反事実的な結末」を作成します。
4. データセット拡張 (Dataset Augmentation): 元の軌跡に、これらの新しい $(observation, counterfactual\_instruction, counterfactual\_action)$ のタプルを付加して拡張します。この拡張されたデータセットを使用して、最終的な VLA ポリシーである CounterfactualVLA を学習させます。

著者らは、相互情報量に基づいた理論的な動機付けを提供しています。彼らは、観測 ($o$) を条件とした行動 ($a$) と言語 ($\ell$) の間の相互情報量 $I(a; \ell|o)$ を最大化することによって、言語への追従が改善されると主張しています。CAST は、与えられた観測に対して原子的コマンドのエントロピー ($H(\ell_a|o)$) を増加させつつ、原子的コマンドが完全な指示から予測可能であること ($H(\ell_a|\ell, o)$) を保証することで、この相互情報の下限を効果的に押し上げます。

実装の詳細
著者らは、CAST を以下の2つのドメインで実装しています：

• ナビゲーション: GNM データセット（屋内/屋外）を使用し、ラベルのないデータに対して初期ラベルを生成するためのヒストリックス・リラベル・パイプラインを採用しています。軌跡を原子的な行動（左折/右折、前進、停止）に分割して、原子的ポリシーを学習させます。VLM は反事実的なナビゲーションプロンプトを生成し、原子的ポリシーが対応する行動チャンクを合成します。
• マニピュレーション: Bridge データセットを使用し、既存のタスクレベルのラベルとサブタスク分解（例：「拾い上げる」、「～へ移動する」）を原子的なコマンドとして利用します。VLM は反事実的なタスク（例：物体を別の表面の上に置く）を生成し、事前学習済みの Steerable Policy が行動を生成します。

いずれの場合も、最終的な CounterfactualVLA は、時間的な一貫性を確保するためにアクション・チャンキングを用いて学習された、3B パラメータの PaliGemma VLM のファインチューニング版です。

実験結果
著者らは、いくつかの観点から手法を評価しています：

• ラベルの品質: 人間の判定者が、物体、動き、シーンのグラウンディングに関する正確性について、生成されたラベルを評価しました。反事実的ラベルは正確かつ妥当であることが確認されました。
• ナビゲーション性能: CounterfactualVLA は、3つの環境（オフィス、キッチン、屋外公園）における27の指示追従タスクでテストされました。タスクには、物体ナビゲーション、参照ナビゲーション（空間関係）、および連続ナビゲーションが含まれます。
  • CounterfactualVLA は、拡張されていないデータで学習された VLA よりも 27% 高い性能を示しました。
  • ベースラインの2倍の成功率を達成しました。
  • 同ドメインにおける最先端の手法を上回りました。
• マニピュレーション性能: 妨害物がある中でのピック・アンド・プレース・タスクで評価した結果、標準的なデータで学習された VLA に対し、27% の性能向上を示しました。

意義と主張
本論文は、CAST が、追加の実世界データの収集を必要とせずに、VLA ポリシーの操舵性（steerability）と言語追従能力を向上させるための、スケーラブルでデータ効率の高い手法を提供すると主張しています。市販の VLM を活用して反事実的なデータを生成することで、現在のデータセットに固有の「後方崩壊」の問題に対処しています。著者らは、この研究を「真のオープンセット・ロボット言語追従への第一歩」と位置づけ、既存のデータセットを合成された反事実的データで拡張することが、多様な環境において複雑で詳細なコマンドに従うロボットの能力を大幅に強化できることを示しています。さらなる研究を促進するため、コード、データ、およびチェックポイントはオープンソースとして公開されています。