技術要約: RoboSemanticBench

問題提起

Vision-Language-Action (VLA) モデルは、事前学習された言語または視覚言語バックボーンの意味論的能力（semantic competence）が、ロボットの行動予測を直接導くという仮定に基づいています。理論的な枠組みでは、これらのシステムは、指示と観察を処理する低頻度の「System-2 セマンティック・エキスパート」と、連続的な制御信号を生成する高頻度の「System-1 アクション・エキスパート」という二重構造として記述されることがよくあります。

しかし、本論文は、現在の VLA 事後学習パイプラインが、この意味論的な接地（semantic grounding）を維持できていない可能性があると主張しています。ロボットの微調整（fine-tuning）データセットは、言語の事前学習コーパスと比較して大幅に小さく、かつタスク特化型です。その結果、模倣学習の損失関数は、意味決定プロセスが弱まったり、行動生成経路から乖離したりしている場合でも、条件付き行動分布への適合を報酬として与えてしまうことがあります。これにより、ポリシーは、言語の意味論を用いて正しい物理的行動を決定するのではなく、「指示と行動のショートカット」や視覚的な規則性を学習してしまう可能性があります。既存のベンチマークはタスクの成功率を測定していますが、それらは運動実行、物体認識、および言語的接地を混同しており、モデルが正しいターゲットを選択するために指示の意味論を真に理解しているかどうかを分離できていません。

手法: RoboSemanticBench (RSB)

この特定の失敗モードを診断するために、著者らは RoboSemanticBench (RSB) を導入しました。これは、事後学習された VLA モデルが、複雑な指示の意味論を使用して、正しい物理的ターゲットを選択できるかどうかをテストするために設計された、エンボディド（身体性を持つ）ベンチマークです。

タスク設計

各 RSB エピソードにおいて、ロボットには以下が提示されます：

1. 多肢選択式の質問（数学または一般知識）。
2. シーン内に物理的に見える一連の回答用ブロック。
3. 正しい答えに対応するブロックを掴むという指示。

物理的な動作は、単一の「ピック・アンド・プレース（持ち上げて置く）」プリミティブに固定されています。意味的内容はエピソードごとに変化するため、ポリシーには以下のことが求められます：

• 問題を解く（例：算術または常識的な推論）。
• 正しい選択肢の値を特定する。
• その選択肢を、特定の可視ブロック（エピソードごとに位置、色、文字の割り当てが変化する）に紐付ける。
• 把握（grasp）を実行する。

決定的なのは、正しいターゲットが固定された視覚的特徴（特定の色の例など）に紐付けられておらず、問題と「選択肢からブロックへのマッピング」によって動的に決定される点です。これにより、指示の意味論が行動予測に参加しているかどうかを分離できます。

ベンチマーク・スイート

RSB は、4択および 10 択の設定の両方で、3 つの意味論的ドメインをカバーしています：

• RSB-Math: パターンマッチングではなく計算を必要とする、プロシージャルに生成された算術（加算、減算、乗算）。
• RSB-HardMath: GSM8K から派生した、自然言語からの数量の抽出と構成的な推論を必要とする算数文章題。
• RSB-General: 日常的な道具、場所、および事実的知識を扱う、常識 QA および MMLU 由来の質問。

指標

低レベルの制御失敗と意味論的な接地失敗を区別するために、論文では 3 つの指標を定義しています：

1. タスク成功率 (TSR): ロボットが正しい回答ブロックを掴んだエピソードの割合。
2. 把握成功率 (GSR): ロボットがいずれかの候補ブロックを掴んだエピソードの割合。
3. 正規化セマンティック・グラウンディング (nSG): 低レベルの把握能力を排除したスコア。候補ブロックの把握に成功したことを条件とした、正しいターゲットを選択する確率を、ランダムなベースライン ($1/N$) に対して正規化したものです。
   • $nSG = 0$ は、把握したブロックの中からランダムに選択していることを意味します。
   • $nSG < 0$ は、ランダムよりも悪い選択であることを意味します。
   • $nSG > 0$ は、成功したセマンティック・グラウンディングを意味します。

主な貢献

1. RoboSemanticBench (RSB): 数学および一般知識の質問を、エンボディドされた回答選択タスクへと変換する、制御された診断ベンチマーク。
2. 診断的指標: 低レベルの把握能力と意味的なターゲット選択を分離し、指示の意味論が行動予測に参加しているかを明示的に診断するための GSR、TSR、および nSG の定義。
3. 実証的評価: 代表的な VLA モデル（OpenVLA、$\pi_0$、$\pi_0.5$、GR00T などを含む）の包括的な評価により、バックボーンレベルの意味論的能力と行動予測との間に持続的な乖離があることを明らかにしました。
4. 介入分析: CoT 型の推論（ReasoningVLA）や VQA 事前学習（cotraining）が、セマンティック・グラウンディングのギャップを埋められるかどうかを検証する実験。

結果

9 つの代表的な VLA モデルの評価から、以下の知見が得られました：

• セマンティック・グラウンディングの失敗: ほとんどのモデルは高い GSR（何らかのブロックを掴むことには成功する）を達成していますが、低い TSR を示します。把握成功率に対して正規化すると、ほとんどのモデルの nSG スコアは 0 または 0 に近い値になります。これは、モデルが候補を掴むことに成功したとしても、どの候補を掴むかという選択は、実質的にランダム、あるいはランダム以下であることを示しています。
• 「ギャップ」: 物体を操作する能力と、指示の意味論を使用して正しい物体を選択する能力との間には、大きな不一致が存在します。このギャップは 10 択のスイートで特に顕著になります。
• 例外 ($\pi_0.5$): $\pi_0.5$ モデルは、最も高い平均 TSR と、唯一明確に正の平均 nSG を達成しました。著者らは、これをモデルが事前学習中にサブタスクのアノテーションを使用しているためであり、それが高レベルの指示を分解するための弱い教師信号を提供している可能性があると考えています。しかし、$\pi_0.5$ の nSG でさえ控えめな数値にとどまっています。
• 失敗した介入:
  • ReasoningVLA: 行動の前に思考の連鎖（CoT）を生成させることは、TSR をわずかに向上させましたが、意味決定を行動経路へと確実に接地させることはできませんでした。多くの失敗ケースにおいて、CoT は正解を特定していたにもかかわらず、ロボットは依然として誤ったブロックを掴んでいました。
  • VLA Cotraining: ロボットの微調整中に VQA 教師あり学習を追加して意味論的能力を維持しようとする試みは、実際には性能を低下させました。これは、言語中心の補助的な教師あり学習と、行動学習の目的との間に衝突があることを示唆しています。
• 物体の独立性: 文字入りのブロックを日常的な物体（玩具、靴など）に置き換える実験により、失敗の原因が「ブロック」というインターフェースの単純さによるものではなく、行動予測におけるセマンティック・グラウンディングの根本的な問題であることが確認されました。

意義と主張

本論文は、RSB が現在の VLA アーキテクチャにおける決定的な限界、すなわち意味理解と行動生成の断絶を露呈させていると主張しています。

• 評価を超えた診断: RSB は単なる性能ベンチマークではなく、診断ツールです。それは、他のベンチマークにおける高いタスク成功率が、指示の真の理解ではなく、視覚的なショートカットやデータセットの規則性に起因している可能性があり、曖昧であることを明らかにします。
• 学習の限界: 結果は、強力な事前学習済み VLM バックボーンをアクション・エキスパートに単に付随させるだけでは不十分であることを示唆しています。現在の微調整パイプライン（模倣学習）は、バックボーンからの意味的な決定を、行動経路へとルーティングすることにしばしば失敗します。
• 今後の方向性: 本論文は、将来の VLA システムには、選択された意味的ターゲットを明示的に保持し、それを安定したシーン接地された形式でアクション・モジュールに露出させる、訓練目的とインターフェースが必要であると提唱しています。目標は、行動が指示の意味論に真に接地し、模倣のショートカットに依存しないモデルを実現することです。

著者らは、VLA モデルは操作のための運動プリミティブを学習できる一方で、複雑な指示の意味論を使用して「どの行動が正しいか」を判断することには現在苦戦しており、「セマンティック・エキスパート」と「アクション・エキスパート」の間に持続的なギャップがあることを結論づけています。