技術的サマリー：動作予測的具身推論の自己教師ありブートストラッピング

問題定義

ビジョン・言語・アクション（VLA）モデルは、インターネット規模の基盤モデルを効果的に活用し、汎用ロボットポリシーの構築に成功しています。しかし、これらのモデルに思考の連鎖（Chain-of-Thought: CoT）推論を統合する際には、重要なボトルネックが存在します。現在の手法は、推論プリミティブ（例：視認可能なすべての物体の列挙、高レベルの計画、構造的アフォーダンス）を指定するために、硬直的で「万能型」のテンプレートに依存しています。これらのテンプレートは、しばしばポリシーに無関係または注意を逸らす情報を処理させることとなり、動作予測の精度を低下させます。

根本的な「具身から推論へのグラウンディングギャップ」が存在します。大規模な画像・テキストコーパスで訓練されたビジョン・言語モデル（VLM）とは異なり、ロボティクス分野には、視覚と言語を特定の動作に結びつけるインターネット規模のデータが存在しません。その結果、物理的制御における効果的な推論プロセスは、観測されない潜在変数のままとなっています。特定の思考が運動を効果的に導いているかどうかを検証するオラクルが存在しないため、高品質な推論が必要とされる頑健な訓練には優れたポリシーが必要であり、一方でそのような推論を特定するには成功したポリシーが必要であるという、循環的な依存関係が生じます。現在のアプローチはこの問題に直面しており、しばしば具体的なロボティクス文脈にインターネット規模の知識をグラウンディングできずに、冗長な推論に頼らざるを得ません。

手法：R&B-EnCoRe

著者らは、R&B-EnCoRe（Refine and Bootstrap Embodiment-specific Chain-of-Thought Reasoning：具身固有の思考連鎖推論の洗練とブートストラッピング）を導入しました。これは、具身的推論を固定された注釈としてではなく、発見・最適化されるべき潜在変数（$Z$）として扱うフレームワークです。この手法は、外部報酬、検証器、または人間の注釈なしに、自己教師ありな洗練を通じてインターネット規模の知識から推論をブートストラップすることを可能にします。

このフレームワークは、以下の 3 つの段階で動作します。

1. 推論ドロップアウトによるウォームスタート

特定のタスクに対する最適な推論プリミティブの組み合わせを発見するために、著者らは多様な推論戦略にモデルを曝すことで「ウォームスタート」データセット（$D_{warm}$）を構築します。

• プリミティブ: 仮説的な推論プリミティブの集合（$\mathcal{R}$）を定義します（例：Plan、Visible Objects、Subtask、Move、Ego State）。
• ドロップアウト: 各デモンストレーション $(C, A)$ に対して、各プリミティブを固定確率 $d$（推論ドロップアウト）で独立して含めるか除外するかをランダムに行うことで、合成トレースを生成します。これにより、簡潔なものから冗長なものまで多様なトレース分布が作成され、モデルがさまざまな戦略を探索できるようになります。

2. 事前分布と事後分布の同時訓練

単一のモデルが、変分オートエンコーダ（VAE）のエンコーダ・デコーダ構造を模倣する二重の役割を果たすように訓練されます。

• 事前モデル（$p(Z, A | C)$）: 文脈 $C$ が与えられた際に、推論戦略 $Z$ を生成し、動作 $A$ を予測するように訓練されます。これはオンラインポリシーを表します。
• 事後モデル（$q(Z | C, A)$）: 文脈 $C$ と真の動作 $A$ の両方に条件付けられて、推論候補 $Z$ を生成するように訓練されます。これは、事後的に動作を説明するための提案分布として機能します。

3. 重要度サンプリングによる洗練とブートストラッピング

核心的な革新は、推論分布を洗練するために**重要度重み付きオートエンコーダ（IWAE）**を使用する点にあります。

• サンプリング: 各デモンストレーションに対して、事後分布 $q(Z | C, A)$ から $K$ 個の候補推論トレースをサンプリングします。
• 重み付け: 各トレースに対して重要度重みを計算します：$w(Z_k) = \frac{p(Z_k, A | C)}{q(Z_k | C, A)}$。
• リサンプリング: これらの重みに比例するカテゴリカル分布に基づき、候補から単一のトレース $Z^*$ をリサンプリングします。
• 情報利得: 理論的には、このプロセスはモデルの動作分布と専門家分布との間の発散を減少させる推論戦略（正の情報利得）を増幅し、注意を逸らす戦略を抑制します。
• ブートストラッピング: 最終的な VLA は、この高品質で動作予測的な推論トレースの洗練されたデータセットで再訓練され、推論テンプレートの手動エンジニアリングの必要性を回避します。

主要な貢献

1. R&B-EnCoRe フレームワーク: 具身的推論を潜在変数として定式化し、重要度重み付き変分推論を用いて合成事前分布から自己改善するドロップイン型の訓練レシピを提供する手法です。「万能型」のヒューリスティックや高価な人間の注釈を不要にします。
2. 自己教師ありフィルタリング: 外部報酬なしに、タスク無関係な物体のバウンディングボックスなどの「注意を逸らす」情報を効果的にフィルタリングし、歩行ロボットにおける構造的アフォーダンスなどの重要な信号を増幅します。これは、本質的な手がかりとノイズを区別する高品質で解釈可能な推論トレースを生成します。
3. ドメイン横断的な検証: 操作（Franka Panda、WidowX）、歩行ナビゲーション（二足、車輪、自転車、四足）、および自動運転の各分野で検証されました。使用された VLA アーキテクチャは、10 億から 300 億パラメータの範囲に及びます。

実験結果

著者らは、3 つのドメインで顕著な性能向上を報告しています。

• 操作（LIBERO-90 & Bridgev2）:

  • 利用可能なすべてのプリミティブを無差別に推論するモデルと比較して、操作成功率が28% 向上しました。
  • 生成されたトークンの平均数が半分になり、より簡潔な推論を示しています。
  • 物体重要度率（リストされた物体がタスクに関連するトレースの割合）が、全物体を列挙した場合の 0.03% から**25.02%**に向上しました。
  • 注意を逸らす要素が存在する分布外（OOD）設定においても頑健性を示し、ベースラインモデルが性能低下を被ったのに対し、本手法はそれを回避しました。

• 歩行ナビゲーション（NaviTrace）:

  • 二足、車輪、自転車、四足のすべての具身形態において、ナビゲーションスコア（NaviTrace 指標）が101% 改善しました。
  • 主観的な天候記述などの無関係なプリミティブを剪定し、重要なアフォーダンスや障害物に関する推論を維持することに成功しました。

• 自動運転（nuScenes）:

  • ベースラインと比較して、衝突率指標が21% 削減されました。
  • 衝突率を低く維持しながら、軌道予測誤差（L2 経路誤差）を削減しました。
  • 重要度サンプリング段階における事後分布からのサンプル数（$K$）を増加させることが、性能を単調に向上させ、約 16 サンプルで飽和することを示しました。

意義と主張

本論文は、R&B-EnCoRe が、モデルに成功した制御を予測する推論を蒸留させることを可能にすることで、具身的推論における循環的依存関係に対処すると主張しています。推論を潜在変数として扱い、自己教師ありな重要度重み付けを使用することで、手動注釈エンジニアリングなしにインターネット規模の知識を物理的実行にグラウンディングします。

著者らは、この手法の有効性は、個々のプリミティブの品質ではなく、初期ウォームスタートプリミティブの多様性とカバレッジに依存していると強調しています。重要度サンプリングのステップは、情報量の少ないプリミティブを自動的に重み付けを低下させます。最終的に、R&B-EnCoRe は、行動するだけでなく、行動前に「正しい問い」を熟考するために事前知識を活用する、自己改善型のポリシーの構築を可能にします。これにより、タスク成功率が大幅に向上し、冗長な推論を剪定することで推論効率（レイテンシの削減）が改善されます。