技術的サマリー：未来は互換性があるか？世界行動モデルにおける動的整合性の診断

問題定義

ビジョン・言語・アクション（VLA）モデルは、視覚的観測と言語指示を直接実行可能なアクションにマッピングする、ロボット制御のためのスケーラブルなパラダイムとして登場しました。しかし、直接のアクション予測は、アクションの将来の帰結を明示的に表現することができず、予測された物理的遷移が実行可能か、あるいは意図されたタスクの成果と整合しているかが不明確になる傾向があります。

世界行動モデル（WAMs）は、VLA モデルを拡張して将来の観測とアクションを同時に予測することで、この課題に対処します。WAM は視覚的に妥当な未来を生成できますが、その信頼性は十分に検証されていません。具体的には、生成された未来が単に視覚的に現実的であるのか、それともモデル化すると主張するアクション系列と動的に互換性があるのかは不明確です。本論文は、予測されたアクションと誘発された状態遷移との整合性であるアクション - 状態整合性を、WAM にとって欠落している信頼性の軸として特定しています。不一致は、アクション条件付けの失敗を示唆し、モデルが視覚的には妥当だが動的に互換性のない未来を生成し、接触や物体の運動を誤って表現している可能性があります。

手法

アクション - 状態整合性の定義

著者らは、アクション - 状態整合性を、予測された将来の観測が、予測されたアクションを実行して得られた実際の観測とどの程度一致するかを示すスカラー指標として定義します。軌道のタイムステップ $t$ と地平線 $\Delta$ に対して、整合性スコア $c_t$ は以下のように計算されます：
$$c_t(o_{t+\Delta}, \hat{o}_{t+\Delta}) = \exp(-\alpha \cdot d(o_{t+\Delta}, \hat{o}_{t+\Delta}))$$
ここで、$\hat{o}$ は予測された観測、$o$ は実際の観測、$\alpha$ はスケーリング項、$d(\cdot, \cdot)$ は距離関数です。著者らは、ピクセルレベルの変動に対する感度を避け、意思決定に関連する特徴空間における構造的合意を確保するため、VAE 復号前の潜在空間において平均二乗誤差（MSE）を利用します。

モデルとデータセット

本研究は、2 つのデータセットにわたって 2 つの代表的な WAM 定式化を評価します：

1. 結合予測モデル： RoboCasa で事前学習されたCosmos-Policyによって代表されます。これらのモデルは完全な結合分布 $p(o_{t+1:t+\Delta}, a_{t+1:t+\Delta} | \dots)$ をパラメータ化し、観測とアクションを同時に生成します。
2. 逆動力学モデル： RoboTwin 2.0 で事前学習されたLingBot-VAによって代表されます。これらのモデルは結合分布を分解し、まず将来の状態を予測し、次にそれを実現するために必要なアクションを推論します。

分析軸

著者らは、以下の 3 つの次元に沿ってアクション - 状態整合性を調査します：

1. 出現と分離性： 整合性スコアが、成功したロールアウトと失敗したロールアウトを体系的に分離するかどうか。
2. 境界条件： 整合性が信頼できなくなる失敗モードを特定すること。具体的には、背景崩壊と呼ばれる現象です。
3. 有用性との整合： 整合性の傾向が学習された価値予測と類似しているかどうか。これにより、価値フリーのシグナルとしての妥当性が示唆されます。

テスト時の選択戦略

明示的な価値ヘッドなしで意思決定に整合性を活用するため、本論文は 2 つの戦略を提案します：

• 整合性探索（Consistency-Exploring）： 環境内で $N$ 個の候補ブランチのそれぞれを実行し、観測された状態に対する整合性スコアが最も高いものを選択します。これは上限パフォーマンス指標として機能します。
• 整合性コンセンサス（Consistency-Consensus）： 環境のリセットを回避する、展開可能で価値フリーの戦略です。$N$ 個の予測された未来をコンセンサス平均（$\bar{o}_{t+\Delta}$）に集約し、その予測された未来がこのコンセンサスと最も整合しているブランチを選択します。これは、個々のサンプルよりもコンセンサス平均の方が真の未来に近似するという仮定に基づいています。

主要な貢献

1. アクション - 状態整合性の特性化： 本研究は、アクション - 状態整合性が結合予測モデルと逆動力学モデルの両方において測定可能であり、タスクの成功と強く関連していることを実証します。正規化された整合性スコアを使用した単純な分類器は、Cosmos-Policy で AUC（曲線下面積）スコア 0.77、LingBot-VA で 0.88 を達成し、成功と失敗のロールアウトを予測します。
2. 背景崩壊の特定： 著者らは、低ダイナミクスの失敗軌道が欺瞞的に整合するようになる特定の失敗モード、背景崩壊を特定しました。これらのケースでは、モデルは静的な背景または最小限の運動を予測します。これは予測が極めて容易であるため、タスクの失敗にもかかわらず高い整合性スコアをもたらします。これは、低い潜在遷移の大きさ（$\Delta z_t$）と相関しています。
3. 価値フリーのテスト時選択： 本論文は、整合性が学習された価値予測と同様の成功 - 失敗の傾向に従うことを確立しています。したがって、これはテスト時の選択のための価値フリーのランキングシグナルとして機能し得ます。提案された整合性コンセンサス戦略は、追加の報酬モデリングやトレーニングを必要とせずに成功率を向上させます。

実験結果

RoboCasa（結合予測）

24 のキッチン操作タスクにおける Cosmos-Policy の使用：

• ベースライン： 成功率 66.6%。
• 整合性コンセンサス： 成功率を 67.3% に向上させ、価値ベースの選択（67.4%）の性能にほぼ匹敵しました。
• 整合性探索： 最も高い成功率 68.0% を達成し、上限として機能しました。

RoboTwin 2.0（逆動力学）

50 を超える両手操作タスクにおける LingBot-VA の使用：

• ベースライン： 成功率 90.2%。
• 整合性コンセンサス： 成功率を 93.0% に向上させました。
• この結果は、整合性ガイドの選択が結合予測モデルを超えて逆動力学定式化にも一般化することを確認しました。

候補数とのスケーリング

サンプリングされた候補数（$N$）を 1 から 8 に増加させることは、両方のモデルにおいて一貫して成功率を向上させ、整合性がテスト時のスケーリングのための効果的なシグナルを提供することを示しています。

意義と主張

本論文は、アクション - 状態整合性が二重の役割を果たすと主張しています：

1. 診断ツール： 視覚的に妥当だが動的に不整合な未来と、アクション条件付き遷移を忠実に表現する未来を区別する、WAM の内部信頼性を評価する信頼性の高い指標です。
2. 実用的シグナル： テスト時の意思決定を導くための、モデル非依存で価値フリーのメカニズムを提供します。これは、明示的な価値ヘッドを持たない、または報酬シグナルが希薄な WAM にとって特に重要です。

著者らは、整合性が強力なシグナルである一方で、無謬ではないことを強調しています。背景崩壊の特定は、整合性が誤解を招き得る境界条件を浮き彫りにしています。本論文は、将来の WAM はアクションや未来を予測するだけでなく、想定された未来が検討されているアクションと動的に互換性があるかどうかを明示的に露呈すべきであると示唆しています。これにより、ロボットは行動する前に予測された結果の信頼性について推論できるようになります。