技術概要：Pre-VLA

問題定義

大規模視覚言語行動（VLA）モデルと生成型世界モデル（WM）は、具現化された知能を進展させたが、実用的な展開において学習ベースの生成的不確実性に関する重大な課題に直面している。各計画サイクルにおいて、VLA 方策によって生成された候補行動は、分布のシフト、時間的誤差の蓄積、または不十分な自信較正の影響を受ける可能性がある。

これらの低品質な行動は、2 つの重要なシナリオにおいてリスクをもたらす：

1. 物理的実行：誤った行動は、衝突、物体の落下、または取り返しのつかない運動学的違反を引き起こし、連鎖的な失敗につながる。
2. 世界モデルの想像：偏ったまたは安全でない行動入力は、WM にぼやけたフレーム、ターゲットのドリフト、歪んだ物理的関係、または「偽の成功」ロールアウトを生み出す原因となる。これは視覚的および物理的誤差の蓄積だけでなく、冗長な GPU レンダリングコストも招く。

既存のランタイム検証フレームワークは、高い計算オーバーヘッド、実行前の候補行動評価の難しさ、オフラインデータにおける深刻なクラス不均衡（安全な軌道が支配的で、稀な壊滅的な失敗サンプルが埋もれている）に苦しむことが多い。

手法：Pre-VLA アーキテクチャ

著者は、物理アクチュエータや世界モデルの想像に行動が送信される前に、予防的な行動有効性評価を行うように設計された統合ランタイム検証アーキテクチャであるPre-VLAを提案する。

1. 安全意識型監督信号

安全境界に関する人間の注釈の欠如を克服するため、Pre-VLA はPPO（近接方策最適化）ロールアウトから監督信号を導出する：

• チャンク利得推定：事前学習された PPO クリティックが、マルチモーダルコンテキスト（言語、視覚、固有受容感覚、および行動チャンク）に基づいて、$K$ ステップ誘導されたチャンク利得（$A^K_t$）を計算する。
• 失敗意識型洗練：安全マスク（$H_{t,K}$）は、取り返しのつかない失敗（例：衝突）が発生した際に値推定を切り捨てる。遅延した失敗を引き起こす行動に対して指数関数的に減衰するペナルティを割り当てるため、事後ペナルティ項（$F_{t,K}$）が導入される。
• ラベル生成：洗練された利得は標準化され、タスク固有の閾値を使用して、二値安全ラベル（$y_{binary}$）と連続利得ターゲット（$y_{cont}$）に変換される。

2. 軽量デュアルブランチモニター

Pre-VLA は、生成能力を維持するためにパラメータを凍結した、効率的なマルチモーダルバックボーン（WorldVLAおよびChameleonに基づく）を利用する。

• モダリティ認識プーリング：専用レイヤーが、定義済みマスクを使用してテキスト、画像、状態、および行動トークンの寄与を分離し、統合されたグローバル特徴ベクトルを生成する。
• デュアルブランチヘッド：
  • 分類ブランチ：軽量なフィードフォワードネットワーク（FFN）を使用して、安全信頼度スコア（$p_t$）を出力する。
  • 回帰ブランチ：クリティックから導出された連続チャンク利得スコア（$\hat{A}^K_t$）を予測する。

3. マルチタスク学習目的

クラス不均衡と境界の不安定性に対処するため、モデルは結合損失関数で訓練される：

• フォーカル損失（$L_{cls}$）：クラス不均衡を緩和するために、ハードなネガティブ例（稀な失敗ケース）に焦点を当てる。
• 回帰損失（$L_{reg}$）：連続利得スコアに適合させ、隠れ表現を正則化する。
• ソフト閾値損失（$L_{soft}$）：安全閾値周辺の決定境界を滑らかにし、曖昧な行動に対する振動を防ぎ、較正を改善する。

4. デュアルモード予防的再サンプリングスケジューラ

展開中、Pre-VLA は 2 つのモードで動作する：

• 物理的実行：行動チャンクが安全閾値に失敗した場合、それは遮断される。システムは上限$N$まで再サンプリング（新しいノイズの注入）をトリガーする。すべてのサンプルが失敗した場合、回帰ブランチは「安全なフォールバック」として最も高い利得スコアを持つ候補を選択し、制御の連続性を維持する。
• 世界モデルの想像：無効な行動は WM に入る前にフィルタリングされ、誤った未来の高価なレンダリングを防ぐ。再サンプリングの制限に達した場合、システムはリソースを節約するために想像ロールアウトを切り捨てる可能性がある。

主な貢献

1. 統合ランタイム検証：具現化されたエージェントの推論パイプラインに安全制約を直接統合し、超低遅延フィルタリングを通じて物理アクチュエータと世界モデルシミュレーターの両方を保護するアーキテクチャである Pre-VLA の導入。
2. マルチモーダル検証モジュール：モダリティ認識プーリングとデュアルブランチヘッドを特徴とする新規設計。異種入力を共同で符号化し、同時に安全信頼度と行動利得スコアを予測する。
3. 堅牢な学習戦略：深刻なクラス不均衡に対処し、安全境界付近の決定を安定させるために、フォーカル分類、利得回帰、およびソフト閾値較正を組み合わせるマルチタスク目的。
4. 包括的評価：LIBEROベンチマークでの厳密なテストにより、クローズドループの成功率、実行効率、および世界モデルの安定性の向上を実証。

実験結果

RynnVLA-002をベースラインとして使用し、LIBERO 操作ベンチマーク（LIBERO-10、LIBERO-Goal、LIBERO-Object、LIBERO-Spatial）で評価：

• 行動識別：独立したテストセットにおいて、Pre-VLA はF1 スコア 0.8303および精度 0.9542を達成した。無効な行動の偽陽性率を0.0200に削減しつつ、低い偽陰性率（0.0491）を維持した。
• クローズドループ成功率：Pre-VLA は、4 つのスイート全体の平均成功率を**30.79% から 37.62%**に向上させた（絶対値で 6.83 ポイントの増加）。
• 効率性：この手法はタスク実行ステップの平均数を削減し、有効な軌道へのより効率的な移行を示している。
• ランタイムオーバーヘッド：行動チャンクあたりの平均前方検証時間は183.9 msであり、合計ステップごとの推論時間は（複雑な空間タスクを除き）一般的に 1000 ms 未満で、リアルタイム要件を満たしている。
• 世界モデルの安定性：定性的分析により、Pre-VLA が予測前に低品質な行動をフィルタリングすることで、WM ロールアウトにおける誤差の蓄積、ターゲットのドリフト、および視覚的アーティファクトを効果的に軽減することが示された。

意義と主張

本論文は、予防的安全評価を可能にするランタイム検証メカニズムを確立することにより、Pre-VLA が信頼性の高い具現化された知能のための根本的な前提条件を提供すると主張している。

• 安全性と効率性：予防的行動検証は、基盤モデルに基づくロボット制御の有効な安全層として機能し、ベース方策の広範な再学習を必要とせずに、物理的失敗と世界モデルシミュレーションにおける計算の無駄を大幅に削減できることを実証している。
• 汎用性：このアプローチは、より強力なベースライン方策に適用された場合でも有効であることが示されており、ランタイム検証は生成型具現化エージェントの信頼性を向上させるためのスケーラブルな解決策であることを示唆している。
• 限界：著者は、監督信号が PPO クリティック推定に依存しており（分布シフト下では潜在的に偏る可能性がある）、高度に不利な状態での反復的な再サンプリングが推論コストを蓄積する可能性があることを認めている。今後の課題として、オンライン自己較正メカニズムの探求が提案されている。