技術サマリー: SafeDojo

問題定義

Vision-Language-Action (VLA) モデルを現実世界の物理環境にデプロイする際、接触を伴う操作における衝突回避という重大な安全上の課題に直面します。低次元の制御システムでは、安全制約を明示的に定義したりコンパクトに学習したりできますが、VLA ポリシーは、多様で未知の障害物構成に対して、高次元の視覚的観測から安全境界を推論しなければなりません。

既存の安全なロボット操作へのアプローチには、以下のような重大な限界があります：

• 推論時の介入（例：制御バリア関数）は、精密な幾何学的モデリングとカメラのキャリブレーションを必要とし、オープンワールドでの VLA デプロイには非実用的です。
• モデルフリーの制約付き強化学習 (RL) は、ペナルティベースの最適化を通じて安全性を強制しますが、コストが高く、潜在的に危険な実世界での探索を必要とします。一度の不安全な接触が、タスクの失敗、不可逆的なハードウェアの損傷、または環境の混乱を引き起こす可能性があります。
• モデルベースの安全な RL は通常、低次元の状態空間とシミュレータ提供のコスト関数で動作します。これは、安全信号が解析的に定義されたものではなく視覚データから学習される必要がある高次元 VLA モデルへの転移を困難にします。

解決すべき核心的な未解決問題は、手作業による安全関数やリスクの高い実世界での探索に頼ることなく、障害物が豊富な環境において衝突のない VLA ポリシーをどのように学習するかです。

手法: SafeDojo

SafeDojo は、VLA ポリシー向けに特別に設計された、初のモデルベースの安全強化学習フレームワークとして提案されています。本フレームワークは、実世界の物理的リスクを回避しながら、インタラクティブなビデオ世界モデル内でのオンライン・ポリシー最適化を可能にします。このフレームワークは、以下の3つの主要コンポーネントで構成されています。

1. チャンク単位のインタラクティブな世界モデル・ロールアウト

実世界でデータを収集する代わりに、SafeDojo はインタラクティブな世界モデル $p_\phi$ 内で「モデル・イン・ザ・ループ」のロールアウトを実行します。

• アーキテクチャ: 世界モデルは、将来の視覚的観測と潜在ダイナミクスを生成する、アクション条件付きビデオ予測器（Wan 2.2 に基づく）としてインスタンス化されます。
• プロセス: 初期観測 $o_0$ と言語指示 $l$ が与えられると、現在の VLA ポリシー $\pi_\theta$ が候補となる軌跡をサンプリングします。世界モデルは、アクションチャンクに条件付けられた将来のフレーム $\hat{o}_{i,k+1}$ と潜在状態 $\hat{z}_{i,k+1}$ を再帰的にロールアウトして生成します。
• 堅牢性: 長期的なロールアウトにおける訓練とテストのミスマッチおよび露出エラーを軽減するため、訓練には、時折条件付けフレームを固定するスタティックビデオ拡張が含まれており、不完全な中間予測に対しても耐性を持つように設計されています。

2. 分離されたタスク報酬と安全コストの推定

SafeDojo は、信号を単一のスカラー報酬に集約するのではなく、ステップごとの高密度な信号を推定するデュアルブランチ・エバリュエーターを使用して、想像された軌跡を評価します。

• タスク報酬 ($f_{task}$): ファインチューニングされた ResNet 成功分類器が、想像された将来のフレームからステップごとのタスク進行度を予測します。
• 安全コスト ($f_{safe}$): 軽量なセーフティヘッドが、予測された潜在コンテキストと提案されたアクションチャンクから、ステップごとの安全コスト（障害物接触確率）を推定します。
• 集約: これらの高密度な信号は、軌跡レベルの報酬 ($r_i$) とコスト ($c_i$) に集約されます。安全コストは、特にクリティカルな間隔を強調するために、リスクの高い上位 $M$ ステップを集約します。

3. ラグランジュ法を用いた安全制約付き GRPO

明示的な安全制約の下でポリシーを最適化するために、SafeDojo はラグランジュ定式化を用いた Group Relative Policy Optimization (GRPO) のバリアントを採用しています。

• アドバンテージ計算: サンプリングされた軌跡のグループ内でタスク報酬と安全コストを個別に正規化し、相対的なアドバンテージ $\hat{A}^r_i$ と $\hat{A}^c_i$ を計算します。
• 制約付き目的関数: 最終的なアドバンテージは $\hat{A}^{safe}_i = \hat{A}^r_i - \eta \hat{A}^c_i$ として計算されます。ここで $\eta$ は非負のラグランジュ乗数です。
• 動的なバランス調整: 乗数 $\eta$ は、バッチレベルの制約違反（平均安全コスト vs. 許容予算 $d$）に基づいて更新されます。平均コストが予算を超えた場合、危険な軌跡をより強く罰するために $\eta$ が増加し、そうでなければ、タスク指向の改善を許可するために $\eta$ が減少します。
• 更新ルール: ポリシーは、安全制約付きのアドバンテージを用いたクリップされた目的関数を使用して更新され、固定されたペナルティ重みに依存することなく、タスクの成功と安全性の協調的な向上を保証します。

主な貢献

1. 世界モデルベースの報酬・コスト推定: タスクの進行度と安全リスクの推定を想像されたダイナミクスから分離した、デュアルブランチ・エバリュエーターを備えたインタラクティブなビデオ世界モデルの開発。これにより、手作業による安全関数の必要性を排除しました。
2. 安全制約付き RL: 固定されたペナルティ重みの感度を回避しながら、安全予算を明示的に遵守し、タスクの成功と衝突回避を調整する、ラグランジュ法に基づく安全制約付き GRPO 目的関数の導入。
3. 実証的なパフォーマンス: SafeLIBERO ベンチマークおよび実世界の Franka ロボットへのデプロイにおいて優れた性能を実証。推論時の安全性、モデルフリー RL、およびモデルベース RL の各ベースラインと比較して、最高の総合タスク成功率、安全成功率、および実行効率を達成しました。

実験結果

本フレームワークは、SafeLIBERO（Robosuite 上に構築された安全性重視のベンチマーク）および実世界の Franka Emika Panda ロボットを用いて評価されました。

シミュレーション結果 (SafeLIBERO)

• 安全成功率 (SSR): SafeDojo は、レベル I (53.25%) およびレベル II (49.62%) の両方で最高の平均 SSR を達成しました。レベル I において、これは最強のベースライン（SafeVLA の 45.00%）に対して 8.25 パーセントポイントの向上となります。
• 実行効率: SafeDojo は最も低い平均実行ステップ数 (レベル I で 269.41) を達成し、最良のモデルベース・ベースライン (WMPO の 274.02) を上回りました。これは、安全を考慮した最適化が過度に保守的になったり、非効率なポリシーを生み出したりしないことを示しています。
• 汎化性能: レベル I のデモンストレーションのみで訓練された SafeDojo は、レベル II（運動経路のさらに先に障害物が配置されている設定）でもトップの性能を維持しており、想像されたロールアウトを通じて学習された安全信号が、未知の障害物構成にも転移することを示しました。

実世界の結果

• 5 つの実世界の操作タスクにデプロイされた結果、SafeDojo は最高の平均タスク成功率 (76.00%) と安全成功率 (70.00%) を達成しました。
• 定性的分析により、SafeDojo は直接的で衝突を回避する軌跡を生成したのに対し、ベースラインは障害物に衝突するか、過度に保守的になるか、あるいは不安全な状態からの回復に失敗することが示されました。

アブレーション研究

• コンポーネントの重要性: セーフティヘッドを除去すると SSR は 38.0% に低下し、タスク報酬ブランチを除去するとパフォーマンスはほぼゼロに崩壊しました。制約付き GRPO を非制約最適化に置き換えると、安全性が著しく低下しました。
• 入力ソース: 現在の世界モデルの状態と提案されたアクションチャンクを併用することが、将来の予測のみを使用する場合と比較して、最も安定した報酬・コストの手がかりを提供しました。
• ラグランジュ乗数 ($\eta$): 初期値 $\eta = 0.2$ が最良のバランスを提供しました。値が高すぎると過剰に制約された非効率なポリシーになり、低すぎるとリスクのある行動を抑制できませんでした。

意義と主張

本論文は、SafeDojo をスケーラブルで汎用的な、具現化された知能（Embodied Intelligence）への道筋として位置付けています。世界モデルを活用して「想像の中での先行的ロールアウト」を行うことで、SafeDojo は、ポリシーの探索の必要性と、物理的な安全違反の不可逆性との間の根本的な緊張関係に対処しています。

著者らは、SafeDojo が VLA モデルに対してモデルベースの安全強化学習を適用することに成功した初のフレームワークであり、以下を可能にすると主張しています：

1. リスクフリーな学習: ポリシーの改善は完全にシミュレートされた世界モデル内で行われ、コストのかかる危険な実世界での探索を排除します。
2. データ駆動型の安全性: 安全信号は、定義済みの幾何学的制約や手作業によるコスト関数に頼ることなく、高次元の視覚的観測から学習されます。
3. バランスの取れた最適化: ラグランジュ法によるアプローチにより、高いタスク性能と効率を維持しながら、明示的な制約充足が可能になります。

これらの結果は、世界モデルベースの安全強化学習が、安全性が前提となるオープンワールドの物理環境において、VLA ポリシーをデプロイするための有効なパラダイムであることを示唆しています。