テクニカルサマリー：潜在世界モデルは部分観測的な安全制約をどの程度理解しているか？

問題提起

潜在世界モデル（Latent World Models: WMs）は、高次元の観測（例：RGB画像）から直接、状態表現と制御方策を学習するための、手動で指定されたダイナミクスに代わる有望な選択肢を提供します。しかし、その有効性は、学習された潜在状態が安全制約を満たすために必要な情報をすべてエンコードしているかどうかに依存します。

本論文は、訓練データに安全性の判断に十分な情報が含まれていない**部分観測性（Partial Observability）**下における、潜在WMの限界について調査しています。著者らは、古典的な状態推定とは異なる決定的な失敗モードである「未知の未知（Unknown Unknowns）」を特定しています。古典的な設定では、状態空間が明確に定義されているため（カルマンフィルタなどのフィルタによって不確実性の定量化が可能）、潜在WMはデータから状態表現そのものを推論します。もし関連する安全変数が観測に含まれていない場合、それらは学習された潜在空間から完全に欠落している可能性があり、結果として不安全な制御行動につながります。

著者らは、2つの具体的な失敗モードを定義しています：

1. 推定ギャップ（Estimation Gaps）： 現在の観測が、安全制約が現在違反されているかどうかを判断するのに不十分である（例：RGB画像のみから温度を推論すること）。
2. 予測ギャップ（Prediction Gaps）： 失敗は発生した後に観測可能であるが、情報の欠如により現在の観測からは信頼性を持って予見できない（例：ボトルが満たされているかを知らずに、液体のこぼれを予測すること）。

手法

観測性のギャップに関する診断

これらのギャップを定量化するために、著者らは2つのオフライン診断指標を提案しています。

1. 安全観測性のための相互情報量（Mutual Information: MI）： 推定ギャップを測定するために、観測 $X$（例：RGB画像）と安全ラベル $Y$ の間の相互情報量 $I(Y; X)$ を推定します。Barber–Agakov 変分下界を用いて、潜在埋め込みに対する線形プローブを訓練し、観測によって安全ラベルに関する不確実性がどの程度減少するかを定量化します。
2. ロールアウトに基づく予測精度： 予測ギャップを測定するために、オープンループ・ロールアウトを通じて、将来の安全な結果を予測する世界モデルの能力を評価します。16ステップのアクションシーケンスをシミュレートし、予測された安全ラベルの分類精度を測定します。特に、単峰性モデルと多峰性モデルが一致しないサンプルを詳細に分析します。

緩和戦略

論文では、それぞれの失敗モードに対して異なる戦略を提案しています。

• 推定ギャップに対して（特権的マルチモーダル監督）： 展開時（デプロイ時）にマルチモーダルなセンサを必要とする代わりに、RGB入力を用いて世界モデルを訓練しますが、マルチモーダルな監督を課します。モデルは、RGB入力から安全に関連するモダリティ（例：赤外線熱画像）を再構成するタスクを担います。この「特権的」な監督は、訓練中に潜在表現を、たとえ実行時に直接観測できなくても、安全に重要な量（温度など）をエンコードするように形成します。
• 予測ギャップに対して（共形リスク較正）： 潜在状態が将来の失敗を確実に予測できない場合、安全コントローラの閾値を較正することを提案します。**共形予測（Conformal Prediction）**を用いて、モデルの失敗予測精度に基づき介入閾値（$\epsilon$）を調整します。これにより、モデルの予測不確実性が高い場合に、コントローラが保守的なフォールバック方策を採用するようにし、不安全なアクションの誤受容率を制限します。

実験セットアップ

著者らは、Franka Research 3 マニピュレータを用いた2つのハードウェアタスクを用いて、アプローチを検証しています。

1. ワックスの融解（推定ギャップ）： ロボットは72°Cを超えないようにワックスを加熱する必要があります。このタスクは温度の推論に依存します。モデルは、RGBのみのデータとRGB+IRデータの両方で訓練されます。
2. 米の注ぎ（予測ギャップ）： ロボットは、中身が透けて見えないボトルから米をこぼさずに注ぐ必要があります。ボトルは空の場合もあれば、満たされている場合もあります。このタスクは、傾ける動作がこぼれを引き起こすかどうかを予測することに依存します。モデルは、RGBのみのデータとRGB+触覚データの両方で訓練されます。

主な結果

診断結果

• 推定ギャップ： ワックスの融解タスクにおいて、RGB観測と安全ラベル（過熱）の間の相互情報量は、IR観測（$I/H \approx 0.80$）と比較して著しく低くなっていました（$I/H \approx 0.22$）。標準的な精度指標はこのギャップに対して感度が低かったため、MIの方が安全観測性のためのより堅牢な診断手法であることを示唆しています。
• 予測ギャップ： 米の注ぎタスクにおいて、両方のモデルは発生した後のこぼれを特定することはできましたが、RGBのみのモデルはオープンループ・ロールアウトにおいてそれらを信頼性を持って予測できませんでした。多峰性モデルは、2つのモデルが一致しないサンプルにおいて有意に高い精度を達成しており、これはRGBのみの潜在空間が、アクションと将来の安全な結果との相関関係を構築するための表現能力を欠いていたことを示しています。

緩和性能

• 特権的監督（ワックスの融解）： RGB入力で訓練され、かつIR再構成によって監督された世界モデル（WM_RGB-MM）は、**100%のリフト率（阻止率）**を達成し、過熱を防ぐことができました。これは、完全なマルチモーダルモデルの性能と一致しています。対照的に、RGBのみのモデルは85%の確率で失敗しました。決定的なのは、WM_RGB-MMモデルはより早い段階で介入を行う保守的な方策を学習しており、実行時にIR入力が欠けているにもかかわらず、潜在状態が不可欠な安全ダイナミクスを正常にエンコードしていたことを示しています。
• 共形較正（米の注ぎ）： RGBのみのコントローラに共形較正を適用することで、こぼれを予測できない能力を考慮して閾値を調整しました。これにより、RGBコントローラは非常に保守的になり（空のボトルに対して注ぎを許可するのは、マルチモーダルモデルの60%に対し、わずか18%）、ターゲットレベル（$\alpha = 0.12$）に失敗率を抑えることに成功しました。これは、較正が制御権と安全性の保証をトレードオフにすることで、予測ギャップを緩和できることを裏付けています。

意義と主張

本論文は、潜在世界モデルが部分観測下において、安全な制御のために十分な情報を本質的に捉えているという仮定に異議を唱えています。著者らは以下のことを主張しています。

1. 失敗モードの特定： 「推定ギャップ」と「予測ギャップ」を、潜在空間制御における不安全な挙行為から生じる異なる原因として、明示的に特定し特徴付けました。
2. 定量的な診断： 展開前にこれらのギャップを検出するための、実用的なオフラインツール（相互情報量およびロールアウト分類）を提供しました。
3. 緩和の実現可能性： 訓練時に豊かなデータ（特権的監督）を活用するか、あるいは統計的にコントローラのリスク許容度を較正することで、限られた実行時モダリティ（例：RGBのみ）であっても安全性を維持できることを示しました。
4. トレードオフとしての保守性： 観測性のギャップを緩和するには、しばしば保守性の向上が必要になることを結果は強調しています。潜在状態が不確実性を完全に解決できない場合、安全な制御には、より早い介入やタスク実行率の低下が必要となります。

結論として、世界モデルは強力ですが、その状態表現は安全観測性の観点から明示的に検証される必要があり、訓練データが基礎となる安全に重要な状態を完全には明らかにしない場合には、緩和戦略が不可欠であると述べています。