⚡ electrical engineering

Pixels to Proofs: Probabilistically-Safe Latent World Model Control via Parallel Conformal Robust MPC

本論文は、行動条件付き潜在世界モデルと、共形予測によって強化されたロバストなモデル予測制御を組み合わせることで、確率的な安全性保証を伴う安全な視覚ベースの運動計画を可能にするフレームワークであるSLS²を導入する。

原著者： Devesh Nath, Anutam Srinivasan, Haoran Yin, Ruitong Jiang, Jeffrey Fang, Glen Chou

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

原著者： Devesh Nath, Anutam Srinivasan, Haoran Yin, Ruitong Jiang, Jeffrey Fang, Glen Chou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに繊細なタスク（ロープで結び目を作る、あるいはブロックを積み重ねるなど）を教えようとしていると想像してください。しかし、ロボットにはカメラしかありません。ロボットは世界の「真の状態」（正確な角度や距離など）を見ることはできず、ただ生の画像ストリームを見ているだけなのです。

この論文は、ロボットがカメラ画像から直接、安全な動きを計画するための新しい手法であるSLS2（Safe Latent Space System Level Synthesis）を提示しています。これは、ロボットが世界を理解するための内部的な「推測」が不完全である場合でも機能します。

仕組みを、シンプルな概念と比喩を用いて説明します。

1. 「夢の世界」（潜在世界モデル / Latent World Model）

通常、ロボットは計画を立てるために、世界の完璧な地図を必要とします。しかし、現実の世界でそのような地図を手に入れるのは困難です。

比喩: ロボットが目を閉じ、世界の簡略化されたバージョンを「夢見ている」様子を想像してください。何百万ものピクセルを処理する代わりに、画像の核心を捉えた、コンパクトで抽象的な「夢の状態」（潜在空間）を作り出します。
論文の内容: 彼らは、ロボットにこの「夢の世界」を学習させる方法を開発しました。ある動きをした後に、次の「夢」がどのようになるかを予測するようにロボットを訓練します。これにより、ロボットが実際に動くことなく、頭の中で何千もの将来のシナリオを非常に高速にシミュレーションすることが可能になります。

2. 「不完全な夢想家」（予測誤差 / Prediction Errors）

問題は、ロボットの夢は完璧ではないということです。時には、ブロックが左に動くと予測したのに、実際には右に動くこともあります。

比喩: それは、普段は当たっているものの、たまに風向きを間違える天気予報士のようなものです。もしその予報だけに頼ってピクニックの計画を立てたら、雨に濡れてしまうかもしれません。
論文の解決策: SLS2は、これらの間違いを無視するのではなく、それを受け入れます。彼らは**共形予測（Conformal Prediction）**という統計的なツールを使用して、ロボットの予測の周囲に「安全バブル」を描きます。
- このバブルは、**「不確実性の霧」**だと考えてください。ロボットはこう理解します。「ブロックはここにありますが、自分が間違っている可能性もあるため、ブロックは実際にはこの霧がかかったバブル内のどこかに存在する可能性があります」。

3. 「安全バブル」（ロバストな計画 / Robust Planning）

ほとんどの計画手法は、夢の世界における完璧な経路を見つけようとします。しかし、SLS2はもっと賢い方法をとります。つまり、たとえロボットの夢が少しズレていたとしても、安全であり続けられる経路を見つけるのです。

比喩: 濃い霧の中を車で運転している場面を想像してください。普通のドライバーは、自分が正しいことを願ってセンターラインに沿って走ります。しかし、SLS2ドライバーは、車線の真ん中を走りつつ、両側に広いバッファゾーン（余裕）を保ちます。たとえ（霧や誤差によって）車が少し逸れたとしても、壁に衝突することはありません。
仕組み: システムは「到達可能チューブ（reachable tubes）」を計算します。これは、不確実性を考慮した上で、ロボットが辿り着く可能性のある場所を示す3Dのトンネルです。プランナーは、このトンネル全体が「安全ゾーン」内に留まり、「障害物ゾーン」（壁にぶつかったり、ブロックを落としたりすること）を回避するように設計されています。

4. 「安全検査官」（共形障害物チェッカー / Conformal Obstacle Checker）

ロボットはまた、夢の世界において「障害物」がどのように見えるかを知る必要があります。

比喩: クラブの入り口に立つドアマン（ボディーガード）を想像してください。現実の世界では、ドアマンは身分証をチェックします。しかし、ロボットの夢の世界では、ドアマンは「夢の状態」をチェックします。
論文の解決策: 彼らは、この「ドアマン」となる特別なニューラルネットワークを訓練し、それが「安全」か「不安全」かを判断するようにしました。決定的なのは、彼らがこのドアマンを調整するために、同じ統計的な「霧」の手法を用いていることです。これにより、ドアマンが寛容になりすぎるのを防ぎます。もしある状態が不安全である確率が99%であれば、ドアマンはそれを不安全として扱います。

5. 「超高速プランナー」（GPU加速 / GPU Acceleration）

高次元の夢の世界において、これらすべての安全バブルやトンネルを計算するのは通常、非常に時間がかかります。

比喩: それは、一度に100万台の異なる車の軌道を計算しようとするようなものです。一つずつ行えば、永遠に時間がかかります。
論文の解決策: 彼らは、強力なコンピュータチップ（GPU）上でこれらの計算を並列して実行することを可能にする数学的なトリック、**システム・レベル・シンセシス（SLS）**を使用しています。これは、100万個の計算機が同時に働いているようなもので、計画をリアルタイムで実行できるほど高速にします。

テスト内容

著者たちは、このシステムが従来の手法よりも優れていることを示すために、いくつかのタスクでテストを行いました。

リーチャー（Reacher）: 関節を曲げすぎることなくターゲットに触れようとするロボットアーム。
キューブ（Cube）: キューブを掴んで移動させる際、高く持ち上げすぎない（不安全な状態になる）ようにするロボットアーム。
ロープ（Rope）: 2本のロボットアームが、ぐにゃぐにゃとしたロープを操作する複雑なタスク。ロープは無限の方向にねじれる可能性があるため、非常に困難なタスクです。
ハードウェア: 彼らは、コンピュータ上のシミュレーションだけでなく、ラボ内の実際のロボットアームでもテストを行い、スタート位置からゴール位置までロープを伸ばすことに成功しました。

結論

SLS2は、カメラ画像から直接、安全で複雑な動きを計画できるフレームワークです。それは以下の手順で行われます。

世界の簡略化された「夢」を学習する。
その夢がどれほど間違っているか（「霧」）を正確に計算する。
たとえ夢が間違っていても安全であり続けられる経路（「安全バブル」）を計画する。
これらすべてを、実際のロボットで動作するほど高速に実行する。

その結果、ロボットは世界に関する完璧な情報を持っていなくても、衝突したり物を壊したりする可能性が非常に低い、安全な動作を実現しています。

技術要約: SLS2 – 確率的に安全な潜在世界モデル制御

問題提起

本論文は、オープンワールド環境において、生のピクセル観測（例：RGB画像）から直接ロボットを制御する際の、安全なフィードバック運動計画（feedback motion planning）の課題に取り組んでいる。従来の安全性に配慮した制御手法は、明確に定義された低次元の状態表現と既知のダイナミクスに依存しているが、これらは変形物体や複雑な視覚タスクにおいては利用困難であったり、推定が難しかったりすることが多い。近年の潜在世界モデル（例：JEPAアーキテクチャ）は、画像からコンパクトな潜在状態表現とダイナミクスを推論できるが、以下のような重大な安全上のリスクを伴う：

不完全なダイナミクス: 学習された潜在ダイナミクスは近似であり、複数ステップのロールアウトにおいて不正確になる可能性がある。
制約の翻訳: 物理的な安全制約（例：障害物回避、関節制限）を潜在空間に翻訳する必要があるが、その潜在空間と物理的な安全性との関係は保証されない。
キャリブレーションの欠如: 既存の潜在空間における安全性手法は、ヒューリスティックな近似に依存していることが多く、予測誤差が存在する中で真のシステム状態が安全な範囲内に留まるという、形式的かつ較正された保証を欠いている。

核心となる問題は、モデルの予測誤差と分布シフトの両方を考慮しつつ、学習された潜在空間内で計画を行いながら、真の物理システムに対して確率的な安全性保証を提供する制御方策を合成することである。

手法: SLS2 (Safe Latent Space System Level Synthesis)

著者らは、学習された潜在世界モデルと、システムレベル合成 (System Level Synthesis: SLS) によるロバストMPC、および共形予測 (Conformal Prediction: CP) を組み合わせたフレームワークであるSLS2を提案している。このパイプラインは、主に3つの段階で構成される。

1. 勾配フレンドリーな潜在世界モデルの学習

システムは、画像遷移のオフラインデータセット $\mathcal{D} = \{(o_t, u_t, o_{t+1})\}$ から、コンパクトでマルコフ的な潜在表現を学習する。

アーキテクチャ: アクション条件付きの結合埋め込み予測アーキテクチャ（Le-WMに類似）。Vision Transformer (ViT) エンコーダが画像を潜在埋め込み $z_t$ に写像する。
マルコフ状態の構築: 潜在状態が複数ステップ予測のためのマルコフ性を満たすよう、状態は有限差分特徴量を用いて拡張される： $s^z_t = [z_t, \Delta z_t, \dots, \Delta^K z_t]$ 。
ダイナミクスの学習: MLP予測器 $f_\phi$ が、遷移 $s^z_{t+1} = f_\phi(s^z_t, u_t)$ を学習する。
学習目的関数: モデルは、多ステップの潜在予測損失、表現崩壊を防ぐためのSIGReg損失、および潜在軌道を滑らかにすることを促す時間的直線化（temporal straightening）損失を用いて学習される。この設計により、効率的な勾配ベースの軌道最適化（例：iLQR）が可能になる。

2. 共形による不確実性の定量化

学習されたダイナミクスや潜在制約チェッカーの不正確さを扱うため、著者らは分割共形予測 (Split Conformal Prediction: CP) を使用して、統計的な保証を持つ不確実性集合を較正する。

潜在ダイナミクス誤差: 共分散モデル $\Sigma_\psi$ が、誤差分布の形状を予測するように学習される。CPを用いてスケーリング係数 $q$ （非適合度スコアの分位点）を計算し、真の予測誤差 $e_t$ が確率 $1-\delta$ で楕円集合 $E(s, u)$ 内に収まるようにする。
潜在制約チェッカー: 潜在的な障害物分類器 $c_\psi$ が安全性をスコアリングするように学習される。CPを用いて、分類器が高度な確率で安全/不安全領域を正しく識別するための閾値 $\eta$ を決定する。
インドメイン・サポート: プランナーが訓練分布から大きく外れた領域で動作しないよう、較正されたガウス劣レベル集合としてインドメイン集合 $\mathcal{I}$ が定義される。

3. システムレベル合成 (SLS) によるロバストMPC

コアとなる制御ループでは、システムレベル合成 (SLS) を用いて、潜在空間におけるロバストMPC問題を解く。

定式化: フィードバックゲインを直接最適化する代わりに、SLSは、摂動を状態/制御偏差へと写像する閉ループシステム応答（行列 $\Phi_s, \Phi_u$ ）を最適化する。
ロバスト性: CPによって較正された楕円誤差集合 $E(s, u)$ が、SLSの定式化の中に摂動集合として注入される。最適化器は、これらの不確実性を計画ホライゾンにわたって伝播させ、到達可能チューブ（ $R^s_k, R^u_k$ ）を構築する。
制約: 最適化は、到達可能チューブ全体が（較正された制約チェッカーによって定義される）安全な潜在集合およびインドメイン集合内に留まることを強制する。これにより、「制約のタイトニング（constraint tightening）」が行われ、最悪の有界誤差が発生した場合でも真のシステムが安全であり続けるように、公称軌道が調整される。
実装: 高次元の潜在状態と、不確実性チューブの伝播に伴う計算負荷を処理するために、GPU加速を活用している。

主な貢献

計画のための潜在世界モデル: 特定の正則化（SIGReg、時間的直線化）を伴うコンパクトでマルコフ的な潜在モデルを学習することで、ピクセルから直接、正確な多ステップ・ロールアウトと効率的な勾配ベースの最適化が可能であることを示した。
共形化された不確実性集合: 共形予測を用いて、潜在ダイナミクス誤差と潜在安全性分類器の誤差の両方を較正する手法を導入し、ロバストな計画のための統計的に有効な不確実性集合を提供した。
スケーラブルなロバストMPC: CPによって較正された不確実性を、GPU加速されたシステムレベル合成に統合することで、高次元の潜在空間における到達可能性制約付きのロバストMPCを実現した。これは従来、計算量的に極めて困難と考えられていたタスクである。
実証的検証: 本手法を、シミュレーションおよび実世界のハードウェアにおける多様なビジョンベースのタスク（ナビゲーション、ピック・アンド・プレース、変形物体操作）で検証し、ベースラインと比較して優れた安全性と目標到達性能を示した。

実験結果

著者らは、Reacher、OGBench Cube、Push-T、および Bimanual Rope（両腕によるロープ操作）の4つのタスクでSLS2を評価した。

公称計画性能 (Nominal Planning Performance):
- SLS2の公称プランナー（学習済みモデル上でiLQRを使用）は、成功率においてベースライン（Le-WM, DINO-WM, PLDM）を大幅に上回った。
- Reacher: 成功率 83.5%（ベースラインは17～40%）。
- Rope: 成功率 93.75%（ベースラインは7～25%）。
- アブレーション研究により、マルコフ的な状態表現と多ステップ学習損失が性能に不可欠であることが確認された。
ロバスト安全性性能 (Robust Safety Performance):
- 制約のあるタスク（例：関節角度制限、高さ閾値、障害物回避）において、SLS2はシミュレーションおよびハードウェアの両方で100%の安全性を達成した。一方で、非ロバストな制約付きiLQRや他の安全性フィルタ（HJ-filtered, LPB）は頻繁に制約に抵触した。
- ロバストな成功率: SLS2は、安全制約を厳格に遵守しながら、高いタスク完了率（例：Ropeで88.57%、Cubeで94.29%）を維持した。
- ハードウェア: 本手法は、実機のKUKA iiwaアームを用いたロープ操作に正常にデプロイされ、明示的な状態推定なしにピクセルから直接目標状態への収束を実証した。

意義と主張

本論文は、SLS2が学習された世界モデルの柔軟性と、安全性に配慮した制御に求められる厳密さの間の溝を埋めるものであると主張している。共形予測による統計的な較正と、システムレベル合成によるスケーラブルなロバスト最適化を組み合わせることで、高次元の潜在空間で不完全なダイナミクスを扱っている場合でも、真のシステム状態が安全な範囲内に留まるという確率的な保証を提供する。

著者らは、本手法が手設計の状態表現や既知のダイナミクスを必要としないため、複雑で変形しやすい、視覚的に豊かなタスクにも適用可能であることを強調している。また、手法は安全性と成功率を大幅に向上させる一方で、閉ループ残差スコアが較正スコアと交換可能であるという仮定に依存しており、複雑な逐次操作（Push-Tなど）を必要とするタスクでは、等方的な潜在表現の仮定がボトルネックになる可能性があることも指摘している。