🤖 machine learning

SkyJEPA: Learning Long-Horizon World Models for Zero-Shot Sim-to-Real Control of Quadrotors

本論文は、物理学に着想を得たプローバと自動化されたデータパイプラインを備えたJEPAスタイルの潜在ダイナミクスモデルであるSkyJEPAを提案しており、これにより、組み込みハードウェア上で動作する機敏なクアッドローターの正確な長期間予測と、堅牢なゼロショットのシム・トゥ・リアル制御が可能になる。

原著者： Pratyaksh Rao, Wancong Zhang, Randall Balestriero, Yann LeCun, Giuseppe Loianno

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Pratyaksh Rao, Wancong Zhang, Randall Balestriero, Yann LeCun, Giuseppe Loianno

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグピクチャー：ドローンに、空を飛ぶ前に「夢」を見せる方法

あなたが子供に自転車の乗り方を教えている場面を想像してみてください。

従来の方法： 「ペダルを漕いで、それからハンドルを切って、またペダルを漕いで」と指示します。もし子供が少しよろめいた（例えば、わずかにふらついた）とき、そのよろめきに基づいて指示を出し続けると、指示がどんどん悪化していき、最終的に転倒してしまいます。これが現在のほとんどのロボット制御の仕組みです。彼らは次のステップを正確に一歩ずつ予測しようとするため、小さなエラーが雪だるま式に積み重なってしまうのです。
SkyJEPAの方法： すべての細かなよろめきを予測させる代わりに、バランスの「感覚」を理解するように教えます。スムーズな走行とクラッシュの「形」を、頭の中で認識できるように教えるのです。たとえ少しよろめいたとしても、彼らの内なるバランス感覚が軌道を維持させてくれます。

この論文は、ドローン（クアッドローター）への教え方として新しい手法である SkyJEHEPA を紹介しています。これにより、ドローンはビデオゲーム（シミュレーション）から学習し、センサーの調整や再学習を行うことなく、そのまま現実世界で完璧に飛ぶことができるようになります。

彼らが解決した3つの主な問題

1. 「伝言ゲーム」問題（長期予測の課題）

問題点： ほとんどのAIモデルは、次の1秒間を予測し、その予測を使って次の1秒を予測する……というように、未来を予測しようとします。これは「伝言ゲーム」のようなものです。AさんがBさんにメッセージを伝え、BさんがCさんに伝え、それがZさんに届く頃には、メッセージはめちゃくちゃになってしまいます。
SkyJEPAの解決策： SkyJEPAは、正確なメッセージ（ドローンの正確な位置）を伝えるのではなく、圧縮された「夢の空間（潜在空間）」の中で、未来の「要点」や「雰囲気」を予測することを教えます。

比喩： 映画の展開を予測することを想像してください。すべてのフレームを詳細に説明しようとすると（それは非常に複雑になります）、全体像が崩れてしまいます。代わりに、あなたは「あらすじ」を予測します。あらすじの中で細かいディテールを逃したとしても、物語全体の筋道は外れません。これにより、長時間の飛行におけるエラーの蓄積を防ぐことができます。

2. 「ブラックボックス」問題（解釈可能性の課題）

問題点： ディープラーニングのモデルは、しばしば「ブラックボックス」となります。彼らは飛び方は知っていますが、「なぜそうしたのか」を説明したり、「時速5メートルで移動している」といった数値を出したりすることができません。安全制御システムの中に「ブラックボックス」を入れることはできません。なぜなら、制御システムが壁にぶつかりそうかどうかを判断するには、実際の数値が必要だからです。
SkyJEPAの解決策： 彼らは、**「物理学に着想を得たプローバー（探査器）」**と呼ばれる特別な翻訳機を追加しました。

比喩： ドローンの脳を、「味覚言語（抽象的な夢の空間）」しか話せないシェフだと考えてください。「プローバー」は、物理学のルール（重力や推力など）を知っている翻訳家です。この翻訳家は、シェフの「味覚言語」を受け取り、それを正確な分量（メートル、角度、速度）を伴ったレシピへと変換します。これにより、ドローンの安全システムは、何が起きているのかを正確に理解できるようになります。

3. 「危険な遠足」問題（データ収集の課題）

問題点： ロボットに空を飛ぶ方法を教えるには、通常、失敗から学ぶために現実世界で何度も墜落させる必要があります。これはコストがかかり、危険であり、ハードウェアを無駄にします。
SkyJEPAの解決策： 彼らは、数千もの異なる飛行シナリオを自動的に生成する「魔法のシミュレーター」を構築しました。

比喩： 学生ドライバーを、交通量の多い実際の高速道路に連れて行って（そこで事故を起こす可能性がある）教える代わりに、ドライビングシミュレーターに入れます。しかし、このシミュレーターは特別です。レッスンごとに、車のエンジン、路面状況、風、そして車の重量をランダムに変更します。
この混沌としたランダム化されたシミュレーターで訓練することで、ドローンはあらゆる現実世界の状況に対処できるようになります。いざ外へ飛び出すとき、それはあらゆる天候や車両の故障をシミュレーター内で経験してきたベテランドライバーのようなものです。

現実世界での仕組み

研究者たちはこれを実際の屋外フィールドでドローンを用いてテストしました。起こったことは以下の通りです。

ゼロショット転移（Zero-Shot Transfer）： 彼らはドローンをコンピュータ・シミュレーションの中だけで訓練しました。現実世界のデータは一度も示していません。ドローンを外に連れ出したとき、それは即座に完璧に飛びました。再学習も微調整も必要ありませんでした。
「もしも」のシナリオ： 彼らは3つのトリッキーな状況でドローンをテストしました。
- 通常の飛行： フィギュアエイト（8の字飛行）のような複雑な経路を辿りました。
- ペイロードの変化： ドローンに重りを吊るして（重量を変更して）テストしました。ドローンは即座に適応しました。
- プロペラの交換： プロペラを別のものに交換して（モーターの特性を変更して）テストしました。それでもドローンはスムーズに飛び続けました。
結果： SkyJEPAドローンは、古い手法を用いた他のドローンよりもはるかに正確で安定していました。墜落することもなく、ドローンの重量やパーツが変わっても混乱することはありませんでした。

まとめ

SkyJEPA は、ドローンに物理学に対する「直感（勘）」を与えるようなものです。

圧縮され、エラーに強い方法（潜在空間）で、夢を見ることで学習します。
夢を現実世界の数値に変換する翻訳機（プローバー）を備えています。
混沌としたランダム化されたビデオゲームで訓練することで、現実世界のあらゆる事態に備えます。

その結果、シミュレーションにおける「ゲームのルール」を完璧に学んだことで、現実世界を一度も見たことがなくても、アジャイル（機敏）で安全、かつ正確に空を飛べるドローンが誕生したのです。

技術要約：SkyJEPA：クアッドローターのゼロショットSim-to-Real制御のための長期間ホライゾン・ワールドモデルの学習

問題提起

正確なダイナミクスモデルは、機敏な空中移動体における情報に基づいた意思決定、特に将来のシステム進化について推論する必要があるモデルベース制御において不可欠である。しかし、既存のニューラルネットワーク・ダイナミクスモデルには、以下のような重大な限界が存在する：

長期間ホライゾンの不安定性： ほとんどのアプローチは、予測値を入力として再帰的にフィードバックする自己回帰的なエンコーダ・デコーダ・アーキテクチャを使用している。このメカニズムは、一ステップごとの小さな誤差を時間の経過とともに増幅させ、予測ホライゾンが増加するにつれて、ドリフト、不安定性、および物理的に不自然な軌道を引き起こす。
解釈性の欠如： 多くの学習済みモデルは抽象的な潜在空間で動作するか、あるいは完全な観測量を再構成するものであり、コントローラーによる制約や安全境界の遵守に必要な物理的に意味のある量（位置、速度、姿勢など）を提示できていない。
データ依存性と汎化性能： 多様で情報量の多い実世界のデータを収集することは、コストが高く、リスクがあり、労力を要する。さらに、特定のプラットフォームやタスクに特化して学習されたモデルは、再学習なしでは新しい構成（例：ペイロードの変更、プロペラの交換）に対して汎化できないことが多い。
リアルタイム制約： リソース制約のある組み込みハードウェア上での高頻度な制御には、複雑な再構成ベースのモデルよりも、繰り返し評価が可能で低レイテンシなモデルが必要であるが、これは課題となっている。

本論文は、中心的な問いに取り組んでいる：空中ロボットのために、正確な長期間ホライゾンの予測、物理的に解釈可能なロールアウト、リアルタイムの制御能力、およびタスク間のゼロショット汎化を提供する効率的なダイナミクスモデルを、リスクの高い実世界のデータ収集への依存を減らしつつ学習できるか？

手法

著者らは、リアルタイムのクアッドローター制御用にカスタマイズされた、Joint Embedding Predictive Architectures (JEPA) に基づくフレームワークである SkyJEPA を提案する。このアプローチは、主に4つのコンポーネントで構成される：

JEPAスタイルの潜在ダイナミクスモデル：
将来の状態や観測量を自己回帰的に予測する代わりに、このモデルはコンパクトな潜在空間における将来の表現を予測することを学習する。モデルは、ウィンドウ $H$ にわたる状態の履歴 ( $X_t$ ) とアクション ( $A_t$ ) を受け取り、それらを潜在表現 ( $s_t, z_t$ ) にエンコードし、将来のアクションに条件付けられた次の潜在状態 ( $\tilde{s}_{t+1}$ ) を予測する。この定式化は、構造化された潜在空間内で動作することにより、自己回帰的な状態予測に固有の累積誤差を回避する。
学習目的関数 (SIGReg)：
モデルは、2つの項からなる損失関数を用いて学習される：
- 予測一貫性 ( $L_{pred}$ )： ロールアウトされた潜在予測と、エンコードされた将来の状態との間の距離を最小化する。
- 崩壊防止正則化 (SIGReg)： 潜在表現の崩壊を防ぐために、Sketched Isotropic Gaussian Regularizationを使用する。これは、潜在分布のランダムな一次元投影を標準ガウス分布と比較することで、潜在埋め込みが等方性ガウス分布に一致するように促す。これにより、複雑なストップグラディエント機構や複数の損失項を必要とせずに、多様性を促進する。
物理学に着想を得たプローバー (Physics-Inspired Prober)：
潜在予測を制御に使用可能にするため、「プローバー」ネットワークが、凍結された潜在ロールアウトを物理的に意味のあるメトリック状態へとマッピングする。これは以下の2段階のプロセスである：
- 潜在ダイナミクスモデルを最初に学習させる。
- エンコーダと予測器を凍結し、軽量なプロービングネットワークを学習させ、潜在状態に基づいて残差補正項（並進および回転加速度）を予測させる。
- これらの残差は、微分可能な運動学モデル（姿勢にはSO(3)指数写像を使用）に統合され、完全な状態軌道を再構成する。これにより、出力が解釈可能になり、物理的制約を遵守することが保証される。
自動データ合成とドメインランダム化：
広範な実世界のデータ収集の必要性を排除するため、著者らはシミュレーション内で完全に多様な学習データを生成するパイプラインを提案している：
- リファレンス生成： ガウス過程を用いて、広範な飛行エンベロープをカバーする滑らかでランダム化された参照軌道を生成する。
- クローズドループ追従： 追従コントローラー（NMPCとMPPIを組み合わせたもの）が、これらのリファレンスをシミュレーション内で実行し、物理的に実行可能な状態・アクションのペアを生成する。
- ドメインランダム化： 各ロールアウトは、物理パラメータ（質量、慣性、抗力、モーター時定数など）をランダム化した環境でシミュレートされ、単一の公称モデルではなく、一連のシステムにモデルをさらす。
サンプリングベースの制御 (MPPI)：
学習されたモデルは、Model Predictive Path Integral (MPPI) コントローラーに統合される。コントローラーはアクションシーケンスをサンプリングし、潜在ダイナクスモデルとプローバーを用いてロールアウトを行い、軌道コストを評価し、制御入力を更新する。これは、NVIDIA Orin NX上で高頻度で動作する。

主な貢献

リアルタイム制御のためのJEPA： 高レベルの運動学的プランニングを超え、リアルタイムのクアッドローター制御のためにエンドツーエンドで学習された、初のJEPAスタイルの潜在ダイナミクスモデルの導入。
物理学に着想を得たプロービング： 構造化された運動学インテグレータを介して、凍結された潜在表現を解釈可能なメトリック状態にマッピングする新しいメカニズム。これにより、物理的に根ざした長期間ホライゾンの予測を可能にする。
ゼロショットSim-to-Real転送： ドメインランダム化されたシミュレーションデータのみで学習されたモデルが、タスク固有の微調整なしに、実機のハードウェア上で堅牢な制御を実現できることを実証。
自動データセットパイプライン： ガウス過程とドメインランダム化を用いた自動的なデータセット生成のための原理的な手順。これにより、安全性の低い実世界のデータ収集への依存を軽減する。

結果

本フレームワークは、1.3kgのクアッドロータを用いたオープンループ予測および屋外クローズドループ実験を通じて評価された。

長期間ホライゾンの精度： SkyJEPAは、オープンループのロールアウトにおいて、自己回帰的な予測ベースラインを大幅に上回った。最大60ステップの長期間ホライゾンにおいて、より低い累積比（教師強制による予測に対する誤差の成長）と、より低い誤差成長率を示した。
解釈性： 物理学に着想を得たプローバーは、メトリック状態の回復を劇的に改善した。標準的なMLPプローバーと比較して、PIプローバーはオープンループテストにおいて、位置RMSEを約5.56mから約1.43mへ、姿勢誤差を約40°から約4.7°へと減少させた。
ゼロショットSim-to-Real転送： 実世界実験において、提案されたコントローラーは、多様な軌道（円、8の字、レムニスケート）において、ベースライン（予測モデルを用いたMPPI）よりも低い位置および姿勢の追従誤差を達成した。例えば、円軌道において、位置RMSEは0.39m（ベースライン）から0.24mへと減少した。
堅牢性： 本システムは、ペイロードの追加（300g）やプロペラの交換を含む、大幅なプラットフォームの変化に対しても、再学習なしで性能を維持した。非公称条件下においても、一貫してベースラインを上回る性能を示した。
データの質： 軌道分布品質（TDQ）スコアを用いた分析により、データセットの多様性とカバレッジと予測誤差との間に強い逆相関があることが示され、ドメインランダム化されたデータ合成手法の妥当性が検証された。
リアルタイム性能： 軽量なモデル（パラメータ数約9K）と最適化された推論により、10msの制御予算内で組み込みハードウェア上でのリアルタイム実行が可能となった。

意義

本論文は、SkyJEPAが、正確な長期間ホライゾンの予測、解釈性、リアルタイム推論、およびゼロショットタスク汎化という、空中ロボティクスにおける有用なワールドモデルに求められる4つの主要な特性を満たしていると主張している。

その主な意義は、適切な学習フレームワークと組み合わせることで、ドメインランダム化を用いたシミュレーションのみの学習が、堅牢な実世界制御に十分であることを実証した点にある。自己回帰的な誤差蓄積を潜在予測によって回避し、出力を物理的構造で接地させることにより、このアプローチは、純粋な予測モデルでは到達できないレベルの汎化性能と安定性を実現している。著者らは、このフレームワークが、高次元の視覚入力への拡張や、明示的な安全制約の組み込みを可能にするスケーラブルな代替案を提供すると示唆している。