🤖 machine learning

FlowMPC: Improving Flow Matching policies with World Models

本論文は、元の学習目的を変更することなくタスクの成功率を向上させるために、学習されたワールドモデルを統合してテスト時のMPPIプランニングを実行する、ロボット操作のためのFlow Matchingポリシーを強化するフレームワークであるFlowMPCを導入する。

原著者： Chandon Hamel

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chandon Hamel

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットアームに、立方体やYCBツールのような特定の物体を掴み上げ、正確に指定した場所に置く方法を教えている場面を想像してみてください。この論文は、そのロボットをより賢くするための新しい手法、FlowMPCを紹介しています。

仕組みの詳細は、以下のシンプルな比喩を用いて説明します。

1. 問題点：「才能はあるが世間知らずな」弟子

まず、研究者たちは**フロー・マッチング（Flow Matching: FM）**という手法を用いてロボットを訓練しました。このFMポリシーを、熟練した職人の動きを何千本もの動画で見て学んだ「非常に才能のある弟子」だと考えてください。

得意なこと： 膨大な数の例から学習しているため、腕を動かすための創造的で多様な方法を生み出すのが得意です。立方体を掴む方法は一つだけではなく、多くの成功ルートがあることを理解しています。
弱点： この弟子は厳格な「模倣者」です。動画で見たことに基づいて行動することしかできません。もしロボットがわずかなミス（例えば、少しの揺れなど）をした場合、弟子はパニックになったり、エラーを増幅させてしまい、ゴール直前でタスクを失敗させてしまうことがあります。自分自身のミスを修正するために「先を考える」ことができないのです。

2. 解決策：「水晶玉」を加える（世界モデル）

この問題を解決するために、研究者たちは弟子を再学習させるのではなく、代わりに弟子に**「水晶玉」（学習された世界モデル/World Model**）と**プランナー（Planner）**を与えました。

水晶玉（世界モデル）： これは未来を予測するシミュレーターです。もしロボットがこのように腕を動かしたら、「なるほど、1秒後には物体はここにあり、成功する可能性が高い」と伝えます。もし別の動きをしたら、「いや、それでは物体を落としてしまう」と告げます。
プランナー（MPPI）： これは意思決定者です。プランナーは弟子にこう問いかけます。「おい、このタスクを完了するためのアイデアを500個出してくれ」。
- 弟子（FMポリシー）は、学んだ知識に基づき、最も創造的なアイデアを24個素早く生成します。
- プランナーは、残りのアイデアをランダムな推測で埋め、合計500個にします。
- 次に、プランナーは水晶玉を使用して、これら500個のアイデアすべてについて未来へのシミュレーションを行います。「どの経路が、物体を落とすことなく成功へと導くか？」をチェックします。
- そして、最適な経路を選び出し、最初の動きを実行します。

3. 結果：「良い」から「素晴らしい」へ

研究者たちは、この手法を「立方体を掴むタスク」と「特定のツールを掴むタスク（PickSingleYCB）」の2つでテストしました。

結果： 水晶玉を持つロボットは、単にゴールに到達するだけでなく、そこに留まり続けることができました。
- PickCube（立方体）: 成功率が 93% から 97% に向上しました。
- PickSingleYCB: 成功率が 57% から 66% に向上しました。
重要な洞察： 最大の改善が見られたのは、タスクのまさに終盤でした。FM弟子単体では、物体を目標の近くまで持っていくことはできても、最後の数秒間で失敗してしまうことがよくありました。世界モデルがセーフティネットとして機能し、ロボットが微細なエラーを修正し、最後の瞬間まで物体をしっかりと保持できるようにしたのです。

4. なぜこれが特別なのか

通常、ロボットをより良くするためには、新しい複雑なルールを用いた再学習（強化学習など）が必要になります。しかし、この論文は異なるアプローチを取りました。

弟子の訓練内容は全く変えていません。
ただ、ロボットが実際にタスクを実行する瞬間に「考えるステップ」を追加しただけなのです。

比喩：
音楽を完璧に暗記しているミュージシャンを想像してください（これがFMポリシーです）。彼らは演奏は上手いですが、もし一音でも外すと、リズムを見失ってしまうかもしれません。
FlowMPCとは、そのミュージシャンの頭の中で、次の数秒間の音楽を聴いている「指揮者」を与えるようなものです。もしミュージシャンが拍子を外しかけていたら、指揮者が「実は、代わりにこうしてみて」とささやき、曲が完璧に終わるように導くのです。

まとめ

この論文は、学習された模倣者（多くのやり方を知っている）と、予測シミュレーター（どのやり方が実際にうまくいくかを知っている）を組み合わせることで、ロボットの信頼性を大幅に高められることを示しています。これにより、ロボットはリアルタイムで小さなミスを修正できるようになり、特にタスクの極めて重要な最終局面において、成功率を高めることができるのです。

技術要約: FlowMPC

問題提起

Flow Matching (FM) は、マルチモーダルなアクション空間における行動模倣（behavior cloning）の強力な手法として台頭している。これは特に、同一のタスクを解決するために複数の異なるアクション・トラジェリが成立し得るロボット操作において顕著である。しかし、FMは本質的にエキスパートの行動を一致させるように訓練される模倣学習手法であり、期待報酬を直接最大化するように訓練されるものではない。その結果、FMポリシーはデモンストレーションデータの質とカバー範囲に制限される。そのため、小さな誤差からの回復、誤差の累積、あるいはエキスパートのデータセットに十分に表現されていない状態への対処において困難が生じることが多い。

近年の研究では、RLを用いてFMポリシーを洗練させることでこの問題に対処しようとする試みがあるが、それらのアプローチはFMの訓練目的関数自体を変更する必要がある。本論文では、異なる問いを調査する：学習された世界モデルは、FMの訓練目的関数を変更することなく、FMポリシーを改善できるか？ 目標は、モデルベースのプランニングが、テスト時のフローベースの模倣ポリシーを補完できるかどうかを判断することである。

手法: FlowMPC フレームワーク

提案するフレームワークである FlowMPC は、模倣学習されたFMポリシーを、Model Predictive Path Integral (MPPI) プランニング・ループ内の学習された世界モデルと統合するものである。核心となるアイデアは、FMポリシーを、候補となるアクション・シーケンスを生成するための構造化されたプロポーザル（提案）メカニメントとして使用し、それらを世界モデルによって評価および洗練させることである。

1. 訓練パラダイム

訓練パイプラインは以下の5つのステージで構成される：

エキスパートデータの収集: 特権状態情報を持つSACエージェントが、エキスパートのデモンストレーションを生成する。
トラジェトリの収集: フル・トラジェトリ（RGB、固有受容感覚、アクション、報酬）を収集する。
FMポリシーの訓練: これらのエキスパート・トラジェトリを用いて、マルチモーダルなアクション・プライア（事前分布）を学習するためにFMポリシーを訓練する。
視覚的前処理: エキスパート・トラジェトリを、FMポリシーの視覚エンコーダによって前処理されたRGB観測とともに再収集し、コンパクトな視覚潜在変数 ( $z_{viz,t}$ ) を生成する。
世界モデルの訓練: エキスパート・データがロードされたリプレイバッファを用い、前処理された視覚潜在変数と固有受容状態 ( $x_t = [s_t, z_{viz,t}]$ ) を組み合わせて、オンラインで世界モデルを訓練する。

2. TD-MPC2へのアーキテクチャ的適応

本フレームワークは TD-MPC2 をベースとしているが、学習されたアクターを模倣学習されたFMポリシーに置き換えている。このハイブリッドを実現するために、いくつかの重要な修正が行われた：

行動模倣アクション予測器 ( $\pi_{BC}$ ): 現在のモデル状態からアクションへとマッピングする専用のネットワーク。これは、プランニングのロールアウト中にターミナル値のブートストラップに使用され、価値関数がイン・ディストリビューション（分布内）のアクションを評価することを保証し、プランニング過程を安定させる。
統一された表現インターフェース: 世界モデルは、個別のエンコーダを学習するのではなく、FMの視覚潜在変数を固有受容状態と直接結合して消費する。これにより、世界モデルは凍結されたFMの視覚特徴を活用できる。
簡素化された目的関数: タスクのバイナリ報酬構造を考慮し、標準的なTD-MPC2の複雑な離散化symlog変換報酬は、報酬に対するバイナリ交差エントロピーと、Q値回帰に対する標準的な平均二乗誤差に置き換えられた。
デュアル世界モデル・バリアント:
- 状態空間バリアント: 結合された状態と視覚潜在変数の空間で直接予測を行う。PickCube タスク ( $H=1$ ) に使用される。
- 潜在空間バリアント: 学習された潜在表現とマルチステップ・ロールアウトを行う標準的なTD-MPC2に従う。より複雑な PickSingleYCB タスク ( $H=3$ ) に使用される。

3. 推論とプランニング

テスト時、プランナーは以下のように動作する：

プロポーザル: 現在の観測に対し、プランナーは $K$ 個の候補アクション・トラジェトリをサンプリングする。サブセット ( $K_\pi$ ) はFMポリシーによって提案され、残りはランダムにサンプリングされる。
ロールアウトとスコアリング: 各トラジェトリは学習された世界モデル内でロールアウトされる。トラジェトリは、予測された報酬の合計と、行動模倣予測器から導出されたターミナル価値推定値 ( $\hat{Q}$ ) によってスコアリングされる。
洗練: MPPIは、これらのスコアに基づいてトラジェトリを再重み付けし、洗練する。最適化されたシーケンスの最初のアクションが実行される。
効率性: FMの視覚エンコーディングは、観測ごとに一度だけ計算され、すべてのサンプルと統合ステップで再利用される。

主な結果

本手法は、2つのManiSkill操作タスク、PickCube-v1 および PickSingleYCB-v1 で評価された。

エピソード終了時の成功率: 最も顕著な向上は、エピソードの終了時まで成功を維持することにおいて観察された。
- PickCube: 93.14% (FMのみ) から 97.44% (FlowMPC) へ向上。
- PickSingleYCB: 56.81% (FMのみ) から 66.41% (FlowMPC) へ向上。
Anytime成功率: いずれかの時点で成功状態に到達するという観点でも改善が見られたが、その利得はより小さかった。
- PickCube: 95.78% $\to$ 98.68%。
- PickSingleYCB: 68.77% $\to$ 69.78%。

これらの結果は、世界モデルが単に一時的な成功状態に到達するのを助けるだけでなく、小さなアクション誤差を修正し、タスク完了付近での安定した制御を維持することに特に効果的であることを示している。

意義と主張

本論文は、世界モデルベースのプランニングが、新しいFM訓練目的関数を必要とすることなく、フローベースの模倣ポリシーを効果的に補完できると断じている。

ハイブリッド・アプローチ: 本研究は、模倣学習とモデルベースRLの間の実行可能なハイブリッドを示している。強力でマルチモーダルなアクション・プライアを学習するために模倣を用い、推論時の意思決定を洗練するためにプランニングを用いる。
再訓練不要: 改善は、新しいRL目的関数によるポリシーの再訓練からではなく、テスト時におけるポリシーのより良い活用からもたらされている。
限定的な範囲: 著者らは、結果が2つのタスクに限定されていること、および最適な世界モデルの設計（状態空間 vs 潜在空間、プランニング・ホライゾン）がタスクによって異なることを明示している。彼らは普遍的に最適な構成を主張しているのではなく、表現力豊かな生成ポリシーとルックアヘッド（先読み）プランニングの組み合わせが、堅牢なポリシー改善に向けた有望な方向であることを示唆している。
パフォーマンス・ベースライン: 本手法は、強力なFMベースライン（一つのタスクにおいて既にTD-MPC2に近い性能を示していたもの）を上回っており、プランナーが単に弱いポリシーを救済するのではなく、強力なポリシーを「研ぎ澄ます（sharpen）」ものであることを示唆している。