💻 computer science

BayesFP: Posterior Estimation for Flow-Based Policies via Feynman-Kac Sampling

BayesFPは、Feynman-Kac補正器を活用することで拡散およびフローマッチング・ポリシーの両方に対して事後分布サンプリングを可能にする、再学習を必要としない統一的な推論時フレームワークを提示しており、これによりロボットが学習されたエキスパートの振る舞いに忠実でありながら、安全制約とタスク目標を満たす軌道を生成することを可能にする。

原著者： Sreevardhan Sirigiri, Weiming Zhi, Fabio Ramos

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sreevardhan Sirigiri, Weiming Zhi, Fabio Ramos

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文「BayesFP」の解説：身近な言葉と例えを用いた説明

大きな問題：「ノー」と言えないロボット

熟練したロボットシェフを雇ったと想像してください。あなたは、プロのシェフが野菜を刻んだり、パンケーキをひっくり返したり、料理を盛り付けたりする数千本の動画を見せることで、数ヶ月かけてロボットを訓練しました。ロボットはこれらの動きを完璧に模倣することを学習しました。つまり、ロボットは「どうやって調理するか」を知っています。

しかし、一つ問題があります。あなたは、実際にロボットを使う当日に、安全に関するルールを伝えているのです。

シナリオA： 「ステーキを焼いて。でも、ナイフをガラスのテーブルに触れさせないでね」と伝えた場合。
シナリオB： 「ステーキを焼いて。でも、カウンターの上を猫が歩いているから、猫に当たらないようにしてね」と伝えた場合。

ロボットの訓練データには、ガラスのテーブルも猫も登場しませんでした。もし単にロボットに「安全に動け」と命じたとしても、ロボットは混乱するかもしれません。テーブルに向かってナイフを押し付けてしまったり（テーブルを壊してしまう）、あるいは訓練で「素早く動け」と教わっていたために、猫のことを無視してしまったりする可能性があります。

既存の手法は、以下のいずれかの方法でこれを解決しようとしています：

事後フィルタリング（Post-hoc filtering）： ロボットに動きを行わせ、テーブルに当たったのを見てから、魔法のようにロボットの腕を「ワープ」させて戻す方法。これは動きがぎこちなく、不自然に見えることが多いです。
ヒューリスティックな微調整（Heuristic nudging）： ロボットに「ねえ、テーブルから少し離れて動いて」と伝える方法。これは曖昧な指示を与えているようなもので、ロボットが隅っこに追い込まれたり、動けなくなる罠（ローカルトラップ）に陥ったりすることがよくあります。

解決策： BayesFP （「もしも」シミュレーター）

著者らは、BayesFP と呼ばれる新しい手法を提案しています。これは、ロボットが動いた後に考えを変えさせるのではなく、動く前に「未来についてどう考えるか」を変える方法です。

彼らは、ロボットの意思決定を**「もし〜だったら？」というゲーム**のように扱います。

事前分布（エキスパート）： ロボットは元の訓練からスタートします。「エキスパートのシェフはこう動く」という知識です。これが「事前分布（Prior）」です。
尤度（コスト）： ここに新しいルールを加えます。「ただし、もしテーブルや猫に当たったら、大きなペナルティを与える」というルールです。これが「尤度（Likelihood）」です。
事後分布（最善の推測）： ロボットは単に一つの経路を選ぶのではありません。「自分のエキスパートとしての訓練と、『猫に当たらない』というルールを組み合わせたら、最も優れた経路はどうなるか？」と問いかけます。

その結果、エキスパートのシェフのような動き（滑らかで自然な動き）を維持しつつ、自然に猫を避ける新しい経路が生まれます。

秘訣：ファインマン・カッツ・サンプリング（「並行世界」のトリック）

ロボットはどうやって、何週間も再学習することなく、この「最も優れた経路」を計算できるのでしょうか？この論文では、**ファインマン・カッツ・サンプリング（Feynman-Kac sampling）**という数学的なトリックを使用しています。

混雑した街の中で最適なルートを探したいけれど、まだどこに渋滞があるか分からない状況を想像してください。

従来の方法： 一つのルートを選んで走行し、渋滞に遭遇したら引き返し、別のルートを試す。（遅くて、動きがガタガタになる）。
BayesFP の方法： 同時に 32体の「並行世界の自分」（粒子）を送り出します。
- それぞれのバージョンは、少しずつ異なるルートを試します。
- 走行中、彼らは常にチェックします。「目的地に近づいているか？壁にぶつかっていないか？」
- もしあるバージョンが壁に当たったら、「悪いスコア」を与えられます。スムーズな道を見つけたら、「良いスコア」を与えられます。
- システムは、その後、**「良いバージョンの複製」を作り、「悪いバージョンを破棄」**します。
- 目的地に到達する頃には、生き残ったグループは自然に完璧で安全なルートへと収束しています。

これはコンピュータチップ上で一瞬で行われるため、ロボットは数千もの可能性を瞬時にシミュレートし、勝者を即座に選ぶことができます。

なぜこれが特別なのか

「決定論的」なロボットでも機能する： 「フロー・マッチング（Flow Matching）」（直線的で滑らかな動きを行うAIの一種）を使用する多くのロボットは、組み込まれたランダム性がないため、制御が難しいのが特徴です。BayesFPは、ロボットが選択肢を探索するために必要な「ちょうど良い量のランダム性」を加え、最後にそれを取り除くことで、最終的な動きを滑らかで精密なものにする巧妙な方法を編み出しました。
再学習が不要： ロボットに新しいスキルを教え込む必要はありません。単に「Start」を押す瞬間に、回避すべき対象（コスト関数）を与えるだけです。
複雑な形状にも対応： 障害物が単純な円形であっても、複雑でギザギザした「V字型」であっても、ロボットはプロフェッショナルな動きを保ちながら、その間を縫うように進む方法を見つけ出します。

実世界の成果

著者らは、実物のロボットとシミュレーションを用いてテストを行いました。

障害物の回避： ロボットの進路に、見たことがない円柱や「V字型」の壁を置きました。ロボットは衝突することなく、その周囲をうまく通り抜けました。
実機ロボット： マグカップを持っている実物のロボットアームでテストを行いました。ロボットの進路に新しい障害物（カップ）を置いたとき、ロボットはそれをスムーズに避けて進みました。
目標の変化： 「マグカップを手に取って。ただし、右側にある方だけにして」と指示することで、左側のマグカップを取ろうとするロボット本来の傾向を抑制することにも成功しました。

まとめ

BayesFP は、新しい障害物が現れたときに、エキスパートとしての訓練を瞬時に再評価できる「スーパーパワー」をロボットに与えるようなものです。衝突してから修正するのではなく、何千もの「もしも」のシナリオを並行してシミュレートし、訓練内容と新しい安全ルールを両立させた、最もスムーズで安全な経路を即座に見つけ出します。これにより、硬直したプログラム通りのロボットを、柔軟で反応の良いロボットへと変貌させるのです。

技術要約: BayesFP: Feynman-Kac サンプリングによるフローベース・ポリシーの事後分布推定

問題定義

現実世界の環境で動作するロボットは、マルチモーダルなエキスパートの振る舞いを捉えるのに十分な表現力と、安全制約やタスク固有の目的関数を満たすための反応性を、同時に備えた軌跡を生成しなければならない。重大な課題は、これらの制約（例：障害物回避、関節リミット、エネルギーコスト）が学習時には未知であったり、デプロイメント間で変化したりする場合に発生する。

既存の制約付き軌跡生成アプローチは、概ね以下の2つのカテゴリに分類される：

事後的なフィルタリング／最適化: 制約のないロールアウトを、勾配ベースのプランナーや安全フィルターを用いて修正する手法。これらは生成と修正をデカップル（分離）させてしまうため、分布外（out-of-distribution）の軌跡、局所解、および高い計算オーバーヘッドを招く。
生成的ガイダンス: サンプリング過程を直接修正する手法（例：分類器ベースのガイダンス、投影、反射ダイナミクス）。これらは効果的ではあるが、通常はサンプリングダイナミクスに対するヒューリスティックな修正に留まっている。これらは、学習されたデータの事前分布と、推論時の制約を共に尊重する、明確に定義された事後分布との間の原理的な関係性を欠いている。

解決すべき中心的な問いは、**「学習済みの拡散（Diffusion）またはフローマッチング（Flow-matching）ポリシーが与えられたとき、学習されたデモンストレーション分布に忠実でありながら、推論時のみ指定される制約付き最適化問題を遵守する軌跡をどのようにサンプリングできるか？」**である。

手法

著者らは、制約付き軌跡生成をベイズ事後分布サンプリングとして定式化している。学習されたデモンストレーション分布 $p_{data}(x)$ は事前分布として機能し、推論時の制約をエンコードするコスト関数 $J(x)$ が尤度として機能する。ターゲットは以下の事後分布からのサンプリングである：
$p(x | O = 1) \propto p_{data}(x) \exp(\beta J(x))$
ここで、 $O=1$ は最適性を表し、 $\beta < 0$ はコストによる傾き（tilt）の強さを制御する。

ベースとなるポリシーを再学習することなくこの事後分布からサンプリングするために、本論文ではFeynman-Kac Corrector (FKC) フレームワークを活用している。主要な手法論的貢献は以下の通りである：

1. Feynman-Kac 重み付きダイナミクス

コストの勾配をポリシーのスコアや速度場にヒューリスティックに加える代わりに、著者らは重み付き確率微分方程式 (SDE) を導出している。このSDEは、各粒子が対数重み $w_t$ を保持しながら進化する粒子集団のダイナミクスを制御する。ダイナミクスは、ターゲットとなるギブス・ティルテッド分布の Fokker-Planck 方程式から導出される。

ドリフト補正: ドリフト項には、 $\nabla J(x)$ に比例するコストを考慮した補正が含まれる。
重みの進化: 重みは、シミュレートされたダイナミクスとターゲット密度の進化との間の不一致から導かれる再重み付け項を蓄積する。これにより、ドリフト補正が不完全であっても、粒子集団が事後分布の漸近的に不偏な推定量となることが保証される。
リサンプリング: 長いホライゾンにおける重みの退化（degeneracy）を軽減するため、手法は逐次モンテカルロ（SMC）技術、具体的にはアクティブな時間間隔における系統的リサンプリングを採用している。

2. 決定論的フローマッチングへの拡張

FKC フレームワークは、もともと確率的な拡散プロセス用に定式化されたものである。著者らは、フローを周辺保存型 SDE（marginal-preserving SDE）として再構成することにより、これを決定論的なフローマッチング・ポリシー（ $dx = -v_t(x)dt$ という ODE を解くもの）へと拡張した。

Singh および Fischer [16] に従い、補助的な拡散項 $\tilde{\sigma}(t)$ と、それに対応するスコアベースのドリフト補正を導入している。
決定的な点として、ガウス源を持つ整流されたフロー（rectified flows）の場合、スコア $\nabla \log q_t(x)$ は学習された速度場 $v_t(x)$ から閉形式でインピュート（代入）できるため、別途のスコアネットワークを必要としない。
この構成により、FKC フレームワークを拡散モデルとフローマッチング・ポリシーの両方に一様に適用することが可能となる。

3. 理論的保証

本論文は、ペナルティの重みと逆温度の大きさ $|\beta|$ が増加するにつれ、ギブス・ティルテッド事後分布が、実行可能かつ最適に近い軌跡上に極めてタイトに収束するという理論的保証（Corollary 4.2）を提供している。これは、外部の安全フィルターやバックアッププランナーを必要とせずに制約を満たせることを意味している。

主な貢献

原理的な定式化: 本研究は、制約付き軌跡生成をベイズ推論として再定義し、ヒューリスティックなガイダンスや事後的投影に対する原理的な代替案を提示している。
統一されたサンプラー: 事後分布を Feynman-Kac 重み付き SDE としてインスタンス化し、周辺保存型 SDE による再構成を通じて、拡散モデルから決定論的フローマッチング・ポリシーへとフレームワークを拡張した。
理論的収束: 得られる事後分布が、十分なペナルティ強度下で、実行可能かつ最適に近い解に収束することを証明している。
実証的検証: 学習済みのモデル（Diffusion Policy, GR00T-N1.6, $\pi0.5$ ）を用い、シミュレーションおよび実世界タスクを通じて、推論時に導入された非凸な障害物を回避できることを示し、手法を検証した。

実験結果

著者らは、Linear-Combination Guidance、CASF (Constraint-Aware Streaming Flow)、および JM2D (Joint Model-based Model-free Diffusion) を含むベースラインと比較して、いくつかのベンチマークで BayesFP を評価した。

シミュレーションタスク:
- Diffusion Policy: 円筒形の障害物が追加された RoboMimic タスク（Can, Transport）において、BayesFP は衝突率 0% を達成した（No Guidance では 30%、Linear Combination では 2%）。
- GR00T-N1.6: 円筒形および非凸な V 字型の障害物がある LIBERO-Object タスクにおいて、BayesFP はそれぞれ 84% および 75% の成功率を達成し、非凸な形状に苦戦したベースラインを大幅に上回った。
- $\pi0.5$ : ゼロショットの RoboLab タスク（例：FoodPacking, BBQSauce）において、BayesFP は線形結合ベースラインと比較して成功率を向上させ（例：HammersInLeftBin で 36% vs 28%）、衝突率を減少させた。
実世界実験:
- わずか 20 回のデモンストレーションで微調整された SO101 アームを使用し、BayesFP は、推論時にマグカップの障害物が導入された PickAndPlace タスク（衝突率を 98% から 6% に低減）と、不要なモードを抑制するために言語制約がコスト制約によって強化された BimodalMugSelection タスク（ベースラインの 72% に対し、100% の正しいマグ選択を達成）を成功させた。
アブレーション研究:
- 粒子数 ( $K$ ) を増やすと性能は向上したが、単純な障害物については $K=4$ 付近で飽和した。
- ガイダンスの強さ $|\beta|$ を大きくすると、制約違反が指数関数的に減少した。これは理論的予測と一致している。

意義と主張

本論文は、BayesFP が拡散およびフロー・ポリシーの両方に対して、統一された、推論時、再学習不要のサンプラーであることを主張している。その主な意義は以下の通りである：

原理的なガイダンス: 分布の和からサンプリングする線形結合手法とは異なり、BayesFP は事前分布とコスト尤度の真の積（事後分布）からサンプリングするため、制約に対して数学的に一貫した扱いを保証する。
非凸性の処理: 局所的な勾配補正を適用するのではなく、事後分布から軌跡全体をサンプリングすることで、非凸な障害物やマルチモーダルな解空間を自然に扱うことができる。
汎用性: 本フレームワークは、ベースとなるポリシーのアーキテクチャ（拡散またはフロー）や制約の性質に依存せず、それらが微分可能なコスト関数としてエンコードできる限り適用可能である。

著者らは、符号付き距離関数（SDF）の構築に伴う逐次的なプロセスによる計算速度の低下（1.25–2倍）や、粒子シミュレーションによるオーバーヘッドといった限界についても認めているが、これらは並列 GPU 実行によって緩和される。また、コスト関数が微分可能である必要があることも指摘している。今後の展望として、フレームワークを低レイテンシ制御のためのストリーミング・フロー・ポリシーへ拡張することや、より豊かな制約表現を取り入れることが挙げられている。