技術要約：リバース・フロー・マッチング (Reverse Flow Matching, RFM)

1. 問題提起

本論文は、**拡散（Diffusion）およびフロー（Flow）ポリシーをオンライン強化学習（RL）**に適用する際の根本的な課題に取り組んでいる。これらの生成モデルは、その表現力の高さからオフライン強化学習や模倣学習において成功を収めてきたが、オンライン強化学習への展開においては、ターゲットとなる方策分布からの直接的なサンプルが得られないという問題に阻まれている。

最大エントロピー強化学習の枠組みにおいて、最適方策はアクションに対するボルツマン分布によって定義される：
$$\pi_{\text{new}}(a \mid s) \propto \exp\left(\frac{1}{\lambda} Q(s, a)\right)$$
利用可能な訓練データが容易に存在する標準的な生成モデリングとは異なり、このターゲット分布は非正規化されており、一般に直接サンプリングすることは**困難（intractable）**である。これを回避するために既存の手法は、拡散ポリシーにおける2つの異なる系統に分かれてきた：

1. ノイズ期待値（Noise-Expectation）: ノイズサンプルの加重平均を使用する（例：Q重み付きノイズ推定）。
2. 勾配期待値（Gradient-Expectation）: Q関数の勾配の加重平均を使用する（例：反復的デノイジング・エネルギー・マッチング）。

本論文は、これら2つの目的関数の間の形式的な関係が依然として不明確であり、それらをより一般的な定式化へと統合できるかどうかも未知であると指摘している。さらに、既存の手法は特定のノイズ・スケジュールの設定に固執しがちであり、拡散ポリシーに限定されていたため、ボルツマン分布からサンプリングするためのフロー・ポリシーの学習は未解決の問題として残されていた。

2. 手法：リバース・フロー・マッチング (RFM)

著者らは、拡散およびフローモデルの訓練を、直接的なターゲットサンプルを用いない**事後平均推定（posterior mean estimation）**問題として再定義する統一フレームワーク、**リバース・フロー・マッチング（RFM）**を提案する。

2.1. フォワード構成からリバース推論へ

標準的な条件付きフロー・マッチングは、フォワード構成（前方構築）に依存している。すなわち、ソース $X_0 \sim p_0$ とターゲット $X_1 \sim p_1$ をサンプリングし、それらを補間して $X_t$ を得る。RFMはこの視点を逆転させる。$X_1$（ボルツマン分布からのアクション）は直接サンプリングできないため、本フレームワークでは中間状態 $X_t$ を観測された証拠として扱い、それを生成した潜在変数（$X_0$ または $X_1$）を推論する。

補間 $X_t = \alpha_t X_1 + \beta_t X_0$ が与えられたとき、$X_t$ が与えられた下での $X_0$ の事後分布は以下の通りである：
$$q^*_{0|t}(x_0 \mid x_t) \propto p_0(x_0) p_1\left(\frac{1}{\alpha_t}x_t - \frac{\beta_t}{\alpha_t}x_0\right)$$
訓練目的関数は、速度場 $v_\theta$ を、速度の事後平均（これは $X_0$ または $X_1$ の事後平均の関数である）へと回帰するように変換される。

2.2. ランジュバン・スタイン演算子とコントロール・バリアート

核心となる計算上の課題は、ターゲット密度 $p_1$ が正規化定数を除いてしか既知でない場合に、事後平均 $\mathbb{E}[X_0 \mid X_t]$ を推定することである。本論文では、これらの推定量の分散を低減するために、**ゼロ平均のコントロール・バリアート（制御変数）を構成するランジュバン・スタイン演算子（Langevin Stein operators）**を導入している。

• コントロール・バリアートの構成: 十分に滑らかな関数に適用されたランジュバン・スタイン演算子の期待値がゼロになるという性質を利用して、著者らはベクトル値のコントロール・バリアート $g_{\Phi_t}$ を構築する。
• 分散低減: 事後平均の推定量は以下のように修正される：
  $$\hat{\mu} = \mathbb{E}_{X_0 \sim \bar{q}} \left[ \frac{w(X_0) (X_0 + g_{\Phi_t}(X_0))}{\sum w(X_0)} \right]$$
  ここで、$w$ は重要度重みであり、$g_{\Phi_t}$ はスタイン演算子から導出されたコントロール・バリアートである。
• 統一された推定器: 著者らは、テスト関数 $\Phi$ によってパラメータ化された一般的なクラスの推定器を導出する。
  • パラメータ $\eta = 0$ と設定すると、**ノイズ期待値（Noise-Expectation）**ファミリーが復元される。
  • パラメータ $\eta = 1$ と設定すると、**勾配期待値（Gradient-Expectation）**ファミリーが復元される。
  • このフレームワークにより、Q値とQ勾配を原理的に組み合わせて、分散低減された推定器を形成することが可能となる。

2.3. オンラインRLにおけるフロー・ポリシーへの適用

本フレームワークは、連続制御タスクにおけるフロー・ポリシーのためにインスタンス化されている：

• 潜在空間へのマッピング: アクションの境界（例：$a \in [-1, 1]^d$）を扱うため、フローは $a = \tanh(u)$ となる制約のない潜在空間 $u$ で学習される。これにより、確率パスを破壊するヒューリスティックな切り捨てを回避できる。
• ヤコビアン補正: 潜在空間におけるターゲット密度には、変数変換によるヤコビアン因子が含まれており、これによりアクション空間における正しいボルツマン分布が保証される。
• 訓練ループ: アクターは、予測速度とRFMターゲット（自己正規化重要度サンプリングとコントロール・バリアートを介して推定された事後平均速度）の二乗誤差を最小化することによって訓練される。

3. 主な貢献

1. 実行可能なRFM損失: 本論文は、直接的なターゲットサンプルの欠如という困難な問題を、事後平均推定問題へと変換する損失関数を提案しており、これは拡散モデルとフローモデルの両方に適用可能である。
2. スタイン演算子による一般化された推定器クラス: ランジュバン・スタイン演算子を導入することで、著者らは一般的なクラスの事後平均推定器を導出した。彼らは、既存のノイズ期待値法と勾配期待値法が、単にこの広範なクラスの特定事例（$\eta=0$ および $\eta=1$）であることを示している。これにより、Q値とQ勾配の情報を組み合わせて訓練の安定性を向上させることが可能となった。
3. フロー・ポリシーへの拡張: 本フレームワークは、生成モデルの能力を拡散モデルからフロー・ポリシーへと拡張する。これにより、標準的なガウスノイズを超えた一般的なソース分布を取り入れる柔軟性が活用できる。
4. 実証的検証: 著者らは、連続制御タスクにおけるRFMを実装し、拡散ポリシーのベースラインと比較して優れた性能と安定性を実証した。

4. 実験結果

本論文は、2つの側面からRFMを評価している：

• トイ・エグザンプル（2D Two-Moon分布）: RFMを拡散ベースライン（iDEMおよびQNE）と比較した。RFMは、拡散モデルと同じ訓練計算予算を用いながら、ベースラインが100ステップを必要としたのに対し、わずか20ステップの推論で、最も低い分布乖離（Sliced Wasserstein, MMD, Sinkhorn）を達成した。
• 連続制御ベンチマーク（DeepMind Control Suite）: RFMは、SAC、Q-score matching (QSM)、MaxEntDP (QNE)、Diffusion Q-sampling (DQS)、QVPOの5つのベースラインに対し、8つの環境でテストされた。
  • 安定性: RFMは、8つの環境すべてにおいて一貫して良好なパフォーマンスを示した唯一のアルゴリズムであった。ベースラインは特定のタスクで著しく苦戦した。
  • 効率性: RFMは推論にわずか10フローステップを使用したのに対し、拡散ベースラインは20ステップを必要とした。
  • 性能: RFMは、すべてのベースラインよりも高い総報酬と優れた安定性を達成した。

5. 意義と主張

本論文は、リバース・フロー・マッチングが、オンラインRLにおける生成方策の訓練に関する、これまで別々であったアプローチを厳密に結びつける統一的な理論的枠組みを提供すると主張している。逆方向の推論的視点を採用することで、直接的なターゲットサンプルが得られないという問題を解決している。

その意義は以下の点にある：

• 統一: ノイズ期待値法と勾配期待値法は、競合するパラダイムではなく、一般的な事後平均推定問題の特定事例であることを明確にした。
• 安定性と効率性: 分散低減のためのランジュバン・スタイン演算子の使用は、より安定した訓練をもたらし、拡散ベースラインと比較してより少ない推論ステップ（フローステップ）を可能にする。
• 汎用性: フロー・ポリシーへの能力を拡張することに成功し、カスタマイズされたソース分布を通じてドメイン知識を取り入れ、複雑な連続制御タスクにおいて表現力豊かな方策を実用的に展開する道を開いた。

著者らは、本フレームワークが既存の手法を統一するものである一方で、提案分布やコントロール・バリアートのパラメータの具体的な選択についてはさらなる最適化の余地があり、現在はオフポリシー・クリティックを用いたオンラインRL向けにインスタンス化されているとして、控えめなトーンを維持している。