技術的サマリー：オフライン強化学習のためのエントロピー正則化付随マッチング

問題定義

本論文は、フローマッチングモデルなどの表現力豊かな生成方策を利用するオフライン強化学習（RL）に内在する「サポート束縛ジレンマ（SBD）」に対処する。連続時間フレームワークである付随マッチング（QAM）は、不安定なソルバーの逆伝播を回避することで方策最適化を安定化させるが、オフラインデータセットの固定された行動分布（$\pi_\beta$）に厳密に束縛されたままである。この依存性は、以下の 2 つの重要な限界を生み出す：

1. 人気バイアス（密度の前面）： 最適化は、行動事前分布への乗法的依存（$\pi^* \propto \pi_\beta \exp(Q/\tau)$）に依存する。データセット内で最適行動が稀な場合、消滅する$\pi_\beta$項が報酬信号を抑制する。これを克服するには積極的な温度スケーリングが必要となるが、これはクリティックの近似誤差を増幅させ、安定性を維持するためにエージェントに最適ではない高頻度行動を受け入れることを強いる。
2. ゼロサポートの罠（幾何学的な前面）： 最適行動が行動データのサポート外にある場合、$\pi_\beta = 0$となる。この構造的制約により、エージェントはこれらの領域に到達できなくなり、報酬信号の有無にかかわらず新たな行動の発見が停止する。

既存の回避策、例えばエージェントをデータ多様体から離脱させるために残差ガウス方策（QAM-Edit など）を付加する手法は、しばしば連続常微分方程式（ODE）の定式化を破綻させる。これらのヒューリスティックは、一貫したベクトル場軌道を破壊し、単峰分布に関連する表現力のボトルネックを再導入する構造的なパッチとして機能する。

手法：最大エントロピー付随マッチング（ME-AM）

著者は、SBD を連続フロー定式化の内部で完全に解決する統合フレームワークである**最大エントロピー付随マッチング（ME-AM）**を提案する。ME-AM は、2 つの主要なメカニズムを統合する：

1. 報酬誘導混合事前分布（幾何学的拡張）

連続 ODE を破断することなく、孤立したデータクラスター間の幾何学的ギャップを埋めるため、ME-AM は訓練中に行動データセットを拡張する。

• メカニズム： データセットの行動の割合$\epsilon$を、補助的なガウスアクター（$\pi_\omega$）によって生成された合成ターゲットに置き換える。このアクターは、状態と経験的な行動を条件とした高報酬行動を予測するために、Soft Actor-Critic（SAC）スタイルの目的関数を通じて訓練される。
• 効果： ベースフローは混合分布$\pi_{mix} = (1-\epsilon)\pi_\beta + \epsilon\pi_\omega$に対して訓練される。これにより、構造的に健全な連続 ODE を維持しつつ、モデルが分布外（OOD）モードへノイズを輸送することを学習できるよう、有効な幾何学的サポートがネイティブに拡張される。

2. ミラー降下による密度平坦化（エントロピー最大化）

人気バイアスを緩和するため、ME-AM は付随システム内で直接、微調整された方策の微分エントロピーを最大化する。

• メカニズム： 明示的な密度評価（計算コストが prohibitive）の代わりに、本手法は**関数ミラー降下（MD）**を採用する。エントロピー最大化のための関数勾配は、負のスコア関数（$-\nabla \log \pi$）に簡略化される。
• 実装： 負のスコアは、値勾配とともに付随 ODE の終端境界条件に直接注入される。終端境界（$t \to 1$）における数値的不安定性を回避するため、分散重み付きノイズ除去目的関数を通じて訓練された軽量な補助スコアネットワーク（$S_\psi$）が用いられる。
• 効果： このプロセスは、拡張されたサポート全体にわたる鋭い行動密度を平坦化し、エージェントが厳密な温度スケーリングが必要とする極端で誤差を増幅させる対比なしに、高報酬行動を強調することを可能にする。

理論的定式化

統合された目的関数は、静的な混合ベースとゆっくり移動するターゲットアンカーのバランスを取る補間参照フロー（$v_{ref}$）と微調整されたベクトル場を整合させる。著者は（定理 2 において）、最適な定常方策が以下に収束することを証明する：
$$\pi^*(a|s) \propto (\pi_{mix}(a|s))^{\delta(s)} \exp\left( \frac{1}{\kappa(s)} Q_\phi(s, a) \right)$$
ここで、$\delta(s) \in (0, 1)$は状態依存の指数であり、数学的に事前分布密度の平坦化を保証し、探索を経験的データ頻度から切り離す。

主な貢献

1. 統合フレームワーク： ME-AM は、連続フロー定式化の内部でサポート束縛ジレンマを完全に解決する最初の手法であり、ODE 構造を破断する断片的な編集や事後処理ヒューリスティックの必要性を排除する。
2. 幾何学的および密度的解決： 学習可能なクリティック誘導混合事前分布を通じてゼロサポートの罠を、関数ミラー降下によるエントロピー最大化を通じて人気バイアスを、同時に解決する。
3. 理論的保証： 連続時間目的関数が、ターゲットとなる密度平坦化された定常方策に正確に収束することを確立する証明を提供する。
4. 堅牢な実装： 終端境界における解析的スコアの数値的爆発を回避するため、分離された補助スコアパラメータ化を利用し、安定した訓練を確保する。

実験結果

著者は、スパースな報酬と複雑な多峰性行動を特徴とするOGBench（puzzle-4x4 および cube-triple）の 2 つの困難なドメインで ME-AM を評価した。

• オフライン性能： ME-AM は、QAM、FEdit、CGQL、ReBRAC などを含む多様な最先端（SOTA）手法と比較して、競争力のある、あるいは優れた性能を示した。puzzle-4x4 ドメインにおいて、ME-AM は（集計された）グローバル成功率**56%**を達成し、次点の手法（QAM-E の 37%）を大幅に上回った。
• アブレーション研究：
  • 幾何学的拡張： 行動サポートのみに依存すること（$\epsilon=0$）は、スパースなドメインにおいて性能の完全な崩壊を引き起こし、混合事前分布の必要性を確認した。
  • KL 正則化： 幾何学的拡張中に確率性が導入された場合、訓練を安定させるために明示的な KL 経路制約が不可欠であることが判明した。
  • ノイズフロア： 大きな評価ノイズフロア（$\sigma_{min} = 0.3$）は、特定のタスクにおいて性能を向上させ、空間的な平滑化因子として機能した。
• オフラインからオンラインへの微調整： ME-AM は、バニラ QAM に比べてオンライン性能を大幅に向上させ、QAM-edit と同等の結果を達成しながら、オンライン探索のための追加の編集方策の必要性を排除した。
• 効率性： 補助ネットワークにより訓練時間はわずかに増加するが、推論速度（0.14 ms/ステップ）は標準的なフローマッチング方策と一致する。これは、補助コンポーネントが展開前に計算グラフから切断されるためである。

意義と主張

本論文は、ME-AM が、報酬の最大化と分布外外挿の回避との間の根本的な緊張関係を解決することで、オフライン RL における構造的な進歩を表すと主張する。有効な行動多様体を拡張し、単一の整合的な連続時間フレームワーク内で経験的行動密度を平坦化することにより、ME-AM は、以前のヒューリスティックアプローチの不安定性や表現力の制限なしに、スパースなオフラインデータセットから堅牢で最適な方策を抽出することをエージェントに可能にする。著者は、このアプローチが、連続最適制御の数学的保証を維持しつつ、データサポートのない領域における新たな行動の発見を可能にすることを強調している。