技術的概要：トラスト領域 Q-共役マッチング（TRQAM）

問題定義

本論文は、事前学習済みフローポリシーに対するオフポリシー微調整の課題に取り組む。フローマッチングポリシーは、従来の単一モードガウスポリシーに優れる豊かで多モーダルな行動分布を提供するが、多段階のデノイジングプロセスによる暗黙的な定義により、勾配ベースのポリシー改善が不安定になる。サンプリング連鎖全体を通じた直接の逆伝播は計算コストが高く、不安定になりやすい。

既存の解決策は、付加的な残差を学習する（多段階ダイナミクスを無視する）か、ノイズ空間で動作する（凍結されたポリシーの表現力に制限される）ことで、この問題を回避しようとする。最近のアプローチである**Q-学習と共役マッチング（QAM）**は、微調整をメモリレスな確率的最適制御（SOC）問題として再定式化し、学習されたクリティックを用いて共役マッチングを通じてサンプリングプロセスを導く。しかし、著者は QAM に根本的な脆弱性があることを特定している：オフポリシー設定では、学習されたクリティックは必然的に不完全である。クリティックのわずかな近似誤差は、ポリシー更新が固定された「温度」（または逆温度 $\beta$）に依存する場合、指数関数的に増幅され、事前学習済み事前分布からの破壊的なドリフトを引き起こし、最終的にモデルの崩壊に至る。この不安定性は、勾配クリッピングを用いても解消されない。

手法：トラスト領域 Q-共役マッチング（TRQAM）

TRQAM は、トラスト領域メカニズムを SOC サンプリングダイナミクスに直接統合する、安定したオフポリシー微調整アルゴリズムを提案する。中核的な革新は、微調整済みポリシーと事前学習済み事前分布との間のパス空間カルバック・ライブラー（KL）ダイバージェンスの適応制御にある。

主要な理論的洞察

1. 誤差の指数関数的増幅: 著者は（補題 1 で）固定温度の共役マッチングがクリティック誤差の指数関数的増幅に苦しむことを定式化した。固定された $\beta$ は、信頼性の高いクリティックを活用すると同時に、信頼性の低いクリティックに対する防御を行うことができない。
2. $\lambda$ をトラスト領域パラメータとして: TRQAM は、SOC SDE の拡散係数を $\sqrt{\lambda}$ でスケーリングするスカラーパラメータ $\lambda$ を導入する。
3. 正確な KL 恒等式（定理 1）: ギルサノフの定理を用いて、著者は拡散を $\sqrt{\lambda}$ でスケーリングすることで、パス空間 KL ダイバージェンスが $\lambda$ の正確な閉形式関数となることを証明した：
   $$D_{KL}(P_u \parallel P_{base}) = \mathbb{E}_{X \sim P_u} \left[ \frac{1}{2\lambda} \int_0^1 \|u(X_\tau, \tau)\|^2 d\tau \right]$$
   これにより、パラメータ $\lambda$ とベースポリシーからの逸脱との間に直接的な構造的なリンクが確立される。
4. 終端 KL 上限（命題 1）: パス空間 KL は終端行動分布の KL を上から抑えるため、パス空間 KL を制御することは、最終的なポリシーの逸脱を実質的に制約することを保証する。

アルゴリズム的枠組み

KL 項を外部の損失ペナルティとして追加する（強力なクリティック勾配によって上書きされ得る）代わりに、TRQAM は $\lambda$ をサンプリングダイナミクス内に内在化する：

• サンプリング: 制御された SDE は拡散係数 $\sqrt{\lambda}\sigma(\tau)$ を使用する。$\lambda$ を調整することで SDE 自体を再構成し、制御されたダイナミクスをベースダイナミクスに近づけたり遠ざけたりする。
• 適応: アルゴリズムは、離散化された OT メモリレスサンプリャーから導出されたモンテカルロ代理モデルを通じて実現されたパス空間 KL（$\hat{D}_n$）を推定し、射影双対降下法を用いて $\lambda$ を動的に適応させる。
• 更新則: $\lambda$ は、目標 KL 予算 $\epsilon_{KL}$ を強制するように更新される：
  $$\lambda_{n+1} \leftarrow \max\{0, \lambda_n + \eta_\lambda (D_n - \epsilon_{KL})\}$$
  実現された KL が予算を超えると、$\lambda$ は増加し、ダイナミクスをより保守的にする。予算を下回ると、$\lambda$ は減少し、より積極的な改善を可能にする。

主要な貢献

1. 脆弱性の特定: 本論文は、固定温度の共役マッチングにおけるクリティック誤差の指数関数的増幅を特定・定式化し、Robomimic などのベンチマークにおいてモデル崩壊を引き起こす傾向を実証した。
2. 理論的リンク: 拡散係数を $\sqrt{\lambda}$ でスケーリングすることが、制御コストとパス空間 KL の間に正確な恒等式を生成し、$\lambda$ を原理的なトラスト領域パラメータに変えることを証明した。
3. アルゴリズム設計: TRQAM は、トラスト領域パラメータを SOC ダイナミクスに内在化し、双対降下法を通じて適応させる手法として提案された。これは、KL 境界を軟らかい損失ペナルティとしてではなく、サンプリングレベルで強制するものである。
4. 実証的優位性: 広範な実験により、TRQAM が先行手法が失敗する場所で安定した収束を達成し、最先端のベースラインを上回ることを示した。

実験結果

著者は、OGBenchベンチマークおよびRobomimic操作ベンチマークの50 タスクにおいて TRQAM を評価した。

• オフライン RL パフォーマンス: OGBench において、TRQAM は全体成功率 68% を達成し、最強のベースライン（DSRL の 46%）および以前の共役マッチング手法（QAM の 35%、QAM-E の 45%）を大幅に上回った。特に長視野および組み合わせタスクにおいて、その向上は顕著であった。
• 安定性: Robomimic において、固定温度手法（QAM、QAM-E）は、さまざまなハイパーパラメータ設定において、共役損失が $10^{20}$ まで発散し、成功率がほぼゼロに崩壊する現象を示した。対照的に、TRQAM はすべてのテストされた予算において安定を維持した。
• メカニズムの検証: 除去実験により以下のことが確認された：
  • 適応は必要である: 適応的 KL 予算は、固定された予算を上回る。
  • 内在化は必要である: SDE 内で $\lambda$ を内在化すること（TRQAM）は KL 予算を厳密に追跡するが、外部 KL 正則化は実現された KL が目標から大きく逸脱することを許容し、パフォーマンスの低下を招く。
• 感度: 目標 KL 予算 $\epsilon_{KL}$ は予測可能な制御ノブとして機能する。より厳しい予算は一般的に良いパフォーマンスをもたらすが、最適値はタスク構造（例えば、パズル -4x4 のように状態空間が大きいタスクではより大きな予算が有益であるなど）に応じて体系的に変化する。

意義と主張

本論文は、TRQAM がフローポリシーに対する既存のオフポリシー微調整手法に対する原理的かつ安定した代替案を提供すると主張している。ギルサノフの定理を通じてトラスト領域制約をサンプリングダイナミクスに内在化することで、TRQAM は QAM のような手法において不完全なクリティックによって引き起こされる「破壊的なドリフト」を回避する。

著者は、TRQAM をオンポリシー RL における TRPO（トラスト領域ポリシー最適化）および PPO（近接ポリシー最適化）のオフポリシー版として位置づけている。彼らは、価値ある行動事前分布として機能する事前学習済みフローポリシーにおいて、正確な KL 恒等式を通じて制御された逸脱を維持することが、忘却の破滅的発生やモデル崩壊を防ぐために不可欠であると論じている。この手法は、オフライン RL およびオンライン微調整への移行の両方に対する堅牢な解決策として提示され、安定性を犠牲にすることなく事前学習済みスキルを活用するための信頼できるメカニズムを提供する。