技術要約：償却サンプリングのための強化型逐次モンテカルロ法（Reinforced Sequential Monte Carlo）

問題設定

本論文は、正規化定数 $Z$ が未知である高次元の非正規化確率分布 $\pi(x) = R(x)/Z$ からサンプリングするという課題に取り組んでいる。この問題は、ベイズ推論や計算化学（例：分子配座のサンプリング）において中心的な役割を果たす。古典的な手法であるマルコフ連鎖モンテカルロ法（MCMC）や逐次モンテカルロ法（SMC）は堅牢であるが、収束に多くのステップを必要とすることが多い。対照的に、償却化された手法（例：拡散モデル、GFlowNet）は、有限の時間内にサンプルを生成するためにパラメータ化されたサンプラーを学習するが、モード崩壊、マルチモーダルな景観における探索不足、あるいはオンポリシーの目的関数を用いた際の不安定性に悩まされることが多い。著者らは、粒子ベースの手法の探索能力と、償却サンプリングの効率性を組み合わせる相乗効果を追求している。

手法

提案されたフレームワークである**強化型逐次モンテカルロ（Reinforced SMC）**は、階層的変分推論（HVI）、最大エントロピー強化学習（MaxEnt RL）、およびSMC/アニーリング重点サンプリング（AIS）を統合するものである。

1. 理論的統合

著者らは、これら3つの分野間の数学的なつながりを確立している：

• HVI & MaxEnt RL: 目標分布からのサンプリングは、状態が $(n, x_n)$ であり、アクションが遷移 $x_{n+1}$ である決定論的マルコフ決定過程（MDP）として定式化される。目的は、期待報酬（対数確率）とエントロピーを最大化する方策 $\vec{p}_\theta$ を学習することである。これは、結合軌跡分布と目標分布との間の逆カルバック・ライブラー（KL）ダイバージェンスを最小化することと同等である。
• SMCとの接続: SMCにおける重要度ウェイトは、GFlowNetで使用される軌跡バランス（TB）および部分軌跡バランス（SubTB）の目的関数における項に対応する。具体的には、SubTB損失がゼロに最小化される場合、提案カーネルは中間ターゲットに対して詳細釣合いを満たし、重要度ウェイトは一様になる。

2. コアアルゴリズム：SMCを用いたオフポリシー学習

中心となる革新は、SMCをオフポリシーで償却サンプラーを訓練するための**行動方策（behaviour policy）**として使用することである。

• 相互の利益: 償却サンプラー（方策 $\vec{p}_\theta$ およびフロー関数 $F^\phi_n$）は、SMCのための提案カーネルと中間ターゲットを提供する。その見返りとして、SMCは目標分布をより良く探索する（現在のサンプラーが見逃している可能性のある高確率領域を含む）サンプルを生成する。これらのSMCサンプルは、償却サンプラーの更新に使用される。
• 学習目的関数:
  • 方策パラメータ $\theta$ は、**軌跡バランス（TB）**損失を用いて更新される。
  • フロー（中間ターゲット）パラメータ $\phi$ は、**部分軌跡バランス（SubTB）**損失を用いて更新される。
  • 著者らは、$\theta$ にTBを用い、$\phi$ にSubTBを用いることが最も安定した学習をもたらすことを経験的に発見している。

3. 主要な技術的構成要素

• 重要度重み付き経験再生（IW-Buf）: 過去のデータを活用するために、著者らはリプレイバッファを導入している。ここでは、サンプルは標準的なRLのように時間差誤差（TD誤差）によってではなく、その重要度ウェイトによって優先順位付けされる。これにより、バッファは $\pi(x)$ に弱収束する目標分布の粒子近似を維持することができる。
• 適応型ウェイト・テンパリング: 重要度ウェイトの高分散（これが学習の不安定性を引き起こす）を緩和するために、適応的な逆温度パラメータ $\lambda$ が導入されている。$\lambda$ は、過度なバイアスを導入することなく、有効サンプルサイズ（ESS）がユーザー定義の閾値を上回るように動的に調整され、ウェイトを平滑化する。
• 適応型リサンプリング: SMCループにおけるリサンプリングは、ESSが閾値を下回った場合にのみ実行され、計算コストとウェイトの退化のバランスを取る。
• フロー学習: 固定された幾何学的アニーリングスケジュールではなく、中間ターゲット $F^\phi_n$ を学習する。著者らは、学習可能なアニーリングスケジュール $\beta^\phi_n$ と学習可能な補正項 $\tilde{F}^\phi_n$ を組み合わせたパラメータ化を提案しており、これによりモデルが真の中間ターゲットに近似できる。

主な貢献

1. 統一されたフレームワーク: 本論文は、HVI、MaxEnt RL、およびSMC/AISの初の統一的な扱いを提供し、MaxEnt RLにおける最適な方策がSMCにおける最適な提案に対応することを実証している。
2. オフポリシー学習スキーム: SMCによって生成されたオフポリシーサンプルを用いて償却サンプラーを訓練する方法を導入し、サンプラーがSMCの提案を改善し、SMCがサンプラーの探索を改善するというフィードバックループを構築した。
3. 安定化技術: 重要度重み付き経験再生バッファと、勾配の分散を減少させ学習の安定性を向上させるための適応型ウェイト・テンパリングの導出。
4. 学習された中間ターゲット: 固定されたアニーリングスケジュールを超えて、SMCの中間分布（フロー）を学習するための原理的なアプローチ。

実験結果

本手法は、連続空間および離散空間の両方における合成マルチモーダルターゲット、およびアラニン・ダイペプチドのコンフォメーションのボルツマン分布を用いて評価された。

• 連続空間（拡散サンプラー）:
  • 勾配フリー設定: GMM40、Funnel、ManyWellなどのベンチマークにおいて、提案手法（TB/SubTB + SMC + IW-Buf）は、EUBOおよびSinkhorn距離においてオンポリシーのベースライン（DDS, LV, TB）を大幅に上回り、優れたモード被覆とモード崩壊の抑制を示した。
  • 勾配ベース設定: 複雑なターゲット（Robot4やGMM40など）において、高度なベースラインであるSCLDやCMCDと比較して性能が向上した。特に、鋭く分離されたモードが存在するシナリオにおいて顕著であった。
• 離散空間（シーケンス生成）:
  • 生化学的シーケンス設計（QM9, sEH, TFbind8, L14-RNA1）に適用した結果、IW-Bufのアプローチは、標準的なオンポリシー学習や他のバッファ優先順位付けスキームと比較して、一貫して高いモード被覆（より低いEUBO）と目標報酬とのピアソン相関を示した。
• 分子コンフォメーション（アラニン・ダイペプチド）:
  • 本手法はボルツマン分布を良好に近似し、収束に失敗したベースラインを上回った。複雑なエネルギー景観をナビゲートする上で、SMCと経験再生の導入が極めて重要であった。

意義と主張

本論文は、償却サンプリングとモンテカルロ法の間の溝を埋めることで、機械学習の分野を進展させると主張している。

• 相乗効果: MC手法（探索、堅牢性）と償却手法（速度、汎用性）の強みを組み合わせることが可能であることを示している。MC手法は学習されたカーネルの恩恵を受け、償却手法はMCによるオフポリシー探索の恩恵を受ける。
• 汎用性: フレームワークは特定の学習損失の形式を仮定しておらず（一般的なオフポリシー目的関数で動作する）、連続空間と離散空間の両方に適用可能である。
• 安定性: 提案された技術（適応型テンパリング、学習されたフロー）は、特に高次元かつマルチモーダルな設定におけるニューラルサンプラーの学習における一般的な不安定性を解決している。

著者らは、本アプローチがオンポリシー学習よりも大幅な改善を示す一方で、今後の課題として、より優れたSMC用のターゲット分布、中間ターゲットを学習するための代替的な目的関数、および高次元のベイズ事後分布や離散的な生物学的発見問題への応用が挙げられるとしている。