Data Free Training of Diffusion Models for Lattice Field Theories

技術要約：格子場理論のためのデータフリー拡散モデル学習

問題提起
平衡状態の場配置（field configurations）のサンプリングは、格子場理論（LFT）における主要な計算上のボトルネックであり、特にシミュレーションが臨界領域や連続極限に近づく場合に顕著となる。ハイブリッドモンテカルロ法（HMC）などの伝統的なマルコフ連鎖モンテカルロ（MCMC）法は、積分自己相関時間が大幅に増大する「臨界減速（critical slowing down）」に悩まされており、独立した配置の生成が極めて高コストとなっている。正規化流（normalizing flows）や拡散モデルのような生成サンプラーは、このボトルネックを回避する潜在的な解決策となるが、これらをLFTに標準的に適用する場合、「循環依存」という問題に直面する。すなわち、拡散モデルの学習には通常、ターゲット分布（ボルツマン分布）からの代表的なサンプルが必要であるが、それこそが生成が困難な構成要素そのものである。既存のデータフリーな代替手法（逆カルバック・ライブラー・ダイバージェンスや軌道ベースの学習に基づくもの）は、高い計算コスト、重要度重み付けによる不安定性、あるいは分布の重なり（overlap）の悪さに対する敏感さといった課題を抱えている。

手法
著者らは、事前計算されたターゲット・アンサンブルを必要とせず、格子作用 $S[\phi]$ から直接学習する、拡散モデルのデータフリー学習フレームワークを提案している。本手法の核となるのは、周辺分布のスコア $\nabla \log p_t$ と作用の勾配 $\nabla S[\phi]$ を関連付ける**ターゲット・スコア恒等式（Target Score Identity; TSI）**である。

1. スコア恒等式と分散制御:

   • 標準的なデノイジング・スコア・マッチング（DSM）は、真のサンプル $\phi(0) \sim p$ を必要とし、拡散時間 $t \to 0$ において分散が爆発する**デノイジング・スコア恒等式（DSI）**を用いる。
   • TSIは、作用の勾配を利用することで自己生成された配置を用いた学習を可能にするが、$1/a(t)$ という前因子により、$t \to 1$（事前分布の端）において分散が爆発するという問題を抱えている。
   • これらの発散を解決するため、著者らは**制御変数スコア恒等式（Control Variate Score Identity; CVSI）**を採用している。この手法は、DSI推定量とTSI推定量を、最適な時間依存係数 $c^*(t)$ を用いて線形結合するものである。この係数は、混合されたターゲットの分散を最小化するように導出され、全拡散スケジュール $t \in [0, 1]$ にわたって分散が有限に保たれることを保証する。

2. 学習手順:

   • 自己整合的ループ（Self-Consistent Loop）: モデルは、ガウス事前分布（$t=1$）から場配置（$t=0$）へと逆方向の確率微分方程式（SDE）を積分することで、自身の学習用構成を作成する。
   • バッファのリフレッシュ: 生成された配置のリプレイバッファは定期的に更新される。モデル自身の構成を用いて、最適な混合係数 $c^*(t)$ の計算に必要なデータの分散 $\sigma^2_{\text{data}}$ を推定する。
   • ノイズ・スケジュール: 分散爆発型（VE）と分散保存型（VP）の特性を組み合わせた混合ノイズ・スケジュールを使用する。全分散は $\tau^2 = 1$ に固定されており、これにより事前分布が最大ノイズレベルに依存しないようにし、学習ダイナミクスを安定させている。
   • 目的関数: ニューラルネットワークが予測するスコアとCVSIターゲットとの間の平均二乗誤差を最小化する。これには、作用 $S[\phi]$ およびその勾配 $\nabla S[\phi]$ の点ごとの評価のみが必要である。

主な貢献

• データフリー学習フレームワーク: 本論文は、TSM（Target Score Matching）が格子場理論における実用的なフレームワークであることを確立し、拡散モデルが格子作用と自己生成されたサンプルのみを用いて学習可能であることを示した。
• CVSIの定式化: 著者らは、安定した非重み付け学習目的関数としてCVSIを導入し、検証した。この定式化は、重要度重み付けを用いた手法（iDEMなど）に伴う高い分散変動や、純粋なTSIまたはDSIに関連する発散の問題を回避している。
• 安定化メカニズム: 制御変数ターゲットと固定分散ノイズ・スケジュール、および動的な分散推定を組み合わせることで、重要度重み付けや事前計算された参照データを必要とせずに、安定した学習を実現している。

結果
本手法は、格子サイズ $L \in \{4, 8, 16\}$ の2次元 $\phi^4$ 理論における対称相、臨界相、および破れた相においてベンチマークテストが行われた。

• 性能: CVSIで学習されたサンプラーは、HMC参照データ（「オラクル」DSI）を用いて学習された拡散モデルと同等の有効サンプルサイズ（ESS）および自由エネルギー推定誤差を達成した。
• フェーズの網羅性: 本手法は、テストされたすべての相において、物理量（平均絶対磁化、感受率、ビンダー・カミュラント）の不偏推定値を正常に生成した。
• 安定性: 重要度重み付けを用いた変種（IW-TSI）は、高分散のためにターゲット分布の学習に苦戦したが、非重み付けのCVSIアプローチは、重要度重み付けが不安定になる大きな格子体積においても、迅速かつ安定して収束した。
• 効率性: 学習ダイナミクスの解析により、CVSIは生のTSIと比較して学習を加速させ、HMCによる学習用アンサンブル生成という計算コストを負うことなく、データ駆動型のDSIの収束速度に一致することを示した。

意義および主張
本論文は、格子場理論における効果的な拡散ベース・サンプリングにおいて、ターゲット分布に従った学習サンプルへのアクセスは必須条件ではないと主張している。ターゲット・スコア恒等式と制御変数定式化を活用することで、著者らは、格子作用から平衡格子分布を直接学習する経路を実証した。これにより、高価なMCMC学習アンサンブルや複雑なアニーリング手順の必要性が排除され、正確な物理予測を維持しつつ、計算効率の高い代替手段を提供している。著者らは、本研究がスカラー場理論に焦点を当てているものの、本手法はアニーリングベースの手法とも直交しており、将来的なスケーラビリティ向上のためのハイブリッド戦略としての可能性を示唆している。これは、参照構成の生成自体が大きなボトルネックとなる格子ゲージ理論のような、より大規模な格子や複雑な理論への拡張に向けた有望な方向性である。