A note on the unique properties of the Kullback--Leibler divergence for sampling via gradient flows

技術的サマリー：勾配フローによるサンプリングにおけるカルバック・ライブラー発散の固有特性に関する注記

問題提起
本論文は、正規化定数までしか密度が既知ではないターゲット確率分布 $\pi$ からのサンプリングという根本的な問題に取り組んでいる。これは計算統計学および機械学習において普遍的な課題である。この問題に対する標準的なアプローチは、確率分布の空間における最適化タスクとしてサンプリングを定式化し、候補分布 $\mu$ とターゲット $\pi$ の間の非類似度を測る発散汎関数 $F(\mu)$ を最小化することを目指すものである。この最適化は通常、確率測度の空間上で定義された勾配フローによって解かれ、ここで選択される計量（例えば、ワッサーシュタイン計量、フィッシャー・ラオ計量）が、フローを支配する特定の微分方程式を決定する。

重要な実用的制約として、これらの勾配フローから導出される多くのサンプリングアルゴリズムは、$\pi$ の正規化定数の知識を必要とする点が挙げられる。しかし、ほとんどの現実的な設定において、この定数は扱いにくい（intractable）ものである。逆カルバック・ライブラー（KL）発散は、その関連する勾配フロー（ランジュバン拡散やフィッシャー・ラオフローなど）が正規化定数の必要性を自然に回避するため広く用いられているが、より広範な発散の家族の中で なぜ KL 発散のみがこの性質を持つのかという理論的根拠は、完全には確立されていなかった。

手法
著者らは、KL 発散、$\beta$-発散、および $L_2$ ノルムを含む柔軟な発散の家族であるブレグマン発散のクラスを調査する。彼らは、支配測度 $\lambda$ に対する $\mu$ と $\pi$ の密度に対して作用する凸汎関数 $\Phi$ を通じて、ブレグマン発散 $B_\Phi(\mu|\pi)$ を定義する。

核心的な手法論的アプローチは、ターゲット分布のスケーリングに対する勾配フローの挙動を分析することである。具体的には、ターゲット $\pi$ がスケーリングされたバージョン $c\pi$（ただし $c > 0$）に置き換えられた際、発散 $F(\mu) = B_\Phi(\mu|\pi)$ の勾配フローが不変となる（または同等の最小化問題につながる）条件を調査する。

分析は 2 つの段階で進行する：

1. 厳密な不変性：著者らはまず、差 $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ が $\mu$ に依存しないという条件を検討する。これにより、$\pi$ と $c\pi$ に対する第一変分（汎関数微分）$\delta F / \delta \mu$ が同一となり、勾配フローの力学が厳密に変化しないことが保証される。
2. 緩和された不変性：次に、勾配フロー自体が乗数定数だけ異なっても、$D(\mu|\pi)$ と $D(\mu|c\pi)$ の最小化点が一致するという緩和された条件を検討する。これは $D(\mu|\pi) - D(\mu|c\pi) = K \cdot D(\mu|\pi) + K'$ として形式化される。

著者らは、関数解析および凸関数の性質を活用して、これらの不変性を満たす生成関数 $\Phi$（ブレグマン発散の場合）および凸関数 $f$（$f$-発散の場合）に対する必要条件を導出する。

主要な貢献と結果

1. ブレグマン発散における KL の一意性（命題 1）：
   主要な結果は、カルバック・ライブラー発散が、差 $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ が $\mu$ に依存しないような（密度によって定義されるクラス内の） 唯一の ブレグマン発散であることを確立している。

   • 証明の概要：差が $\mu$ に依存しないことを要求することで、著者らは生成関数の導関数 $\Phi'$ に関する関数方程式を導出する。この方程式を解くことで、$\Phi'(t)$ が $a \log t + b$ の形式でなければならないことが明らかになる。その結果、生じる発散は KL 発散に比例する（$B_\Phi(\mu|\pi) = a \cdot KL(\mu|\pi)$）。
   • 含意：他のすべてのブレグマン発散（$\beta$-発散や $L_2$ を含む）において、勾配フローは $\pi$ の正規化定数に明示的に依存する。$\pi$ をその正規化されていないバージョン $\gamma$ に置き換えると、勾配フローの力学が変化し、定数の知識なしには標準的なサンプリング実装が無効となる。

2. $f$-発散への拡張（命題 3）：
   著者らは $f$-発散に対して緩和された条件 (11) を分析する。彼らは、この条件を満たす $f$-発散は以下のもののみであると特定する：

   • 順方向カルバック・ライブラー発散（$KL(\pi|\mu)$）。
   • 周期関数を含む特定の複雑な $f$-発散の家族（式 12）。
   • 注記：順方向 KL が特定されたものの、この発散に対する勾配フローは追加の近似なしには実装が困難であることが論文で指摘されている。特定された複雑な家族は理論的に興味深いものの、本論文において実用的で実装可能なサンプリングアルゴリズムをもたらすことは示されていない。

3. 他の家族の除外：
   本論文は、正規化定数を回避する他の手法（特定のカーネルを用いたカーネル・スタイン不一致や最大平均不一致など）が存在するものの、これらは主要な定理で使用される標準的なブレグマンまたは $f$-発散の定義には該当しないことを明確にしている。この結果は、ブレグマンおよび $f$-発散の枠組み内において、KL 発散を唯一の解として特異的に隔離するものである。

意義と主張
本論文は、勾配ベースのサンプリング手法（ランジュバン力学、SVGD、逐次モンテカルロなど）におけるカルバック・ライブラー発散の広範な経験的成功に対する、厳密な理論的根拠を提供すると主張している。

• 理論的完全性：この結果は、Lebesgue 密度の文脈において $f$-発散に対する同様の一意性を確立した Chen ら [2023] の先行研究を補完する。本論文は、より広範なブレグマン発散のクラスへの範囲を拡張し、離散測度も含んでいる。
• 実用的ガイダンス：これらの知見は、尾部の挙動の捕捉やモードのターゲティングに望ましい特性を持つにもかかわらず、$\alpha$-発散や$\beta$-発散などの代替発散が、正規化されていないターゲットで機能するサンプリングアルゴリズムを生み出すことに一般的に失敗する理由を説明する。著者らは、正規化定数を知らずに勾配フローを使用したい場合、これらの標準的な発散家族内では、KL 発散（または実装がより困難な順方向 KL）が本質的に唯一の実行可能な選択肢であると主張する。
• 限界：著者らは控えめに、正規化定数を回避できる非標準的な発散（カーネル・スタイン不一致など）の存在を否定するものではないと注記しているが、ブレグマンおよび $f$-発散のクラスの境界を明確に画定している。

要約すると、本論文は、正規化定数の知識なしに勾配フローによるサンプリングを可能にする発散の能力が、ブレグマンおよび $f$-発散の家族内においてカルバック・ライブラー発散に固有かつ定義的な特性であることを実証している。