技術的概要：モーメント整合スコア平滑化による学習不要な生成サンプリング

問題提起

拡散モデルは、学習されたスコア関数によって導かれる前方ノイズ化プロセスを逆転させることでサンプルを生成する、生成モデリングにおける支配的なパラダイムとなっています。しかし、このスコアを近似するニューラルネットワークの学習は計算コストが高く、多くの場合 GPU を必要とします。最近の理論的研究は、拡散モデルの汎化能力が経験的スコアの暗黙的な平滑化に由来することを示唆していますが、経験的スコアの閉形式解（ガウス混合モデル）を直接利用すると、過学習（メモリーゼーション）を引き起こし、サンプルが学習データ点へ戻ってしまうという問題が生じます。

経験的スコアを平滑化しようとする既存の学習不要なアプローチ（例：$\sigma$-CFDM）は、重要な限界に直面しています。すなわち、「重心収束（barycentric collapse）」に陥るという点です。平滑化帯域幅が大きすぎると、サンプリング器は学習データの重心の凸結合のみを生成し、低多様性でぼやけた不自然なサンプルをもたらします。逆に、平滑化が不十分であれば過学習を防げません。さらに、既存の方法はハイパーパラメータ（平滑化帯域幅とモンテカルロサンプル数）に対して極めて敏感であり、学習データのグローバルな幾何学的構造（平均と共分散）を保持するメカニズムを欠いています。

手法：MM-SOLD

著者らは、単純なスコア平滑化の歪みを修正しつつ局所的な補間を保持する、学習不要な相互作用粒子サンプリング器である**モーメント整合スコア平滑化過減衰ランジュバン動力学（Moment-Matched Score-Smoothed Overdamped Langevin Dynamics: MM-SOLD）**を提案します。

中核メカニズム

MM-SOLD は、平滑化されたスコア場下で $P$ 個の粒子の系を進化させますが、各反復において粒子雲の経験的平均と共分散に厳密な制約を課します。

1. スコア平滑化: この手法は、学習データの経験的ガウス混合モデル（GMM）から導出された平滑化されたスコアを利用します。スコアは、ガウスカーネル（帯域幅 $\sigma$）との畳み込みによって平滑化され、モンテカルロ推定によって近似されます。
2. モーメント制約: 独立したサンプリング器とは異なり、MM-SOLD は粒子を結合させ、その経験的平均 $\hat{\mu}_P$ と共分散 $\hat{\Sigma}_P$ が、常に学習データの経験的モーメント（$\mu^*$, $\Sigma^*$）と一致することを保証します。
3. 制約付き動力学: これらの制約を強制するため、粒子系は中心化されスケーリングされたステifel 型多様体（$M_P$）に写像されます。動力学は変換空間 $Y$ で定式化され、ここで制約は直交条件（$Y^\top Y = P I_d$ および $1_P^\top Y = 0$）となります。
4. アルゴリズム: サンプリング器は、過減衰ランジュバン動力学に対する Leimkuhler–Matthews（LM）スキームを使用します。各ステップにおいて、勾配とノイズは多様体の接空間 onto に射影され、更新された粒子は中心化された縮小 QR 分解を通じて多様体へ再帰（retract）されます。
5. 効率性: 高次元データ（例：画像）を処理するために、この手法は対称摂動（antithetic perturbations）と射影空間ガウスサンプリングを用いた局所近傍スコア推定器を採用し、全データセットの評価に伴う計算コストを回避します。

理論的特徴付け

本論文は、粒子数無限大の極限（$P \to \infty$）において、MM-SOLD 粒子系の定常周辺分布が決定的な極限に収束することを証明しています。この極限は、固定された平均と共分散の制約の下で自由エネルギー汎関数を最小化するモーメント制約付き変分問題の解です。

• 極限ターゲット: 得られる分布は、線形項と二次項によって単純なスコア平滑化ターゲットを指数関数的に傾斜（tilting）させたギブス・ボルツマン密度です。
• 傾斜パラメータ: 線形（$\lambda$）および二次（$\Lambda$）の傾斜パラメータは、モーメントが学習データと一致するように導出されます。論文はこれらのパラメータの学習セット推定量を提供し、推定におけるバイアスはスコア関数の非アフィン部分にのみ由来することを示しています。

主な貢献

1. MM-SOLD アルゴリズム: スコア平滑化ランジュバン動力学と経験的モーメント整合に制約された相互作用粒子を組み合わせる、新規な学習不要な生成サンプリング器。これは、単純なスコア平滑化で観察される重心歪みを効果的に低減します。
2. 理論的極限の特徴付け: 単純なスコア平滑化密度に対する線形および二次の指数関数的傾斜としての、大粒子極限ターゲットの厳密な特徴付け。これは、モーメント整合がデータ幾何を回復する理由に対する理論的基盤を提供します。
3. 実用的な高次元推定: 対称摂動と射影空間サンプリングを備えた局所近傍スコア推定器の開発により、全データセット評価なしで高次元潜在空間に対してスケーラブルな手法を実現しました。
4. 実証的検証: 2 次元分布および潜在空間画像生成（手書き数字および CelebA-HQ）における高速で堅牢な CPU ベースのサンプリングの実証。学習済みニューラル拡散モデルのベースラインと競合する忠実度と多様性を達成しました。

実験結果

著者らは、MM-SOLD を 2 次元分布（「チェッカーボード」、「2 本の螺旋」）、手書き数字生成（潜在空間内の MNIST 風データセット）、および Celeb-A-HQ 顔生成において評価しました。

• 2 次元分布: MM-SOLD は、平滑化帯域幅（$\sigma$）およびモンテカルロサンプル数（$M$）に対して堅牢であり、様々なパラメータにわたって基盤となる多様体構造（例：円形幾何）を保持しました。対照的に、ベースラインである $\sigma$-CFDM は、パラメータが変化するにつれて重心へ収束するか、あるいは汎化に失敗しました。
• 手書き数字（潜在空間）:
  • 分類: モーメント整合極限ターゲット上に直接構築された最小期待誤分類コスト（ECM）分類器は、**98.00%**のテスト精度を達成し、元のデータで学習したニューラルネットワーク（93.77%）および MM-SOLD 拡張データで学習したもの（97.90%）を上回りました。
  • 生成: MM-SOLD は、カーネル開始距離（KID）で0.0697を達成し、$\sigma$-CFDM（0.2699）および Latent DDPM（0.2746）を大幅に上回りました。DupRate は 0.0000 を維持し、過学習がないことを示しました。
  • 効率性: CPU 上において、MM-SOLD は $\sigma$-CFDM より2.38 倍、V100 GPU 上で実行される Latent DDPM より3.36 倍高速にサンプリングを行い、学習時間はゼロでした。
• CelebA-HQ:
  • MM-SOLD は、FID で28.6%、KID で**31.0%**の改善を $\sigma$-CFDM に対して達成しました。
  • 学習済みの Latent DDPM は最良の FID/KID を達成しましたが、H100 GPU 上で 13.15 時間の学習を必要としました。MM-SOLD は学習なしで同様の視覚的忠実度（豊かな顔の細部）を達成し、CPU 上でのサンプリング速度は $\sigma$-CFDM より1.21 倍速かったです。
  • MM-SOLD は、両方のベースラインと比較して優れたリコール（多様性）を示しました。

意義と主張

本論文は、MM-SOLD が学習不要な拡散における根本的なトレードオフ、すなわち過学習を避けるための局所補間と、重心収束を避けるためのグローバル幾何保持とのバランスを解決すると主張しています。粒子レベルでモーメント整合を強制することで、この手法はスコア平滑化によって導入されたバイアスを効果的に「修正」します。

著者らは、MM-SOLD がCPU 上での高速、堅牢、かつ学習不要なサンプリングを可能にし、GPU 学習が不可能なデータ不足、オンライン、または遅延に敏感な環境において生成モデリングをアクセス可能にすると述べています。彼らは、この手法が潜在空間においてニューラル拡散ベースラインのパフォーマンスに近づいている一方で、複雑な高次元画像における最先端のニューラルモデルにはまだ及ばず、スコア平滑化のみが高度に曲がった現実世界の多様体のすべての構造を捉えるわけではない可能性を示唆しています。この研究は極限ターゲットを特定し、それがデータ多様体を回復する能力を実証していますが、このターゲットと真のデータ法則との間の有限サンプル誤差の境界は、依然として未解決の理論的問題であると認めています。