技術要約：自由デノイジング拡散モデル (Free Denoising Diffusion Models)

問題設定

デノイジング拡散モデルは通常、データを徐々に劣化させる確率過程を逆転させることでサンプルを生成する。古典的な設定では、データは座標のベクトルとしてモデル化され、フォワード過程はガウスノイズによって駆動されるオルンシュタイン＝ウーレンベック（OU）フローであり、固有値（存在する場合には）は独立したスカラーとして扱われる。

しかし、多くの高次元データ構造（サンプル共分散行列、グラム行列、カーネル行列、量子密度演算子など）は、個々の座標ではなく、そのスペクトル分布（固有値分布）によって自然に特徴付けられる。これらの対象にとって、関連する不変性はユニタリ的であり、関心の対象となる統計量はスペクトルである。

本論文は、古典的な拡散モデルをスペクトルデータに適用することにおける根本的な誤設定を特定している：

1. 座標ごとの劣化の失敗： 固有値を独立した座標とし、それらを独立したガウスノイズによって劣化させると、古典的な畳み込み（$\mu_0 * \mathcal{N}(0, v)$）が生じる。これは、エルミート行列における固有値の反発的な性質を捉えることができない。固有値は自由畳み込み（$\mu_0 \boxplus \gamma_v$）に従う。古典的なモデルは、劣化したスペクトルのサポート（非有界かコンパクトか）および高次モーメント（特に第四モーメント）を誤って予測してしまう。
2. 次元の不一致： $N \times N$ 行列に対して厳密な行列拡散を実行するには、$N^2$ 次元のスコア関数を推定する必要がある。ユニタリ不変なデータの場合、スコアは単一のスカラー関数（自由スコア）によって決定されるため、行列によるアプローチは計算資源を浪費し、次元に依存してしまう。

本論文は問いかける：データが自己随伴演算子であり、その法則がスペクトル測度である場合、デノイジング拡散のための正しい数学的枠組みは何であるか？

手法

著者は、古典的な確率概念を自由（free）な対応概念に置き換えた、自由確率論（Voiculescu）に基づくフレームワークを開発している：

• データの表現： データは、$W^*$-確率空間 $(\mathcal{A}, \tau)$ における自己随伴演算子 $X$ であり、その法則はスペクトル分布 $\mu_X$ によって定義される。
• フォワード過程： フォワードによる劣化は、自由オルンシュタイン＝ウーレンベック（free OU）拡散としてモデル化される：
  $$dX_t = -\frac{1}{2}\beta(t)X_t dt + \sqrt{\beta(t)} dS_t$$
  ここで、$S_t$ は自由ブラウン運動である。スペクトルの周辺分布 $\mu_t$ は、複素Burgers型の非局所的なフォッカー・プランク方程式を解く：
  $$\partial_t \psi_t = \frac{1}{2}\beta(t) \partial_x(x\psi_t) - \beta(t) \partial_x(\psi_t H_{\mu_t})$$
  ここで、$H_{\mu_t}$ はスペクトル密度のヒルベルト変換であり、スペクトル質量の間の平均場的な反発を表す。
• 逆過程： 逆時間力学は、Dabrowskiによる自由拡散の時間反転を特殊化することで導出される。逆時間のSDEは、Voiculescuの共役変数（自由スコア） $\xi_{\mu_t} = 2H_{\mu_t}$ を含む：
  $$dY_s = \left( \frac{1}{2}\beta(T-s)Y_s - \beta(T-s)\xi_{\mu_{T-s}}(Y_s) \right) ds + \sqrt{\beta(T-s)} d\bar{S}_s$$
• スコアマッチング： 非可換設定における条件付き期待量と自由スコアを結びつける自由Tweedie恒等式が確立されている：
  $$\xi_{\mu_Y}(Y) = \frac{1}{v} \left( Y - \mathbb{E}_{W^*(Y)}[\sqrt{\alpha}X_0] \right)$$
  これにより、ネットワークが劣化した信号からクリーンな信号を推定することを学習する、一貫したデノイジング・スコアマッチング目的関数が得られる。

主な貢献

1. 理論的枠組みと不等式

• 変位凸性： 本論文は、自由エネルギー汎関数 $F[\mu] = \frac{1}{2}\int x^2 d\mu - \chi[\mu]$ が、自由ワッサースタイン測地線に沿って1-凸であることを証明している。これは、単一の自己随伴変数に対する自由ワッサッサースタイン距離を、実数直線 $\mathbb{R}$ 上の古典的な二次ワッサースタイン距離と同一視するBiane–Voiculescuの等長写像に基づいている。
• 関数不等式： この凸性から、著者は自由OUフローに特化した自由対数ソボレフ（LSI）、Talagrand、およびHWI不等式（元々はBiane、Hiai–Petz–Ueda、およびLedoux–Popescuによるもの）を回収している。また、散逸恒等式と指数的な収束率も確立している。
• JKOスキーム： 自由Jordan–Kinderlehrer–Otto（JKO）最小移動スキームの存在、一意性、および収束性が証明されており、自由フォッカー・プランク方程式の勾配流としての解釈が検証されている。

2. 逆時間力学と正則性

• 即時的な正則化： 本論文は、半円則との自由畳み込みが初期法則を即座に正則化することを実証しており、初期の法則が原子的であっても、すべての $t > 0$ において共役変数（自由スコア）が存在することを保証している。
• 明示的な逆ドリフト： 自由スコアを含む明示的なドリフト項を持つ逆時間SDEが導出されており、具体的な生成アルゴリズムを提供している。

3. 演算子値揮発性と平衡設計

• 半円則平衡を超えて： 標準的な自由OUフローは半円則にのみ収束する。任意のスペクトル分布を生成するために、著者は演算子値揮発性（状態依存の拡散係数）を導入している。
• 平衡設計定理： 十分に正則なコンパクト支持を持つターゲット法則 $\mu^*$ に対して、$\mu^*$ が拡散の定常スペクトル法則となるような明示的なドリフト $b^*$ と揮発性 $f$ が存在することを証明している。これにより、特定のスペクトル（例：マルチェンコ・パストゥル分布）をターゲットとした拡散モデルの構築が可能になる。
• 構造的障害： 非定数揮発性の場において、スペクトルフローはLamperti変換によって定数係数のケースに還元することはできず、標準的なワッサースタイン勾配流構造も持たないことを証明している。これは、スカラーの場合に使用される凸性手法の適用限界を規定している。

4. 有限-$N$の一貫性とアルゴリズム

• 流体力学的極限： 自由フォッカー・プランク方程式は、エルミート行列拡散（ダイソン系）の固有値力学の決定論的極限（$N \to \infty$）であることが示されている。
• 有限-$N$アルゴリズム： ニューラルネットワークが固有値に作用するスカラー関数（スペクトルデノイジング）を学習する具体的なアルゴリズムが提案されている。これにより、成分ごとのモデルにおける $N^2$ パラメータの爆発を回避できる。

結果と数値実験

本論文は、以下の9つの数値実験を通じて理論を検証している：

1. 流体力学的極限： エルミート行列拡散（$N=1200$）の経験的スペクトル分布は、自由フォッカー・プランクの予測と $O(N^{-1/2})$ の誤差で一致しており、理論的極限が確認された。
2. サポートの遷移： 二峰性のスペクトルが単峰性に変化する「ギャップ閉鎖」現象を正確に予測しており、これは第二次コーシー核から導出された理論的閾値と一致している。
3. 不等式の検証： 数値的なチェックにより、自由LSI、Talagrand、およびHWI不等式が予測された定数とともに成立することが確認された。
4. 誤設定のデモンストレーション： 座標ごとの（古典的な）劣化は、エルミート行列の真のスペクトル進化（特にサポートと第四モーメント）を捉えられないことを比較により示した。
5. 生成性能： 学習されたスコアマッチングモデルは、外れ値を持つスパイク付き共分散モデルを含む複雑なスペクトル分布を、半円則平衡から正常に再構成した。学習されたスコアは、オラクル（厳密な自由スコア）と同等の性能を示し、座標ごとのベースラインよりも大幅に優れていた。

意義と主張

本論文は、デノイジング拡散モデルのための最初の厳密な自由確率論的フレームワークを提供すると主張している。その意義は以下の通りである：

• 誤設定の修正： スペクトルデータを独立した座標として扱うことは、行列の固有値が独立に拡散するのではなく反発するという非可換な性質のため、根本的に誤りであることを特定した。
• 次元への独立性： 学習されるスコアが単一のスカラー関数であり、行列次元 $N$ に依存しない生成モデルを提供することで、成分ごとのモデルにおけるスケーラビリティの問題に対処している。
• 理論的深化： 自由確率論、最適輸送、および拡散モデルを橋渡しし、生成モデリングの文脈において深い関数不等式（LSI、Talagrand）を回収している。
• 汎用性： 演算子値揮発性を通じて、半円則を超えて、金融や統計学に関連する任意のターゲットスペクトル分布（マルチェンコ・パストゥル分布など）へと枠組みを拡張している。

著者は、現在の理論が厳密に単一の自己随伴変数に適用されることを指摘し、範囲について謙虚な姿勢を保っている。多変数のフォッカー・プランク方程式の閉形式の欠如、および既知の多変数輸送等長写像の不在により、複数の非可換な変数への拡張は未解決の問題として特定されている。