Renormalization Group Flow Matching for Scalable Local Generative Modeling

技術要約：スケーラブルな局所的生成モデリングのための繰り込み群フローマッチング

問題提起
生成モデル、特に拡散モデルやフローマッチング（FM）の枠組みは、グローバルな構造的整合性の捕捉と、計算のスケーラビリティ（拡張性）の維持という、根本的なトレードオフに直面している。自己注意機構（self-attention）を用いるようなグローバルなアプローチは、長距離の相関をモデル化できるが、データ次元 $D$ に対して二次関数的（$O(D^2)$）に増大する計算コストに苦しみ、高解像度の画像や大規模な物理系への適用は困難である。対照的に、空間的な近傍のみを用いて速度場を近似する局所的生成モデルは、ほぼ線形なスケーリングを実現する一方で、通常、長距離の相関やグローバルな整合性を再現することに失敗する。この失敗は、生成プロセスの中間段階におけるスコアまたは速度場の非局所的な依存性に起因しており、純粋に局所的な近似では遠方の領域を調整することができないためである。

手法：繰り込み群フローマッチング (RGFM)
著者らは、局所性とグローバルな構造の間の溝を埋めるために、理論物理学における繰り込み群（RG）の定式化をフローマッチングのパラダイムに統合したフレームワークである繰り込み群フローマッチング (RGFM) を提案する。

1. 確率パスとしてのRG:
   標準的なノイズとデータの線形補間ではなく、RGFMは正確なRGフローを用いた確率パスを定義する。順方向プロセス（RG拡散）は、高波数（短波長）モードを段階的に積分して独立したガウスノイズへと変換する一方で、低波数（長波長）モードの非自明な構造を保持する。逆方向プロセスは、このフローを逆転させることで、粗いスケール（長波長）から細かいスケール（短波長）へと信号を構築しながらデータを生成する。

2. 再スケーリングとサイト・デシメーション（格子削減）:
   本フレームワークの重要な革新は、フローに沿った**逐次的な格子再スケーリング（サイト・デシメーション）**の導入である。RGスケール $\Lambda(t)$ が減少するにつれ、正確な近似に必要な局所長は自然にシステムサイズ $L$ まで増大してしまう。これを防ぐため、本フレームワークは、デカップルされた高波数ガウスモードを定期的に破棄し、残りの低波数モードをより粗い格子へと再スケーリングする。この変換により、現在の格子に対する再スケーリング後の単位において、局所長を微視的なサイズ（$O(1)$）に復元する。これにより、システムサイズに関わらず局所性が維持される。

3. 局所的生成モデリング:
   局所的な逆ODE発展（局所的な速度場によって制御される）と、確率的なリフティング（破棄されたガウスモードの再サンプリング）を交互に行うことで、RGFMは固定されたパッチサイズを持つ局所ニューラルネットワークの使用を可能にする。理論的分析によれば、必要なパッチサイズは $O(\ln L)$ でスケールするため、計算コストはシステム体積に対してほぼ線形にスケールすることが示唆されている。

4. 理論的枠組み:
   本論文は、この局所近似に関する厳密な誤差境界を確立している。著者らは、データ分布を局所的分布（短距離相関を持つもの）と条件付き局所的分布（長距離依存性が潜在変数によって媒介されるもの）の2つのクラスに定義する。RGの準局所性と潜在変数の予測可能性の仮定の下で、局所近似誤差がバッファ幅 $l_B$ に対して指数関数的に減少することを証明している。具体的には、誤差許容度 $\varepsilon$ を達成するために必要な局所長は以下のようにスケールする：
   $$l_{B,t} = O\left(\Lambda(t)^{-1} [\ln L + \ln(1/\varepsilon)]\right)$$
   これにより、ターゲットとなる分布と局所的に生成された分布との間の2-ワッサースタイン距離が $\varepsilon$ 以下に抑えられることが保証される。

主な貢献

• RGFMフレームワーク: 確率パスが正確なRGフローによって定義される生成フレームワークの導入。これにより、空間スケールに沿ってデータの生成を体系的に構造化する。
• スケーラブルな局所近似: RGFMの確率フローが、空間範囲 $O(\ln L)$ にわたって作用する局所的な速度場によって正確に近似できることを示す理論的証明。これにより、計算コストをシステム体積に対してほぼ線形に抑えることが可能となる。
• 誤差境界: 局所的および条件付き局所的データ分布の両方に対する厳密な誤差境界の導出。局所近似誤差が、実行中のRGスケールによって制御され、バッファ幅に対して指数関数的に減少することを示す。
• アルゴリズムの実装: 局所的なODE積分と、破棄されたモードの確率的な再サンプリングを交互に行う具体的な学習およびサンプリング手順（アルゴリズム1および2）。

結果
著者らは、RGFMの有効性を数値的に実証している：

• 一次元分布: 1次元イジングモデルおよび非減衰の振動相関を持つ条件付き局所的分布において、局所的RGFMは、ニューラルネットワークの受容野を遥かに超える距離の相関関数を正常に再現した。対照的に、従来の局所的フローマッチングは、長距離において大幅な誤差を示し、グローバルな整合性を維持することに失敗した。
• 画像生成 (FFHQ):
  • 64×64 解像度において、局所的RGFMは、様々な受容パッチサイズにわたって、従来の局所的フローマッチングよりも著しく一貫した顔構造を生成し、より低いFréchet Inception Distance (FID) スコアを達成した。
  • 256×256 解像度では、グローバルモデルの学習は計算量的に困難であるが、局所的RGFMは依然として実行可能である。RGFMは、局所的フローマッチングよりも高品質でグローバルに一貫したサンプルを生成したが、空間的に離れた顔の構成要素間に一部の不整合が残ることも確認された。

意義と主張
本論文は、RGFMが、局所的な計算のみを用いて長距離の構造を捉えるスケーラブルな生成モデリングへの有望な道筋を確立することを主張している。スケール分離と準局所性というRGの原理を活用することで、本フレームワークは、計算効率とグローバルな整合性の間の緊張関係を解消する。著者らは、このアプローチにより、グローバルな注意機構に伴う二次関数的なスケーリングコストを回避しながら、高次元の構造化データ（高解像度画像や多体系の物理系など）の生成が可能になると考えている。本研究は、機械学習と理論物理学のより深いシナジーを強調しており、RGを単なる特徴抽出のツールとしてではなく、確率フローの局所性を制御するための設計原理として利用している。