技術要約：スケーラブルなリクイッド・フロー・マップによる数ステップのボルツマン生成器（SCALLOP）

問題提起

フローベースの生成モデリングにおける最近の進展により、少ない関数評価数（NFE）で高品質なサンプル生成が可能になった。しかし、モデルの尤度（サンプル密度）を推定することは依然としてボトルネックとなっている。既存のアプローチは、以下のトレードオフに直面している：

1. 制約のあるアーキテクチャ： 正規化フロー（Normalizing Flows）は、変数変換の公式を通じて正確な尤度計算を可能にするが、可逆層などのアーキテクチャ上の制約を必要とし、分子モデリングのような対称性を持つドメインにおいて表現力を制限する。
2. 高分散なエスティメータ： 連続正規化フロー（CNF）およびその蒸留版（例：Flow Maps）は、より高い表現力を提供するが、速度場のダイバージェンス（発散）を積分する必要がある。これは通常、Hutchinsonのトレースエスティメータを用いて推定されるが、これは大幅な分散を導入し、次元数に対してスケーリングが悪くなる計算コストを要求する。
3. 蒸留の限界： F2D2（Ai et al., 2026）のような最近の手法は、サンプリングと尤度の両方を数ステップに蒸留しようと試みているが、依然として学習中にHutchinsonベースのダイバージェンスエスティメータに依存しており、その高分散性と計算オーバーヘッドを継承している。

その結果、表現力豊かな数ステップの生成モデルにおいて、尤度を推定するためのスケーラブルで低分散な手法が不足しており、自由エネルギー推定や拡張サンプリングといった科学的ドメインへの適用を妨げている。

手法：SCALLOP

著者らは、F2D2のリクイッド・フロー・マップ・モデルに基づき、Hutchinsonベースの学習目的関数をスケーラブルでベクトル化された代替案に置き換えたフレームワークである**SCAlable LikeLihood distillation of flOw maPs (SCALLOP)**を提案する。

1. リクイッド・フロー・マップ（Likelihood Flow Maps）

SCALLOPは、時刻 $t$ における状態 $x_t$ を時刻 $s$ における状態 $x_s$ と関連する対数密度変化へと写像する演算子である、リクイッド・フロー・マップ $\Psi$ を利用する。これは以下のようにパラメータ化される：
$$\Psi_\theta(x_t, t, s) = \begin{bmatrix} x_t \\ 0 \end{bmatrix} + (s-t) \begin{bmatrix} u_\theta(x_t, t, s) \\ D_\theta(x_t, t, s) \end{bmatrix}$$
ここで、$u_\theta$ は速度を予測し、$D_\theta$ はダイバージェンス（対数密度の変化）を予測する。

2. 条件付きダイバージェンス・マッチング（Conditional Divergence Matching: CDM）

核心となる革新は、Hutchinsonのトレースエスティメータを**条件付きダイバージェンス・マッチング（CDM）**に置き換えることである。

• 導出： フローの軌跡に沿った対数密度に対する連鎖律（$dt \log p_t(x_t) = \nabla \log p_t(x_t) \cdot v_t(x_t) + \partial_t \log p_t(x_t)$）を用いることで、著者らはダイバージェンス項を再定式化した。
• メカニズム： ターゲットとなるデータ点 $x_1$ に条件付けることで（線形補間設定 $x_t = (1-t)x_0 + tx_1$ において）、条件付き分布 $p_t(x_t|x_1)$ は扱いやすいもの（ガウス分布）になる。これにより、明示的なダイバージェンス演算子や確率的なトレースエスティメータを用いることなく、ダイバージェンスを表現することが可能になる。
• 目的関数： CDM目的関数は、予測されたダイバージェンス $D_\theta$ と、既知の速度場および条件付きスコアから導出された項との差を最小化し、Hutchinsonのエスティメータを完全に回避する。

3. ベクトル化ダイバージェンス・マッチング（Vectorized Divergence Matching: CDM-v）

効率をさらに向上させるため、著者らは**ベクトル化ダイバージェンス・マッチング（CDM-v）**を導入している。

• スカラーのダイバージェンス $\nabla \cdot v_t$ を予測する代わりに、ネットワークはヤコビ行列の対角成分のベクトル $\text{diag}(\nabla v_t)$ を予測する。
• これにより、学習ターゲットをスカラーからベクトル信号へと変換し、よりデータ効率が高く、完全にベクトル化された定式化を可能にする。
• 理論的分析によれば、ベクトル化された損失を最小化することは、定数を除いて標準的なダイバージェンス・マッチング損失を最小化することと等価である。

4. 学習とアーキテクチャ

• アーキテクチャ： SCALLOPは、共有エンコーディング層と、サンプル速度およびベクトル化された対数密度変化のための別個のリードアウトヘッドを備えたDiffusion Transformer (DiT) バックボーンを採用している。
• 対称性： 分子システムに対して、アーキテクチャは速度に対してSE(3)等変性を、対数密度変化に対しては（ベクトル出力の総和を介して）SE(3)不変性を強制する。
• 安定化： $t=1$ における特異点を扱うため、学習サンプル $t$ を $[0, 1-\epsilon]$ からサンプリングし、ダイバージェンス・マッチング項に線形重みを適用する。

主な貢献

1. スケーラブルな学習目的関数： SCALLOPは、Hutchinsonフリーのベクトル化された尤度蒸留目的関数（CDM-v）を導入し、F2D2と比較して学習の分散と計算コストを大幅に削減した。
2. 経験的な優位性： SCALLOPは、有効サンプルサイズ（Effective Sample Size）、エネルギー・ワッサースタイン2（Energy Wasserstein-2）、ねじれ角・ワッサースタイン2（Torsional Angle Wasserstein-2）のすべての指標において、F2D2に対して実質的な改善を示している。また、より速く収束し、より優れたテストセット性能を達成している。
3. 推論の効率性： 分子ドメインにおいて、SCALLOPは正規化フローよりも最大10倍速く、FALCONよりも100倍速い推論を実現しつつ、競争力のある、あるいは優れたサンプル品質を維持している。
4. 汎用性： 高次元画像データセット（CelebA-64）において検証されており、F2D2と比較して正確な尤度推定と安定した学習ダイナミクスを示している。

結果

分子システム（ボルツマン生成器）

アラニン・ジペプチド（ALA-2）からヘキサペプチド（ALA-6）のシステムを通じて評価：

• 性能： SCALLOPは、すべての指標においてF2D2を一貫して上回っている。また、FALCONおよびFALCON-Aと同等の性能を達成している。
• 安定性： SCALOPの学習勾配は、F2D2と比較して著しく低い分散と高い信号対雑音比（SNR）を示している。
• 速度： SCALLOPは推論時に大きなバッチサイズ（$10^4$）をサポートしているが、FALCONはヤコビアン計算のコストにより、大幅に制限されたバッチサイズを必要とする。SCLLOPは正規化フローより10倍速く、FALCONより100倍速い。

画像生成（CelebA-64）

• SCLLOPは、1から8のオイラーステップにおいて、F2D2と同等のBits Per Dimension (BPD) および Fréchet Inception Distance (FID) を達成している。
• F2D2と比較して、サンプルあたりのBPD誤差を一貫して減少させている。
• 損失計算は16.9%高速（F2D2のウォールクロック時間の83.1%）であり、より安定した学習ダイナミクスを持つ。

意義と主張

本論文は、SCLLOPが、数ステップの生成モデルにおける「表現力」と「扱いやすい尤度評価」という長年のトレードオフを解決することを主張している。Hutchinsonのトレースエスティメータを排除することで、SCLLOPは低分散かつ高スケーラブルな、非常に表現力豊かなリクイッド・フロー・マップの学習を可能にする。

著者らは、SCLLOPを、自由エネルギー計算や拡張サンプリングに正確な尤度推定が不可欠な科学的応用における実用的なソリューションとして位置づけている。彼らは、SCLLOPは理論的には1ステップでサンプルを生成できるが、高次元のタスクでは実用的に約10ステップを使用することを述べている。本手法は、速度場が十分に学習されているという仮定に依存しており、この仮定によって導入されるバイアスに関する理論的なギャップは未定量である。それにもかかわらず、経験的な結果は、SCLLOPが尤度を考慮した生成モデリングを大幅に加速させる、競争力のある最先端のアプローチであることを示している。