技術要約：分布外探索のための能動的フロー拡張（Active Flow Expansion）

問題定義

フローモデルや拡散モデルを含む標準的な生成モデルは、通常、**データ分布への適合（data distribution matching）**を通じて事前学習される。この目的関数は、モデルに利用可能な訓練データの分布（$p_{data}$）を近似することを強制するが、これは有効な設計空間（$\Omega^*$）のごく一部しかカバーしていないことが多い。これは行動クローニングや観察された例の再現といったタスクには効果的であるが、分布外（OOD）探索においては根本的な限界がある。科学的発見（例：自然界に存在しない新しい分子やタンパク質の設計）において、目標は、観察されたデータ分布の下では確率が極めて低く、既存の例から任意に離れた位置にある有効な設計をサンプリングすることである。標準的な事前学習済みモデルは、これらの領域にアクセスできない。なぜなら、彼らの「生成可能集合（generable set）」、すなわち非ゼロの確率でサンプリング可能な領域は、観察されたデータ分布の中に厳密に含まれているからである。

手法：能動的フロー拡張（ACTFLOW）

著者らは、モデルの生成可能集合をより大きな部分の有効な設計空間へと拡張するために設計された継続的事前学習フレームワークである**能動的フロー拡張（ACTFLOW）**を提案する。この手法は、受動的なデータ分布への適合から脱却し、生成モデルを「有効な設計空間の近似器」として扱う。

コア概念

1. 生成可能集合 ($\Omega^\tau_\theta$): モデルの終端密度 $p^\theta_1(x)$ が閾値 $\tau$ を超える設計空間の領域として定義される。標準的な事前学習の結果、$\Omega^\tau_{\theta_{pre}} \subset \Omega^*$ であり、$\text{Vol}(\Omega^\tau_{\theta_{pre}}) \ll \text{Vol}(\Omega^*)$ となる。
2. 生成可能集合の拡張: 新しい学習原理は、$\Omega^\tau_\theta \approx \Omega^*$ となるようなパラメータ $\theta$ を学習することを目指しており、これによりモデルのカバー範囲を有効なOOD領域へと効果的に拡張する。

アルゴリズムのワークフロー

ACTFLOWは、能動的な探索とモデル適応の反復ループを通じて動作する：

• 学習された表現における能動的探索: 現在のモデルの支配的なモードからサンプリングする代わりに、ACTFLOWは、中間ノイズレベル $s \in (0,1)$ における速度ネットワークから抽出された学習済みフロー表現 $Z_s$ において能動的な探索を行う。
• 不確実性に傾斜したサンプリング: この手法は、サンプリングを高い**検証器の不確実性（verifier uncertainty）**を持つ領域へと誘導する。これは、KLダイバージェンス項を介して現在のモデル密度に近く留まるよう正則化しつつ、期待される検証器の不確実性 $\sigma_t(\phi_s(x))$ を最大化する最適化問題（式9）を解くものである。これにより、新しい有効なフロンティアの探索と、モデルの事前知識とのバランスをとる。
• 検証器のフィードバック: ブラックボックス形式の検証器 $\tilde{v}$（例：分子の妥当性チェッカーやタンパク質の折り畳み予測器）が生成されたサンプルを評価し、バイナリラベル（有効/無効）を提供する。
• 符号付きリプレイに基づく更新: モデルは符号付き損失関数を用いて更新される。受理されたサンプル（有効）は正の勾配（モデルを引き寄せる）に寄与し、拒絶されたサンプル（無効）は負の勾配（モデルを遠ざける）に寄与する。これは、符号付きリプレイ目的関数 $L_{signed} = L_{accepted} - \alpha_t L_{rejected}$ として定式化され、無効な領域に対する一種の「データのアンラーニング（forgetting）」と見なすことができる。

理論的枠組み

本論文は、OODフローモデリングに関する統計的学習保証を確立し、このプロセスを**局所からグローバルへの到達可能性（local-to-global reachability）**問題として定式化している：

• 検証器のモデリング: 検証器は、学習された表現空間上のロジスティック・バンディット・フィードバックとしてモデル化され、妥当性は未知の潜在スコア $g(z)$ によって決定される。
• 到達可能性演算子: 著者らは、既知の安全な集合 $S$ から一定の誤差範囲内で妥当性を証明できる点の集合を表す、一ステップ到達可能性演算子 $R_\epsilon(S)$ を定義する。
• 主要定理: 十分に特定された検証器と近似的な不確実性サンプリングの仮定の下で、ACTFLOWは、$T^*$ 回の検証済みサンプルの後、モデルの生成可能集合が初期の有効なシード集合の $H$ 回再帰的な拡張をカバーすること（$R^H_\epsilon(S_0) \subseteq \Omega^\tau_{T^*}$）を保証する。これは、OODフローモデリングにおける生成可能集合の拡張に関する初の理論的保証である。

主な貢献

1. 生成可能集合の拡張: データ分布の適合ではなく、生成可能集合の拡張に基づく、OODフローモデリングのための厳密な数学的枠組みの導入。
2. ACTFLOWアルゴリズム: 検証器のフィードバックと中間ノイズ表現における能動的探索を用いて、新しい有効な領域を発見する、タスクに依存しない実用的な継続的事前学習手法。
3. 理論的保証: OODフローモデリングにおける初の統計的学習保証を提供し、局所からグローバルへのプロセスを通じて、ACTFLOWが到達可能な有効領域をカバーするように生成可能集合を拡張することを証明した。
4. 実証的検証: 小分子、ドラッグライク分子、治療用ペプチド、タンパク質配列の多様なドメインにおける包括的な評価により、再帰的な自己生成ベースラインに対する優れた性能を実証した。

実験結果

著者らは、広く採用されている2つのベースラインに対してACTFLOWを評価した：

• REC-NF: フィルタリングされていないモデルサンプルによる継続的事前学習。
• REC-F: 検証器によってフィルタリングされたサンプル（有効なサンプルのみ）による継続的事前学習。

評価指標: カバレッジ（有効なクラスター数）、多様性（Vendiスコア）、妥当性（有効なサンプルの割合）。

• 有機小分子 (QM_9): ACTFLOWは、高い妥当性（95.90%）を維持しながら、有効なカバレッジを88.40クラスターに拡大した（REC-Fの45.40、REC-NFの42.80と比較）。REC-NFは深刻な妥当性の低下（12.26%）に見舞われた。
• ドラッグライク分子 (GEOM-Drugs): ACTFLOWは144.3個の有効なクラスターを達成し、REC-F（89.33）およびREC-NF（44.67）を大幅に上回った。また、事前学習済みベースラインからの妥当性も向上させた（56.6% vs 39.31%）。
• 治療用ペプチド: ACTFLOWはカバレッジを61から358クラスターに増加させ、最高の多様性（Vendiスコア 58.87）を達成した。対照的に、REC-NFは妥当性が0%に崩壊した。
• タンパク質配列: ACTFLOWはカバレッジを66.50から102.75クラスターへ、多様性（42.14 Vendi）を増加させると同時に、妥当性を83.74%に向上させた。REC-Fは高い妥当性（88.12%）を達成したが、カバレッジと多様性において崩壊した。

すべてのタスクにおいて、ACTFLOWはカバレッジ、多様性、妥当性のトレードオフにおいてベースラインを大幅に上回り、再帰的なベースラインが到達できなかった新しい有効な領域への拡張に成功した。

意義と主張

本論文は、初となる理論的かつ実践的なアプローチであると主張している。分布マッチングから「生成可能集合の拡張」へとパラダイムを転換することで、ACTFLOWは、標準的なサンプリングや単純なファインチューニングではアクセス不可能な、有効な設計空間へのアクセスを事前学習済みモデルに可能にする。著者らは、本手法が安全な探索理論と生成モデリングの間の溝を埋め、新しい自然界にない設計の発見に対する証明可能な保証を提供することを強調している。

実世界での発見に関する研究範囲については、本フレームワークが以前はアクセス不可能であった有効な領域へのタスクに依存しない拡張を可能にする一方で、この探索が特定の現実世界のアプリケーションにおいて具体的な科学的発見をもたらすかどうかを評価するには、今後の研究が必要であると述べている。主な貢献は、そのような発見を可能にするためのアルゴリズム的および理論的な基盤である。