技術要約：生物学的配列設計のための柔軟なフロー（FlexFlow）

問題提起

機能的な生物学的配列（DNA、RNA、タンパク質、ペプチド）の設計には、厳格な進化および生物物理学的制約の下で、膨大かつ離散的な組合せ空間をナビゲートする必要がある。自己回帰モデル（例：ProtGPT2、ESM-2）は生存能力を示しているが、これらは累積誤差、遅い逐次サンプリング、および特に長大な、あるいは構造的に複雑な配列におけるグローバルな一貫性の欠如という課題を抱えている。

代替的な生成フレームワーク、例えば離散拡散（Discrete Diffusion）や離散フローマッチング（Discrete Flow Matching: DFM）は、より高速で非自己回帰的なサンプリングを提供する。しかし、生物学的応用における既存の離散的手法は、以下の3つの決定的な限界に直面している：

1. 柔軟性の欠如： 可変長の配列生成に苦しみ、生成プロセスに対するきめ細かな制御を欠いている。
2. 情報量の乏しい結合（Uninformative Couplings）： 生物学的配列要素間の構造化されたドメイン固有の関係（例：進化的な置換バイアス）を無視した、一様またはマスクされた結合に依存している。
3. 不整合なガイダンス： 特定の機能的特性に向けて生成を誘導する際、複雑な調節モチーフや結合モチーフに必要なグローバルな依存関係を捉えられない、独立したトークン単位の調整に依存している。

手法：FlexFlow

著者らは、以下の3つの核となるアーキテクチャの革新を通じて、これらの制限に対処するために設計された離散フローマッチング・フレームワークであるFlexFlowを提案する。

1. 構造化された前方プロセス（構造化結合）

標準的な一様な結合を用いる代わりに、FlexFlowはソース分布を「傾ける（tilting）」ことで、構造的な帰納バイアスを課す。

• メカニズム： この手法は、標準的な一様結合を、ドメイン固有の置換の好みをエンコードする遷移カーネル $K_\gamma$ によって定義される構造化結合 $\pi(\tilde{x}_0, x_1, K_\gamma)$ に置き換える（例：タンパク質に対するBLOSUM62、DNA/RNAに対するJC69/HKY85）。
• 効果： ソース分布は、全単体（simplex）ではなく、生物学的に妥当な置換の近傍へと偏向される。これにより、フローの目的関数や学習手順を変更することなく、生成経路を好ましい機能領域へと導く。この結合は、カーネル $K_\gamma$ を入れ替えるだけで、配列のタクソノミー（分類）を横断して汎用できる。

2. 潜在的な編集ベースのレート・パラメトリゼーション

可変長の生成をサポートするため、モデルは共有のグローバルな潜在変数に条件付けられた編集操作（挿入、削除、置換）を介して、逆方向のフローレートをパラメトリゼーションする。

• 階層的パラメトリゼーション： ノイズを含む配列 $x_t$ が与えられると、エンコーダ $\Psi(x_t)$ を通じてグローバルな潜在コンテキスト $r$ が推論される。この潜在変数 $r$ は、各位置における編集操作のカテゴリカル分布 $p_\Phi(op_i | x_i^t, r)$ を条件付ける。
• 計算の実行可能性（Tractability）： この階層的アプローチは、共有の潜在変数 $r$ を通じてトークンレベルの操作間に結合を誘起しつつ、位置間の条件付き独立性を維持することで、モデルの計算可能性を確保する。
• テスト時の制御（ディリクレ事前分布）： 操作の確率は、ディリクレ事前分布を介してモデル化された位置依存の温度パラメータ $\beta_i$ を用いて再スケーリングされる。これにより、推論中に（編集操作の「予算コントローラー」として機能するように）、挿入、置換、削除の相対的なレートを、再学習なしで事後的に制御することが可能になる。

3. 潜在クラス分類器フリー・ガイダンス（Latent Classifier-Free Guidance）

著者らは、標準的なレート空間のガイダンスとは対照的に、完全に連続的な潜在空間内で動作する新しいガイダンスメカニズムを導入する。

• メカニズム： 学習中、エンコーダ $\Psi$ は、条件 $c$ が与えられた条件付き潜在 $r_c$ と、無条件の潜在 $r_\emptyset$ の両方を予測するように訓練される。テスト時、誘導された潜在変数は $r_{LG} = r_\emptyset + w(r_c - r_\emptyset)$ として計算される。
• 利点： このアプローチは、ガイダンス信号が共有の潜在変数 $r$ を通じてすべてのトークンレベルの操作に同時に伝播するため、グローバルな構造的一貫性を保証する。これは、トークン単位のガイダンスによる不整合を回避し、構成上、レートの非負性を保持する。
• 理論的根拠： 著者らは、この潜在的な補間が、潜在空間における暗黙的な分類器の対数尤度に対する勾配上昇ステップに対応することを証明している。

主な貢献

1. 構造化結合： 一様な結合を置き換え、生成経路を機能的な近傍へと導く、生物学的に情報を付与された事前分布の導入。
2. 潜在的な編集ベースのレート： 共有のグローバルな潜在変数とディリクレ事前分布による温度スケーリングを通じて、可変長の生成と制御可能な編集操作を可能にするパラメトリゼーション。
3. 潜在ガイダンス： グローバルな一貫性を確保するために、レート空間のクラス分類器フリー・ガイダンスに代わるものとして、連続的な潜在空間で動作するガイダンススキーム。
4. 新しいベンチマーク： MHCに条件付けられたペプチド配列を生成および評価するための、ペプチド-MHC IIベンチマークの導入。
5. 実証的検証： 密度推定、無条件/条件付きDNA生成、およびペプチド生成における、最先端の性能（SOTA）のデモンストレーション。

実験結果

著者らは、多様なタスクにおいて、拡散およびフローのベースライン（例：Bit Diffusion, Dirichlet FM, Fisher FM, Gumbel-Softmax FM）と比較しながら、FlexFlowを評価した。

• トイデータセット： 1Dおよび2Dの離散パターン（正弦波、スパイラル、リング、チェッカーボード）において、FlexFlowは最小のワッサースタイン距離（$W_2$）を達成し、トポロジカルな特徴を正確に再構成した。
• 無条件DNA設計（エンハンサー）： ショウジョウバエの脳およびヒトのメラノーマのエンハンサーデータセットを用いて評価。FlexFlowは、最も低いフレシェ生物学的距離（FBD）（メラノーマで3.4、ショウジョウバエの脳で4.2）を達成し、Dirichlet FMおよびFisher FMを上回った。
• 条件付きDNA設計（プロモーター）： 転写プロファイルが与えられた条件下で、モデルはプロモーター配列を生成した。潜在ガイダンスを用いたFlexFlowは、0.022という最も低い平均二乗誤差（MSE）を達成し、Dirichlet FM（0.026）およびDDSM（0.033）を上回った。
• ペプチド-MHC II生成： 新しいペプチド-MHC IIベンチマークにおいて、潜在ガイダンスを用いたFlexFlowは、DeepMHCII識別スコアで0.66（Dirichlet FMは0.21）を、フレシェタンパク質距離（FPD）で0.84を達成した。この結果は、潜在ガイダンスが結合の妥当性を優先する一方で、レート・ガイダンスは分布の被覆率を優先するという異なるトレードオフを提供することを示している。
• 効率性： 推論速度はベースラインと同程度であった（500長DNA配列の100ステップの実行で約4.0秒）。

意義と主張

本論文は、生物学的なドメイン知識をフローマッチングのフレームワークに直接統合することで、FlexFlowが既存の離散生成手法の主要な限界に対処することを主張している。構造化結合を利用することで、学習目的を変更することなく、生成を妥当な生物学的領域へと偏向させることができる。潜在的な編集ベースのパラメトリゼーションと潜在ガイダンススキームは、従来のメソッドが欠いていた、柔軟な長さの生成と一貫したきめ細かな制御のメカニズムを提供する。

著者らは、FlexFlowを、無条件および条件付き設定の両方において強力な拡散およびフローマッチングのベースラインを凌駕する、生物学的配列設計のための堅牢なフレームワークとして位置づけている。彼らは、将来の研究として、より少ないサンプリングステップで高品質な配列生成を可能にするための、蒸留ベースの学習目的への適応に焦点を当てるとしている。本研究はプレプリントとして提示されており、著者らはフィンランド研究評議会およびその他のバイオデザインにおけるAIプロジェクトに関連する財団からの支援を認めている。