技術要約：Routing by Reaching（到達によるルーティング）

問題提起

生成フローネットワーク（GFlowNets）は、報酬関数に比例した多様な候補をサンプリングする能力に長けており、これは分子生成のような科学的発見タスクにおいて極めて重要である。しかし、現実世界のアプリケーションでは、しばしば相反する複数の目的（例：結合親和性、合成容易性、薬物らしさ）のバランスを取る必要がある。既存のマルチオブジェクティブGFlowNetのアプローチは、一般にスカラー化（好みのベクトルに基づいて単一のモデルを条件付けする）と、論理演算子（分類器を介して分布を組み合わせる）の2つのカテゴリーに分類される。

これらの既存手法には、以下の2つの決定的な限界がある：

1. 再利用性の欠如： 特定の目的の組み合わせごとに共同学習が必要となる。新しい目的や新しいトレードオフの好みを導入する場合、モデルをゼロから再学習するか、新しい補助分類器を学習する必要があり、多大な計算コストが発生する。
2. 断片化されたフレームワーク： 現在の手法は、スカラー化または論理的構成のいずれかを単独で扱うのが一般的であり、再学習なしに多様な構成スキーム（線形和から複雑な非線形演算まで）を扱うことができる統一されたフレームワークを欠いている。

手法

著者らは、フォワード・ポリシーを混合することで、推論時に事前学習済みのGFlowNetを構成する「Routing by Reaching」と題されたフレームワークを提案している。核心となる洞察は、特定のフォワード・ポリシーの下での状態 $s$ への訪問確率である到達確率 $u(s)$ が、生成プロセスを組み合わせるための自然な重みを提供するという点である。直感的には、現在の状態に対してより多くの確率質量をルーティングするモデルは、その状態の目的に対してより関連性が高いとみなされる。

混合ルール

$k$ 個の事前学習済みGFlowNet（フォワード・ポリシー $p_{i,F}$、到達確率 $u_i$、終端分布 $p_i$ を持つ）が与えられたとき、状態 $s$ から $s'$ への遷移に対する提案される混合ポリシー $p_{M,F}$ は以下のように定義される：

$$p_{M,F}(s'|s) = \frac{G(u_1(s)p_{1,F}(s'|s), \dots, u_k(s)p_{k,F}(s'|s))}{N_M(s)}$$

ここで：

• $G$ は構成関数である（例：重み付き和としてのスカラー化、調和平均としての連言）。
• $N_M(s)$ は、ポリシーの総和を1にするための局所的な正規化定数である。
• 到達確率 $u_i(s)$ は重みとして機能し、$i$ 番目のモデルの遷移確率をスケーリングする。

到達確率の計算

これを再学習なしで実装するために、著者らは事前学習済みモデルから $u_i(s)$ を得るための2つの経路を提供している：

1. Model F: Flow Matching、Detailed Balance、または Sub-Trajectory Balance で学習されたモデルの場合、状態フロー $F_i(s)$ は明示的にパラメータ化されている。$u_i(s)$ は直接 $F_i(s)/Z_i$ として導出される。
2. DB F: Trajectory Balance で学習されたモデル（状態フローが明示的でない場合）では、詳細バランスの恒等式を用いて、軌跡生成中に $u_i(s)$ を逐次的に再構成する：$u_i(s_t) = \prod_{j=1}^t \frac{p_{i,F}(s_j|s_{j-1})}{p_{i,B}(s_{j-1}|s_j)}$。

理論的分析

• 線形スカラー化 ($\beta=1$): 報酬の線形重み付き和に対して、混合ポリシーがターゲット分布を正確に復元することを著者らは証明している。誘導された分布とターゲット分布の間の歪み係数は一定となる。
• 非線形演算子: 非線形構成（例：$\beta \neq 1$、調和平均、差分）の場合、歪み係数が一定になる保証はない。しかし、経験的な分析により、高密度領域（ターゲット報酬が高い領域）では歪みがほぼ一定であり、サンプリングにおいて最も重要な領域で正確な近似が行われることが示されている。

主な貢献

1. 学習不要の構成: 追加の学習や微調整を行うことなく、任意の目的セットと多様な構成スキーム（線形および非線形）に対して、事前学習済みGFlowNetを構成する手法。
2. 理論的保証: 線形スカラー化に対する正確な復元の証明、および歪み係数を用いた非線形演算子の近似品質の定量化。
3. 統一されたフレームワーク: 好み条件付きのスカラー化と論理演算（連言／減算）の両方を扱う単一のアプローチであり、従来の文献の断片化を克服している。
4. 効率性: 分類器によるガイダンスと比較して、論理演算子の推論時間が大幅に短縮される。これは、ガイダンス項のための後続状態の列挙と評価を回避するためである。

実験結果

本フレームワークは、合成2Dグリッドおよび実世界の分子生成タスク（フラグメントベースおよびアトムベース/QM9）で評価された。

• 合成2Dグリッド:
  • スカラー化: 本手法は、2から5個の目的関数において、好み条件付きのベースライン（MOGFN、HN-GFN）よりも大幅に低いL1誤差を達成した。ベースラインとは異なり、目的の数が増加しても性能が安定していた。
  • 論理演算子: 調和平均および差分操作において、分類器によるガイダンスと同等の性能を示したが、追加の学習を必要としなかった。到達確率による重み付けを行わずにポリシーを混合する「アンサンブル」ベースラインを大きく上回った。
• 分子生成:
  • スカラー化: 各目的の組み合わせに対して共同学習を必要とするベースラインと同等、あるいはそれを上回るサンプル品質（平均報酬および多様性）とハイパーボリュームを実現した。
  • 論理演算子: 調和平均および差分操作において高いターゲットビン率を達成し、多くの場合、分類器によるガイダンスを上回った。決定的なことに、ベースモデルと同等の分子妥当性を維持した。
  • 推論コスト: スカラー化において、本手法のオーバーヘッドは最小限であった（サンプルあたり8–40ms）。論理演算子については、後者のガイダンスに必要な網羅的な状態列挙を回避できるため、分類器によるガイダンスよりも30〜65倍高速であった。

意義と主張

本論文は、「Routing by Reaching」によって、事前学習済みのGFlowNetを再利用可能な構成要素として機能させることができると主張している。これらのモデルを推論時に構成することで、実務者は膨大な再学習コストを負うことなく、多様な目的の組み合わせに適応し、パレートフロントを迅速に探索することができる。

著者らは、本手法が線形スカラー化に対しては理論的に正確であるが、複雑な非線形演算に対しても高報酬領域において正確な近似を提供するものであることを強調している。主な意義は、個々の目的の学習と構成段階を切り離すことにあり、これにより、要件が動的に変化しやすい創薬などの科学的発見領域における、柔軟なマルチオブジェクティブ探索を促進する。この研究は、根本的に新しい生成能力を導入することを目的としているのではなく、既存の学習済みモデルを複雑なマルチオブジェクティブ・タスクのために効率的に活用するためのメカニズムを提供することを目的としている。