技術的概要：Flow-Direct

問題定義

事前学習された拡散モデルおよびフローモデルは、複雑で多モーダルなデータ分布のモデル化において卓越した性能を発揮します。しかし、多くの実世界応用（例：タンパク質設計、空力最適化）では、事前学習中に学習された広範な分布ではなく、アプリケーション固有の目的によって定義された特定のターゲット分布からのサンプリングが必要です。これらの目的は、評価にコストがかかる、微分不可能、あるいは学習中に利用できない外部のブラックボックス報酬関数を通じて、暗黙的に指定されることがよくあります。

既存の「トレーニングフリー」ガイダンス手法は、これらの報酬を用いて推論時に事前学習済みモデルを誘導しようと試みます。しかし、著者らは、現在の手法（勾配近似、逐次モンテカルロ法、または木探索など）はフィードバック非効率的であると主張します。これらの手法は、各生成ステップにおいて局所的な意思決定（例：勾配の推定または探索分枝の選択）を行うために報酬フィードバックを一時的に利用するだけであり、評価されたサンプルとその関連する報酬情報はその後破棄されます。これにより、高価な報酬評価が浪費され、正確なガイダンスを達成するために膨大な数のサンプルが必要となります。

手法：Flow-Direct

本論文は、永続的な非パラメトリックガイダンス場を介してフローモデルを誘導するトレーニングフリーのフレームワークであるFlow-Directを提案します。フィードバックを破棄するのではなく、Flow-Direct はすべての報酬評価済みサンプルを集約して成長する経験的データセットを構築し、グローバルなガイダンス場を形成します。

理論的基盤

ガイダンスの核心的な理論的洞察は、ベース分布 $p_{base}$ を報酬重み付きターゲット分布 $p_{target}$ に輸送するために必要なガイダンスは、2 つの分布間の対数密度比から解析的に導出可能であるという点です。

• ガイダンス場の定義: ガイダンスベクトル場 $\Delta(x_t)$ は、ターゲット分布とベース分布の事後期待値の差に等しいことが示されます。
  $$\Delta(x_t) = \frac{1}{1-t} \left( \mathbb{E}_{p_{target}}[x_1 | x_t] - \mathbb{E}_{p_{base}}[x_1 | x_t] \right)$$
• 非パラメトリック推定: 真の事後期待値は扱いが困難であるため、Flow-Direct は有限データセットから構築された非パラメトリック推定量を用いてこれらを実装します。
  • データセット $D = \{x_i\}$ に対して、事後期待値 $\mathbb{E}[x_1 | x_t]$ は、データ点の重み付き和として推定されます。ここで、重みは現在の状態 $x_t$ とデータ点のノイズ入りバージョン $tx_i$ の間の距離に基づき、報酬によってスケーリングされた softmax 関数によって決定されます。
  • 具体的には、報酬関数 $r(x)$ によって定義されるターゲット分布に対して、推定量は高報酬サンプルに向けて重みをバイアスします。
    $$\hat{\mathbb{E}}[x_1 | x_t] \approx \sum_{i} \text{softmax}_j \left( -\frac{\|x_t - tx_j\|^2}{2(1-t)^2} + r_j \right) x_i$$

最適化アルゴリズム（アルゴリズム 1）

Flow-Direct は、ガイダンス場を最適化するために反復的に動作します。

1. 初期化: 事前学習分布からサンプリングされたベースデータセットで開始します。
2. 反復生成: 各反復 $l$ において、現在のガイダンス場（直前の反復 $0$から$l-1$ までのすべてのデータを集約したもの）を使用してサンプルのバッチを生成します。
3. 報酬評価: 生成されたサンプルを外部のブラックボックス報酬関数を用いて評価します。
4. 蓄積: 新しいラベル付きサンプル（データ＋報酬）を成長するデータセットに追加します。
5. 洗練: ガイダンス場は拡張されたデータセットを反映するように更新され、分布を実質的に高報酬領域に近づけて輸送します。

このプロセスは、最終的な場が蓄積されたデータによって定義される最終ターゲット分布へ、初期ベース分布を輸送する、ガイダンス場の telescoping sum（重畳和）を生成します。

再利用性と構成性

Flow-Direct の重要な特徴は、蓄積されたデータセットが再利用可能なガイダンス場を定義することです。

• 再利用: 特定の目的のためにラベル付きデータセットが収集されれば、それ以降のさらなる報酬評価なしに、その目的を満たす新規サンプルを生成するために使用できます。
• 構成性: 異なる目的から学習されたガイダンス場は線形結合可能です。ガイダンス場を（調整可能な重み $\alpha_k$ で）合計することにより、モデルは複数の目的（例：高い美的品質と高い圧縮性）を同時に満たすサンプルを生成できます。

主要な貢献

1. Flow-Direct フレームワーク: ベース分布とターゲット分布の対数密度比から導出された非パラメトリックガイダンス場を用いて、事前学習済みフローモデルを誘導するトレーニングフリー手法。
2. フィードバック効率性: このフレームワークは、すべての報酬情報をガイダンス場に永続的に保持するため、極めてフィードバック効率が高いです。評価されたサンプルは破棄されず、データセットが成長するにつれて場はより正確になります。
3. 再利用性と構成性: 構築されたガイダンス場は、追加の報酬コストなしに新規サンプルを生成するためにネイティブに再利用可能です。さらに、複数の場を線形結合することで、多目的生成を達成できます。
4. サンプリャー非依存性: この手法は連続ベクトル場を直接修正するため、特定の粒子フィルタリングや探索ダイナミクスに依存する手法とは異なり、決定論的 ODE サンプリャーと確率的 SDE サンプリャーの両方と互換性があります。

実験結果

著者らは、画像生成（Stable Diffusion 3 使用）および 3D 車両の空力最適化（TRELLIS 使用）において Flow-Direct を評価しました。

• ベンチマーク: 推論時の 4 つのベースライン（Evolvable、FK-Steering、TreeG、DSearch）と比較しました。
• 報酬予算: すべての手法は、実行あたり 1,600 回の報酬評価に固定された予算で制約されました。
• 性能: Flow-Direct は、美的品質、人間の好み（HPSv3）、ファイルの圧縮性、属性の整合性、および空気抵抗の最小化を含む、すべてのテストされたタスクで一貫して最高の報酬スコアを達成しました。
• 効率性: 論文は、特定のケースにおいてベースラインの性能に匹敵、あるいは凌駕する結果を、3 倍から 100 倍少ない報酬評価で達成したと報告しています。
• 定性的結果: 可視化は、Flow-Direct がターゲット報酬を強く反映しつつ構造的および視覚的品質を保持するサンプルを生成することを示しており、一方ベースラインは同じ予算内では収束に苦しむことがよくあります。
• アブレーション: この手法は、最適化ステップ数およびバッチサイズの増加に伴い安定した改善を示します。また、ODE サンプリャーと SDE サンプリャーの両方において同様に機能します。

意義と主張

本論文は、Flow-Direct が既存の推論時ガイダンスにおける根本的な非効率性、すなわち高価なブラックボックスフィードバックの一時的利用に対処していると主張しています。永続的で非パラメトリックな定式化へ移行することで、Flow-Direct はすべての報酬評価がターゲット分布のグローバルな理解に貢献することを保証します。

著者らは、この研究を報酬評価にコストがかかる科学および設計応用におけるスケーラブルで堅牢な解決策として位置づけています。フレームワークは基盤モデルの微調整を必要とせず、（バッチサイズと反復回数を除いて）複雑なハイパーパラメータを導入しない点を強調しています。

認められた限界:

• 計算コスト: 単一パスのガイダンス手法とは異なり、Flow-Direct は複数の生成パスを必要とする反復アルゴリズムであり、ニューラル関数評価（NFEs）の観点から計算コストが高くなります。
• 離散空間: このフレームワークは連続状態空間と微分可能なスコア関数を前提としており、離散拡散モデルには適用できません。
• 安全性: すべての生成モデルと同様に、現実的な合成コンテンツの作成における悪用のリスクがあります。