Evaluating GFlowNet from partial episodes for stable and flexible policy-based training

本論文は、部分エピソードにおけるフローバランスを用いて方策評価器を導出する「評価バランス」を提案し、これにより DAG 上の発散推定を可能にすることで、GFlowNet の方策ベース学習の信頼性と柔軟性を向上させることを示しています。

要約

🗺️ 物語の舞台：巨大な迷路（組み合わせ空間）

想像してください。あなたが**「新しい薬の分子」や「最高のゲーム戦略」**を見つけるために、とてつもなく巨大な迷路を探検しているとします。

• この迷路には、**「ゴール（正解）」**がいくつもあります。
• しかし、迷路はあまりに広すぎて、すべての道を行くことは不可能です（計算量が膨大すぎる）。
• 目的は、**「報酬（スコア）が高いゴール」をたくさん見つけ、かつ、「いろいろな種類のゴール」**をバランスよく見つけることです。

GFlowNet は、この迷路を効率的に歩き回るための「探検ルール（方策）」を学習する AI です。

🏃‍♂️ 従来の方法の悩み：「地図」と「足跡」のズレ

これまで、この迷路を攻略するには 2 つの大きな問題がありました。

1. 価値ベース（Value-based）の方法：

   • **「地図（フロー）」**を描こうとします。「ここからゴールまでの道は、どれくらい価値があるか？」を数値で表す地図です。
   • メリット： 安定している。
   • デメリット： 地図を描くのが難しく、柔軟性に欠ける。

2. 方策ベース（Policy-based）の方法：

   • **「足跡（方策）」**そのものを直接修正します。「次にどの方向に進むべきか？」を学習します。
   • メリット： 柔軟で、新しい発見がしやすい。
   • デメリット： **「評価者（クリティック）」という役職が必要ですが、この評価者が「何を基準に評価しているか」**が曖昧で、学習が不安定になりがちでした。「評価者が間違った基準で評価すると、探検家（AI）は迷子になってしまう」のです。

💡 この論文の解決策：「Sub-EB（部分経路のバランス）」という新しいルール

この論文の著者たちは、「地図（フロー）」と「評価者（クリティック）」は実は同じものを別の角度から見ていただけだ！ と発見しました。

彼らは、**「Sub-EB（Subtrajectory Evaluation Balance：部分経路評価のバランス）」**という新しいルールを提案しました。

🎒 創造的なアナロジー：「登山のチェックポイント」

これまでの方法は、**「山頂（ゴール）にたどり着いてから、全体を振り返って評価する」というやり方でした。しかし、山頂にたどり着く前に、「今いる場所（中間地点）」**で評価をすることが重要だと気づいたのです。

• 新しいルール（Sub-EB）：
  「今、この地点（中間状態）に立っているとき、**『ここからゴールまでの道のり』と『ゴールから逆算した道のり』が、『バランスよく一致しているか』**をチェックしなさい」というルールです。

これを**「部分経路（Sub-trajectory）」と呼びます。
まるで、登山中に「今いるテント地点で、地図とコンパスのバランスが取れているか？」**を常に確認しながら進むようなものです。

✨ この新しいルールがもたらす 3 つのメリット

1. 安定した学習（Stable）：
   評価者が「何を見て評価しているか」が明確になったので、AI は迷子にならず、安定して学習を進められます。

   • 例： 評価者が「ゴールまでの距離」だけでなく「道のりの質」も正確に測れるようになったため、AI が間違った方向に進むことが減りました。

2. 柔軟な学習（Flexible）：
   以前は「ゴールへの逆方向の動き（バックワード方策）」を固定する必要がありましたが、この新しいルールなら、「逆方向の動き」も一緒に学習・調整できます。

   • 例： 探検家が「ゴールから逆戻りする練習」も同時にできるようになり、より効率的に迷路全体を把握できるようになりました。

3. 過去のデータも活用できる（Offline）：
   これまでは「自分が今歩いた道（オンラインデータ）」しか使えませんでしたが、このルールなら**「他人が歩いた過去の道（オフラインデータ）」**も活用できます。

   • 例： 自分が歩き始める前に、先輩探検家の記録（過去のデータ）を見て、より良いルートを予測して学習できるようになりました。

🏆 実験結果：実際にどうだった？

著者たちは、この新しいルールを以下のようなテストで試しました。

• 人工的な迷路（ハイパーグリッド）： 複雑な格子状の迷路。
• 生物・分子の設計： 薬の成分やタンパク質の配列を設計するタスク。
• ベイズネットワークの学習： 複雑な因果関係を推測するタスク。

結果：
従来の方法（特に「方策ベース」の方法）よりも、「Sub-EB」を使った方が、より早く、より正確に、より多様なゴールを見つけられることが証明されました。特に、複雑で巨大な迷路（分子設計など）において、その威力を発揮しました。

📝 まとめ

この論文は、**「AI が複雑な組み合わせ問題を解くとき、中間地点での『バランス』をチェックする新しいルール（Sub-EB）を導入すれば、学習がもっと安定して、柔軟になり、過去のデータも活かせるようになる」**と伝えています。

まるで、**「ゴールだけを見るのではなく、道のりの途中でも常に地図とコンパスのバランスを確認する」**という、より賢い探検術を提案したようなものです。これにより、AI はより効率的に「新しい発見」や「最適解」を見つけられるようになります。

技術概要

論文「EVALUATING GFLOWNET FROM PARTIAL EPISODES FOR STABLE AND FLEXIBLE POLICY-BASED TRAINING」の技術的サマリー

この論文は、2026 年の ICLR 会議で発表されたもので、Generative Flow Networks (GFlowNets) の訓練における「方策ベース（Policy-based）」アプローチの安定性と柔軟性を向上させるための新しい手法を提案しています。著者は Texas A&M University の研究チームです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

GFlowNets は、組み合わせ空間（グラフ、分子構造、文字列など）において、報酬関数 $R(x)$ に比例する確率分布からサンプリングを行うための生成モデルです。訓練には主に 2 つのアプローチが存在します。

1. 値ベース（Value-based）アプローチ:

   • 状態フロー関数 $F(s)$ を学習し、フローのバランス条件（Sub-Trajectory Balance: Sub-TB など）を満たすように最適化します。
   • 利点：オフポリシー学習が可能で、探索制御が比較的容易。
   • 欠点：フローの推定に依存するため、方策のダイバージェンス（KL 発散）を直接最小化するアプローチとは異なります。

2. 方策ベース（Policy-based）アプローチ:

   • 強化学習（RL）の Actor-Critic フレームワークに倣い、方策 $\pi_F$ と評価関数 $V(s)$（クリティック）を学習します。
   • $V(s)$ は、状態 $s$ から始まる前方部分エピソードと、$s$ で終了する後方部分エピソードの分布間の KL 発散を近似します。
   • 既存の課題:
     • $V(s)$ の信頼性の高い推定が困難である。
     • 従来の $\lambda$-Temporal Difference ($\lambda$-TD) 目標関数は、学習が不安定になりやすく、後方方策 $\pi_B$ をパラメータ化して更新する場合に制約がある。
     • オフラインデータ（方策 $\pi_D \neq \pi_F$）を方策ベースの枠組みで利用することが難しい。

本研究は、値ベースの「フローバランス」と方策ベースの「評価関数（KL 発散）」の関係を解明し、後者の学習を安定化させることを目的としています。

2. 提案手法 (Methodology)

著者は、状態フロー関数 $F(s)$ と評価関数 $V(s)$ の間に理論的な等価性を発見し、これを基に新しい学習目標を提案しました。

2.1 理論的基盤：Sub-EB 条件

• 発見: 任意の固定された前方方策 $\pi_F$ に対して、状態フロー $F(s)$ が満たすバランス条件（Sub-TB）を解くと、その解はまさに $\pi_F$ の真の評価関数（KL 発散） $V^\dagger(s)$ と一致することが示されました。
• Sub-EB (Subtrajectory Evaluation Balance) 条件:
  • 従来のフローバランス（Sub-TB）を、評価関数 $V$ に対して適用したものです。
  • 任意の部分エピソード（Partial Episodes）$\tau_{i:j}$ に対して、以下の平衡条件が成り立ちます：
    $$\mathbb{E}_{\pi_F} \left[ \log \left( P_F(\tau_{i:j}|s_i) \exp V(s_i) \right) \right] = \mathbb{E}_{\pi_F} \left[ \log \left( P_B(\tau_{i:j}|s_j) \exp V(s_j) \right) \right]$$
  • この条件は、2 つの状態間の学習された発散の差が、部分エピソード間の真の発散と一致することを要求します。

2.2 Sub-EB 目標関数

• 上記の条件に基づき、評価関数 $V$ を学習するための新しい損失関数 Sub-EB を定義しました。
  $$L_V(\phi) := \mathbb{E}_{P_F(\tau)} \left[ \sum_{\tau_{i:j}} w_{j-i} (\delta_V(\tau_{i:j}))^2 \right]$$
  ここで、$\delta_V$ は Sub-EB 条件の誤差項です。
• 特徴:
  • 部分エピソード単位: 従来の $\lambda$-TD がエッジ単位や特定ステップからのみ情報を得るのに対し、Sub-EB はエピソードの前後の情報をすべて利用し、よりバランスの取れた学習を可能にします。
  • 柔軟な重み付け: 重み係数 $w$ の設計が自由であり、$\lambda$-TD のような指数減衰形式に限定されません。

2.3 拡張機能

1. パラメータ化された後方方策 ($\pi_B$) の統合:
   • 従来の方策ベース手法では、$\pi_B$ を固定するか、複雑な 2 フェーズ学習が必要でした。
   • Sub-EB は、$\pi_B$ を $V$ と同時に（Jointly）更新することを可能にし、単一のフェーズで効率的に学習できます。
2. オフライン方策ベース学習:
   • 収集方策 $\pi_D$ が学習方策 $\pi_F$ と異なる場合でも利用可能な「オフライン Sub-EB」を提案しました。
   • 後方評価関数 $W$ を導入し、オフラインデータから KL 発散を推定・最小化する枠組みを提供します。

3. 主要な貢献 (Key Contributions)

1. 理論的接続の確立: 状態フロー関数 $F$ と評価関数 $V$ の間の本質的な関係を明らかにし、Sub-EB 条件が $V$ に対する十分条件であることを証明しました。
2. Sub-EB 目標関数の提案: 部分エピソードを基本単位とした新しい学習目標を導入し、評価関数 $V$ の信頼性高い学習を実現しました。
3. 柔軟性の向上:
   • パラメータ化された後方方策 $\pi_B$ を自然に統合可能にしました。
   • オフラインデータ収集技術を方策ベースの枠組みにシームレスに組み込むことを可能にしました。
4. 広範な実験的検証: 合成データ（ハイパーグリッド）および実世界タスク（分子設計、ベイズネットワーク構造学習）において、既存手法（Sub-TB, RL, Q-Much など）を上回る性能を実証しました。

4. 実験結果 (Results)

著者は、ハイパーグリッド、生物・分子配列設計、ベイズネットワーク構造学習、分子グラフ設計の 4 つのタスクセットで実験を行いました。

• ハイパーグリッド (Hypergrids):
  • 256x256 や 128x128x128 などの大規模グリッドにおいて、Sub-EB は従来の RL 手法（$\lambda$-TD 使用）よりも収束速度が速く、学習が安定していました。
  • 最終的な分布モデルの精度（DTV, DJSD）においても、Sub-EB は Sub-TB や CV（Control Variate）手法を上回るか、同等の性能を示しました。
• シーケンス設計 (Sequence Design):
  • 核酸配列（SIX6, PHO4）や分子配列（QM9, sEH）のタスクにおいて、Sub-EB は分布モデルリングの精度（Mode Accuracy, DTV）で RL や Sub-TB を凌駕しました。
  • オフライン手法（Sub-EB-B）を導入することで、高報酬状態の探索（モード発見）能力が向上し、オフライン技術の統合有効性が確認されました。
• ベイズネットワーク構造学習 (BN Structure Learning):
  • 10 ノードおよび 15 ノードの大規模なグラフ空間において、Sub-EB は最も高い平均報酬を達成し、かつ多様性（Diversity）も維持しました。
  • 従来の RL や Sub-TB よりも速く収束し、分布モデルリングの性能（FCS メトリック）が優れていました。
• 分子グラフ設計:
  • 大規模な分子空間（約 $10^{16}$ 通り）において、Sub-EB は高い平均報酬と収束速度を達成しました。

5. 意義と結論 (Significance)

• 方策ベース GFlowNet の実用化: 従来の方策ベース手法が抱えていた「評価関数 $V$ の学習の不安定性」というボトルネックを、フローバランスの原理に基づいた Sub-EB によって解決しました。
• 柔軟な学習フレームワーク: パラメータ化された後方方策やオフラインデータの活用を可能にし、GFlowNets の適用範囲を拡大しました。これにより、より複雑な実世界タスクへの適用が容易になります。
• 理論と実践の統合: 値ベース（フロー）と方策ベース（KL 発散）という 2 つの異なる視点を統一的な理論的枠組みで結びつけた点は、GFlowNets の基礎理論にとって重要な進展です。

結論として、Sub-EB は GFlowNets の訓練において、より安定性が高く、柔軟性のある方策ベース学習を実現する有効な手法であり、大規模な組み合わせ最適化問題や生成タスクへの応用において高いポテンシャルを示しています。