GFlowNet Training by Policy Gradients

完璧なレシピ、最も効率的な配送ルート、あるいは新しい薬の分子を見つけ出す必要がある世界を想像してみてください。しかし、その組み合わせの数はあまりにも膨大で、一つずつチェックしていたら宇宙の年齢よりも長い時間がかかってしまうでしょう。これは「組合せ爆発」という課題であり、生物学から工学に至るまであらゆる分野を悩ませている問題です。これを解決するために、科学者たちは「GFlowNet（Generative Flow Network）」と呼ばれる巧妙なツールを使用しています。GFlowNetを、硬直したルールブックではなく、魔法の水系として考えてみてください。それは、峡谷に道を刻む川のように、複雑な対象をステップ・バイ・ステップで構築していきます。その目的は、「水（あるいは確率）」が、最も美しい高報酬の谷（最高の解決策）へと、まさにその谷にふさわしい頻度で流れ着くようにすることです。

従来、この水系を正しく流れるように教えることは、巨大で見えない天秤のバランスを取るようなものでした。「価値ベース（value-based）」として知られる古い手法は、すべての接点における水位が特定の数式と一致しているかどうかをチェックすることに焦点を当てています。これは、配管のどこからも漏れがないかを確認するために、配管のあらゆる箇所で圧力を絶えず測定している配管工のようなものです。これは機能しますが、特に孤立した高報酬のピーク（山）が点在する地形では、動作が遅く、不器用になりがちです。研究者たちはこう問いかけました。「水系のフローを、すべての地点で圧力をチェックするのではなく、単にそれが辿った経路に対して報酬を与えることで教える方法はないだろうか？」彼らは、このネットワークの訓練方法として、数学者が方程式を解くというよりも、ポイントを集めながら迷路を走るビデオゲームのキャラクターのように感じる、新しい方法を提案しています。

フローを訓練する新しい方法

著者であるPuhua Niu氏とそのチームは、GFlowNetの訓練の焦点を「数学のチェック」から「報酬の追跡」へとシフトさせた、新しい訓練手法を開発しました。古い考え方では、ネットワークはマップ全体で水の流れがバランスを保つように訓練されていました。この手法は、従来の強化学習（RL）がすべての状態の価値を推定しようとした手法に似ています。しかし、新しいアプローチは、訓練プロセスを直接的な「方策勾配（policy gradient）」問題として扱います。

これを理解するために、犬にボールを取ってくるよう教えている場面を想像してください。

• 古い方法（価値ベース）: あなたは庭のあらゆる場所に立ち、その場所がどれだけの「フェッチ（取ってこい）の価値」を持っているかを正確に計算します。そして、数学がすべての場所で完璧に成立するように、犬の行動を調整します。これは精密ですが、芝生の一本一本に対して価値を計算するために、多大な精神的エネルギーを必要とします。
• 新しい方法（方策ベース）: 犬がボールに向かって走ったら「お利口！」と言い、間違った方向に走ったら「ダメ！」と言うだけです。あなたは庭のすべての場所に価値があるかどうかを知る必要はありません。ただ、経路に沿って得られた報酬に基づいて、犬の走り方を調整するのです。

この論文では、ネットワークが現在使用している戦略（または方策）に依存する特別な種類の「報酬」を導入しています。これにより、彼らはGFlowNetの複雑なフローバランス方程式と、現代のAIのより直接的な「報酬と罰」による学習スタイルとの間の溝を埋めています。彼らは、この方法によって、ネットワークがより速く、より堅牢に学習できることを見出しました。特に、「宝物（高報酬の解決策）」が到達困難な孤立した場所に隠されている場合に顕著です。

彼らが発見し、回避したもの

研究者たちは、グリッドのシミュレーション（巨大なチェス盤のようなもの）、生物学的配列の設計（DNA配列のようなもの）、分子構造の生成（新しい薬のようなもの）を含む、いくつかの異なる課題に対して、この新しい「報酬ベース」の訓練をテストしました。

これらのシミュレーションにおいて、彼らの新しい手法（スマートなガイドを使用する場合はRL-G、安全に変化を維持するための「信頼領域」を使用する場合はRL-T）は、一貫して古い手法を上回りました。

• 速度: 新しい手法は、解決策を見つけるまでの収束が非常に早かったです。256x256のグリッド実験では、新しい手法は、従来の「軌跡バランス（Trajectory Balance: TB）」手法よりも少ないステップで低いエラー率に到達しました。
• 精度: 最終的な結果も、多くの場合、より正確でした。例えば、256x256のグリッドにおいて、彼らの最良の手法（RL-G）は約0.439の全変動誤差（Total Variation error）を達成しましたが、次に優れた従来の方式（TB-U）は約0.728でした。分子設計のテストにおいても、彼らの手法は古い方法よりも多くのユニークな「モード（異なる高品質の解決策）」を見つけ出しました。

決定的なことに、この論文は、探索空間を探索するために常に複雑なオフポリシーサンプラー（Thompson Samplingやランダムな混合など）に頼らなければならないという考えに反対しています。これらの手法は「探索（新しいことを試す）」と「利用（既知のものを活用する）」のバランスを取ろうとしますが、著者らは、堅牢な勾配推定を用いた方策ベースのアプローチを使用することで、複雑な外部のトリックを必要とせずに、ネットワークが自然に最適な経路を見つけられることを示しました。彼らは単にこれを提案しただけでなく、複数のデータセットにわたって測定を行い、新しい戦略がこれらのネットワークを訓練するためのより安定し、効率的な方法を提供することを証明しました。

「信頼領域」と「ガイド」

ネットワークが混乱したり、悪い癖がついたりしないように、著者らは2つの特別な要素を追加しました。

1. 信頼領域 (RL-T): 犬に走ることを教えている場面を想像してください。もしあまりに早く走りすぎるように指示したら、犬は転んでしまうかもしれません。「信頼領域」は、一度のステップで犬の走り方がどれだけ変わるかを制限する「リード（手綱）」のようなものです。これにより、学習が安定し、ネットワークが突拍子もない悪い推測をすることを防ぎます。論文では、これが学習をよりスムーズで信頼できるものにすることを示しています。
2. ガイド付き方策 (RL-G): 時には、犬にヒントが必要なこともあります。著者らは、ネットワークをデッドエンド（低報酬エリア）から遠ざけ、宝物へと優しく導く「地図」として機能する「ガイド付き」方策を導入しました。これは、ネットワークが近くに良い解決策がない「報酬の砂漠」で立ち往生するのを防ぐのに役立ちます。

なぜこれが重要なのか

この論文は、GFlowNetの訓練を直接的な報酬最適化問題として再定義することで、複雑な対象を生成するための、より優れた、より速く、より信頼性の高いAIを構築できると結論付けています。新しい薬の設計であれ、サプライチェーンの最適化であれ、あるいは宇宙の構造の理解であれ、この手法は解決へのより直接的な道を提供します。著者らは、厳密な数学的証明と、実世界のデータおよびシミュレーションデータを用いた広範な実験によって自らの主張を裏付けています。彼らは単にこれが機能すると推測したのではなく、実際に機能することを示し、AIに創造と発見を教えるための有望な新しい方向性を提示しました。