🤖 AI

PGFS++: Molecular Property Improvement under Synthesis and Diversity Constraints

本論文は、前身であるPGFS+に見られる反応物選択の制限と報酬ハッキングによる多様性の崩壊に対処することで、出力の多様性を維持しつつ明示的な合成経路を提供しながら分子特性を向上させる、合成認識型強化学習フレームワークであるPGFS++を導入するものである。

原著者： Boqiao Zhang, Godbless James, Sai Krishna Gottipati, Andrew Fitzgibbon

公開日 2026-08-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Boqiao Zhang, Godbless James, Sai Krishna Gottipati, Andrew Fitzgibbon

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

新薬開発の初期段階において、科学者たちは絶え間ないバランス調整に直面しています。彼らは、病気と戦うのに十分な強力さを持つ分子を設計する必要がありますが、同時に、それらの分子が実際の研究室にある道具を用いて実際に製造可能であることも確保しなければなりません。長年、人工知能は新しい分子構造を生成するのを助けてきました。多くの場合、ウイルスへの結合能や人体への安全性といった特定の特性を最適化するように設計されています。しかし、大きな溝が残っていました。コンピュータによって生成された設計の多くは、紙の上では化学的に有効であっても、現実世界のラボで利用可能な道具や材料では製造不可能なものだったのです。この溝を埋めるために、研究者たちは「フォワード合成（前方合成）」と呼ばれる手法に目を向けました。これは、既知の分子から出発し、確立された化学反応を用いてパーツを一つずつ追加していくという、薬の生成をステップ・バイ・ステップの建設プロジェクトのように扱う手法です。目標は、単により優れた分子を見つけることだけでなく、それをどのように構築するかという明確で実現可能な「取扱説明書」が付随した、より優れた分子へとコンピュータを導くことです。

ケンブリッジ大学とグラフコア（Graphcore）の研究チームは、このプロセスを自動化しようとする際に生じた特定の問題を解決するために、「PGFS++」と呼ばれる新しいシステムを開発しました。彼らの研究は、「強化学習」と呼ばれる一種の人工知能学習を用いた、PGFSという初期の手法に基づいています。このセットアップでは、コンピュータはエージェントとして機能し、化学反応とビルディングブロック（構成要素）を選択することで、出発点となる分子を改良しようと試みます。彼らがPGFS+と呼んだこのシステムの以前のバージョンは、特性を改善した分子を見つけることには優れていましたが、奇妙な欠陥を抱えていました。システムが、単一の非常に報酬の高い解を見つけ出すことに効率的になりすぎてしまったのです。異なる出発物質に対して多様な改良版を作成する代わりに、数百もの異なる入力分子を、全く同じ最終生成物へと集約させてしまいました。研究者たちはこれを「マグネット（磁石）」効果と呼んでいます。つまり、システムが一つの高スコアな結果に引き寄せられ、結果の多様性が崩壊し、特定の薬に対してカスタマイズされた改良を行うためのツールとしての機能を失ってしまう現象です。

これを修正するために、チームは、出発物質と最終結果との間のつながりを維持することをコンピュータに強制する、洗練されたフレームワークであるPGFS++を導入しました。このシステムは依然として、11万8,000を超える膨大な化学的材料のライブラリから、反応テンプレートと互換性のあるビルディングブロックを選択することによって機能します。システムは、事前計算されたマップを使用して、特定の分子の部分と合法的に反応できるビルディングブロックを迅速に特定し、数百万もの可能性を管理可能なリストへと絞り込みます。鍵となる革新は、システムがどのように自らに報酬を与えるかという点にあります。以前のバージョンでは、最終的な分子がより優れた特性を持つ場合にのみ報酬が与えられていたため、コンピュータは出発点を完全に無視することを推奨されていました。PGFS++では、元の入力に対する構造的な類似性を維持することに対してボーナスが付与されます。これは、コンピュータが元の分子から離れすぎた場合にペナルティを受けることを意味しており、改良が特定の薬候補に特化したものであることを保証し、汎用的な「ワンサイズ・フィッツ・オール（万能型）」の解決策にならないようにしています。

この新しいアプローチの結果は、分子の「薬らしさ」のスコアと、合成の容易さのスコアという、薬の品質に関する2つの一般的な指標を用いてテストされました。研究者が数千の異なる出発分子を用いてシミュレーションを実行したところ、新しいシステムは、出力の多様性を維持しながら、ターゲットとなる特性の向上に成功しました。ほぼすべての入力に対してほぼ同一の分子を生成していた以前のバージョンとは異なり、PGFS++は、幅広くユニークで改良された構造を生成しました。また、システムは合成のアクセシビリティ（合成容易性）においても高いスコアを維持しており、これは、見出された経路が化学者が従う上で実用的であることを意味しています。この「マグネット」解への崩壊を防ぐことで、研究者たちは、さまざまな化学的可能性を探求するために必要な多様性を犠牲にすることなく、特定のニーズに合わせて薬の候補を最適化することが可能であることを証明しました。この研究は、将来の創薬ツールが、分子の特性を向上させる上で非常に効果的であると同時に、現実世界の研究を定義づけるユニークな出発点を尊重できるものであることを示唆しています。

技術要約: 分子特性改善のための PGFS++

問題提起

創薬の初期段階において、分子の特性（薬物らしさや結合親和性など）を向上させることは極めて重要である。しかし、制約のない化学空間で最適化された分子は、合成が不可能であれば実用的な価値を欠くことになる。PGFS（Policy Gradient for Forward Synthesis）のような強化学習（RL）手法は、合成可能な経路に探索を制限することでこの問題に対処しているが、以下の特定の限界を抱えている：

間接的な反応物選択: PGFSは、第2反応物（ $R_2$ ）の連続的な埋め込みを予測するためにニューラルネットワークを使用し、その後、最近傍探索によって離散的な分子を検索する。これにより、最適化された連続的なアクションと実行される離散的な反応との間にミスマッチが生じ、学習の有効性を制限する可能性がある。
「マグネット出力」の失敗モード: 改良版（提案されているPGFS+など）であっても、出力の多様性が崩壊することがある。ポリシーは、多様な入力分子を単一の高報酬な「マグネット分子」へとマッピングすることを学習してしまう。これはターゲットとなる特性スコア（QEDなど）を最大化する一方で、出力の多様性を破壊し、入力に特化した分子の改善を達成できなくなる。

手法

本論文では、多様性を維持しつつ分子特性を改善し、かつ明示的な合成経路を保証する、合成認識型の強化学習フレームワークである**PGFS++**を提案している。

1. 強化されたアクション空間とスコアリング (PGFS+)

PGFSの限界に対処するため、著者らはまず**PGFS+**を開発した：

学習済み埋め込み: 連続的な埋め込みを予測する代わりに、PGFS+は反応テンプレートと第2反応物（ $R_2$ ）のための学習可能な埋め込みルックアップテーブルを使用する。
直接的なグローバルスコアリング: 分子とテンプレートは学習された反応空間に投影される。クエリベクトル $q = \text{concat}(\phi_1(R_1), \phi_T(T))$ が使用され、アテンションのようなメカニズムを介して、すべてのテンプレート適合可能な $R_2$ 候補を直接スコアリングする。
アルゴリズムの転換: 連続アクションアルゴリズム（TD3）は、インデックス化された $R_2$ アクション空間に対してカテゴリカルなポリシーを自然にサポートするPPO（Proximal Policy Optimization）に置き換えられた。
事前計算されたマスク: 巨大なアクション空間を扱うため、著者らはRDKitのサブストラクチャマッチングを用いて適合性マスクを事前計算し、候補セットを扱いやすいサイズ（テンプレートあたりの中央値は約1,000個）に削減した。

2. 多様性の崩壊の抑制 (PGFS++)

多様な入力が同一の高報酬出力へとマッピングされる「マグネット出力」問題を解決するため、PGFS++は報酬関数に入力・出力類似性ボーナスを導入している。

報酬シェイピング: エピソード報酬 $r_{episode}$ は、入力（ $m_{in}$ ）と出力（ $m_{out}$ ）の分子間のタニモト類似度に基づく項を含むように修正される：
$r_{episode} = r_{property}(m_{out}) \cdot (1 + c \cdot \text{sim}(m_{in}, m_{out}))$
報酬のキャッピング: 類似度が閾値 $\tau$ を下回った場合、モデルが入力構造を完全に無視することを防ぐために、報酬はキャッピングされる。
理論的根拠: 著者らは、この制約がない場合、ポリシーが「内向きのエディット・バイアス（inward edit bias）」（入力とエディット変位の負の共分散）を誘発し、多様性の崩壊（ $D_{out} \to 0$ ）を招くことを導出した。類似性ボーナスは多様性低下の上限をタイトにし、モデルが単一のマグネット分子に収束するのではなく、入力に特化した改善を行うよう促す。

主な貢献

PGFS++ フレームワーク: 離散的なアクション空間、事前計算された適合性マスク、および反応物選択のためのグローバルアテンションベースのスコアリングを利用することで、PGFSを拡張した合成制約付き強化学習フレームワーク。
マグネット出力の特定: 高い特性スコアが多様性と引き換えに達成される、合成認識型分子改善における特定の失敗モードを特定し、特徴付けた。
入力・出力類似性ボーナス: 入力と出力の関連性を維持しながら、多様性の崩壊を効果的に解決するメカニズムとして、乗算的な類似性ボーナスを提案した。

実験結果

本フレームワークは、約118,000個の分子と102個の反応テンプレートのデータセットを用いて、QED（薬物らしさの定量的推定）およびSEH（合成容易性/健全性）の改善に焦点を当てて評価された。

ベースラインとの比較: PGFS++は、特性改善と多様性指標の両方において、PGFSおよびそのバリアント（PGFS-TAC, PGFS-MB）を一貫して上回った。また、REINVENT4（生成モデル）やSynFlowNet（GFlowNetベースの手法）に匹敵する性能を達成しつつ、明示的な合成経路を提供するという明確な利点を示した。
多様性の保持: 多様性が崩壊し（テスト入力の約97.8%に対して同じ出力を生成）、平均QEDは高いものの多様性を失ったPGFS+とは異なり、PGFS++は高い出力多様性を維持しながら高い平均QEDを達成した。
アブレーション研究: 加算的な類似性ボーナスと乗算的な類似性ボーナスの比較により、乗算形式（PGFS++で使用）の方が、ターゲット特性（QED）をより良く保持しながら、マグネット出力問題を効果的に緩和できることが示された。
指標: 本フレームワークは、合成制約を無視したり多様性の崩壊に苦しんだりするベースラインと比較して、経路認識型合成容易性（RAS）、入力・出力類似性、および構造的多様性において優れた性能を示した。

意義と主張

本論文は、PGFS++が入力特異的な分子改善における重要な進歩であることを主張している。入力を前方合成の開始点として扱い、構造的類似性を強制することで、モデルが多様性を犠牲にしてグローバルな最大値に向けて最適化するという「報酬ハッキング」の挙動を回避している。

著者らは、従来のメソッドは合成制約を無視するか、あるいは合成制約の下での多様性維持に失敗していたが、PGFS++は以下の3つの相反する目的をうまくバランスさせていると強調している：

特性の改善: QEDのようなターゲット指標の最大化。
合成容易性: 明示的かつ有効な合成経路の提供。
多様性: 出力が単一の「マグネット」解に収束することなく、入力に対して構造的に多様であり、かつ入力に特有であることを保証する。

本研究は、リード化合物などのスキャフォールドや特定の構造的特徴を維持することが求められる実用的な創薬において、合成認識型の手法が効果的であるためには、入力と出力の関連性の喪失を明示的にペナルティ化する必要があることを示唆している。