Interpreting GFlowNets for Drug Discovery: What probes can and cannot show

技術要約：創薬におけるGFlowNetの解釈

問題提起
Generative Flow Networks (GFlowNets)、特に分子設計のために学習されたSynFlowNetのようなモデルは、合成上の制約を遵守しながら化学空間を探索するための強力なフレームワークを提供する。しかし、その内部の決定ポリシーは不透明であり、創薬において医学化学者が提案された構造に対して解釈可能な根拠を必要とする場面での採用を制限している。既存の解釈可能性手法は、連続的な潜在空間や尤度ベースのモデル向けに設計されていることが多く、GFlowNetのような離散的かつ逐次的なグラフベースのポリシーには適していない。さらに、ポリシーによって真に学習された化学的知識と、グラフのアーキテクチャや原子の特徴量を通じて自明に利用可能な情報とを区別する必要がある。

手法
著者らは、特定のチェックポイントから得られた凍結埋め込み（frozen embeddings）を用い、SynFlowNet（QED報酬関数で学習）に適用されるマルチスケール解釈可能性フレームワークを紹介する。このフレームワークは、以下の3つの補完的なアプローチを統合している：

1. 勾配ベースのサリエンスと反事実的検証: 統合勾配法（Integrated Gradients; IG）を「Stop」アクションの対数確率に適用し、原子レベルのサリエンスマップを生成する。高サリエンスの原子は、モチーフ（連結成分および環系）へとグループ化される。その後、これらのモチーフに対してRDKitの変換ルール（例：ハロゲン交換、アミド修飾）を用いた反事実的摂動を適用し、QEDの変化量（$\Delta$QED）を測定する。
2. スパース自己符号化器 (SAEs):
   • アンダーコンプリート型 (MLP-SAE): 圧縮自己符号化器（256 $\to$ 128）を用いて、支配的でスパースな潜在因子を特定し、それらと物理化学的特性（極性、脂溶性など）との相関をテストする。
   • オーバーコンプリート型 (BatchTopK SAE): $\ell_1$正則化を用いずに、重ね合わせ状態にある微細な特徴検出器を復元するために、BatchTopKスパース性メカニズム（$k=64$）を備えたオーバーコンプリート自己符号化器（256 $\to$ 1024）を採用する。
3. プロービングとコントロール: 埋め込みから化学的モチーフ（官能基、ハロゲン）や物理化学的特性を予測するために、浅いフィードフォワード分類器および厳密な線形プローブ（Ridge回帰/ロジスティック回帰）を学習させる。極めて重要なことに、本研究では厳格なコントロールを採用している：
   • 記述子ベースライン: プローブの性能をRDKit記述子およびECFP4フィンガープリントと比較する。
   • ランダムラベルコントロール: プローブがノイズを記憶していないことを確認する。
   • スキャフォールド非重複分割: 学習/テスト分割におけるスキャフォールドのリークを防ぐ。
   • 未学習ネットワーク・コントロール: 学習による寄与とアーキテクチャによる寄与を分離するため、全く同じアーキテクチャを持つランダム初期化されたネットワークに対して同一のプローブを実行する。
   • 特徴量アブレーション: 下流のデコーディングにおける特異性をテストするために、単一の特徴量をゼロにする。

主な結果

• サリエンスと反事実的検証: 統合勾配法は、化学的に意味のある領域（極性置換基、芳香族フラグメント）を強調する。これらのモチーフに対する反事実的編集は、QEDに小さながらも測定可能な変化（例：+0.015から+0.051）をもたらすが、その効果量はQEDの範囲に対して小さく、ランダムな編集との対照的な比較は今後の課題である。
• 潜在構造: アンダーコンプリート型SAEは、サイズや極性と強く相関する因子を特定するが、これらの因子を用いたMLP予測器は、複合的なQEDに対しては性能が低い（$R^2=0.25$）。これは個別の特性と比較して顕著である。
• 再構成とスパース性: オーバーコンプリート型BatchTopK SAEは、低いNMSE（0.0015）で埋め込みを再構成し、厳格なバッチ平均スパース性（活性な特徴量数64）を維持する。これは、同程度の活性レベルを持つ一致した線形ベースライン（NMSE 0.0026）よりも優れた性能を示す。
• 線形デコーダビリティ: 埋め込みは物理化学的特性を良好にデコードする（例：QED $R^2 \approx 0.59$、サイズ $R^2 \approx 0.996$）。しかし、これらのスコアは、ランダム分割下での「リークのない」RDKit記述子ベースラインが達成したスコアよりも有意に高いわけではない。
• 未学習ネットワーク・コントロール（決定的な知見）: 同一のアーキテクチャを持つランダム初期化されたネットワークは、学習されたポリシーと同等に、あらゆるプローブされた特性をデコードできる。主要な特性である薬物らしさ（QED）については、学習による利得は極めて小さく（未学習0.581に対し学習済み0.586）、これはランダムシードの分散範囲内である。分子サイズについては、未学習ネットワークの方がわずかに優れている。
• 特徴量の特異性: オーバーコンプリートな辞書において、個別の実行は化学的に濃縮された検出器（例：ヨウ素、塩素、臭素、フッ素、ホウ素を個別に識別する特徴）を明らかにする。単一特徴量のアブレーションは、特性特異的な効果（特異性比 8–23倍）を示すが、特徴量インデックスはシード間で再現されない。ただし、少数のコアとなる方向は安定している。

意義と主張
本論文の最も重大な結果は、ネガティブコントロールである。すなわち、物理化学的特性の線形デコーダビリティは、グラフのアーキテクチャと原子の特徴量を反映したものである（学習された化学的知識を反映したものではない）。

• 支持されない事項: 高いプローブ・スコア（さえも完全なAUROCに近い場合でも）は、獲得された化学的理解や学習された構造活性関係の証拠にはならない。特性をデコードできる能力は、主に、未学習ネットワークが学習済みポリシーの性能と一致することによって示された通り、入力表現とネットワークアーキテクチャの副産物である。
• 支持される事項:
  1. オーバーコンプリートな辞書は、埋め込みの有効かつ厳密なスパース分解を提供する。
  2. 個別の実行には、化学的に濃縮された部分構造検出器（例：ハロゲンごとの特徴）が含まれており、これらは複数のシード間で安定している。
  3. これらの特徴は、プローブのデコーディングに対して特性特異的な介入効果を持つ。
  4. 薬物らしさ（QED）は、高密度な埋め込みよりも、スパースな潜在空間においてより線形的にアクセス可能になる。

結論
著者らは、解釈可能性手法はアーキテクチャのベースラインに対して厳密に制御されなければならないと結論付けている。SynFlowNetに関して言えば、本フレームワークは微細な特徴検出器を特定し、スパース表現の堅牢性を検証することには成功している。しかし、本研究は、高いデコーダビリティ・スコアを学習された化学の証明として解釈することに対して明確に警告している。論文の主張は、辞書内に存在する、化学的に濃縮された安定な特徴の再現可能なコアの存在に限定されており、一方で、モデルの物理化学的特性の予測能力は、学習よりも主にそのアーキテクチャに起因するものであると断じている。今後の課題は、これらの検出器が未学習ネットワークの埋め込みに対してSAEを学習した場合にも持続するかどうかを調査すること、およびフレームワークを多目的設定へ拡張することである。