🤖 machine learning

PerturbPFN: Probing the Limits of Synthetic Priors in Drug Perturbation Modelling

PerturbPFNは、合成事前分布から潜在的なシステムグラフと介入ターゲットを推論することにより、未知の化学的摂動に対する細胞応答を予測する新しいアモルタイズドモデルであり、テスト時の勾配更新を必要とせずに、競争力のある精度と解釈可能性を実現している。

原著者： Yuche Gao, José Miguel Hernández-Lobato, Siyuan Guo

公開日 2026-07-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuche Gao, José Miguel Hernández-Lobato, Siyuan Guo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ある都市の交通が突然停止してしまった理由を突き止めようとしている探偵だと想像してください。あなたは車が止まっている状態（結果）は見ることができますが、事故や信号機の故障、あるいはその原因となったコーヒーの零れといったもの（原因）を見ることはできません。生物学の世界でも、科学者たちは日々同様の謎に直面しています。彼らは、新しい薬が細胞の振る舞いをどのように変えるのかを知りたいと考えています。細胞は、何千もの遺伝子が労働者として機能している、小さな活気ある都市のようなものです。薬（化学的な摂動）が入ってくると、それは特定の労働者を躓かせ、街全体の動きを変えてしまう連鎖反応を引き起こすかもしれません。問題は、何百万もの可能性のある薬が存在することであり、それらすべてを実際のラボでテストすることは、あまりにも時間がかかり、コストも高く、また、その薬がどの「労働者」をターゲットにし、その衝撃がどの程度の強さになるのかが正確には分からないため、多くの場合不可能です。

これを解決するために、科学者たちはこれらの結果を予測しようとするコンピュータモデルを構築してきました。いくつかのモデルは「ブラックボックス」のようなものです。それらは過去のデータを見て将来の結果を推測しますが、どのように、あるいはなぜ変化が起きたのかというプロセスを説明することはありません。他のモデルは、よりメカニック（整備士）に近いもの、つまり特定の壊れた部品を探そうとするものですが、それらは新しい薬や細胞タイプごとにゼロから再調整する必要があることが多く、時間がかかります。大きな疑問はこうです。細胞が薬に対してどのように反応するかという一般的な「交通ルール」を学習できるモデルを構築できるだろうか？つまり、見たこともない全く新しい薬に対して、瞬時にその結果を推測できるだけでなく、その薬がどの遺伝子を叩いているとモデルが考えているのかを正確に教えてくれるようなモデルです。

ここで、PerturbPFNと呼ばれる新しいツールが登場します。PerturbPFNを、ビデオゲームの中で何百万回もの「擬似的な交通渋滞」を長年観察してきた、非常に賢い見習い整備士だと考えてみてください。この見習いは、現実世界の事故（それらは稀で、かつ混沌としています）から学ぶのではなく、コンピュータプログラムによって生成された、何十億もの架空だが現実的なシナリオから学びました。これらのシミュレーションの中では、プログラムはどの「信号機」がどのように壊れたのかを正確に把握していました。これらの合成データによる例を研究することで、PertبPFNはパターンを認識することを学びました。「なるほど、交通の流れがこの特定のパターンで滞る時は、通常、メインストリートの赤信号が中程度の強さで影響を受けたことを意味しているのだな」といった具合に。

研究者たちが、実際の実験（細胞に本物の薬を投与したもの）を用いた現実世界のデータを用いて、この見習い（モデル）をテストしたところ、驚くべきことが分かりました。PerturbPFNは単に最終的な交通渋滞を推測しただけでなく、隠された原因を特定することに成功したのです。それは、細胞が新しい薬にどう反応するかを予測し、その薬がどの特定の遺伝子をターゲットにしている可能性が高いかを特定し、さらにはその薬の効果がどの程度の強さになるかさえも推定することができました。しかも、これらすべてを、新しい薬のために立ち止まって再学習することなく、一度の電光石火のパスで実行したのです。

この論文は、PerturbPFNが既存の手法に対して強力な競合相手であることを示しています。他のモデルの中には、特定のケースにおいて純粋な予測能力でわずかに上回るものもありますが、PerturbPFNはユニークなトレードオフを提供します。それは、驚異的な速さであり、かつ、他の高速なモデルには通常できない「メカニズム的な説明」（ターゲットとその強さの推測）を科学者に提供できることです。しかし、著者たちは、このモデルは合成データを用いて訓練されているため、その内部構造に関する「推測」は、そのシミュレーションのルールに基づいているという点に注意深く言及しています。これは、生物学を学ぶための強力な新しい手法を示唆していますが、あらゆる薬の相互作用の謎を完璧に解明したと主張しているわけではありません。むしろ、生のデータと生物学的な理解との間の架け橋として、未知の領域を探索するための、有望で、高速で、解釈可能な方法を提供しているのです。

技術要約: PerturbPFN

問題定義

未知の化学的摂動に対する細胞応答を予測することは、創薬における中心的な課題である。CRISPRのような離散的な遺伝子編集とは異なり、低分子化合物は、標的、経路、およびメカニズムが未知であったり、文脈依存的であったり、あるいは摂動共変量によって部分的にしか捉えられていなかったりする複雑な介入をもたらす。現在の予測モデルは、主に3つの障壁に直面している：

未知のメカニズム: 事前に定義された標的に頼るのではなく、観察された応答データから潜在的な原子標的およびメカニズムを推論する必要がある。
汎化性能: 低分子化合物の理論的な設計空間は物理的なスクリーニング能力を大幅に上回っており、単に既知の薬物の間を補間するのではなく、未知の摂動へと汎化する必要がある。
既存パラダイムの限界:
- 非構造的なブラックボックスモデルは統計的なシフトを学習するが、解釈性に欠ける。
- 構造化されたメカニズムモデルは解釈性を提供するが、多くの場合、インスタンス固有の最適化やデータセット依存のフィッティングに依存しており、不均一なコンテキスト（例：異なる細胞株やバッチ）間で知識を償却（amortize）する能力が限られている。
- 基盤モデルは、大規模な実世界のデータ（scGPT, GenePTなど）で事前学習されており、堅牢な表現を学習するが、介入の因果的な伝播を明示的にモデル化できていない場合がある。

手法

著者らは、階層的な合成構造的因果モデル（SCM）事前分布の下で、摂動効果の償却推論を行うために設計された、Prior-Data Fitted Network (PFN) スタイルのフレームワークである PerturbPFN を提案する。

1. 理論的枠組み

本アプローチでは、システムを $\mathcal{M} = \{G, \theta\}$ というSCMとしてモデル化する。ここで、 $G$ は遺伝子制御関係を表す有向非巡回グラフ（DAG）であり、 $\theta$ は局所的なメカニズムをパラメータ化する。

シフト介入: ハードな介入（親の依存関係の除去）の代わりに、PerturbPFNは摂動を局所的なメカニズムへの加法的シフトとしてモデル化する： $x_i = f_i(x_{G_i}; \theta_i) + \psi_i + \epsilon_i$ 。ここで、 $\psi_i$ はターゲットノード $I$ に対する介入強度である。
エピソード予測: タスクは、コンテキスト観察 $D_{ctx}$ が与えられたときの、クエリ・レジーム $\gamma_j$ に対する事後予測分布 $p(x_j | \gamma_j, D_{ctx})$ を予測することと定義される。モデルは、潜在的なグラフ $G$ 、介入ターゲット $I$ 、および強度 $\psi$ の点推定値を推論することによって、これを近似する。

2. 階層的合成事前分布

PerturbPFNは、訓練中に実際の摂動応答を必要とせず、完全に事前予測的な合成エピソードを用いて訓練される。

グラフ生成器: 不均一でスケールフリーなトポロジーを誘発するために、モジュール構造を持つ遺伝子制御ネットワーク（GRN）をサンプリングする。
摂動生成器: デスクリプタ $\gamma$ が、切断された幾何分布から疎な原子ターゲットを生成する。介入強度はHill型の用量反応関数に従う。
観測モデル: 生成されたデータは、SERGIOノイズ注入を用いたゼロ膨張対数正規分布の発現モデルからサンプリングされる。
反事実的監督: 事実的（factual）なロールアウトと介入された（intervened）ロールアウトの間で外生ノイズを再利用することで、ペアの差が介入によって誘発された変化を反映するようにする。

3. モデルアーキテクチャ

モデルは、構造化されたボトルネックを持つトランスフォーマーベースの償却予測器を利用する。

コンテキスト介入メモリ: 共有エンコーダがコンテキストのペア $(\gamma_i, x_i)$ を処理して、ノード表現とレジームの要約を生成する。ターゲットおよび強度のヘッドが、コンテキスト・レジームに対する $\hat{I}_i$ と $\hat{\psi}_i$ を予測し、これらは介入メモリ・トークンへとエンコードされる。
構造ブランチ: 構造化ブランチは、コンテキストの応答統計と推論された介入を組み合わせ、システムグラフ $\hat{G}$ を推定する。これは、非巡回性を強制するためのNOTEARSスタイルのペナルティ（ $L_{dag}$ ）と、エッジ密度を較正するための貪欲な投影を採用している。
クエリ推論: クエリ・レジームはコンテキストメモリに条件付けられる。モデルは、クエリ固有のターゲット $\hat{I}_j$ と強度 $\hat{\psi}_j$ を予測する。
SCMデコーダ: 介入されたSCMデコーダが効果をロールアウトする。これは、硬い投影グラフ $\hat{G}$ と予測された介入を使用して、潜在的なシステムを通じてシフトを伝播させ、ゼロ膨張対数正規分布を出力する。

4. 訓練と推論

訓練目的関数: グラフ損失 ( $L_G$ )、ターゲット損失 ( $L_I$ )、強度損失 ( $L_\psi$ )、観測尤度 ( $L_{obs}$ )、および非巡回性ペナルティ ( $A_{dag}$ ) を組み合わせたマルチタスク損失を用いる。
推論: テスト時、PerturbPFNは勾配更新なしの単一のフォワードパスを実行する。連続的なエッジスコアをハードなDAGに変換し、デコーダをロールアウトして効果を予測する。

主な貢献

フレームワーク: 階層的な合成SCM事前分布を用いて、摂動効果の推論を償却するPFNスタイルのフレームワークであるPerturbPFNの導入。これは、高次元の出力を直接回帰するのではなく、潜在的なグラフ、ターゲット、および強度を明示的に予測する。
効率性と汎化性能: 単一のインコンテキスト・フォワードパスを通じて、実世界のシングルセルデータ上で競争力のある効果予測を実現することを実証した。これにより、テスト時のデータセット固有の最適化を排除している。
解釈性: 摂動がどのように作用し伝播するかについてのメカニズム的な洞察を提供する、構造化された中間推定値（ターゲット、強度、システム構造）を提供する。これはブラックボックス的な潜在空間の予測とは対照的である。
評価: 事前分布内の潜在変数回復、実世界の効果予測（Sci-Plexデータセット）、および制御構造の発見（GeneRNIBベンチマーク）に関する包括的な評価。

結果

事前分布内の潜在変数回復

1,024のエピソードにおいて、PerturbPFNは崩壊することなく潜在変数を正常に回復した：

グラフ回復: AUROC 0.8133、AUPRC 0.2980（エッジ存在率の0.0363を大幅に上回る）。
ターゲット特定: AUROC 0.9330、F1 0.7649。
強度推定: 平均絶対強度比 0.9386。
応答予測: 予測された介入方向と真の介入方向との間の高いコサイン類似度（0.7437）。

摂動効果予測 (Sci-Plex)

12のプロトコル中で最も高用量のホールドアウト・ベンチマークで評価：

性能: PerturbPFNは、最高の正規化ワッサースタイン2距離（ $W_2$ ）スコア（0.9183）を達成し、RF X-Learnerに次いで全体で2位（平均スコア 0.8394）となった。
効率性: 事前学習後は、推論にプロトコルあたり1.11秒を要する。これは、GIM（4495秒）やCondOT（7266秒）よりも大幅に速い。償却のための事前学習コストを考慮しても、複雑なベースラインよりも大幅に高速である。
トレードオフ: 予測性能、構造的解釈性、および低い推論コストの間に良好なバランスを提供している。

GRN構造発見 (GeneRNIB)

学習された構造を実世界の生物学的データに転移させるための300BCGベンチマークによる評価：

性能: PerturbPFNは最高のGS-F1（0.6410）を達成し、これは能動的な経路との強い整合性を示している。また、競争力のあるTFB-F1（0.1146）も示した。
限界: R-Precision、R-Recall、またはVirtual Cell (VC) メトリクスにおいて、専用のGRNベースライン（例：GRNBoost2、PORTIA）を上回ることはできなかった。著者らは、PerturbPFNは合成事前分布の下での因果的伝播を最適化しており、静的なキュレート済みGRNアノテーションを再現するためのものではないため、これは予想通りであると述べている。

意義と主張

本論文は、PerturbPFNを生物学のための構造化基盤モデルへの一歩として位置づけている。その主な意義は、以下のことを示した点にある：

合成事前学習の実行可能性: 大規模な合成タスクを用いて事前学習することで、実世界のラベル付き摂動データを訓練に必要とせずに、複雑な潜在変数（グラフ、ターゲット、メカニズム）の推論を償却できること。
償却された逆問題: トランスフォーマーが、観察されたコンテキストがどの潜在的なグラフとメカニズムの変化を説明するかという逆問題を効果的に償却し、この手順を新しいタスクに適用できること。
構造化されたボトルネック: 構造化されたボトルネックは二重の役割を果たす。それは効率性のためのアーキテクチャ上の制約として機能すると同時に、摂動がどのように作用し伝播するかについての検査可能な仮説を提示する。

著者らは、潜在変数の意味が合成事前分布に結びついていること、および事前分布内での回復が生物学的メカニズムの一意の識別性を保証するものではないことを認め、控えめな姿勢を維持している。彼らは、今後の研究として、より豊かなシミュレータ、事後分布の不確実性定量化、および全トランスクリプトームへのスケーリングに焦点を当てるべきであると示唆している。