Method Choice, Not Biology, Determines In Silico Perturbation Results: A Systematic Evaluation of Eight Methods Across Four Datasets

技術要約：イン・シリコ摂動の結果を決定するのは、生物学ではなく手法の選択である

問題提起
現在のシングルセル・トランスクリプトミクスにおけるin silico（コンピュータ上での）摂動手法は、重大な検証のギャップに直面している。これらの手法は通常、個別のデータセットに対してのみベンチマークが行われるため、その信頼性、汎用性、および真の因果関係のシグナルを回復する能力が未知のままである。このような体系的な手法間およびデータセット間の評価の欠如は、観察された生物学的結論が基礎となる生物学に起因するものなのか、それとも特定のアルゴリズムによるアーティファクト（偽の信号）であるのかを判断することを困難にしている。

手法
著者らは、8つの異なるin silico摂動手法を評価する体系的なベンチマーク研究を実施した。これらの手法は6つの異なる数学的枠組みにわたっており、4つの多様なデータセットを用いてテストされた。評価戦略には以下が含まれる：

• 手法間およびデータセット間のベンチマーク： 異なる生物学的コンテキストにおける性能の一貫性を比較。
• シグナル検出分析： 転写因子（TF）からパスウェイへの方向性のある制御、特にTFから解糖系へのシグナル検出能力の評価。
• 生物学的整合性のチェック： PBMC単球におけるTF-パスウェイ関連の分析。これには、特定のペア（例：SPI1から解糖系、FOSからAP-1ターゲット）に対する濃縮テスト、およびパスウェイ特異性のための負のコントロールとしてのSOX9の使用が含まれる。
• 相関およびランキングの一貫性： 手法間のランキングの相関を測定し、生物学的結論を逆転させかねない反相関の結果を特定。
• 実験的検証： K562細胞のCRISPRi Perturb-seqデータを用いて予測を検証。具体的には、JUN、CEBPB、SPI1、FOSなどの遺伝子における予測された摂動の方向と、実験的なノックダウンの結果を比較。
• 診断的失敗モード分析： VAE潜在空間プロファイリング、相関分布の比較、および遺伝子-遺伝子グラフ分析を利用して、パフォーマンスの低い手法における特定の技術的失敗を特定。
• アブレーション研究： DDIM法に遺伝子制御ネットワーク（GRN）の事前分布を組み込むことで、ターゲットの再現率（recall）が向上するかどうかをテスト。

主な結果

• 現行手法の広範な失敗： 広く使用されている変分オートエンコーダー（VAE）ベースの手法やテンソル分解アプローチを含む、評価された8つの手法のうち6つが、検出可能なTF-to-pathwayシグナルを生み出すことに失敗した。
• 限定的な成功： CellOracleとDDIMのみが、TFから解糖系への方向性のある制御を一貫して検出した。両手法とも初期のベンチマークには成功したが、CellOracleの予測は後の実験的検証において失敗した。
• 手法依存的な結論： 手法の選択だけで生物学的結論を逆転させることができる。例えば、DDIMとscTenifoldKnkによって生成されたランキングは、著しく反相関していた（$\rho = -0.811, p = 0.027$）。
• 検証の乖離： CRISPRi Perturb-seqは、TFのノックダウンが解糖系遺伝子の発現を抑制すること（例：JUN $\delta = -1.72, SPI1 \delta = -1.57$）を確認したが、CellOracleの予測された摂動の方向は、実験的な方向との一致率がわずか40.9%であり、これは偶然とは有意な差がないレベルであった。これは、定常状態の相関と因果的な摂動推論との間の根本的な乖離を浮き彫りにしている。
• 特定された失敗モード： 診断分析により、手法の失敗に関する具体的な理由が明らかになった：
  • VAE潜在空間の競合： 低いシグナル対ノイズ比（例：STAT3のシグナル対ノイズ比は0.44に対し、SPI1は4.25）。
  • 相関ノイズ： TF-解糖系の相関（$|r|=0.038$）は、背景ノイズ（$|r|=0.047$）と区別がつかなかった。
  • グラフの非特異性： 濃縮係数が0.84倍という低水準。
• アブレーションの結果： DDIMにGRN事前分布を追加してもターゲットの再現率は向上しなかった（すべてのTFで $\delta = 0$）。これは、性能の違いが多因子であり、事前分布の統合だけで解決できるものではないことを裏付けている。

主な貢献

• 体系的なベンチマーク： 単一のデータセットによる検証を超え、8つのin silico摂動手法に対する初の、手法間およびデータセット間のクロス評価を提供した。
• 手法バイアスの実証的証拠： 本論文は、手法の選択が結果の主要な決定要因であり、矛盾する生物学的物語を生み出し得ることを示している。
• 診断フレームワーク： 特定の手法が特定のコンテキストでなぜ失敗するのかを特定するための、具体的な診断ツール（潜在空間プロファイリング、相関分布比較、グラフ分析）を導入した。
• 検証ギャップの特定： 定常状態の相関に基づく予測と、実験的な摂動結果との間の乖離を明示的に定量化した。

意義とガイダンス
本論文は、in silico摂動から導き出される生物学的結論が、純粋に生物学的な真実を反映しているのではなく、選択されたアルゴリズムに強く依存していることを確立している。したがって、著者らはリスクを軽減するための、データに基づいた手法選択に関する予備的なガイダンスを提供している。このガイダンスには以下が含まれる：

• クロスパスウェイ検証の実装。
• 方向性を考慮したベンチマークプロトコルの採用。
• 強固なシグナル検出を保証するための最小限のデータ要件の遵守。具体的には、500細胞以上かつ**1,000個以上の高変動遺伝子（HVGs）**を持つデータセットを推奨する。

これらの知見は、計算による摂動結果を生物学的推論に利用する前に、多角的で厳格な検証を行う必要性を強調している。