技術的サマリー：AssayBench

問題定義

多様な擾乱、文脈、および測定値にわたって細胞応答を予測できる計算モデルである「バーチャルセル」のビジョンは、創薬の初期段階を加速する上で大きな可能性を秘めています。このビジョンの重要な応用例として、特定の関心 phenotype（細胞生存、薬剤耐性、感染負荷など）を調節する遺伝的または化学的擾乱をモデルが予測する「in silico 表現型スクリーニング」が挙げられます。単一細胞トランスクリプトミクスなどの分子状態の再構築に焦点を当てたタスクとは異なり、表現型スクリーニングはアッセイの最終評価点のレベルで動作し、創薬パイプラインにおける意思決定と直接整合します。

しかし、この分野の進展は、標準的なベンチマークの欠如によって妨げられてきました。既存の擾乱モデリング用ベンチマークは主に分子レベルの測定値（例：遺伝子発現）に焦点を当てており、構造化された入力を持つ特定のモダリティで訓練されることが多いです。これらは、実験条件、測定値の種類、有意性基準が幅広く変化する現実世界の表現型スクリーンの多様性を捉えきれていません。その結果、大規模言語モデル（LLM）やエージェントシステムが生物学的文脈を効果的に統合して、実験的に測定された表現型の結果を予測できるかどうかを評価するための確立された枠組みが存在しません。

手法

データセット構築（ASSAYBENCH）

著者らは、BioGRID ORCS データベースおよび最近の文献から導出された1,920 の公開 CRISPR スクリーンで構成されるベンチマークASSAYBENCHを構築しました。キュレーションパイプラインには以下の手順が含まれます：

1. 調和化: 遺伝子シンボルの HGNC 命名法への正規化と、技術的レプリケートの統合。
2. 表現型分類: LLM 支援キュレーションを用いて詳細な表現型の記述と効果の方向性（増加/減少）を抽出し、スクリーンを以下の 5 つの広範なカテゴリに分類：
   • 適応度/増殖/生存率
   • 化学的/環境的応答
   • 宿主 - 病原体/感染応答
   • 分子出力/レポーター/経路活性
   • 輸送/局在/構造的表現型
3. スコアリング: 多様な有意性基準（例：p 値、フォールド変化）を、各遺伝子に対する連続的な関連性スコアに変換。有意性基準を満たす遺伝子は正のスコアを受け取り、反対の表現型方向に関連する遺伝子は負のスコアを受け取り、ヒットとならない遺伝子はゼロのスコアを受け取る。
4. 時間的分割: 現実的な分布シフトを誘発し、事前学習コーパスからのデータ漏洩を防ぐため、スクリーンを出版年ごとに分割：
   • 学習用: 2021 年以前に出版（1,349 スクリーン）。
   • 検証用: 2021 年に出版（218 スクリーン）。
   • テスト用: 2021 年以降に出版（334 スクリーン）。
   • LaTest: 2025 年 9 月以降の非常に最近のスクリーン 19 件のサブセット。未見の文献への汎化能力を調査するため。

タスク定式化

このタスクは遺伝子ランキング問題として定式化されます。スクリーンの自由テキスト記述（細胞株、ライブラリ、処理、および有意性基準を含む）が与えられた場合、モデルは上位 100 件の候補遺伝子のランク付けリストを出力する必要があります。この定式化は、科学者が個別にすべての遺伝子をスコアリングするのではなく、検証のための候補リストを優先順位付けする現実世界のワークフローを反映しています。

評価指標

アッセイの多様性とスクリーンの難易度の変動に対処するため、著者らは**調整済み正規化割引累積利得（AnDCG@k）**を導入しました：

• 凝縮: 予測リスト中の測定されていない遺伝子は、偽陽性として罰点を与えるのではなく無視されます。
• 調整: 異なるアッセイ間の固有の難易度差を正規化するため、スクリーン固有のランダムな基準値が差し引かれます。
• 方向性: この指標は、負の関連性スコア（反対の表現型に関連する遺伝子）を考慮します。
• 補完的指標: Precision@k および方向性偽発見率（dFDR@k）も報告されます。

主要な貢献

1. 大規模表現型ベンチマークの初出: 表現型スクリーン予測のために特別に設計された最初のベンチマークである ASSAYBENCH の導入。5 つの表現型クラスにわたる 1,920 のスクリーンを網羅。
2. タスクの形式化: 時間的分割の下でスクリーン固有の遺伝子ランキングとして問題を定式化し、多様な実験基準を調和させる連続的な関連性スコアリングシステムを活用。
3. 新規指標: スクリーン固有のランダムな基準値を補正し、アッセイ間での公平な比較を可能にする、多様なアッセイに特化した指標 AnDCG の提案。
4. 包括的な実証研究: 最先端の汎用 LLM、生物学特化モデル、学習可能なニューラル予測器、および検索ベースラインの広範な評価。

結果

モデル性能

• 最先端 LLM の優位性: テストセットにおいて、ゼロショットの汎用 LLM（例：Gemini 3 Pro、GPT-5.4）は、生物学特化 LLM（例：C2S-Scale、Biomni）、学習可能なニューラル遺伝子関連性予測器、および単純な検索ベースライン（Embedding kNN）を上回りました。
• 最適化による改善: 教師あり微調整（SFT）、強化学習（GRPO）、プロンプト最適化（GEPA）などの手法は、一部のモデルでわずかな改善をもたらしました。しかし、LLM 予測の自動発見されたアンサンブルが最高テスト性能（AnDCG@100 ≈ 0.163）を達成し、個々のモデルを上回りました。
• 性能の天井: これらの進歩にもかかわらず、すべてのモデルは経験的な性能の天井から遠く離れています。
  • 「Oracle kNN」（最も類似した学習用スクリーンの完全な検索）は、AnDCG@100 で約 0.29 を達成し、最良の LLM より約 86% 高い値を示しました。
  • 技術的レプリケートを使用した予測器（あるレプリケートに基づいて別のレプリケートを予測）は、最良の LLM の性能をほぼ倍増させ、現在のモデルがまだ根本的な生物学的確率性を完全に習得していないことを浮き彫りにしました。

汎化と記憶

• 時間的シフト: LaTest分割（非常に最近のスクリーン）での性能低下は、最先端 LLM が古いスクリーンで示す優位性の一部が、事前学習データに含まれる文献の記憶によって駆動されている可能性を示唆しています。回帰分析により、スクリーンの引用数とモデル性能の間に強い相関があることが確認されました。
• スケーリング傾向: Qwen ファミリー内のより大規模なモデルは一般的に優れた性能を示しましたが、 gains は頭打ちとなりました。これは、Mixture-of-Experts（MoE）アーキテクチャがアクティブなパラメータ数を減少させていることが原因の可能性があります。
• 表現型ごとの変動: 性能は表現型によって大きく異なりました。モデルは「適応度/増殖/生存率」スクリーンで最も良好に機能しました（おそらく保存された必須遺伝子によるもの）が、宿主 - 病原体応答などの文脈固有の表現型ではより困難を抱えました。

生物学的バイアス

分析により、モデル予測に体系的なバイアスが存在することが明らかになりました。GPT モデルは細胞周期遺伝子を過剰に代表する傾向があり、Gemini モデルは発生生物学遺伝子を過剰に代表する傾向がありました。これは、おそらくそれぞれの学習コーパスにおけるこれらのトピックの分布を反映しています。

意義と主張

本論文は、ASSAYBENCH を、in silico 表現型スクリーンの進捗、より広義にはバーチャルセルモデルの進捗を測定するための実用的なテストベッドとして位置付けています。著者らは以下を主張しています：

• 実現可能性: 明示的なタスク訓練なしで、強力な汎用 LLM はすでにアッセイレベルの表現型ヒット予測において競争力がある。これは、言語モデルに生物学的文脈を統合することが viable な道筋であることを示唆している。
• 現実とのギャップ: モデル性能と技術的レプリケートから導出された経験的天井との間の大きなギャップが示すように、現在の手法はタスクの解決からほど遠い。
• 将来の方向性: このベンチマークは、微調整、アンサンブル、プロンプトエンジニアリングを通じて生物学向け LLM を最適化する将来の研究を支援し、現在の能力と真のバーチャルセルの要件の間のギャップを埋めるために、補助タスク（例：擾乱推論）および大規模なデータセットが必要であることを強調している。
• ベンチマークの有用性: 著者らは、記憶と真の汎化を区別する上で時間的分割と LaTest セットが重要であることを強調し、モデルの進歩に伴ってベンチマークの有用性を維持するため、四半期ごとに更新する計画を明記している。