Chem2Gen-Bench: Benchmarking Chemical-to-Genetic Translation in Perturbation Response Space

技術要約: Chem2Gen-Bench

問題提起
バーチャルセルおよび摂動モデルは、生物医学的発見のために細胞応答を予測するためにますます活用されている。しかし、化学的摂動（化合物曝露）と遺伝的摂動（ターゲット遺伝子の改変）は、自動的に互換性があるわけではない。既存の評価は、化学的応答予測または遺伝的摂動予測を個別に評価することが多いが、**ターゲットが一致した化学的から遺伝的への翻訳（target-matched chemical-to-genetic translation）**に関する厳密なテストは不足している。具体的には、ある化学的応答が、同一の細胞・ターゲット・コンテキスト内における対応する遺伝的応答とどの程度一致しているのかは依然として不明である。ソース効果、用量、曝露時間、オフターゲット活性、および細胞コンテキストなどの要因は、見かけ上の一致または不一致を生じさせ、標準的な摂動予測メトリクスを膨張させる可能性がある。

手法
著者らは、化学的から遺伝的への摂動翻訳を評価するために設計された、ターゲット中心のベンチマークであるChem2Gen-Benchを導入する。その手法には以下が含まれる：

• データの調和（Data Harmonization）: 本ベンチマークは、260,084の化学的および1,099,045の遺伝的摂動プロファイルを細胞・ターゲット・コンテキストに整理している。各評価ユニットは、細胞株（$c$）とターゲット遺伝子（$g$）によって定義される。
• 評価レベル:
  • レベル 1: 同一の細胞・ターゲット・コンテキスト内における正確な化学的から遺伝的への翻訳。
  • レベル 2: 異なる細胞コンテキストを横断するターゲット関連の汎化。
  • レベル 3: 同一の細胞コンテキスト内における代替ターゲットに対する特異性指向の比較。
• 表現空間: 評価は、以下の複数の表現空間にわたって実施される：
  • 遺伝子空間のデルタ（Gene-space deltas）: 一致するコントロールからの直接的な差（$\Delta_i = x_i - \bar{x}_{0}$）。
  • パスウェイ空間のデルタ（Pathway-space deltas）: メンバーシップ／重み付け行列を用いた、集約された遺伝子デルタ。
  • 背景調整済み表現（Background-adjusted representations）: 系統的な変動を考慮するために、一致する背景層に対してセンタリングを行う（Systemaスタイル）。
  • 基盤モデルの埋め込み（Foundation-model embeddings）: 事前学習または摂動学習済みのシングルセル埋め込み（例：scGPT, Geneformer, STATE）。
• メトリクス:
  • アライメント（Alignment）: ペアごとのコサイン類似度、および分布比較のためのエネルギー距離。
  • 検索（Retrieval）: 化学的クエリから正しい遺伝的摂動を検索する場合（およびその逆）の平均逆順位（MRR）および成功率。
  • 堅牢性と濃縮（Robustness & Enrichment）: コンテキストは、検索挙動に基づいて堅牢性ティア（例：Robust_High, Protocol_Sensitive）に分類される。ターゲット濃縮はフィッシャーの正確検定を用いてテストされる。
  • 監査（Audit）: K562細胞株に対して、ターゲットが一致した化学的およびCRISPRデータを用いて、基盤モデルの埋め込みを単純な遺伝子デルタのベースラインと比較する特定の監査が行われる。

主な貢献

1. Chem2Gen-Benchフレームワーク: 130万以上の摂動プロファイルを細胞・ターゲット・コンテキストに整理した包括的なベンチマークであり、正確、汎化、および特異性指向のレベルにおける翻訳の忠実度のテストを可能にする。
2. 表現の体系的な評価: ペアのアライメント、検索成功率、および背景調整とパスウェイ集約がメトリクスの挙動に与える影響を評価する。
3. 基盤モデルの監査: 一致したK562設定におけるシングルセル基盤モデルのターゲットマッチド監査を行い、学習された埋め込みが単純な遺伝子デルタのベースラインに対して、ターゲット一致の検索タスクにおいて改善をもたらすかどうかを相対的に評価する。
4. プロトコル共変量分析: 特定のコンテキストにおいて、観察されたプロトコル変数（用量、時間）が検索成功とどのように関連しているかの分析。

主な結果

• 不均質な翻訳の忠実度: 翻訳の忠実度は測定可能であるが、細胞・ターゲット・コンテキスト間で非常に不均質である。一部のコンテキストは高いペア一致度と検索成功を示すが、他のコンテキストは依然として弱く、翻訳はコンテキスト依存的であり、一様ではないことを示している。
• 背景調整の影響: 背景調整（Systemaスタイル）は、ペアのコサイン類似度と検索成功の間のSpearman相関を高めた（例：遺伝子空間において0.77から0.83へ）。しかし、ペアテストでは、調整後の方がStandard Viewと比較して平均検索成功率が低くなった（遺伝子空間において中央値の差は-0.016）。
• 表現の選択: パスウェイ表現は、Standard ViewおよびSystema Viewの両方において、遺伝子空間の表現と比較して一般的に低い平均検索成功率を示した。
• プロトコルとの関連性: 特定のコンテキストにおいて、プロトコル共変量と検索挙動の間に有意な関連が見られた（例：A375-EGFRは正の用量関連を示し、MCF7-AURKBは正の時間関連を示した）。ただし、これらは観察された関連であり、因果関係の推定ではない。
• 基盤モデルの性能: K562ターゲットマッチド監査において、評価された基盤モデルの埋め込み（GeneformerおよびSTATEを含む）は、一貫して遺伝子デルタのベースラインを上回ることはなかった。Standard CRISPR-to-Drugの対比において、評価された7つのトラックが遺伝子ベースラインに対して負の平均差を示した。

意義と主張
本論文は、Chem2Gen-Benchを、化学的および遺伝的摂動が共通のターゲットの周囲でいつ整列するか、および表現の向上が一致した摂動のエビデンスによって支持されるかどうかをテストするための監査可能なフレームワークとして位置づけている。

• コンテキスト依存性: 著者らは、化学的から遺伝的への翻訳は、一般的な治療的置換可能性に関する主張ではなく、コンテキスト依存的なベンチマーク問題として扱うべきであると主張している。ターゲットの同一性だけでは観察される応答は決定されず、用量、時間、およびオフターゲット効果のような要因が重要な役割を果たす。
• ベースラインの必要性: 結果は、単純なベースライン（遺伝子デルタなど）および一致した評価設定の必要性を支持している。評価によれば、複雑な基盤モデルの埋め込みが、ターゲット一致の検索タスクにおいて自動的にこれらのベースラインを凌駕することはない。
• 限定的な範囲: 本論文は、遺伝的および化学的摂動が生物学的に互換性があるという主張を明示的に避けている。代わりに、本研究を摂動応答空間における整列の測定可能な問題として枠組み化しており、プロトコル共変量の関連を因果メカニズムとして解釈したり、K562監査の結果をすべての細胞型やモデルに一般化したりすることに対して注意を促している。