An Empirical Comparison of Virtual Cell Models: Perturbation Prediction, Representation, and the Baseline Gap

기술 요약: 가상 세포 모델에 대한 경험적 비교

문제 정의
계산 생물학 분야는 학습된 모델이 세포 상태를 표현하고 유전적 및 화학적 섭동(perturbation)에 대한 반응을 시뮬레이션할 수 있는 비전인 "AI 가상 세포(AIVC)"를 중심으로 결집해 왔다. 그러나 목적 기반의 섭동 예측 모델(예: GEARS, CPA, scGen)부터 파운데이션 모델 임베딩(예: Geneformer, scGPT, scFoundation), 그리고 통합 시스템(예: State)에 이르기까지 다양한 후보 모델들이 존재함에도 불구하고, 이들의 역량은 이질적인 평가 관행으로 인해 불분명한 상태이다. 모델들은 서로 다른 데이터셋으로 훈련되고, 다양한 데이터 분할 방식을 사용하며, 서로 다른 지표를 보고하기 때문에 논문 간의 직접적인 비교가 불가능하다. 또한, 최근의 비판들에 따르면 복잡한 딥러닝 아키텍처가 미처 보지 못한 단일 유전자 섭동에 대해 단순하고 해석 가능한 베이스라인을 진정으로 능가하는지에 대한 합의가 부족하다.

방법론
이러한 불일치를 해결하기 위해, 저자들은 다섯 가지 모델 군에 걸친 11개 방법론을 평가하는 통일된 벤치마크를 구축하였다. 본 연구는 공정한 비교를 보장하기 위해 데이터 분할, 전처리 파이프라인, 평가 지표를 일정하게 유지하였다.

• 평가된 모델:
  • 단순 베이스라인: Cell-mean (변동이 없는 대조군 프로파일 예측) 및 Linear/additive (섭동 정체성을 발현 변화로 매핑하는 ridge-regularized 선형 매핑).
  • 생성 모델: scGen, CPA, chemCPA (잠재 변수 모델).
  • 그래프 모델: GEARS (유전자-유전자 구조 활용).
  • 파운데이션 임베딩: Geneformer, scGPT, scFoundation, UCE (아틀라스 규모의 코퍼스에서 사전 학습되었으며, 미세 조정 또는 in-silico 개입을 통해 적응됨).
  • 통합 모델: State (약 1억 7천만 개의 관찰 세포와 약 1억 개의 섭동 세포를 사용하여 훈련된 State Embedding과 State Transition transformer의 결합).
• 데이터셋 및 과업: 본 벤치마크는 유전적 Perturb-seq (Adamson, Norman, Replogle), 화학적 스크리닝 (sci-Plex, Tahoe-100M), 그리고 표현(representation) 과업을 아우르는 9개의 공개 데이터셋을 포괄한다.
• 평가 분할(Evaluation Splits): 세 가지 일반화 시나리오를 테스트하였다:
  1. 미보지 섭동(Unseen Perturbation): 전체 유전자 또는 약물을 제외(hold out).
  2. 조합적(Combinatorial): 단일 유전자는 보이지만, 비가산적 상호작용을 테스트하기 위해 특정 유전자 쌍을 제외.
  3. 교차 컨텍스트(Cross-Context): 전체 세포 유형 또는 세포주를 제외하여 전이 가능성을 테스트.
• 지표:
  • 섭동 예측: 상위 20개 차등 발현(DE) 유전자에 대한 Delta-Pearson ($p\Delta$), Differential-Expression Score (DES), Perturbation-Discrimination Score (PDS), Mean Absolute Error (MAE), Energy Distance. 본 연구는 "전체 유전자 Pearson 상관계수"의 광범위한 사용이 미치는 취약성을 명시적으로 비판하며, 이것이 어떻게 사소한 베이스라인에 취약한지를 입증하였다.
  • 표현(Representation): 세포 유형 주석(annotation) 정확도 및 scIB 통합 점수.

주요 결과

1. 섭동 예측 vs. 선형 베이스라인:
   미보지 단일 유전자 섭동에 대해, 어떤 딥러닝 방법도 잘 튜닝된 선형/가산(additive) 베이스라인을 극적으로 능가하지 못했다. 가장 성능이 좋은 모델인 State는 cell-mean 베이스라인 대비 26% 개선되었는데, 이는 선형 베이스라인의 19%, GEARS의 **22%**와 비교된다. 일부 파운데이션 모델 예측기(예: scGPT)는 선형 베이스라인보다 낮은 성능을 보였다. 최상위 딥 모델과 선형 베이스라인 사이의 격차는 0.043($p\Delta$ 기준)으로 작으며, 종종 교차 분할 변동의 노이즈 범위 내에 있다.

2. 지표의 민감도 및 함정:
   본 연구는 결정적인 평가 결함을 식별하였다: 전체 유전자 Pearson 상관계수는 "변화 없음"을 예측하는 모델(cell-mean 베이스라인)에 의해 최대화되는데, 이는 대부분의 유전자가 섭동 하에서 변하지 않기 때문이다. 이 지표는 유용한 예측기와 무익한 예측기를 구분하지 못한다. 반면, 변화에 집중하는 지표들($p\Delta$, DES, PDS)은 선형 베이스라인이 경쟁력이 있지만 압도적이지는 않은 합리적인 순위를 제공한다.

3. 딥 모델이 탁월한 영역:
   딥 모델은 특정 니치(niche)에서 명확하고 재현 가능한 이점을 보여준다:

   • 조합적 섭동: 비가산적 유전적 상호작용(시너지, 억제, 신생성)에 대해, 딥 모델(State, GEARS)은 이러한 복잡한 상호작용을 포착하지 못하는 가산 베이스라인을 유의미하게 능가한다.
   • 화학적 섭동: State 및 chemCPA와 같은 모델은 용량-반응(dose-response) 데이터(sci-Plex)에서 선형 베이스라인보다 더 넓은 격차를 보이지만, 교차 세포주 설정에서는 성능이 급격히 떨어진다.
   • 교차 컨텍스트 전이: 모든 모델이 미보지 세포 유형에서의 반응을 예측할 때 분포 변화(distribution shift)를 겪지만, 강력한 사전 학습된 프라이어(prior)를 가진 모델(State, scGPT)은 선형 베이스라인(49%)에 비해 더 높은 성능 비율(67–69%)을 유지한다.

4. 표현 vs. 예측:
   표현 능력과 예측 능력 사이에는 극명한 이분법이 존재한다. 파운데이션 임베딩은 표현 과업(세포 유형 주석 및 배치 통합)에서 선형 베베이스라인을 결정적으로 압도하며, 까다로운 데이터셋에서 6~8% 더 높은 정확도를 달ach했다. 반대로, 이와 동일한 모델들은 섭동 예측에서는 선형 베이스라인을 이기기 위해 고군분투한다.

5. 컴퓨팅 효율성:
   선형 베이스라인은 무시할 수 있는 훈련 비용(<0.1 GPU-시간 vs. State의 ~42,000 GPU-시간)으로 cell-mean 대비 최상위 딥 모델의 개선 효과의 약 73%를 달성한다. 섭동 예측을 위한 "정확도-컴퓨트 프런티어(accuracy-compute frontier)"는 저렴한 선형 베이스라인이 지배하는 반면, 표현 과업은 파운데이션 모델의 높은 비용을 정당화한다.

의의 및 주장
본 논문은 현재 이 분야가 "가상 시뮬레이터"보다는 "유용한 가상 현미경"에 더 가깝다고 주장한다. 파운데이션 모델은 표현 문제(조직화되고 주로 상관관계적인 세포 유형 구조를 인코딩하는 것)는 성공적으로 해결했지만, 인과적 조절 로직을 요구하는 역설적(counterfactual) 섭동의 시뮬레이션은 아직 마스터하지 못했다.

저자들은 세 가지 주요 기여를 주장한다:

1. 표준화: 고정된 조건 하에서 다양한 모델 군의 진정한 상대적 성능을 밝히는 통일된 벤치마크를 제공한다.
2. 평가 수정: 전체 유전자 상관관계에 대한 의존이 실제 생물학적 변화를 예측하는 모델의 실패를 은폐하고 있음을 입증하고, 단순한 선형 베이스라인이 섭동 예측의 진정한 기준임을 확립한다.
3. 현실적인 기대치: 딥 모델의 진정한 가치는 일반적인 단일 유전자 섭동 예측보다는 비가산적 상호작용, 교차 컨텍스트 전이, 그리고 표현 능력에 있음을 명확히 한다.

본 연구는 "가상 세포"의 비전이 여전히 분열되어 있다고 결론짓는다: 표현은 사전 학습된 모델이 탁월한 성과를 보이는 성숙한 영역인 반면, 시뮬레이션은 단순하고 해석 가능한 베이스라인이 여전히 매우 경쟁력 있는 미해결 과제로 남아 있다. 저자들은 미래의 모델들이 이 "가혹한 기준"에 따라 측정될 수 있도록 벤치마크 코드와 분할 데이터를 공개한다.