Basal expression predicts context-specific drug responses only where they are reproducible: a leakage-safe 47-line LOCO benchmark on Tahoe-100M

기술 요약: 기저 발현(Basal Expression)은 재현 가능한 경우에만 맥락 특이적 약물 반응을 예측한다

문제 제기
섭동 모델링(Perturbation modeling) 분야의 목표는 미지의 세포 맥락(예: 특정 암 세포주)이 약물 처리에 어떻게 반응할지 예측하는 것이다. 파운데이션 모델과 전이 학습 방법들이 교차 맥락 일반화(cross-context generalization)에서 성공적이라고 점점 더 많이 주장하고 있지만, 중요한 방법론적 간극이 남아 있다. 즉, 홀드아웃(held-out) 세포주의 기저(untreated) 전사체가 **맥락 특이적 성분(context-specific component)**을 예측할 수 있는지 엄격하게 테스트한 연구가 거의 없다는 점이다.

현재의 벤치마크들은 평균적인 약물 효과(상대적으로 예측하기 쉬움)를 예측하는 것과 세포주 특이적인 잔차(residual variation)를 예측하는 것을 혼동하는 경우가 많다. 저자는 모델이 단순히 약물의 정체성을 암기하거나 모집단 평균으로 수렴하는 것이 아니라, 진정한 맥락 특이적 생물학을 학습하도록 하려면 잔차(관찰된 반응에서 훈련 맥락의 약물 유전자 평균을 뺀 값)를 분리해야 한다고 주장한다. 더욱이, 맥한 특이적 잔차의 재현성을 정량화하여 모델 성능의 "천장(ceiling)"으로 설정하는 작업이 그동안 거의 이루어지지 않았다.

방법론
저자는 47개의 고커버리지 암 세포주, 377개의 약물(5 µM 농도), 12,705개의 유제로 구성된 Tahoe-100M 데이터셋을 사용하여 사전 등록된, 데이터 누출(leakage)로부터 안전한 벤치마크를 구축하였다.

• 실험 설계: Leave-One-Cell-Line-Out (LOCO) 프레임워크를 채택하였다. 47개의 폴드(fold) 각각에 대해 단일 세포주를 테스트 세트로 홀드아웃하였다. 모델은 테스트 라인의 DMSO(무처리) 기저 전사체만을 전달받았으며, 해당 라인의 약물 반응을 예측하는 과제를 수행하였다. 결정적으로, 훈련 과정에서 테스트 라인의 처리된(treated) 발현 데이터는 사용되지 않았다.
• 타겟 정의: 예측 타겟은 **잔차($R$)**로 정의되었다: $R = \text{관찰된 log2FC} - \text{훈련 맥락의 약물-유전자 평균 log2FC}$. 이는 모델이 평균적인 약물 효과로부터의 편차를 예측하도록 강제함으로써, 맥락 특이적 신호를 격리한다.
• 평가된 모델: 이 잔차를 예측하기 위해 다음 6가지 모델을 테스트하였다:
  1. no_change: 제로(0) 반응을 예측함.
  2. drug_mean: 제로 잔차를 예측함 (구조적으로 정확히 0을 기록하는 참조 베이스라인).
  3. organ_shrinkage: 장기 평균 잔차를 예측함.
  4. knn_transfer: DMSO PCA 공간에서의 k-최근접 이웃(k-nearest neighbors)을 기반으로 예측함.
  5. metadata_ridge: 장기 및 드라이버 유전자 메타데이터에 대한 릿지 회귀(Ridge regression).
  6. basal_pc_ridge (주요 모델): 기저 전사체의 PCA 성분에 대한 릿지 회귀.
• 지표: 성능은 **신뢰도 가중 잔차 $R^2$(reliability-weighted residual $R^2$)**로 측정되었다. 모델의 숙련도를 해석하기 전, 재현성 천장(repeatability ceiling)(반복 측정 간의 잔차 상관관계)을 먼저 정량화하는 **유효성 게이트(validity gate)**를 구현하였다.
• 통계적 엄밀성: 저자는 참된 신호와 노이즈를 구분하기 위해 비모수 부트스트래핑(nonparametric bootstrapping), 약물 평균 베이스라인에 대한 윌콕슨 부호 순위 검정(Wilcoxon signed-rank tests), 그리고 특징을 섞은 순열 널(permutation nulls)을 활용하였다.

주요 결과

1. 전반적인 성능은 미미함: 17,561개의 약물-폴드 평가 전체 벤치마크에서 어떤 모델도 drug_mean 베이스라인을 유의미하게 능가하지 못했다. 가장 우수한 모델인 metadata_ridge는 평균 가중 잔차 $R^2$가 +0.004에 불과했으며, 주요 모델인 basal_pc_ridge는 −0.068을 기록했다.
2. 낮은 재현성 천장: 반복 데이터가 있는 107개의 약물을 분석한 결과, 맥락 특이적 잔차는 대체로 재현되지 않는 것으로 나타났다. 중앙값 반복 신뢰도는 0.067이었으며, 신뢰도가 0.2를 초과하는 약물은 단 4개뿐이었다. 이 낮은 천장은 일반적인 약물에 대해 예측 가능한 최대 $R^2$를 약 0.004로 제한한다.
3. 숙련도가 천장을 추종함: 모델 성능은 재현성 천장과 강한 상관관계를 보였다 (Spearman $\rho = 0.76$). 신호가 재현되는 곳(신뢰도 > 0.15)에서는 모델이 양(+)의 숙련도를 보였다.
4. 세 가지 확인된 양의 사례: 높은 신뢰도 구간 내에서, 약물 평균 베이스라인 대비 통계적으로 유의미한 예측 숙련도를 보인 약물은 단 세 가지였다:
   • Idarubicin ($R^2 = +0.103$): 예측 축이 Y-염색체 유전자(성별)에 의해 지배되었으며, 남성 라인과 여성 라인을 구분하였다.
   • Homoharringtonine ($R^2 = +0.087$): ECM/염증 프로그램과 연관되었다.
   • Tucidinostat ($R^2 = +0.084$): MHC-II/기질(stromal) 프로그램과 연관되었다.
   • 높은 신뢰도 구간에 있는 다른 두 약물(Selinexor, Vinblastine)은 베이스라인과 구별되지 않았다.
5. 예측 가능성의 본질: 저자는 예측 가능한 신호가 미세한 조절 상태(regulatory states)보다는 세포주 정체성 수준의 표현형(예: 기증자 성별, 면역-기질 프로그램)에 해당한다고 결론지었다. "양의 영역(positive regime)"은 매우 좁으며, 이 데이터셋에서는 단 세 개의 약물에 국한된다.

의의 및 주장
본 논문은 맥락 특이적 예측 모델의 실패가 모델의 부적절함 때문이 아니라 주로 신호의 재현성 문제라고 주장한다. 저자는 다음과 같이 단언한다:

• 벤치마크는 반드시 재현성 천장을 보고해야 한다: 재현되지 않는 타겟에 대한 맥락 특이적 예측 주장은 반증 불가능하다. 벤치마크는 성능을 맥락화하기 위해 모델의 숙련도와 함께 "천장"을 함께 보고해야 한다.
• 현재 모델들이 실패하는 것이 아니라, 신호 자체가 약한 것이다: 대부분의 약물에 대해 맥락 특이적 잔차는 사실상 노이즈다. 실제 신호가 존재하는 곳(위의 세 가지 약물과 같이)에서는 단순 선형 모델이 기저 발현으로부터 이를 복구할 수 있다.
• 예측 가능성은 거시적이다: 예측 가능한 특징들은 미세한 조절 상태가 아닌, 성별이나 기질 조성과 같은 주요 표현형 축이다.
• 방법론적 기여: 이 연구는 가상 세포 모델을 엄격하게 테스트하기 위해 다른 아틀라스에도 재사용될 수 있는 "데이터 누출로부터 안전한" 47-라인 LOCO 벤치마크와 잔차화된 엔드포인트 설계를 제공한다.

저자는 자신의 핵심적인 답변이 일반적인 맥락 특이적 예측에 대해서는 "아니오(no)"이지만, 생물학적 신호가 충분히 재현 가능한 좁은 범위의 약물 집단에 대해서는 "예(yes)"라고 명시적으로 밝히고 있다. 또한, 지면 자체가 불안정한 타겟에 대해 모델의 숙련도를 과잉 해석하는 것에 대해 경고한다.