Method Choice, Not Biology, Determines In Silico Perturbation Results: A Systematic Evaluation of Eight Methods Across Four Datasets

기술 요약: 생물학적 사실이 아닌 방법론의 선택이 인 실리코(In Silico) 섭동 결과를 결정한다

문제 제기
현재의 단일 세포 전사체학을 위한 인 실리코(in silico) 섭동 방법들은 심각한 검증 공백에 직면해 있다. 이러한 방법들은 대개 개별 데이터셋에 대해서만 벤치마킹되어, 그 신뢰성, 일반화 가능성, 그리고 진정한 인과적 신호를 회복하는 능력이 알려지지 않은 상태이다. 이러한 체계적인 교차 방법 및 교차 데이터셋 평가의 부재는 관찰된 생물학적 결론이 기저의 생물학에 의한 것인지, 아니면 특정 알고리즘 선택에 따른 인공물(artifact)인지를 판단하기 어렵게 만든다.

방법론
저자들은 8가지의 서로 다른 인 실리코 섭동 방법을 평가하는 체계적인 벤치마킹 연구를 수행하였다. 이 방법들은 6가지의 서로 다른 수학적 프레임워크를 포괄하며 4개의 다양한 데이터셋을 통해 테스트되었다. 평가 전략은 다음과 같다:

• 교차 방법 및 교차 데이터셋 벤치마킹: 서로 다른 생물학적 맥락 전반에 걸친 성능 일관성 비교.
• 신호 탐지 분석: 전사 인자(TF)-경로 간의 방향성 조절, 특히 TF-당해과정(glycolysis) 신호 탐지 능력 평가.
• 생물학적 일관성 확인: PBMC 단핵구 내 TF-경로 연관성을 분석하였으며, 여기에는 특정 쌍(예: SPI1 대 당해과정, FOS 대 AP-1 타겟)에 대한 농축 테스트와 경로 특이성을 위한 음성 대조군으로서의 SOX9 사용이 포함됨.
• 상관관계 및 순위 일관성: 방법론 간의 순위 상관관계를 측정하여 생물학적 결론을 역전시킬 수 있는 역상관(anti-correlated) 결과를 식별함.
• 실험적 검증: K562 세포의 CRISPRi Perturb-seq 데이터와 비교하여, 예측된 섭동 방향이 JUN, CEBPB, SPI1, FOS와 같은 유전자의 실험적 녹다운(knockdown) 결과와 일치하는지 검증함.
• 진단적 실패 모드 분석: VAE 잠재 공간 프로파일링, 상관관계 분포 비교, 유전자-유전자 그래프 분석을 활용하여 성능이 저하된 방법들의 구체적인 기술적 실패 원인을 규명함.
• 절제 연구(Ablation Studies): DDIM 방법론에 유전자 조절 네트워크(GRN) 사전 정보를 통합하는 것이 타겟 재현율(target recall)을 개선하는지 테스트함.

주요 결과

• 현재 방법론들의 광범적인 실패: 널리 사용되는 변이형 오토인코더(VAE) 기반 및 텐서 분해 접근법을 포함한 8가지 방법 중 6가지가 탐지 가능한 TF-경로 방향성 신호를 생성하는 데 실패함.
• 제한적인 성공: CellOracle과 DDIM만이 당해과정으로의 TF 방향성 조절을 일관되게 탐지함. 두 방법 모두 초기 벤치마크에서는 성공했으나, CellOracle의 예측은 후속 실험 검증에서 실패함.
• 방법 의존적 결론: 방법의 선택만으로도 생물학적 결론이 뒤바뀔 수 있음. 예를 들어, DDIM과 scTenifoldKnk가 생성한 순위는 유의미하게 역상관 관계를 보임 ($\rho = -0.811, p = 0.027$).
• 검증 불일치: CRISPRi Perturb-seq는 TF 녹다운이 당해과정 유전자 발현을 억제함을 확인했으나 (JUN $\delta = -1.72, *SPI1*$\delta = -1.57$), CellOracle의 예측된 섭동 방향은 실험적 방향과 40.9%의 일치율만을 보였으며, 이는 우연에 의한 수준과 유의미한 차이가 없었음. 이는 정상 상태 상관관계(steady-state correlation)와 인과적 섭동 추론 사이의 근본적인 간극을 강조함.
• 식별된 실패 모드: 진단 분석을 통해 특정 방법의 실패 원인을 규명함:
  • VAE 잠재 공간 경쟁: 낮은 신호 대 잡음비 (예: STAT3의 신호 대 잡음비는 0.44인 반면 SPI1은 4.25).
  • 상관관계 노이즈: TF-당해과정 상관관계 ($|r|=0.038$)가 배경 잡음 ($|r|=0.047$)과 구별되지 않음.
  • 그래프 비특이성: 농축 계수(enrichment factor)가 0.84배까지 낮아짐.
• 절제 연구 결과: DDIM에 GRN 사전을 추가하는 것은 타겟 재현율을 개선하지 못함 ($\delta = 0$ for all TFs). 이는 성능 차이가 다요인적이며, 단순히 사전 정보 통합만으로는 해결될 수 없음을 확인시켜 줌.

주요 기여

• 체계적 벤치마킹: 단일 데이터셋 검증을 넘어 8가지 인 실리코 섭동 방법에 대한 최초의 교차 방법, 교차 데이터셋 평가를 제공함.
• 방법론적 편향의 실증적 증거: 방법 선택이 결과의 주요 결정 요인이며, 상충하는 생물학적 서사를 생성할 수 있음을 입증함.
• 진단 프레임워크: 특정 맥락에서 특정 방법이 왜 실패하는지 식별하기 위한 구체적인 진단 도구(잠재 공간 프로파일링, 상관관계 분포 비교, 그래프 분석)를 도입함.
• 검증 간극 식별: 정상 상태 상관관계 기반 예측과 실험적 섭동 결과 사이의 괴리를 명확히 정량화함.

의의 및 지침
본 논문은 인 실리코 섭동으로부터 도출된 생물학적 결론이 순수하게 생물학적 진실을 반영하기보다 선택된 알고리즘에 크게 의존한다는 점을 확립한다. 이에 따라 저자들은 위험을 완화하기 위한 방법 선택에 관한 데이터 기반의 예비 지침을 제공한다. 이 지침에는 다음 사항이 포함된다:

• 교차 경로 검증(cross-pathway validation) 실시.
• 방향성을 고려한 벤치마킹 프로토콜 채택.
• 견고한 신호 탐지를 보장하기 위한 최소 데이터 요구 사항 준수, 구체적으로 $\ge$500개의 세포 및 **$\ge$1,000개의 고변이 유전자(HVGs)**를 포함하는 데이터셋 권장.

이러한 결과는 계산적 섭동 결과를 생물학적 추론에 활용하기 전에 엄격하고 다각적인 검증이 필수적임을 강조한다.