On a Regulator-Centric Eligible Universe from Three Curated References, a Perturb-seq Edge Benchmark Has Too Few Evaluable Regulators to Resolve Direct-Edge Recovery from Matched Random

본 논문은 Perturb-seq 데이터에 대한 인과 발견(causal discovery) 및 유전자 조절 네트워크(GRN) 추론 방법론을 평가하는 데 사용되는 벤치마킹 프레임워크를 엄격하게 재평가한다. 핵심적인 발견은 현재의 표준 벤치마크 설계가 실제 중재(interventional) 데이터에 적용될 때, 방법론들이 무작위 확률보다 더 잘 직접적인 조절 엣지(direct regulatory edges)를 회복하는지를 결정할 수 있는 통계적 해상력을 결여하고 있다는 점이다.

문제 제기

인과 발견 방법론들은 소규모 합성 그래프(통상 5~50개 노드)에서 성공을 입증하며, 이를 통해 CRISPR 섭동(perturbation)과 단일 세포 RNA-seq을 통해 중재 관측치를 제공하는 Perturb-seq 데이터에 적용할 동기를 부여했다. 그러나 이 방법들을 실제 데이터에 적용하여 평가하는 것은 문제가 되어 왔다. 표준 평가는 수백만 개의 후보 유전자 쌍을 수백 개의 큐레이션된 참조 엣지와 비교한다. 이러한 접근 방식은 양성 비율이 너무 낮아(<0.01%) 어떤 순위 전략을 사용하더라도 정밀도(precision)가 거의 0에 수렴하게 되어, 지표를 해석 불가능하게 만드는 "유병률 희석(prevalence dilution)" 문제를 겪는다.

이를 해결하기 위해, 이전 연구들은 평가 대상을 큐레이션된 데이터베이스에 조절자로 주석이 달린 섭동된 유전자로부터 기원하는 엣지로 제한하는 "조절자 중심의 적격 유니버스(regulator-centric eligible universe)"로 한정했다. 이 방식은 유병률을 높였으나, 본 논문은 그 결과로 도출된 벤치마크 역시 결정적인 결함이 있다고 주장한다. 즉, 평가 가능한 조절자의 수가 너무 적어 방향성 있는 결론을 내릴 수 없다는 것이다. 본 논문은 방법론들이 무작위 베이스라인보다 1.4배에서 7.4배 더 우수하다고 주장했던 이전 버전의 벤치마크를 대체하며, 저자는 재분석 결과 해당 주장을 뒷받침할 수 없음을 밝혔다.

방법론

본 연구는 세 가지 Replogle et al. [2022] Perturb-seq 데이터셋(K562 게놈 규모, K562 필수, RPE1 필수)에 대해 7가지의 서로 다른 인과 발견 및 GRN 추론 방법론(9개의 절제 모델 및 무작위 대조군 포함)을 벤치마킹한다. 각 데이터셋은 20,000개의 세포와 1,024개의 고변동성 유전자로 서브샘플링되었다.

주요 방법론적 수정 및 설계:

1. 조절자 중심 적격 유니버스: 평가는 엣지 $(r, t)$에 대해 제한된다. 여기서 $r$은 참조 데이터에서 조절자로 주석이 달린 섭동된 유전자이고, $t$는 측정된 유전자 세트에 속하며, $t \neq r$이다. 결정적으로, 조절자는 측정된 세트 내에 적어도 하나 이상의 비자기(non-self) 큐레이션 타겟을 가져야만 "평가 가능"한 것으로 간주된다.
2. 계수 수정: 저자는 이전의 샘플 크기 과대 추정을 바로잡는다. 이전에는 3955개의 조절자가 후보로 인용되었으나, 각 데이터셋-참조 세포당 실제로 평가 가능한 조절자는 028개뿐이다. 전체 벤치마크는 63개의 조절자-참조 세포에 걸친 39개의 고유한 조절자에 기반한다.
3. 통계적 프레임워크:
   • 매칭된 무작위 베이스라인: 분석적 근사치 대신, 연구는 각 조절자당 2,000개의 매칭된 무작위 순열(matched random permutations)을 사용하여 영 분포(null distribution)를 설정한다.
   • 계층적 부트스트랩: 데이터셋, 데이터셋 내의 참조, 그리고 별개의 조절자 정체성을 리샘플링하는 3단계 부트스트랩을 사용한다. 이는 동일한 조절자가 여러 참조에 걸쳐 나타나는 점(ICC = 0.255)을 고려하여, 유효 샘플 크기의 팽창을 방지한다.
   • MixedLM 민감도: 변동성을 평가하기 위해 조절자 랜덤 절편을 가진 선형 혼합 모델(linear mixed model)을 사용한다.
4. 합성-실제 비교: 합성 벤치마크(통상 15개 노드)와 실제 데이터 사이의 불일치를 해결하기 위해, 저자는 다섯 가지 규모(15~1,000개 노드)의 합성 선형-가우시안 DAG를 생성한다. 이들은 실제 데이터와 지표(Average Precision), 유니버스 규칙, 유병률(엣지 밀도 이분법을 통해)을 일치시켜 공정한 비교를 수행한다.
5. 방법론 감사: 연구는 구현상의 불일치를 식별한다. "GRNBoost2"는 생성 코드를 확인할 수 없어 주요 집계에서 제외되었다. "PC-GES"는 진정한 PC 또는 GES 알고리즘이 아니라 부분 상관 관계 대리물(partial-correlation proxy)임이 밝혀졌으나, 작은 하위 집합에 대해 충실한 PC/GES 실행을 시도하였다.

주요 결과

1. 집계 정렬은 무작위와 구별할 수 없음
7가지 방법론을 통합했을 때, 매칭된 무작위 대비 평균 Average Precision(AP)은 +0.0085 AP이며, 95% 계층적 신뢰 구간은 **[−0.0200, +0.0467]**이다.

• 구간에 0이 포함되어 있어, 본 벤치마크는 방법론 간의 순위를 무작위 순위와 구별할 수 없다.
• 시드(seeded)된 무작위 대조군은 -0.0013 AP를 기록하여 파이프라인이 잘 보정되었음을 확인해 준다.
• 오직 세 가지 방법만이 0을 제외하는 구간을 보였으나, 이들은 모두 단일 데이터셋(K562-GS)에서 실행되었으므로 데이터셋 간 변동성을 반영하지 못한다. 이 중 하나(Vanilla Autoencoder)는 무작위보다 현저히 낮다.
• 어떤 개별 방법론의 평균도 본페로니 교정(Bonferroni correction)을 통과하지 못했다.

2. 합성-실제 간극은 과장되었으나 실재함
이전에 인용된 "전이 실패(transfer failure)"(합성 데이터에서는 작동하지만 실제 데이터에서는 실패함)는 호환되지 않는 축을 기준으로 측정되었다.

• 15-노드 벤치마크 실패: 표준 15-노드 합성 벤치마크는 실제 데이터(바닥 8.22% vs 실제 ~2.1%)와 유병률을 맞출 수 없다. 이 규모에서 무작위 순위자는 최고의 실제 방법론보다 4.8배 더 높은 점수를 기록하며, NOTEARS는 무작위 미만으로 떨어진다.
• 매칭된 비교: 지표, 유니버스, 유병률을 1,000개 노드에서 일치시켰을 때도 잔여 간극이 존재한다. 합성 모델은 기회 보정된 초과 AP(chance-corrected excess AP)에서 실제 모델보다 +0.1118 AP만큼 더 높았다 (95% CI [0.0746, 0.1489]).
• 이 간극은 그래프 규모에 따라 단조 감소하지만(50개 노드에서 +0.31에서 1,000개 노드에서 +0.11까지), 대규모에서도 진정한 전이 실패가 지속됨을 시사한다.

3. 직접적 vs 간접적 차별화
방법론들은 큐레이션된 직접 타겟을 관련 없는 유전자보다 높게 점수 매긴다 (점수 비율 1.22배21.64배). 그러나 라벨 절제 실험(셔플되거나 섭동 라벨이 없는 상태로 학습)에서도 유사한 기울기(1.22배1.43배)가 유지된다. 이는 이러한 차별화의 상당 부분이 섭동 정보보다는 **발현 상관관계(expression correlation)**에 의해 주도됨을 나타낸다.

4. 제약 기반 방법론의 계산적 불가능성
제한되지 않은 PC 및 GES 알고리즘은 173개 유전자 적격 유니버스에서 시간 초과(>14,400초)가 발생했다. 세포를 추가하여 통계적 검정력을 높이는 것이 오히려 이 알고리즘들에게는 문제를 더 어렵게 만들었는데, 이는 더 조밀한 스켈레톤이 조건 집합(conditioning sets)의 조합 폭발을 증가시키기 때문이다.

의의 및 주장

본 논문은 자신이 보여주는 것과 보여주지 않는 것을 명확히 밝힌다:

• 보여주는 것: 큐레이션된 참조와 측정된 유전자 패널 간의 중첩에 의해 제약된 현재의 벤치마크 설계는 유효 샘플 크기가 39개의 조절자에 불과하다. 이 규모에서, 본 벤치마크는 Perturb-seq 방법론이 무작위보다 더 잘 직접 엣지를 회복하는지를 **해상(resolve)**할 수 없으며, 이를 부정할 수도 없다. 이전 연구의 "1.4배~7.4배 상회" 주장은 단일 세포 내 단일 조절자에 의존했으며 통계적 검정력을 오해했기에 철회된다.
• 보여주지 않는 것: 본 논문은 Perturb-seq 방법론이 어떠한 조절 정보도 회복하지 못한다는 것을 증명하는 것이 아니다. 신뢰 구간은 넓으며 상당한 양(+)의 효과를 포함하고 있다. 또한 방법론들이 무작위와 동일하다고 주장하는 것도 아니며, 단지 이 특정 벤치마크의 해상력 내에서 무작위와 구별할 수 없음을 의미한다.
• 설계적 함의: 구속 요인은 세포 수가 아니라, 참조 패널과의 중첩에 의해 결정되는 '평가 가능한 조절자의 수'이다. 향-후 벤치마크는 반드시 평가 가능한 조절자의 수를 샘플 크기로 보고해야 하며, 명시적인 매칭된 무작위 베이스라인을 사용하고, 큐레이션된 참조와의 중첩을 극대화하도록 유전 패널을 선택해야 한다.

결론적으로, 본 논문은 Perturb-seq 벤치마킹에 대한 학계의 이해를 재구성한다. 엣지 회복을 입증하지 못한 실패는 방법론 자체나 Perturb-seq 기술의 결정적 실패라기보다, 벤치마크의 해상력에 관한 발견이다. 저자는 질문하고자 하는 질문에 답할 수 있는 능력을 갖추도록 평가 도구의 재설계를 촉구한다.