PathwayBench: a multi-criterion benchmark of pseudobulk pathway activity scoring methods reveals rank-window competition as a mechanism of biological signal loss in single-cell RNA-seq

당신이 도시, 즉 인체 내부의 미스터리를 풀려는 탐정이라고 상상해 보십시오: 당신의 단서들은 유전자라고 불리는 아주 작은 메시지들입니다. 당신은 어떤 '동네'(경로/pathway)가 파티를 벌이고 있는지(활성화), 그리고 어디가 잠들어 있는지 알고 싶습니다. 단일 세포 RNA 시퀀싱(single-cell RNA sequencing)의 세계에서, 과학자들은 이 다섯 가지 동네 파티를 측정하기 위해 다섯 가지 즐겨 쓰는 도구를 가지고 있습니다: ssGSEA, GSVA, z-score, AUCell, 그리고 UCell입니다.

오랫동안 연구자들은 이 다섯 가지 도구를 동일한 진실을 비추는 서로 다른 브랜드의 손전등처럼 취급하며, 모두 같은 곳을 비출 것이라고 가정해 왔습니다. 하지만 PathwayBench라고 불리는 이 새로운 연구는 돋보기를 들고 조사한 끝에 놀라운 사실을 발견했습니다: 이 손전등들은 단순히 빛을 다르게 비추는 것이 아니라, 때로는 정반대 방향을 가리키기도 한다는 것입니다!

위대한 손전등 대결

연구자들은 단순히 추측한 것이 아니라, 682명의 실제 사람으로부터 얻은 데이터와 알츠하이머, 신장 질병, COVID-19를 포함한 8가지 서로 다른 질병 연구를 사용하여 이 다섯 가지 도구를 엄격한 "운전 테스트"에 통과시켰습니다. 그들은 5,923개의 샘플을 조사했으며, 다섯 가지 엄격한 규칙에 따라 도구들을 검증했습니다:

1. 생물학적 관련성 (Biological Relevance): 올바른 방향을 찾아냈는가? (파티가 시작되었는가, 아니면 멈췄는가?)
2. 집계 안정성 (Aggregation Stability): 데이터를 다르게 혼합하더라도 차분함을 유지하는가?
3. 이상치 민감도 (Outlier Sensitivity): 이상한 데이터 하나가 나타났을 때 당황하는가?
4. 정규화 안정성 (Normalization Stability): 측정 볼륨을 변경해도 제대로 작동하는가?
5. 표본 크기 안정성 (Sample-Size Stability): 연구할 사람이 적어도 잘 버텨내는가?

결과는 어땠을까요? 단 하나의 도구도 경주에서 승리하지 못했습니다. 이것은 마치 페라리, 픽업트럭, 혹은 자전거 중 무엇이 "최고의" 탈것인지 묻는 것과 같습니다. 그것은 전적으로 지형에 달려 있습니다.

• GSVA는 5개 중 4개의 테스트를 통과하며 슈퍼스타가 되었습니다.
• UCell 또한 5개 중 4개의 테스트를 통과했지만, 작은 표본 크기에서는 다소 고전했습니다.
• z-score는 올바른 방향을 찾는 데 가장 정확했지만 (**77.3%**의 확률로 정답을 맞힘), 데이터가 지저질 때는 다소 불안정한 모습을 보였습니다.
• AUCell과 ssGSEA는 더 많은 어려움을 겪었으며, 특히 AUCell은 방향을 맞춘 확률이 **60.5%**에 불과했습니다.

비밀스러운 악당: "순위-윈도우 경쟁 (Rank-Window Competition)"

이 이야기의 가장 흥osa운 부분은 바로 이것입니다. 연구자들은 왜 일부 도구들이 실패하는지, 특히 질병이 신체에 거대한 변화를 일으킬 때(신장이나 심장 질병처럼) 왜 실패하는지를 발견했습니다. 그들은 이 현상에 **"순위-윈도우 경쟁"**이라는 이름을 붙였습니다.

VIP 클럽에 엄격한 규칙이 있다고 상상해 보십시오: 오직 **상위 10%**의 손님만이 "VIP 룸"(스코어링 윈도우)에 입장할 수 있습니다.

• 크기 인식 도구 (Magnitude-Aware Tools - GSVA, z-score): 이들은 각 손님이 얼마나 크게 소리를 지르는지를 체크하는 보안 요원과 같습니다. "경로 파티"의 손님들이 크게 소리 지르고 있다면, 다른 사람들이 누구든 상관없이 높은 점수를 받습니다.
• 순위 기반 도구 (Rank-Based Tools - AUCell, UCell): 이들은 오직 상위 10% 안에 누가 있는지만을 신경 쓰는 보안 요원과 같습니다. 그들은 손님들이 얼마나 크게 소리 지르는지는 상관하지 않고, 단지 줄의 맨 앞에 있는지만을 봅니다.

문제는 이렇습니다: 만�약 만성 신장 질환이나 심장 질환처럼 질병이 발생하여 온 도시가 광란에 빠진다면 어떻게 될까요? 수천 명의 관련 없는 유전자들("경쟁자"들)이 "경로 파티"의 유전자들만큼이나 크게 소리를 지르기 시작합니다. 갑자기, "경로 파티"의 손님들은 "경쟁자" 손님들이 앞줄을 가득 메우면서 상위 10%의 줄 밖으로 밀려나게 됩니다.

연구자들은 이를 증명하기 위해 시뮬레이션을 실행했습니다. 혼합물에 500개의 경쟁 유전자를 추가했을 때:

• **순위 기반 도구 (AUCell)**는 완전히 무너졌습니다. 테스트의 **40%**에서 그들은 단순히 신호를 놓친 것이 아니라, 아예 거꾸로 판단했습니다 (파티가 실제로 시작되고 있는데도 파티가 끝났다고 말하는 식입니다!).
• 크기 인식 도구들은 조금 조용해지긴 했지만, 계속해서 작동을 유지했습니다.

이것은 단순한 컴퓨터 게임이 아니었습니다. 연구자들은 **만성 신장 질환 (CKD)**의 실제 데이터를 살펴보았습니다. 그들은 "ECM 리모델링"(조직 수복의 한 종류)이 상향 조절(upregulated, 활성화)되어야 한다는 것을 알고 있었습니다.

• 크기 인식 도구들은 올바르게 말했습니다: "네, 활성화되었습니다!" (효과 크기 약 0.33 ~ 0.40)
• 순위 기반 도구들은 이렇게 말했습니다: "아니요, 비활성 상태이거나 오히려 하향 조절되었습니다!" (효과 크기 약 -0.01 ~ -0.03)

두 그룹 사이의 격차는 매우 컸으며, 특히 "군중"의 밀도가 가장 높은 신장 및 심장 조직에서 두드러졌습니다.

그렇다면, 어떤 도구를 사용해야 할까요?

단 하나의 "최고" 도구는 없기 때문에, 저자들은 과학자들이 자신의 특정 작업에 맞는 올바른 손전등을 선택할 수 있도록 **의사 결정 나무(Decision Tree)**와 재미있는 **대화형 앱 (PathwayBench Advisor)**을 구축했습니다.

• 가장 정확한 방향이 필요하지만 약간의 위험을 감수해도 된다면: z-score를 선택하십시오.
• 대부분의 상황에서 균형 잡히고 안전한 선택을 원한다면: GSVA 또는 UCell이 최선의 선택입니다 (두 도구 모두 5개 중 4개의 테스트를 통과했습니다).
• 섬유화나 염증처럼 광범위하고 거대한 변화가 일어나는 질병을 연구하고 있다면: 순위 기반 도구 (AUCell, UCell)를 피하십시오. 이들은 군중에 의해 너무 쉽게 혼란에 빠집니다. 대신 크기 인식 도구를 고수하십시오.

결론

이 연구는 단순히 숫자들을 나열한 것이 아니라, 우리에게 지도를 제공했습니다. 생물학적 "노이즈"가 너무 커지면, 순위만을 보는 도구들이 군중 속에서 길을 잃는다는 것을 보여주었습니다. 순위-윈도우 경쟁을 이해함으로써, 이제 과학자들은 적절한 도구를 선택하여 질병이 실제로 악화되고 있는데도 좋아지고 있다고 잘못 보고하는 실수를 방지할 수 있습니다.

저자들은 이것이 영원히 변하지 않을 최종 결론은 아니라는 점을 주의 깊게 언급했습니다. 그들은 새로운 질병과 새로운 도구가 발견됨에 따라 다른 과학자들이 업데이트할 수 있는, 살아 움직이는 프레임워크로서 이 "PathwayBench"를 구축했습니다. 하지만 지금 이 순간, 그들은 왜 손전등들이 서로 다른 방향을 가리키고 있었는지에 대한 미스터리를 풀었습니다. 그 이유는 바로 군중이 너무 컸기 때문입니다.