Reference-cell design shapes model evaluation in single-cell perturbation prediction

우리 몸속의 미세한 세계에서 세포는 끊임없이 주변 환경의 소리에 귀를 기울이고 있습니다. 바이러스가 침입하거나 유전자가 꺼질 때, 세포의 내부 기제는 생존을 위해 자신이 가진 지침을 다시 쓰며 행동을 변화시킵니다. 과학자들은 이러한 변화가 실험실에서 실제로 일어나기 전에 이를 예측할 수 있는 강력한 컴퓨터 모델을 개발했습니다. 새로운 약물이나 유전적 조작에 세포가 어떻게 반응할지를 시뮬레이션함으로써, 연구자들은 물리적인 실험에 드는 시간과 비용 없이 더 나은 치료법을 설계하고 질병을 이해하기를 희망합니다. 이 컴퓨터 모델들이 얼마나 우수한지 알기 위해, 과학자들은 모델의 예측을 실제 데이터와 비교합니다. 그들은 처치된 세포를 가져와 유전자가 어떻게 변했는지 측정하고, 컴퓨터가 제대로 맞혔는지 확인합니다. 수년 동안 이를 확인하는 표준적인 방법은 처치되지 않은 특정 세포 집단을 기준점인 '대조군(control)'으로 사용하여, 정상 상태와 변화된 상태 사이의 차이를 측정하는 것이었습니다.

칼리파 대학교와 파비아 대학교의 연구팀은 최근 이러한 대조 세포를 선택하고 할당하는 방식이 이러한 비교 결과의 향방을 완전히 뒤바꿀 수 있다는 사실을 발견했습니다. 그들은 동일한 대조 세포를 테스트 과정에서 한 역할에서 다른 역할로 옮기는 것만으로도, 승자로 보였던 모델이 갑자기 패자로 전락하거나 그 반대의 상황이 발생할 수 있다는 것을 발견했습니다. 이는 컴퓨터 모델 자체를 바꾸거나, 모델을 평가하는 수학적 규칙을 변경하거나, 실제 생물학적 데이터를 변경하지 않고도 일어난 일이었습니다. 연구진은 대조 세포를 어떤 것으로 정하느냐가 단순한 기술적 세부 사항이 아니라, 결과를 결정짓는 근본적인 실험의 일부라는 점을 보여주었습니다. 만약 과학자들이 이 대조 세포를 어떻게 할당했는지 정확히 명시하지 않는다면, 어떤 컴퓨터 모델이 최선인지에 대한 그들의 결론은 실제가 아닌 우연일 수 있습니다.

이 연구는 개별 세포의 유전적 활동을 읽어내는 단일 세포 RNA 시퀀싱(single-cell RNA sequencing)이라는 특정 유형의 생물학적 데이터에 초점을 맞추었습니다. 이러한 실험에서 연구자들은 종종 대량의 건강하고 처치되지 않은 세포 풀을 보유하게 됩니다. 그들은 이 세포들 중 일부를 사용하여 컴퓨터 모델에게 정상적인 세포가 무엇인지 가르치고, 일부는 변화를 계산하기 위한 기준점으로 사용하며, 나머지는 최종 결과를 검증하는 데 사용합니다. 연구팀은 8개의 서로 다른 컴퓨터 모델 군을 선정하여, 독감 바이러스에 노출된 인간 혈구 세포 데이터와 다양한 신호 분자로 처리된 세포 데이터로 테스트했습니다. 그들은 동일한 대조 세포 풀을 세 가지 역할로 섞어서 사용할 수 있는 엄격한 테스트 프레임워크를 구축했습니다. 한 시나리오에서는 동일한 세포 그룹이 교사, 기준점, 검증자의 역할을 모두 수행했습니다. 또 다른 시나리오에서는 세포 풀을 나누어 세 개의 완전히 다른 그룹이 이 세 가지 직무를 수행하도록 했습니다.

연구진이 이 테스트를 실행했을 때, 세포를 섞는 방식에 따라 모델의 순위가 극적으로 변한다는 것을 발견했습니다. 독감에 감염된 혈구 세포를 이용한 한 실험 세트에서, 그들은 대조 세포를 서로 다른 그룹으로 분리했을 때 모델 간의 28개 비교 중 10개에서 결과가 역전되는 것을 발견했습니다. 이는 한 가지 배치(arrangement) 하에서는 모델 A가 모델 B보다 확실히 우수했지만, 동일한 데이터와 모델을 사용한 다른 배치 하에서는 모델 B가 명확한 승자가 되었다는 것을 의미합니다. 연구진은 이 역전 현상이 대조 세포 그룹 간의 차이가 모델 간의 미세한 오차 범위를 극복할 만큼 충분히 클 때 발생한다는 정밀한 수학적 관계를 도출해 냈습니다. 모델이 틀린 것이 아니라, 테스트 자체가 기준점으로 사용되는 세포에 민감하게 반응하는 것입니다.

이 발견의 영향은 단순히 최고의 소프트웨어를 고르는 수준을 넘어섭니다. 연구는 대조 세포의 선택이 모델이 들려주는 생물학적 이야기까지 바꾼다는 것을 보여주었습니다. 연구진이 서로 다른 대조 세포 할당을 사용하여 최적의 모델을 선택했을 때, 처리에 반응하여 어떤 유전자가 켜지거나 꺼질지에 대한 결과적 예측은 종종 정반대의 방향을 가리켰습니다. 어떤 경우에는 특정 대조 세포 세트로 선택된 모델이 특정 면역 반응이 강할 것이라고 예측한 반면, 다른 대조 세포 세트로 선택된 모델은 그 반대를 예측했습니다. 이는 모델들로부터 도출된 생물학적 통찰이 고정된 진리가 아니라, 테스트의 설계에 의해 영향을 받는다는 것을 시사합니다. 연구진은 또한 이러한 선택이 통계적 신뢰도에 어떤 영향을 미치는지 조사했습니다. 그들은 독립적인 샘플의 수가 적을 때 표준 통계 테스트가 오해의 소지가 있는 결과를 줄 수 있으며, 이로 인해 모델이 정말로 더 나은 것인지 아니면 단순히 노이즈인지 구분하기 어렵다는 것을 발견했습니다.

이를 해결하기 위해 연구팀은 실험의 감사자 역할을 하는 'Refara'라는 도구를 개발했습니다. 단순히 한 가지 방식으로 대조 세포를 할당하고 넘어가는 대신, Refara는 가능한 여러 가지 할당 방식에 걸쳐 결과가 얼마나 안정적인지를 점검합니다. 이 도구는 모델의 실제 예측에 의한 변화와 점수 계산 방식에 의한 변화를 분리합니다. Refara는 연구자가 어떤 비교가 견고하고 어떤 것이 취약한지를 식별할 수 있도록 돕습니다. 만약 어떤 모델이 특정하고 아마도 임의적인 대조 세포 선택 덕분에 승리한 것이라면, Refara는 이를 불안정한 것으로 표시합니다. 연구진은 이 도구를 대규모 유전자 실험 스크린에 적용하여, 결과에서 선호되는 많은 방향이 대조 세포 할당에 따라 안정적이지 않다는 것을 발견했습니다. 대조 세포를 여러 방식으로 섞었을 때, 오직 극히 일부의 결론만이 유효하게 유지되었습니다.

논문은 대조 세포의 할당이 모델이나 점수 산정에 사용되는 척도(metric)의 선택과 마찬가지로, 실험 명세의 핵심적인 부분으로 다뤄져야 한다고 주장합니다. 과학자가 실험의 온도나 압력 조건을 보고해야 하는 것처럼, 이제는 대조 세포가 어떻게 할당되었는지 정확히 보고해야 합니다. 이 연구는 컴퓨터 모델이 쓸모없다거나 세포의 행동을 예측할 수 없다고 말하는 것이 아닙니다. 대신, 더 명확한 길을 제시합니다. 기준 세포의 선택이 중요하다는 점을 인정함으로써, 과학자들은 더 신뢰할 수 있는 벤치마크를 설계할 수 있습니다. 그들은 자신들이 신뢰하기로 선택한 모델이 어떤 특정 세포가 기준점으로 사용되든 상관없이 일관되게 성능을 발휘하는 모델임을 보장할 수 있습니다. 이는 더 재현 가능한 과학과 미래의 의료적 발견을 위한 더 신뢰할 수 있는 예측으로 이어집니다.

연구진은 또한 대조 그룹의 크기가 이러한 결과에 어떤 영향을 미치는지 탐구했습니다. 그들은 더 큰 규모의 대조 세포 그룹을 사용하는 것이 순위의 변동성을 줄여주기는 하지만, 문제를 완전히 제거하지는 못한다는 것을 발견했습니다. 대규모의 세포를 보유하더라도, 세포를 각 역할에 따라 나누는 방식이 여전히 저울의 무게를 기울게 할 수 있습니다. 이는 이 문제가 단순히 데이터 양의 문제가 아니라 구조적인 문제임을 강조합니다. 연구진은 또한 실험에서 독립 단위(independent unit)의 정의가 얼마나 중요한지 조사했습니다. 일부 데이터셋에서는 동일한 기증자나 동일한 배치에서 나온 세포들이 서로 연결되어 있어, 보이는 것만큼 독립적이지 않습니다. 이들을 독립적이라고 잘못 취급하면 결과에 대한 확신이 부풀려져, 약한 발견을 강한 것으로 보이게 만들 수 있습니다. 연구팀은 이러한 잘못된 결론을 피하기 위해서는 이러한 구조적 세부 사항에 주의를 기울이는 것이 필요함을 보여주었습니다.

궁극적으로 이 작업은 복잡한 과학 분야에서 측정 대상만큼이나 측정 방법 또한 중요하다는 점을 상기시켜 줍니다. 연구진은 실험 설계의 단순한 변화, 즉 동일한 세포를 다른 역할로 재할당하는 것만으로도 어떤 컴퓨터 모델이 우월한지에 대한 전체 서사를 뒤바꿀 수 있음을 입증했습니다. 이것은 해당 분야가 망가졌다는 뜻이 아니라, 추적되지 않는 보이지 않는 변수가 존재했다는 것을 의미합니다. 이 변수를 밝히고 그 영향을 측정할 수 있는 도구를 제공함으로써, 이 연구는 과학계가 세포의 행동을 예측하기 위한 더 견고한 토대를 구축할 수 있게 해줍니다. 목표는 모든 상황에서 작동하는 단 하나의 완벽한 모델을 찾는 것이 아니라, 어떤 조건에서 모델이 신뢰할 수 있는지를 이해하는 것입니다. 이러한 명확성은 컴퓨터의 예측을 실제 의료 발전으로 전환하는 데 필수적이며, 이 모델들에 기반한 결정들이 안정적이고 잘 이해된 토대 위에 세워지도록 보장합니다.