What Knowledge Can Be Extracted from Single-Cell Data? An Empirical Analysis of Donor-Robust Cell-Type Annotation

당신이 도시 곳곳에 흩어진 수천 개의 작은 단서들을 쫓는 탐정이라고 상상해 보세요. 생물학의 세계에서 이 단서들은 세포이며, 미스터리는 각 세포가 정확히 어떤 종류인지 알아내는 것입니다. 오랫동안 과학자들은 섞여 있는 세포 더미를 통째로 보고 그것이 무엇인지 추측했습니다. 마치 과일 스무디를 보고 그 안에 무엇이 들어있는지 맞히는 것과 같았죠. 하지만 단일 세포 RNA 시퀀싱(single-cell RNA sequencing)이라는 새로운 기술이 등장하며 판도가 바뀌었습니다. 이 기술은 과학자들이 스무디 속의 모든 조각을 하나하나 따로 맛보는 것처럼, 모든 세포를 개별적으로 관찰할 수 있게 해줍니다. 이는 같은 장기에 살고 있더라도 모든 세포가 동일하지 않다는, 숨겨진 다양성의 세계를 보여줍니다.

하지만 이 탐정 업무에는 까다로운 부분이 있습니다. 과학자들이 컴퓨터에게 세포를 인식하도록 훈련시킬 때, 흔히 데이터를 무작위로 나누곤 합니다. 마치 카드 덱을 섞어서 일부는 '훈련용' 더미로, 나머지는 '테스트용' 더미로 나누는 것과 같습니다. 문제는 만약 같은 사람에게서 나온 세포들이 두 더미에 모두 섞여 있다면, 컴퓨터가 세포의 보편적인 규칙(예: 무엇이 '심장 세포'나 '간 세포'를 만드는가)을 배우는 대신, 그 특정 인물의 고유한 '목소리'를 단순히 암기해 버릴 수 있다는 점입니다. 이는 마치 선생님이 이미 숙제로 다 다뤘던 질문들로만 시험을 보는 것과 같습니다. 그러면 당신은 만점을 받겠지만, 실제로 그 과목을 이해했다고 볼 수는 없겠죠. 이 논문은 중요한 질문을 던집니다. 만약 우리가 컴퓨터를 한 번도 본 적 없는 완전히 새로운 사람의 데이터로 테스트한다면, 컴퓨터는 여전히 자신이 무엇을 말하고 있는지 알고 있을까요, 아니면 무너져 내릴까요?

---

위대한 세포 정체성 테스트

이 연구에서 리우 첸(Liu Chen)이라는 연구자는 특정 데이터셋인 인간 췌장 세포를 사용하여 이 아이디어를 검증하기로 했습니다. 췌장은 우리 몸의 당을 관리하는 다양한 유형의 일꾼(세포)들을 생산하는 바쁜 공장이라고 생각하면 됩니다. 이 연구는 네 명의 서로 다른 인간 기증자로부터 나온 8,569개의 세포를 살펴보았습니다. 목표는 컴퓨터 프로그램이 특정 인물을 만나본 적이 없더라도 이 세포들을 (예를 들어 "베타 세포"나 "알파 세포"로) 올바르게 분류할 수 있는지 확인하는 것이었습니다.

테스트를 공정하게 만들기 위해, 연구자는 먼저 데이터를 정리했습니다. 모든 기증자에게서 공통적으로 나타나는 세포 유형만을 남겼으며, 최종적으로 여섯 가지 주요 유형(활성화된 성상 세포, 알파, 베타, 델타, 관, 감마)을 나타내는 7,068개의 세포를 확보했습니다. 그런 다음 연구자는 세포를 인식하도록 두 가지의 단순하지만 똑똑한 컴퓨터 모델을 훈련시켰습니다. 한 모델은 다항 로지스틱 회귀(multinomial logistic regression)를 사용하는 신중한 회계사 같았고, 다른 모델은 코사인 중심 분류기(cosine-centroid classifier)라고 불리는 더 단순한 "평균" 찾기 모델이었습니다.

연구자는 모델이 얼마나 잘 작동하는지 확인하기 위해 두 가지 다른 유형의 테스트를 실행했습니다.

1. "무작위 셔플(Random Shuffle)" 테스트: 이것은 대부분의 사람들이 사용하는 표준적인 방식입니다. 네 명의 기증자로부터 나온 모든 세포를 한데 섞고, 이를 셔플한 뒤 훈련 그룹과 테스트 그룹으로 나눕니다. 이 시나리오에서는 동일 인물의 세포가 두 그룹 모두에 포함됩니다. 이는 마치 자신이 공부했던 것과 똑같은 교과서를 가지고 시험을 치르는 것과 같습니다.
2. "기증자 제외(Donor Hold-Out)" 테스트: 이것은 더 엄격하고 현실적인 테스트입니다. 연구자는 한 명의 기증자로부터 나온 모든 세포를 따로 떼어내어 "테스트" 그룹으로 설정했습니다. 컴퓨터는 나머지 세 명의 기증자 데이터로만 훈련되었습니다. 그 후, 컴퓨터는 한 번도 만나본 적 없는 네 번째 사람의 세포를 식별해야 했습니다. 이는 특정 인물의 노트를 공부하지 않고 새로운 주제에 대해 시험을 치르는 것과 같습니다.

결과: 작은 격차, 그리고 큰 교훈

결과는 두 경우 모두 놀라울 정도로 높았지만, 작고 흥미로운 차이가 있었습니다.

컴퓨터가 무작위 셔플 방식으로 테스트되었을 때, 정확도는 매우 높았습니다. 로지스틱 회귀 모델은 점수(매크로 F1) 0.9898을 기록했고, 중심 모델은 0.9853을 기록했습니다. 이 수치들은 완벽한 1.0에 매우 근접하며, 이는 컴퓨터가 거의 틀리지 않았음을 의미합니다.

그러나 연구자가 기증자 제외 방식(새로운 사람에 대한 테스트)으로 전환했을 때, 점수는 아주 약간 떨어졌습니다. 로지스틱 회귀 모델은 0.9853으로 떨어졌고, 중심 모델은 0.9831로 떨어졌습니다.

차이는 작았습니다. 로지스틱 모델의 경우 약 0.0045 정도였지만, 이는 일관된 결과였습니다. 이는 컴퓨터가 "베타 세포"가 무엇인지에 대한 일반적인 규칙을 학습하긴 했지만, 이미 보았던 사람들의 특정한 "풍미(flavor)"에도 약간 의존하고 있었음을 시사합니다. 새로운 사람을 마주했을 때도 여전히 98% 이상의 정확도를 보였지만, 99%에는 미치지 못했습니다.

또한 연구는 컴퓨터가 살펴보는 유전자의 수가 중요한지도 확인했습니다. 그들은 250개에서 4,000개 사이의 유전자를 사용하여 테스트했습니다. 결과는 거의 동일하게 유지되었는데, 이는 컴퓨터가 임무를 완수하기 위해 방대한 양의 단서 목록이 필요하지 않다는 것을 증로하며, 이 세포들의 주요 특징이 매우 강력하고 명확하다는 것을 입증했습니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

주요 결론은 건강한 췌장의 흔하고 잘 알려진 세포 유형에 대해서는 우리가 추출하는 "지식"이 상당히 견고하다는 것입니다. 컴퓨터는 베타 세포가 무엇인지 배울 수 있고, 새로운 사람에게서도 높은 확신을 가지고 이를 인식할 수 있습니다. "무작위 셔플" 방식은 우리를 속인 것이 아니라, 단지 약간 지나치게 낙관적이었을 뿐입니다. 즉, 실제 세상에서 얻게 될 것보다 아주 조금 더 높은 점수를 준 것입니다.

하지만 저자는 이 발견의 한계를 매우 주의 깊게 지적합니다. 이 연구는 단 하나의 연구에서 사용된 단 하나의 기술을 사용하여 여섯 가지의 풍부한 세포 유형만을 살펴보았습니다. 이것은 컴퓨터가 희귀한 세포, 질병을 가진 사람의 세포, 또는 완전히 다른 실험실의 세포를 쉽게 식별할 수 있다는 것을 증명하는 것이 아닙니다. 실제로 연구 결과, 컴퓨터는 특히 특정 기증자에게 세포 수가 매우 적었던 작은 희귀 그룹(감마 및 델타 세포 등)에서 다소 어려움을 겪었습니다.

따라서 우리는 건강한 췌장의 "주요 플레이어"들을 여러 사람에 걸쳐 안정적으로 식별할 수 있다고 확신할 수 있지만, 이것이 모든 세포 유형이나 모든 의료 상황에 적용될 것이라고 가정해서는 안 됩니다. 여기서의 교훈은, 과학자들이 생물학에서 새로운 규칙을 발견했다고 주장할 때마다, 그들이 누구와 무엇을 테스트했는지 명확히 밝혀야 한다는 것입니다. 컴퓨터가 실험실 실험에서 세포를 인식할 수 있다고 해서 그것이 내일 병원에서 완벽하게 작동한다는 뜻은 아니지만, 이 특정적이고 흔한 세포들에 대해서는 그 규칙이 꽤 잘 유지되고 있는 것으로 보입니다.