X-Cell: Scaling Causal Perturbation Prediction Across Diverse Cellular Contexts via Diffusion Language Models

이 논문은 2,560 만 개의 단일 세포 전사체 데이터를 기반으로 자연어 및 단백질 언어 모델 등 다양한 생물학적 사전 지식을 통합한 확산 언어 모델 'X-Cell'을 개발하여, 기존 방법론을 크게 상회하는 정확도로 다양한 세포 환경에서 유전자 간섭에 따른 반응을 예측하고 제로샷 일반화 능력을 입증했습니다.

핵심

1. 왜 이 연구가 필요한가요? (문제 상황)

약물을 개발하거나 질병을 치료할 때, 우리는 "이 유전자를 끄면 세포가 어떻게 변할까?"라고 궁금해합니다. 하지만 세포는 매우 복잡한 도시와 같습니다. 유전자는 그 도시의 주민들이고, 서로 복잡한 관계를 맺고 있죠.

기존의 AI 모델들은 주로 관찰만 했습니다. "A라는 주민이 B라는 주민과 함께 사는 걸 봤어"라고 기록하는 식이죠. 하지만 실제로는 "A를 내쫓으면 B가 어떻게 반응할까?"라는 실험 (간섭) 데이터가 부족했습니다. 그래서 기존 모델들은 새로운 상황 (예: 전혀 본 적 없는 세포 종류) 에서는 엉뚱한 대답을 하거나, 실패하는 경우가 많았습니다.

2. X-Atlas/Pisces: 거대한 실험실 데이터 (재료)

연구팀은 먼저 X-Atlas/Pisces라는 거대한 데이터베이스를 만들었습니다.

• 비유: 마치 전 세계의 모든 도시 (세포 종류) 에서 2,560 만 명 이상의 주민 (세포) 을 대상으로, "이유전자를 끄면 어떻게 될까?"라는 실험을 16 가지 다른 환경에서 진행한 최대 규모의 실험 기록입니다.
• 이 데이터에는 일반 세포뿐만 아니라, 면역 세포 (T 세포) 가 깨어있는 상태와 잠자는 상태, 그리고 줄기세포가 다양한 세포로 변해가는 과정까지 모두 포함되어 있습니다.

3. X-Cell: 세포의 미래를 읽는 '확산 언어 모델' (주인공)

이제 이 거대한 데이터를 바탕으로 X-Cell이라는 AI 를 만들었습니다.

• 비유: X-Cell 은 마치 고급 요리사 같습니다.
  • 기존 방식: 레시피 (데이터) 를 단순히 외워서 따라 하는 요리사.
  • X-Cell 방식: 식재료의 성질 (단백질 구조), 영양학 책 (문헌), 이웃들의 관계 (유전자 상호작용), 그리고 과거의 실패/성공 기록 (DepMap 데이터) 을 모두 두루마리처럼 펼쳐놓고, 새로운 요리를 개발하는 과정을 시뮬레이션합니다.
• 작동 원리 (확산 모델):
  • 처음에는 세포의 상태가 흐릿하게 보입니다 (소금기 없는 수프).
  • AI 는 이 상태를 단계별로 다듬어 나갑니다 (소금, 후추, 허브를 조금씩 추가하며 맛을 보정).
  • 이 과정에서 AI 는 "만약 이 유전자를 건드리면, 단백질 구조는 어떨까? 다른 유전자들은 어떻게 반응할까?"라는 외부 지식을 계속 참조하며 정답에 점점 더 가까워집니다.

4. 놀라운 성과 (결과)

X-Cell 은 기존 모델보다 최대 5 배 더 정확하게 예측했습니다. 특히 다음과 같은 일을 해냈습니다.

• 제로샷 (Zero-shot) 예측: "이런 세포는 본 적이 없는데, 이 유전자를 건드리면 어떨까?"라는 질문에도 정답을 맞췄습니다.
  • 예시: 훈련 데이터에 없던 멜라노사이트 (색소 세포) 전구체나 사람의 실제 T 세포를 대상으로 실험했을 때, 마치 처음부터 그 세포를 알고 있던 것처럼 정확한 예측을 했습니다.
• T 세포의 '스위치' 찾기: 면역 세포 (T 세포) 가 활성화된 상태에서, 어떤 유전자를 끄면 다시 '잠자는 상태'로 돌아갈지 예측했습니다. 이는 암 치료나 자가면역 질환 치료에 매우 중요한 단서가 됩니다.

5. 스케일링 법칙 (크기가 중요함)

이 연구는 AI 의 크기를 키우면 성능이 어떻게 변하는지도 증명했습니다.

• 비유: 언어 모델 (LLM) 이 데이터와 크기를 키우면 똑똑해지듯, 세포 예측 모델도 마찬가지라는 것을 처음 발견했습니다.
• 모델의 크기를 5,500 만 개에서 **49 억 개 (X-Cell-Ultra)**로 키우자, 예측 능력이 놀라울 정도로 향상되었습니다. 하지만 단순히 크기만 키우는 게 아니라, **다양한 실험 데이터 (다양한 세포와 조건)**가 함께 늘어나야 진정한 지능이 나온다는 교훈을 주었습니다.

6. 결론: 왜 이것이 중요한가요?

이 연구는 **"컴퓨터 안에서 약을 테스트하는 시대"**를 열었습니다.

• 앞으로 실험실에서 비싼 실험을 하기 전에, X-Cell 이 "이 약을 만들면 이런 부작용이 있을 거야", "이 유전자를 건드리면 암 세포가 죽을 거야"라고 미리 시뮬레이션해 줄 수 있습니다.
• 이는 신약 개발 속도를 획기적으로 높이고, 환자 개개인에게 맞는 치료법을 찾는 정밀 의학의 미래를 앞당기는 핵심 기술이 될 것입니다.

한 줄 요약:

"수천만 개의 세포 실험 데이터를 먹고 자란 거대 AI 가, 아직 실험해 보지 않은 세포의 미래까지 정확히 예측해 내는 시대가 왔습니다."

기술 요약

1. 문제 정의 (Problem)

현대 신약 개발의 핵심 과제는 유전적 또는 화학적 개입에 대한 세포 시스템의 반응을 정확히 예측하는 것입니다.

• 기존 방법의 한계: 기존의 단일 세포 기반 모델 (Foundation Models) 은 주로 관찰적 (observational) 전사체 지도 (transcriptomic atlases) 에 훈련되어, 상관관계 (correlation) 와 인과관계 (causation) 를 혼동하는 경향이 있습니다. 이로 인해 훈련 분포를 벗어난 (Out-of-Distribution) 새로운 세포 유형이나 개입 조건에서의 예측 성능이 떨어집니다.
• 데이터 부족: 전장 유전체 수준의 간섭 (perturbation) 데이터는 실험적으로 생성하기 어렵고 비용이 많이 들어, 기존 모델이 학습할 수 있는 인과적 데이터의 규모와 다양성이 제한적입니다.
• 맥락 의존성: 유전자 조절 네트워크는 조직과 세포 유형에 따라 크게 달라지므로 (context-dependent), 하나의 모델이 다양한 생물학적 맥락에서 일반화되는 것은 매우 어렵습니다.

2. 방법론 (Methodology)

이 연구는 대규모 간섭 데이터셋과 확산 언어 모델 (Diffusion Language Model) 을 결합한 새로운 프레임워크를 제안합니다.

A. 데이터: X-Atlas/Pisces (대규모 CRISPRi Perturb-seq 컴펜디움)

• 규모: 현재까지 생성된 가장 큰 전장 유전체 CRISPRi Perturb-seq 데이터셋으로, 2,560 만 개의 변형된 단일 세포 전사체를 포함합니다.
• 다양성: 16 가지의 다양한 생물학적 맥락 (HCT116, HEK293T, HepG2, iPSC, Jurkat T 세포 [휴식기/활성화], iPSC 다계통 분화 등) 에서 7 개의 게놈 규모 스크린을 수행했습니다.
• 기술적 혁신:
  • FiCS Perturb-seq: 냉동 보존 후 FACS 정제가 가능하도록 최적화된 프로토콜을 사용하여 HepG2 및 Jurkat 와 같은 취약한 세포 유형에서 고품질 데이터를 확보했습니다.
  • Flex Perturb-seq: iPSC 다계통 분화 스크린에 적용되어, 포름알데하이드 고정 후 세포 집단을 enrichment 할 수 있게 했습니다.
  • 초과부하 (Super-loading): 표준 10X 라인의 20-25% 만 사용하면서도 50% 이상의 이중 가이드 세포 회수율을 달성했습니다.

B. 모델: X-Cell (Diffusion Language Model)

• 아키텍처: 확산 (Diffusion) 기반 언어 모델을 기반으로 하며, 제어 상태 (Control) 에서 변형 상태 (Perturbed) 로의 전사체 변화를 점진적으로 정제하는 반복적 확산 과정을 사용합니다.
• 멀티모달 사전 지식 (Multi-modal Priors) 통합:
  • 모델은 자연어 (GenePT), 단백질 언어 모델 (ESM-2), 상호작용 네트워크 (STRING), 유전적 의존성 지도 (DepMap), 형태학적 프로파일링 (JUMP-Cell Painting), 그리고 단일 세포 기초 모델 (scGPT) 에서 추출한 임베딩을 크로스 어텐션 (Cross-Attention) 메커니즘을 통해 동적으로 참조합니다.
  • 이는 모델이 단순한 데이터 패턴 매칭을 넘어 생물학적 인과 구조를 학습하도록 돕습니다.
• 확장성 (Scaling):
  • X-Cell: 5,500 만 파라미터 (55M).
  • X-Cell-Ultra: 49 억 파라미터 (4.9B). 현재까지 가장 큰 인과적 변형 예측 모델입니다.
• 학습 전략:
  • 커리큘럼 학습: 먼저 효과가 큰 상위 5% 변형으로 초기화한 후 전체 데이터로 미세 조정 (Fine-tuning) 합니다.
  • 테스트 시간 적응 (TTA): 훈련에 사용되지 않은 새로운 세포 유형에 대해, 라벨이 없는 대조군 (NTC) 세포만을 사용하여 자기지도 학습 (Self-supervised) 을 통해 모델의 표현을 적응시킵니다.

3. 주요 기여 (Key Contributions)

1. X-Atlas/Pisces 데이터셋 공개: 다양한 세포 유형과 맥락을 아우르는 방대한 규모의 인과적 간섭 데이터셋을 공개하여, 기존 관찰적 데이터의 한계를 극복했습니다.
2. 확산 언어 모델 기반의 인과 예측: 단일 세포 전사체 예측을 위해 확산 모델과 멀티모달 생물학적 사전 지식을 결합한 X-Cell 아키텍처를 제안했습니다.
3. 스케일링 법칙 (Scaling Laws) 의 검증: 대규모 언어 모델 (LLM) 에서와 마찬가지로, 모델 파라미터와 데이터 양이 증가함에 따라 예측 성능이 멱함수 (Power-law) 로 향상됨을 최초로 입증했습니다.
4. Zero-shot 일반화: 훈련 데이터에 전혀 존재하지 않았던 세포 유형 (멜라닌 세포 전구체, 1 차 인간 CD4+ T 세포) 에서도 높은 정확도로 변형 효과를 예측하는 능력을 보여주었습니다.

4. 결과 (Results)

• 성능 우위: X-Cell 은 기존 최첨단 모델 (Cell2Sentence, STATE, scGPT 등) 보다 Pearson $\Delta$(예측과 관측된 로그-폴드 변화 간의 상관관계) 기준 최대 5 배 더 높은 성능을 기록했습니다.
• Zero-shot 예측 성공:
  • T 세포 비활성화: 휴식기 Jurkat 세포 데이터로만 미세 조정된 모델이, 활성화된 Jurkat 세포에서 CD3 복합체 및 잠재적 비활성화 인자 (APPL2, LRBA 등) 의 변형 효과를 정확히 예측했습니다. 이는 기존 선형 베이스라인을 크게 능가했습니다.
  • 새로운 세포 유형: 훈련에 사용되지 않은 iPSC 유래 멜라닌 세포 전구체와 1 차 인간 T 세포에서도 X-Cell-Ultra 가 다른 모든 베이스라인을 능가하는 성능을 보였습니다.
• 스케일링 분석:
  • 훈련 손실은 모델 크기에 따라 $L(N) \propto N^{-0.32}$의 멱함수 법칙을 따랐으며, 이는 LLM 의 스케일링 법칙과 일치합니다.
  • 그러나 테스트 손실의 감소는 데이터의 다양성 (유니크한 변형 - 맥락 조합 수) 에 의해 제한받음을 발견했습니다. 즉, 모델 용량보다는 다양한 생물학적 컨텍스트 데이터의 확보가 성능 향상의 핵심 병목 요소임을 시사합니다.
• 생물학적 통찰: 모델의 어텐션 분석을 통해 STRING(단백질 상호작용) 과 ESM-2(단백질 구조) 정보가 예측에 가장 큰 기여를 했음을 확인했으며, 이는 모델이 생물학적 메커니즘을 학습했음을 뒷받침합니다.

5. 의의 및 결론 (Significance)

이 연구는 계산적 표적 식별 (Computational Target Identification) 과 신약 개발 분야에 다음과 같은 중대한 기여를 합니다:

• 가상 스크리닝의 가능성: 실험적으로 불가능한 수많은 조합의 변형과 세포 유형을 "가상 스크리닝"하여, 신약 후보 물질의 작용 기전 (MOA) 을 예측하고 환자 맞춤형 치료 전략을 수립할 수 있는 기반을 마련했습니다.
• 일반화 가능한 기초 모델: 단일 세포 기초 모델이 단순한 관찰 데이터의 통계적 패턴을 넘어, 인과적 개입에 대한 보편적인 생물학적 법칙을 학습할 수 있음을 입증했습니다.
• 미래 방향: 모델의 성능은 데이터의 다양성과 모델 용량의 조화로운 확장에 달려 있음을 보여주었으며, 향후 더 다양한 조직 및 질병 모델에서의 데이터 확보와 모델 확장이 신약 개발의 속도를 가속화할 것으로 기대됩니다.

요약하자면, X-Cell은 대규모 인과적 데이터와 최첨단 생성 AI 아키텍처를 결합하여, 다양한 세포 환경에서 유전자 변형의 결과를 정확하게 예측할 수 있는 새로운 패러다임을 제시한 획기적인 연구입니다.