CLM-X: A multimodal single-cell foundation model with flexible multi-way Transformer for unified scRNA-seq and scATAC-seq analysis

이 논문은 단일 세포 RNA 시퀀싱 (scRNA-seq) 과 ATAC 시퀀싱 (scATAC-seq) 데이터를 통합적으로 분석할 수 있도록 유연한 다방향 Transformer 아키텍처와 단계별 마스킹 재구성 사전 학습 전략을 도입한 범용 단일 세포 기초 모델 'CLM-X'를 제안하고, 다양한 하류 작업에서 기존 방법들을 능가하는 성능을 입증합니다.

핵심

이 논문은 CLM-X라는 새로운 인공지능 모델을 소개합니다. 이 모델을 이해하기 위해 복잡한 과학 용어 대신, **'거대한 도서관의 사서'**와 **'다국어 번역가'**의 이야기를 들어보시겠습니다.

1. 배경: 세포라는 거대한 도서관

우리 몸은 수조 개의 세포로 이루어져 있습니다. 각 세포는 우리 몸의 상태를 알려주는 중요한 정보를 가지고 있는데, 이 정보는 크게 두 가지 언어로 쓰여 있습니다.

• scRNA-seq (RNA 데이터): 세포가 현재 "무엇을 하고 있는지"를 알려주는 실시간 활동 보고서입니다. (예: "나는 지금 에너지를 만들고 있어!")
• scATAC-seq (ATAC 데이터): 세포가 "무엇을 할 수 있는지"를 결정하는 설계도나 스위치입니다. (예: "에너지 생산 스위치는 켜져 있어!")

과거에는 과학자들이 이 두 가지 정보를 따로따로 분석하거나, 두 정보를 합치기 위해 매우 복잡한 방법을 썼습니다. 마치 영어와 프랑스어를 각각 따로 공부하다가, 두 언어를 섞어서 이해하려다 혼란을 겪는 것과 비슷합니다. 게다가 데이터가 너무 방대해져서 기존 방법으로는 처리하기 힘들어졌습니다.

2. CLM-X 의 등장: 두 언어를 모두 아는 '슈퍼 사서'

이때 등장한 CLM-X는 마치 두 언어 (RNA 와 ATAC) 를 모두 유창하게 구사하는 천재 사서와 같습니다.

• 하나의 책장 (통합 모델): CLM-X 는 RNA 데이터만 있는 책, ATAC 데이터만 있는 책, 그리고 두 가지가 함께 있는 책을 모두 같은 책장에 정리할 수 있습니다.
• 유연한 독서 (다양한 입력): 세포가 RNA 데이터만 있든, ATAC 데이터만 있든, 둘 다 있든 상관없이 모두 이해하고 분석할 수 있습니다. 마치 사서가 영어책만 있든, 프랑스어책만 있든, 두 언어가 섞인 책이 있든 상관없이 내용을 완벽하게 파악하는 것과 같습니다.

3. 어떻게 학습했을까요? (단계별 훈련)

CLM-X 는 단순히 책을 한 번 읽은 것이 아니라, 다음과 같은 단계별 훈련을 거쳤습니다.

1. 첫 단계 (단어 익히기): 먼저 RNA 데이터만 수천만 개를 읽어서 세포의 활동 패턴을 익혔습니다.
2. 두 번째 단계 (설계도 익히기): 그다음 ATAC 데이터만 수백만 개를 읽어서 세포의 스위치 (유전자 조절) 패턴을 익혔습니다. 이때 첫 단계에서 배운 지식을 바탕으로 더 빠르게 학습했습니다.
3. 세 번째 단계 (두 언어 연결하기): 마지막으로 RNA 와 ATAC 가 짝을 이룬 데이터를 보며, "이 스위치가 켜지면 어떤 활동이 일어나는지"를 연결하는 법을 배웠습니다.

이렇게 단계별로 학습했기 때문에, 짝을 이룬 데이터가 부족한 상황에서도 두 정보를 자연스럽게 연결할 수 있게 되었습니다.

4. CLM-X 가 해낸 놀라운 일들 (실제 성과)

이 모델은 5 가지 주요 임무에서 기존 방법들보다 훨씬 뛰어난 성과를 보였습니다.

• 잡음 제거 (배치 보정): 서로 다른 실험실이나 기계에서 나온 데이터는 마치 다른 방에서 찍은 사진처럼 색감이 다릅니다. CLM-X 는 이 색감을 보정하여, 서로 다른 실험실에서도 같은 세포들이 한곳에 모여 있도록 만들어줍니다.
• 두 정보의 완벽한 결합 (모달리티 통합): RNA 와 ATAC 정보를 하나로 합쳐서, 세포의 정체성을 훨씬 더 정확하게 파악합니다. 마치 활동 보고서와 설계도를 동시에 보면 그 사람의 능력을 더 잘 이해하는 것과 같습니다.
• 상호 번역 (크로스-모달 번역): 이것이 CLM-X 의 가장 큰 강점입니다.
  • ATAC → RNA: "설계도 (ATAC) 만 보고, 실제 활동 (RNA) 을 예측"할 수 있습니다.
  • RNA → ATAC: "활동 보고서 (RNA) 만 보고, 어떤 스위치가 켜져 있는지 (ATAC) 를 역추적"할 수 있습니다.
  • 이는 마치 누군가의 말소리 (RNA) 만 듣고, 그 사람이 어떤 표정을 짓고 있는지 (ATAC) 를 정확히 그려내는 능력과 같습니다. 기존 방법들은 이 부분이 매우 약했는데, CLM-X 는 이를 놀라울 정도로 정확하게 해냅니다.
• 세포 분류 (세포 유형 주석): 세포가 어떤 종류인지 (예: 면역세포, 간세포 등) 를 자동으로 분류하는 데도 가장 정확했습니다.
• 미래 예측 (변형 예측): 유전자를 조작했을 때 세포가 어떻게 반응할지 미리 예측할 수 있습니다. 마치 "이 약을 먹으면 몸이 어떻게 변할지"를 시뮬레이션하는 것과 같습니다.

5. 결론: 왜 중요한가요?

CLM-X 는 단순히 데이터를 분석하는 도구를 넘어, 세포의 언어를 이해하는 새로운 기준을 제시했습니다.

• 유연성: 어떤 데이터가 있어도 분석할 수 있습니다.
• 정확성: 두 가지 정보를 합쳐서 더 깊은 통찰을 줍니다.
• 미래 지향성: 아직 실험하지 않은 유전자 조작의 결과를 예측할 수 있어, 신약 개발이나 질병 연구에 큰 도움을 줄 것입니다.

결론적으로, CLM-X 는 방대하고 복잡한 세포 데이터의 바다에서 길을 잃지 않도록 도와주는 가장 똑똑한 나침반이자, 서로 다른 언어를 가진 세포들의 이야기를 하나로 묶어주는 위대한 통역사라고 할 수 있습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

단일 세포 멀티모달 프로파일링 기술의 발전은 세포 생물학을 체계적으로 분석할 수 있게 했으나, 대규모이고 이질적인 데이터의 급증은 통합 분석에 큰 도전을 제기하고 있습니다.

• 기존 방법의 한계: 기존의 멀티모달 통합 방법 (MultiVI, scJoint 등) 은 주로 특정 작업에 맞춰 설계되었으며, 모달리티별 전처리와 정규화가 필요해 주관적 편향이 발생할 수 있습니다. 또한, 대규모 데이터 (백만 개 이상의 세포) 에 대한 확장성이 부족하고, 짝지어진 (paired) 데이터에 의존하여 일반화 능력이 제한적입니다.
• 기초 모델 (Foundation Model) 의 부재: scRNA-seq 또는 scATAC-seq 단일 모달리티 기반의 기초 모델 (Geneformer, scGPT 등) 은 성공적이었으나, 두 모달리티를 통합하여 상호 보완적인 정보를 학습하는 통일된 멀티모달 기초 모델은 아직 미흡합니다. 특히, 짝지어지지 않은 (unpaired) 데이터와 짝지어진 데이터를 모두 유연하게 처리할 수 있는 모델이 필요합니다.

2. 방법론 (Methodology)

저자들은 CLM-X라는 새로운 멀티모달 단일 세포 기초 모델을 제안했습니다. 이는 BEiT-3 아키텍처를 기반으로 한 Multi-way Transformer를 핵심으로 합니다.

가. 데이터 토큰화 및 입력 표현 (Tokenization & Input)

• 균일한 토큰화: scRNA-seq 과 scATAC-seq 데이터를 동일한 토큰 시퀀스 형식으로 변환합니다.
  • scRNA-seq: 유전자 토큰과 발현 값 (binned expression values) 을 쌍으로 구성합니다.
  • scATAC-seq: 100 만 개 이상의 피크 (peaks) 를 게놈 순서대로 패치 (patch) 로 그룹화하고 이진화하여 패치 토큰과 이진 벡터로 표현합니다.
• 입력 길이: 각 모달리티는 최대 2,000 토큰으로 패딩 또는 자릅니다. 짝지어진 (paired) RNA-ATAC 입력의 경우 두 시퀀스를 연결하여 최대 4,000 토큰의 컨텍스트 윈도우를 형성합니다.

나. 아키텍처: Multi-way Transformer

• 공유 어텐션, 모달리티별 FFN: 모든 입력 유형 (RNA 만, ATAC 만, RNA+ATAC) 에 대해 공유되는 Multi-Head Self-Attention (MHSA) 을 사용하면서도, 각 모달리티에 특화된 Feed-Forward Network (FFN) 전문가 (R-FFN, A-FFN, RA-FFN) 를 도입하여 깊은 멀티모달 융합과 모달리티별 특성 보존을 동시에 달성합니다.
• 단계별 마스킹 재구성 사전 학습 (Stage-wise Masked Reconstruction Pretraining):
  1. Stage 1 (RNA-only): scRNA-seq 데이터로 마스킹된 발현 값 재구성 학습.
  2. Stage 2 (ATAC-only): 공유 MHSA 가중치를 계승한 상태에서 scATAC-seq 데이터로 마스킹된 피크 값 재구성 학습.
  3. Stage 3 (Paired RNA-ATAC): 짝지어진 데이터를 사용하여 양방향 조건부 재구성 학습.
     • Phase 1: RNA 컨텍스트를 기반으로 ATAC 마스킹 값 재구성.
     • Phase 2: ATAC 컨텍스트를 기반으로 RNA 마스킹 값 재구성.
  • 이 전략은 짝지어진 데이터의 부족을 극복하고, 모달리티 간의 정렬과 상호 보완적 정보를 학습하도록 유도합니다.

다. 하류 작업 (Downstream Tasks)

사전 학습된 CLM-X 는 경량화된 작업별 헤드를 추가하여 미세 조정 (fine-tuning) 됩니다.

• 배치 보정 (Batch Correction)
• 멀티모달 통합 (Multimodal Integration)
• 교차 모달 번역 (Cross-modal Translation: RNA↔ATAC)
• 세포 유형 주석 (Cell Type Annotation)
• 유전적 교란 예측 (Perturbation Prediction)

3. 주요 기여 및 성과 (Key Contributions & Results)

저자들은 3600 만 개의 scRNA-seq 세포, 280 만 개의 scATAC-seq 세포, 37 만 개의 짝지어진 데이터를 사용하여 CLM-X 를 사전 학습하고, 10 개의 데이터셋에서 5 가지 하류 작업에 대해 평가했습니다.

• 배치 보정 (Batch Correction): 다양한 플랫폼과 실험 조건에서 CLM-X 는 기존 멀티모달 방법 (MultiVI, Multigrate 등) 과 단일 모달 기초 모델 (scGPT) 보다 일관되게 높은 성능을 보였습니다. 생물학적 구조를 보존하면서 배치 효과를 효과적으로 제거했습니다.
• 모달리티 통합 (Modality Integration): RNA 와 ATAC 정보를 통합한 임베딩은 단일 모달리티 임베딩보다 세포 유형 클러스터링 정확도 (ARI, NMI) 가 높았으며, 국소 이웃 구조도 잘 유지했습니다.
• 교차 모달 번역 (Cross-modal Translation):
  • RNA → ATAC: CLM-X 는 피크 수준의 접근성 크기와 세포 간 변이를 가장 정확하게 재구성했습니다.
  • ATAC → RNA: 모든 유전자에 대해 가장 높은 상관관계 (PCC) 와 낮은 오차 (RMSE) 를 기록하며, 기존 방법 (BABEL, CMAE 등) 을 압도했습니다.
• 세포 유형 주석 (Cell Type Annotation): 통합 임베딩을 기반으로 한 주석 작업에서 CLM-X 는 Seurat(WNN), scJoint, scBridge 등 기존 방법보다 높은 정확도와 F1 점수를 달성했으며, 특히 희귀하거나 구분하기 어려운 세포 군집에서 우수한 성능을 보였습니다.
• 교란 예측 (Perturbation Prediction): 훈련 시 보지 못한 유전적 교란에 대해 CLM-X 는 scGPT 와 GEARS 보다 더 정확한 전사체 반응 예측을 수행했습니다.

4. 의의 및 결론 (Significance)

• 통일된 프레임워크: CLM-X 는 단일 사전 학습된 인코더를 통해 scRNA-seq 와 scATAC-seq 데이터를 통합적으로 분석할 수 있는 최초의 유연한 멀티모달 기초 모델입니다.
• 데이터 효율성: 짝지어진 데이터에 대한 의존도를 줄이고, 방대한 단일 모달리티 데이터를 활용하여 학습함으로써 데이터 부족 문제를 해결했습니다.
• 생물학적 통찰력: 교차 모달 번역과 교란 예측에서의 우수한 성능은 모델이 전사 프로그램과 후성유전적 조절 메커니즘 사이의 복잡한 관계를 효과적으로 학습했음을 시사합니다.
• 미래 전망: CLM-X 는 단일 세포 아틀라스의 규모와 복잡성이 증가함에 따라, 더 강건하고 해석 가능한 생물학적 발견을 위한 표준 도구로 자리 잡을 것으로 기대됩니다.

요약하자면, CLM-X는 단일 세포 멀티모달 데이터의 이질성과 데이터 부족 문제를 해결하기 위해 설계된 차세대 기초 모델로, 다양한 하류 작업에서 기존 최첨단 방법들을 능가하는 성능을 입증했습니다.