기술 요약: Tabula – 표 형식 및 연합 학습을 활용한 프라이버시 보존형 단일 세포 파운데이션 모델

문제 정의

현재의 단일 세포 파운데이션 모델(FM)은 확장성과 생물학적 충실도를 저해하는 두 가지 결정적인 한계에 직면해 있습니다:

1. 데이터 프라이버시 및 윤리: 기존 모델(예: Geneformer, scGPT, scFoundation)은 중앙 집중형 학습에 의존하며, 이는 다양한 기관으로부터 방대한 단일 세포 데이터셋을 집계할 것을 요구합니다. 이러한 접근 방식은 단일 세포 데이터가 연결 공격(linking attacks)을 통해 재식별될 수 있다는 점에서 심각한 프라이버시 문제를 야기하며, 특히 수천 명의 개인으로부터 추출된 수천만 개의 세포 규모로 확장될 때 더욱 두드прав니다.
2. 구조적 불일치: 단일 세포 RNA 시퀀싱(scRNA-seq) 데이터는 고유한 표 형식(tabular structure)(세포-유전자 행렬)을 가지며, 여기서 유전자는 순서가 없는 속성입니다. 그러나 현재의 FM은 유전자의 순서를 인위적으로 부여(예: 발현량 순으로 정렬)하여 이를 단어 시퀀스로 취급하는 자연어 처리(NLP) 패러다임을 무분별하게 채택하고 있습니다. 이는 유전자 특징의 순열 불변성(permutation-invariant) 특성을 간과하며, 데이터에 내재된 표 형식의 관계를 명시적으로 모델링하지 못합니다.

방법론

저자들은 **표 형식 학습(Tabular Learning)**과 **연합 학습(Federated Learning, FL)**이라는 두 가지 핵심 혁신을 통해 이러한 격차를 해소하도록 설계된 새로운 단일 세포 파운데이션 모델인 Tabula를 소개합니다.

1. 표 형식 학습 프레임ка

시퀀스 기반 모델과 달리, Tabula는 각 세포를 순열 불변적인 유전자 행(row)으로 취급합니다.

• 아키텍처: 모델은 공유된 글로벌 트랜스포머 백본을 사용하지만, 조직 특이적 특징을 포착하기 위해 **클라이언트별 임베더(client-specific embedders)**와 프로젝션 헤드를 통합합니다.
• 입력 표현: 유전자는 독립적인 컬럼 특징으로 취급됩니다. 모델은 세포 수준의 표현을 집계하기 위해 특수한 [CLS] 토큰을 사용합니다.
• 자기 지도 사전 학습 목표: 마스크 언어 모델링(MLM)이나 자기 회귀 모델링 대신, Tabula는 표 형식 데이터에 맞춤화된 두 가지 별도의 손실 함수를 사용합니다:
  • 유전자 단위 재구성 손실(Gene-wise Reconstruction Loss): 세포 내 유전자의 60%를 경험적 주변 분포(음의 이항 분포)에서 값을 재샘플링하여 무작위로 오염시킵니다. 모델은 원래의 발현 값을 재구성하는 법을 학습하여 컬럼 수준(유전자)의 의존성을 포착합니다.
  • 세포 단위 대조 학습 손실(Cell-wise Contrastive Loss): 모델은 동일한 세포의 원본 뷰와 오염된 뷰 사이의 양의 쌍(positive pairs)을 정렬하고, 서로 다른 세포인 음의 쌍(negative pairs)을 잠재 공간에서 분리하도록 학습합니다. 이를 통해 세포 내 일관성과 세포 간 변동성을 확보하여 행 수준(세포)의 관계를 포착합니다.

2. 연합 학습 및 Chiron 플랫폼

데이터를 공유하지 않고도 학습을 가능하게 하기 위해, Tabula는 분산형 AI 에이전트 기반 플랫폼인 Chiron을 통해 배포됩니다.

• 워크플로우: 기관(클라이언트)은 로컬 데이터 서버를 호스팅하고 자체 프라이빗 데이터셋에서 로컬 모델을 학습합니다. 트랜스포머 가중치 업데이트(원시 데이터 아님)만이 중앙 오케스트레이터와 공유됩니다.
• 집계: 오케스트레이터는 **연합 평균화(Federated Averaging, FedAvg)**를 사용하여 로컬 가중치를 글로벌 모델로 집계한 후, 이를 다시 클라이언트에 브로드캐스트합니다.
• 프라이버시: 원시 단일 세포 데이터는 기관의 로컬 인프라를 절대 벗어나지 않습니다. 플랫폼은 임상 및 학술적 도입 장벽을 낮추기 위해 컨테이너화된 배포(Docker, Podman, Singularity)를 지원합니다.

3. 다운스트림 애플리케이션

1,800만 개의 세포와 8개의 조직 카테고리에 대한 사전 학습을 마친 후, Tabula는 다음을 위해 미세 조정(fine-tuning)됩니다:

• 표준 벤치마크: 세포 유형 주석(annotation), 배치 교정(batch correction), 유전자 임퓨테이션(imputation), 다중 오믹스 통합.
• 기전적 발견: 쌍방향 및 조합적 유전자 조절 네트워크의 제로샷(zero-shot) 예측.
• 치료적 발견: 인간 노화의 회춘 인자를 식별하기 위한 in silico 최적화.

주요 결과

1. 다운스트림 벤치마크 성능

Tabula는 더 적은 수의 세포로 사전 학습되었음에도 불구하고, 세포 수준 및 유전자 수준 작업 모두에서 기존의 시퀀스 기반 모델(scGPT, Geneformer, scFoundation)보다 일관되게 우수한 성능을 보였습니다.

• 세포 유형 주석: 인간 췌장, 골수계, 간 및 세포주 데이터셋에서 우수한 정확도, 정밀도, 재현율 및 F1 점수를 달성했습니다.
• 임퓨테이션: 마스킹된 유전자 발현 값을 복구하는 데 있어 더 높은 피어슨 상관계수와 더 낮은 오차율(RMSE, MAE)을 입증했습니다.
• 섭동 예측(Perturbation Prediction): 단일 유전자, 이중 유전자 및 미지의 섭동 시나리오에 대한 전사적 결과를 정확하게 예측했습니다.

2. 조절 로직의 회복 (제로샷)

Tabula는 미세 조정 없이도 실제(ground-truth) 조절 네트워크를 회복하는 능력을 보여주었습니다:

• 쌍방향 조절: 네 가지 뚜렷한 생물학적 시스템(조혈 작용, 심장 발생, 신경 발생, 췌장 내생 발생)에서, Tabula는 in silico 섭동 궤적을 기반으로 활성화, 억제 또는 중립 모드를 예측하는 데 있어 83% 이상의 정확도를 달성했습니다.
• 조합적 조절: 모델은 복잡한 불리언 논리 게이트(예: 조혈 작용에서 EKLF를 조절하는 GATA1/FLI1)를 기설정된 정답과 높은 일관성(특정 규칙에 대해 최대 100%)으로 성공적으로 예측했습니다.

3. 회춘 인자 발견

젊은 층과 노년층의 인간 섬유아세포 데이터셋(Baltimore Longitudinal Study of Aging)을 사용하여, 저자들은 연령 및 정체성 점수 가이드 기반 in silico 최적화를 수행했습니다:

• 방법: 판별자 MLP(discriminator MLP)의 가이드를 받아, 세포 정체성을 유지하면서 노화된 세포 상태를 젊은 표현형으로 이동시키는 반복 최적화 절차를 적용했습니다.
• 후보 물질: 상위 순위 유전자는 CPE, POSTN, OLFM2였습니다.
• 검증: 이 후보들은 독립적인 장수 개입 시그니처(mSALT 데이터베이스)에서 유의미한 농축(>45% ~ 151%)을 보였습니다. 예를 들어, CPE와 OLFM2는 여러 수명 연장 마우스 모델(예: Ames, Snell, Little)에서 상향 조절되었습니다.
• 독립성(Orthogonality): 실험적 Perturb-seq 검증 결과, 야마나카 인자(OCT4, SOX2)는 연령 점수를 낮추었지만 CPE 또는 OLFM2의 발현은 변화시키지 않았습니다. 이는 Tabula가 지목한 인자들이 부분적 재프로그래밍과는 별개의(orthogonal) 회춘 전략을 나타냄을 시사합니다.

의의 및 주장

이 논문은 Tabula를 다음과 같은 측면에서 단일 세포 유전학의 중요한 진보로 규정합니다:

1. 패러다임의 재정의: "단어로서의 유전자"라는 NLP 비유에서 벗어나, scRNA-seq 데이터의 무순서 및 속성 기반 특성을 존중하는 명시적인 표 형식 학습(tabular learning) 프레임워크로 전환했습니다.
2. 프라이버시 보존형 협업 가능성: Chiron 플랫폼을 통해 데이터 프라이버시를 침해하지 않고도 분산된 기관 간에 고성능 파운데이션 모델을 학습할 수 있음을 입증했습니다.
3. 기전적 통찰: 제로샷 설정에서 복잡한 실제 생물학적 조절 네트워크(쌍방향 및 조합적)를 회복할 수 있음을 보여준 첫 번째 사례 중 하나를 제공했습니다.
4. 치료적 효용성: 단일 세포 파운데이션 모델이 독립적인 장수 데이터를 통해 뒷받침되는 피부 회춘 후보 유전자를 지목하는 등, 치료적 발견을 위한 실질적인 엔진이 될 수 있음을 확립했습니다.

저자들은 Tabula와 Chiron이 "프라이버시 보존형 가상 세포"를 향한 길을 열었으며, 자동화된 생물학적 발견을 향한 단계라고 결론짓습니다. 동시에 전사체학에 국한된 현재의 한계와 멀티 오믹스 및 공간 데이터와의 통합 필요성을 인정합니다.