기술 요약: CellTok – LLM을 위한 고유 언어로서의 단일 세포 전사체 토큰화

문제 정의

대규모 언어 모델(LLM)은 정보가 공유된 시퀀스 공간 내의 이산적인 토큰으로 표현될 때 다양한 정보를 처리하는 데 탁월한 능력을 보입니다. 그러나 단일 세포 전사체는 LLM에게 "외래 양식(foreign modality)"으로 남아 있습니다. 자연어나 코드와 달리, 전사체 데이터는 이산적인 언어 단위가 아닌 연속적이고 고차원적인 분자 프로파일로 구성됩니다. 결과적으로, 세포는 LLM의 고유한 토큰 언어로서 직접 읽히거나, 구성되거나, 예측되거나, 생성될 수 없습니다. 기존의 접근 방식은 세포 상태를 텍스트 요약으로 변환하거나 교차 모달 학습을 통해 연속적인 임베딩을 텍text와 정렬하는 것과 같은 간접적인 인터페이스에 의존하는 경우가 많습니다. 이러한 방법들은 세포 정보를 모델의 토큰 공간 외부에 두기 때문에, 세포 집단을 분석하거나, 세포 간 통신을 추론하거나, 발달 궤적을 모델링하는 것과 같은 세포에 대한 맥락적 추론을 수행하는 능력을 제한합니다.

방법론: CellTok

저자들은 전사체 프로파일을 압축된 이산 세포 토큰으로 변환하고 이를 사전 학습된 LLM의 어휘(vocabulary)에 직접 통합하는 토큰화된 단일 세포 언어 모델링 접근 방식인 CellTok을 제안합니다.

1. 토큰화 아키텍처

CellTok은 벡터 양자화 변이 오토인코더(VQ-VAE)에서 영감을 얻은 인코더-양자화기-디코더 아키텍처를 채택합니다:

• 입력: 단일 세포 유전자 발현 프로파일을 정규화하고 5,000개의 고변동 유전자 패널에 맞게 정렬합니다.
• 인코더: 정규화된 발현 프로파일을 연속적인 잠재 표현(latent representation)으로 매핑하며, 이는 여러 세그먼트로 분할됩니다.
• 양자화기(Quantizer): 각 잠재 세그먼트를 학습 가능한 코드북(이산 코드)에서 가장 가까운 벡터로 대체합니다.
• 디코더: 양자화된 잠재 표현으로부터 유전자 발현 프로파일을 재구성합니다.
• 통합: 학습된 코드북 벡터는 고유한 토큰 ID로 취급되어 사전 학습된 LLM(구체적으로 Qwen 2.5 7B)의 어휘에 추가됩니다. 이는 세포 토큰과 텍스트 토큰이 동일한 자기회귀(autoregressive) 모델링 프레임워크 내에서 공존하는 조기 융합(early-fusion) 설계를 생성합니다.

2. 학습 전략

CellTok은 세포와 언어 양식을 정렬하기 위해 두 가지 상호 보완적인 사전 학습 목적 함수를 사용하여 학습됩니다:

• 세포 이해(Cell Comprehension): 세포 상태에 대한 자연어 설명을 생성하기 위해 일련의 세포 토큰 시퀀스에 조건을 부여합니다.
• 세포 생성(Cell Generation): 텍스트 설명을 조건으로 하여 그에 상응하는 세포 토큰 시퀀스를 생성하며, 이 토큰들은 다시 전사체 프로파일로 디코딩됩니다.
• 미세 조정(Fine-Tuning): 사전 학습된 LLM은 저차원 적응(LoRA)을 사용하여 약 2%의 파라미터(어텐션 투영, 피드포워드 레이어, 토큰 임베딩)를 수정하며 적응됩니다. 학습 데이터에는 GPT-4o가 생성한 텍스트 설명과 쌍을 이룬 CELLxGENE의 6,800만 개의 고품질 단일 세포 프로파일이 포함됩니다.

3. 다운스트림 작업

이 프레임워크는 공유된 자기회귀 맥락 내에서 여러 토큰화된 세포를 구성함으로써 다양한 작업을 지원합니다:

• 세포 수준: 세포 유형 주석(annotation) 및 합성 세포의 조건부 생성.
• 집단 수준: 클러스터 주석, 이질적 집단 주석, 그리고 질병 상태 추론(예: 명시적인 세포 유형 라벨 없이 건강한 상태와 COVID-19 상태를 구분).
• 관계적: 소스 및 타겟 집단 사이의 세포-세포 통신(CCC) 경로 추론, 그리고 통신 중인 이웃과 통신하지 않는 이웃의 구분.
• 시간적: 발달 순서(pseudotime) 추론 및 궤적을 따른 단계별 일치 전사체 프로파일 생성.

주요 결과

논문은 다양한 벤치마크를 통해 CellTok을 평가하며, 세포 데이터를 고유 토큰으로 제공할 때 LLM이 세포 데이터를 효과적으로 읽고 추론할 수 있음을 입증합니다.

• 세포 정체성 및 생성: CellTok은 Geneformer 및 scGPT와 같은 특화된 대규모 세포 모델(LCM)과 경쟁할 만한 성능을 보이며, 특히 단일 세포 분석을 위해 프롬프트를 사용한 훨씬 더 큰 규모의 범용 LLM(예: GPT-4o, LLaMA 3 70B)보다 우수한 성능을 나타냅니다. 생성 작업에서, 이는 실제 프로파일과 밀접하게 일치하는 합성 세포를 생성하며, Cell2Sentence보다 뛰어나고 scDiffusion과 대등한 성능을 보입니다.
• 집단 수준 추론:
  • 주석: CellTok은 균질한 클러스터 주석에서 베이스라인보다 뛰어난 성능을 보이며, 결정적으로 혼합된 입력으로부터 혼동하기 쉬운 세포 유형(예: CD4+ vs CD8+ T 세포)이 포함된 이질적 집단을 주석 처리하는 데 탁여난 성능을 보입니다.
  • 질병 상태: 모델은 추론 중에 세포 유형 라벨을 제공받지 않고도, 전사체 패턴과 집단 맥락에 의존하여 혼합된 집단 내에서 질병 관련 상태(예: COVID-19)를 정확하게 식별합니다.
  • 의미론적 민감도: 절제 연구(Ablation studies)에 따르면 생물학적으로 의미 있는 라벨(예: "COVID-19")을 중립적인 라벨(예: "Status A")로 교체하면 성능이 감소하며, 이는 CellTok이 LLM의 언어 지식에 내재된 의미론적 사전 지식을 활용함을 나타냅니다.
• 세포-세포 통신 (CCC):
  • 비공간적(Non-Spatial): CellTok은 세포 집단 사이의 리간드-수용체 신호 전달 경로를 예측합니다. 이는 보지 못한 기증자(donor)에게도 일반화되며, 세포 유형 정체성을 암기하기보다는 쌍을 이룬 전사체 맥락에 의존합니다.
  • 공간적(Spatial): 공간 전사체(Visium HD)에서 CellTok은 오직 전사체 입력만을 사용하여(공간 좌표 없이) 통신하는 이웃 세포와 통신하지 않는 이웃 세포를 구별합니다. 이는 보지 못한 조직 영역으로 일반화되며, 이형적(heterotypic) 상호작용에서도 잘 작동하여, 단순히 세포 유형 쌍의 빈도를 기억하는 것이 아니라 통신 역량을 학습함을 시사합니다.
• 발달 궤적: CellTok은 발달 단계(뇌 오가노이드) 전반에 걸친 세포들의 상대적 시간 순서를 성공적으로 추론하며, 보지 못한 시점에도 일반화됩니다. 또한 특정 발달 단계의 세포를 조건으로 하여 다른 단계의 전사체 프로파일을 생성할 수 있어, 보간(interpolation)과 외삽(extrapolation)을 모두 지원합니다.

의의 및 주장

저자들은 CellTok이 공유된 토큰 공간 내에서 세포, 집단 및 생물학적 지식을 모델링하기 위한 통합 인터페이스를 구축한다고 주장합니다.

• 생물학을 위한 고유 언어: 이 연구는 단일 세포 전사체가 LLM의 고유한 언어로 변환될 수 있음을 보여줍니다. 이를 통해 세포 측정값, 다중 세포 맥락, 텍스트 프롬프트 및 생물학적 지식을 단일 자기회귀 프레임워크 내에서 모델링할 수 있습니다.
• 맥락적 추론: 세포를 토큰 공간 내의 구성 단위로 표현함으로써, CellTok은 LLM이 세포를 고립된 종착점으로 취급하는 것을 넘어 집단, 세포 간 관계 및 발달 과정에 대해 맥락적 추론을 수행할 수 있게 합니다.
• 양방향 접지(Bidirectional Grounding): 이 프레임워크는 분자 측정값과 자연어 사이의 직접적인 인터페이스를 생성하며, 여기서 세포 토큰은 텍스트를 조건화할 수 있고 텍스트는 세포 상태의 생성/해석을 조건화할 수 있습니다.
• 개념 증명: 저자들은 CellTok을 공유 표현 및 작업 인터페이스로서의 세포 토큰화에 대한 개념 증명으로 위치시킵니다. 이들은 이산화로 인한 미세한 정량적 정보의 손실 가능성과 작업 간 지식 전이에 대한 추가 평가의 필요성 등 한계를 인정합니다. 그러나 이 접근 방식이 모델이 생물학적 지식 및 과학적 질문과 더 밀접하게 연결되어 분자 측정을 해석할 수 있는 LLM 기반 과학의 길을 열어준다고 주장합니다.