🧬 biology

Scalable Single-Cell Gene Expression Generation with Latent Diffusion Models

이 논문은 데이터의 근본적인 교환 가능성 속성을 준수하면서 현실적이고 고품질인 단일 세포 유전자 발현 프로파일을 생성하기 위해 순열 불변 멀티 헤드 교차 주의 블록(permutation-invariant Multi-head Cross-Attention Block)과 확산 트랜스포머(Diffusion Transformers)를 활용하는 확장 가능한 잠재 확산 모델인 scLDM을 소개한다.

원저자: Giovanni Palla, Sudarshan Babu, Payam Dibaeinia, James D. Pearce, Donghui Li, Aly A. Khan, Theofanis Karaletsos, Jakub M. Tomczak

게시일 2026-06-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Giovanni Palla, Sudarshan Babu, Payam Dibaeinia, James D. Pearce, Donghui Li, Aly A. Khan, Theofanis Karaletsos, Jakub M. Tomczak

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신이 컴퓨터에게 단일 세포의 "성격"을 이해하도록 가르치려 한다고 상상해 보세요. 생물학에서 세포의 성격은 그 '유전자 발현(gene expression)'에 기록됩니다. 이는 수천 개의 서로 다른 유전자가 얼마나 활성화되어 있는지를 보여주는 방대한 숫자 목록입니다.

문제는 이 목록이 매우 무질서하다는 점입니다. 이는 마치 식료품 목록과 같아서, 순서가 중요하지 않습니다(우유를 먼저 쓰고 계란을 나중에 쓰든, 그 반대로 하든 여전히 같은 목록입니다). 하지만 대부분의 컴퓨터 프로그램은 엄격한 순서를 요구합니다. 또한, 이 목록은 0(활성화되지 않은 유전자)으로 가득 차 있으며, 매끄러운 소수점이 아닌 정수 형태의 카운트 값들로 이루어져 있습니다.

이 논문은 이러한 문제들을 해결하는 scLDM(single-cell Latent Diffusion Model)이라는 새로운 AI 모델을 소개합니다. 이 모델이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. "무던한 요리사" (순서 처리하기)

대부분의 AI 모델은 유전자를 단어의 순서가 중요한 문장처럼 취급합니다. 만약 "고양이"와 "강아지"의 순서를 바꾸면 의미가 변하는 것과 같습니다. 하지만 세포에서는 유전자의 순서를 바꾼다고 해서 세포의 정체성이 변하지 않습니다.

기존 방식: 사과, 바나나, 체리 순서로 재료를 나열해야 한다고 고집하는 요리사를 상상해 보세요. 만약 체리, 사과 순으로 재료를 주면, 그 요리사는 혼란에 빠지거나 오류를 일으킵니다.
scLDM 방식: 이 모델은 재료의 순서에 신경 쓰지 않는 요리사와 같습니다. 그들은 단지 재료의 '집합'을 봅니다. "사과, 바나나"로 주든 "바나나, 사과"로 주든, 그들은 이것이 동일한 레시피임을 이해합니다. 이들은 **멀티 헤드 크로스 어텐션 블록(Multi-head Cross-Attention Block)**이라는 특수한 도구를 사용하여, 어떤 것이 먼저 왔는지 상관하지 않고 재료들을 서로 섞습니다.

2. "압축된 스케치" (잠재 공간/Latent Space)

세포는 수천 개의 유전자를 가지고 있어, 컴퓨터가 한꺼번에 모든 데이터를 효율적으로 처리하기에는 너무 많습니다.

비유: 10,000페이지짜리 백과사전을 암기하려고 노력한다고 상상해 보세요. 대신, 당신은 그 책의 정수를 담은 "압축된 스해치"나 요약 노트를 만듭니다.
작동 원리: scLDM은 먼저 세포의 유전자 목록을 읽어 이를 작은 크기의 고정된 "요약 토큰(latent variable)"으로 압축합니다. 원래의 목록에 유전자가 10개였든 10,000개였든 상관없이, 요약본의 크기는 항상 동일합니다. 덕분에 이 모델은 대규모 데이터셋을 처리할 때도 멈추지 않고 실행될 수 있는 **확장성(scalability)**을 갖게 됩니다.

3. "노이즈를 제거하는 예술가" (디퓨전/Diffusion)

모델이 "요약된 스케치"를 갖게 되면, 이제 새롭고 현실적인 세포를 생성해야 합니다.

비유: 점토로 만든 조각상을 상상해 보세요.
- 기존 모델들: 처음부터 조각상을 만들려고 시도했으며, 그 결과 종종 울퉁불퉁하고 비현실적인 모양이 만들어졌습니다.
- scLDM (디퓨전): 순수한 혼돈 상태의 노이즈(오래된 TV의 지지직거리는 화면 같은 상태)로부터 시작합니다. 그런 다음, 이 노이즈를 단계적으로 "디노이징(denoising, 노이즈 제거)"하며, 정적인 상태를 완벽하고 현실적인 조각상으로 정교하게 다듬어 나갑니다.
- 반전: 이 모델은 느리고 까다로운 실제 유전자 데이터 위에서 직접 노이즈를 제거하는 대신, 압축된 스케치(잠재 공간) 위에서 노이즈를 제거합니다. 이는 작은 점토 공을 먼저 정교하게 빚은 다음, 그것을 거대한 조각상으로 확장하는 것과 같습니다. 이 방식은 훨씬 빠르고 더 높은 품질의 결과를 만들어냅니다.

4. "맞춤형 요청" (조건부 생성/Conditional Generation)

과학자들은 종종 "바이러스에 노출된 폐 세포"와 같이 특정 특성을 가진 세포를 생성하고 싶어 합니다.

비유: 이 모델을 맞춤형 가구 제작자로 생각해 보세요.
- 기존 모델들: 의자를 만들 수는 있었지만, 만약 당신이 "다리가 부러진 빨간 의자"를 요청한다면, 모델은 혼란을 느끼거나 의자 대신 테이블처럼 보이는 것을 만들 수도 있었습니다.
- scLDM: **클래시파이어 프리 가이던스(Classifier-Free Guidance)**라는 기술을 사용합니다. 당신은 모델에게 "폐 세포이면서 동시에 바이러스에 감염된 세포를 만들어줘"라고 말할 수 있습니다. 모델은 이러한 지침들을 완벽하게 결합하는 법을 배웁니다. 논문은 이 "결합된" 방식이 지침을 하나씩 더해가는 방식보다 더 잘 작동한다고 주장합니다.

무엇을 증명했는가?

저자들은 실제 생물학적 데이터를 사용하여 scLDM을 다른 최상위 모델들(scVI, scDiffusion, CFGen 등)과 비교 테스트했습니다.

재구성(Reconstruction): 이전에 보았던 세포를 "기억"해내라고 요청했을 때, scLDM은 다른 모델들보다 더 정확하게 세부 사항을 포착하며 더 뛰어난 성능을 보였습니다.
생성(Generation): 실제와 유사한 가짜 세포를 새로 만들어내라고 했을 때, scLDM은 통계적으로 실제 세포와 가장 가까운 데이터를 생성했습니다. 단순히 복사해서 붙여넣는 것이 아니라, 새롭고 유효한 변형들을 만들어냈습니다.
예측(Prediction): 세포를 분류하는 도구(예: "이 세포가 코로나19에 감염되었는가?")로 사용했을 때, scLDM이 만든 "요약 스케치"는 기존 방식보다 더 정확한 결정을 내리는 데 도움을 주었습니다.

핵심 요약

이 논문은 컴퓨터가 단일 세포 데이터를 이해하고 생성할 수 있도록 하는 새롭고 유연하며 강력한 방법을 제시합니다. 유전자의 순서가 중요하지 않다는 점을 존중하고, 압축된 데이터 위에서 "노이즈로부터 조각하는" 기술을 사용함으로써, scLDM은 이전 방식들보다 더 현실적인 생물학적 시뮬레이션을 만들어냅니다.

참고: 이 논문은 계산 모델의 데이터 생성 및 재구성 능력에 전적으로 초점을 맞추고 있습니다. 이 모델이 현재 질병을 치료하거나 병원에서 임상적 결정을 내리는 데 사용되고 있다고 주장하는 것이 아니라, 컴퓨터를 통해 세포 생물학을 시뮬레이션하고 이해하는 데 있어 더 우수한 도구임을 나타냅니다.

기술 요약: 잠재 확산 모델(Latent Diffusion Models)을 이용한 확장 가능한 단일 세포 유전자 발현 생성

문제 정의

단일 세포 유전자 발현의 계산적 모델링은 세포의 이질성, 분화 및 섭동(perturbation)에 대한 반응을 이해하는 데 필수적이다. 그러나 실제적인 발현 프로파일을 생성하는 것은 두 가지 주요 요인으로 인해 상당한 과제로 남아 있다: 유전자 발현 데이터의 카운트 기반 특성과 유전자 간의 복잡한 잠재적 의존성이다.

기존의 생성 모델들은 다음과 같은 결정적인 한계에 직면해 있다:

교환 가능성(Exchangeability) 위반: 많은 방법론이 유전자에 인위적인 고정 순서를 부여하거나 고변이 유전자(HVGs)의 제한된 부분 집합에 의존한다. 이는 유전자 발현 프로파일이 유전자의 순서가 내재적 의미를 갖지 않는 교환 가능한 집합이라는 생물학적 실체와 모순된다. 고정된 순서의 아키텍처는 입력 차원을 특정 유전자에 결속시켜, 모델이 재학습 없이 다양한 조직이나 종의 가변적인 유전자 어휘(vocabulary)를 처리하는 것을 방해한다.
아키텍처 및 학습 불안정성: 생성적 적대 신경망(GAN)에 기반한 접근 방식은 학습 불안정성과 모드 붕괴(mode collapse) 문제를 겪는다. 반면, 표준 변이 오토인코더(VAE)는 얕은 아키텍처에 의존하거나 집합 크기를 처리하기 위해 복잡한 계층적 잠재 구조를 요구하는 경우가 많은데, 이는 파라미터화가 올바르게 처리된다면 불필요할 수 있다.

방법론: scLDM

저자들은 단일 세포 데이터의 근본적인 교환 가능성 속성을 존중하도록 설계된 완전한 트랜스포머 기반 딥 생성 모델인 scLDM(Scalable Latent Diffusion Model)을 소개한다. 이 프레임워크는 두 가지 주요 단계로 구성된다:

1. 순열 불변/등변 설계를 갖춘 트랜스포머 기반 VAE

scLDM의 핵심은 비정렬된 유전자 집합을 처리하기 위해 **다중 헤드 교차 주의 블록(Multi-head Cross-Attention Block, MCAB)**을 사용하는 VAE 아키텍처이다.

입력 처리: 단일 세포 RNA-seq 데이터의 높은 희소성(종종 70% 이상의 제로 값)으로 인한 계산 복잡성을 관리하기 위해, 모델은 발현된 유전자만을 포함하도록 입력을 필터링하고 컨텍스트를 고정 길이 $d$ 로 패딩한다. 이는 디코더의 제로 카운트 모델링 능력을 제한하지 않으면서 모델이 생물학적으로 의미 있는 신호에 집중하게 한다.
인코더 (순열 불변 - Permutation-Invariant): 인코더는 유전자 카운트와 ID의 집합을 처리하여 고정된 크기의 잠재 변수 $Z$ 를 생성한다. 모델은 학습 가능한 의사 입력(pseudo-inputs, 유도 지점)이 '쿼리(query)'가 되고, 유전자 임베딩이 '키(key)/값(value)'이 되는 MCAB를 채택한다. 이 설계는 입력 유전자의 순서와 상관없이 잠재 표현이 **순열 불변(permutation-invariant)**임을 보장한다.
디코더 (순별 등변 - Permutation-Equivariant): 디코더는 요청된 유전자 ID 세트에 대한 유전자 발현 카운트를 재구성한다. 모델은 동일한 MCAB 아키텍처를 사용하지만, 쿼리를 요청된 유전자 ID에 의해 인덱싱된 유전자 특이적 임베딩으로 수정한다. 이를 통해 출력은 **순열 등변(permutation-equivariant)**이 된다. 즉, 입력 유전자 ID를 순열시키면 출력 파라미터 또한 그에 대응하는 순열을 갖게 된다.
우도(Likelihood): 모델은 음이항(Negative Binomial, NB) 또는 가우시안 분포를 사용하여 조건부 우도를 파라미터화하며, 이를 통해 데이터의 과분산(overdispersion)과 카운트 특성을 효과적으로 포착한다.

2. Flow Matching을 이용한 잠재 확산 모델 (LDM)

저자들은 표준 가우시안 사전 분포 대신, VAE의 잠재 공간에서 학습된 잠재 확산 모델을 도입했다.

아키텍처: 확산 과정은 **확산 트랜스포머(Diffusion Transformers, DiT)**를 사용하여 모델링된다.
학습 목표: 모델은 선형 보간법(linear interpolants)을 사용하는 **플로우 매칭(Flow Matching)**을 통해 학습되며, 노이즈를 데이터 분포로 운송하는 벡터장을 학습하는 손실 함수를 최적화한다.
제어된 생성: 프레임워크는 **분류기 없는 가이드(Classifier-Free Guidance, CFG)**를 통해 다중 조건부 생성(예: 세포 유형 + 섭동)을 지원한다. 저자들은 기존 연구의 가산적(additive) 조건화 방식과 대조되는, 단일 토큰이 속성의 고유한 조합을 나타내는 결합 조건화(joint conditioning) 전략을 제안한다.

주요 기여

교환 가능한 아키텍처: 본 논문은 단일 세포 데이터의 순열 불변 풀링(pooling)과 순열 등변 언풀링(unpooling)을 달성하기 위해 통합된 MCAB 아키텍처를 사용하는 새로운 완전한 트랜스포머 기반 VAE를 제안한다. 이는 별도의 풀링/언풀링 구성 요소나 고정된 유전자 순서의 필요성을 제거한다.
Flow Matching을 이용한 잠재 확산: Flow matching과 선형 보간법으로 학습된 Diffusion Transformer 기반 LDM의 통합은 고품질의 생성과 CFG를 통한 제어된 샘플링을 가능하게 한다.
결합 조건화: 저자들은 속성 조합을 단일 토큰으로 취급하는 결합 조건화 형식이 다중 속성 섭동 벤치마크에서 가산적 조건화 전략보다 우수함을 입증하였다.

실험 결과

저자들은 관찰 데이터셋(Dentate Gyrus, Tabula Muris, HLCA)과 섭동 데이터셋(Parse 1M, Replogle)에 대해 scVI, CFGen, scDiffusion, CPA, scGPT를 포함한 최신 베이스라인들과 scLDM을 비교 평가하였다.

재구성 성능: scLDM은 모든 관찰 데이터셋에서 scVI 및 CFGen에 비해 우수한 재구성 지표(낮은 재구성 오차, 높은 피어슨 상관 계수, 낮은 MSE)를 달성하였다. 예를 들어, HLCA 데이터셋에서 scLDM은 CFGen의 0.146에 비해 0.310의 PCC를 기록하였다.
생성 품질: 무조건 및 조건부 생성 작업에서 scLDM은 더 나은 분포 매칭(낮은 Wasserstein-2 및 MMD2 거리)과 더 균형 잡힌 정밀도-재현율(precision-recall) 트레이드오프를 보여주었으며, 일부 베이스라인에서 관찰된 모드 붕괴를 피했다.
섭동 모델링: Parse 1M 및 Replogle 데이터셋에서 scLDM은 보지 못한(unseen) 세포-섭동 조합에 대한 유전자 발현 프로파일을 생성하는 데 있어 경쟁력 있거나 우수한 성능을 보였다. 이는 섭동 예측 지표(예: DEG 중첩, 로그 폴드 변화의 Spearman 상관관계)에서 베이스라인을 능가하였다.
다운스트림 분류: scLDM-VAE에 의해 학습된 임베딩은 분류 작업(COVID-19 감염 탐지 및 Tabula Sapiens 2.0의 세포 유형 분류)에서 평가되었다. 2억 7천만 개의 파라미터를 가진 scLDM 모델은 COVID-19 작업에서 0.820의 SOTA F1 점수를 달성하며 TranscriptFormer 및 scGPT와 같은 다른 파운데이션 모델들을 능가하였다.
절제 연구(Ablation Studies): 실험을 통해 제로 패딩 입력 전략이 계산 효율적이며 재구성 품질을 유지함을 확인하였다. 또한, 결합 조건화가 다중 속성 생성을 위해 가산적 조건화보다 우수함을 입증하였다.

의의 및 주장

본 논문은 scLDM이 고정된 유전자 순서라는 인위적인 제약을 넘어, 단일 세포 데이터의 교환 가능한 모델을 학습하기 위한 원칙적인 프레임워크를 제공한다고 주장한다. 순열 불변/등변 트랜스포머 아키텍처를 잠재 확산과 결합함으로써, 모델은 단일 세포 발현 프로파일을 재구성하고 생성하는 데 있어 최첨단 성능을 달성한다.

저자들은 이 접근 방식이 유연한 조건화와 보지 못한 맥락에 대한 일반화를 자연스럽게 지원하여 복잡한 세포 반응의 충실한 모델링을 가능하게 한다고 강조한다. 이들은 본 연구를 교환 가능한 생물학적 데이터를 위한 파운데이션 모델로 가는 단계로 위치시키며, 이 설계가 전사체학을 넘어 멀티오믹스 및 멀티모달 데이터에도 적용 가능함을 시사한다. 이 작업은 in silico 섭동 실험을 가능하게 함으로써 치료제 개발을 가속화하는 것을 목표로 하지만, 저자들은 임상 적용을 위해 실험적 검증이 여전히 필요함을 언급하였다.