🧬 biology

MicroSC: A Tiny, Performant Single-Cell Foundation Model

이 논문은 효율적인 지식 증류를 통해 5,100만 개의 파라미터를 가진 scGPT와 같은 훨씬 더 큰 교사 모델과 거의 대등한 성능을 달 수 있는 작고 고성능인 단일 세포 기초 모델 제품군인 MicroSC(150만~770만 파라미터)를 소개하며, 이를 통해 범용 하드웨어에서의 빠르고 비용 효율적인 배포를 가능하게 함과 동시에 현재의 단일 세포 모델의 실질적 유용성이 매우 압축 가능하다는 것을 입증한다.

원저자: Olivia Denvis

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Olivia Denvis

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신에게 인체 내 모든 세포의 생물학적 '설명서'를 담고 있는 도서관이 있다고 상상해 보십시오. 이것이 바로 과학자들이 개별 세포 내부의 유전자 활동을 읽기 위해 RNA 시퀀싱이라는 기술을 사용하는 단일 세포 생물학의 세계입니다. 오랫동안 이 설명서들은 너무나 무질서하고 방대하여 쉽게 읽을 수 없었습니다. 하지만 최근, 과학자들은 거대한 'AI 사서'들을 구축하기 시작했습니다. 수백만 개의 세포를 학습한 거대한 컴퓨터 모델들 말입니다. '단일 세포 파운데이션 모델(Single-Cell Foundation Models)'로 알려진 이 모델들은 도서관의 모든 책을 읽은 매우 똑똑한 학생과 같습니다. 이들은 자신이 보고 있는 세포가 어떤 종류인지, 세포들이 어떻게 그룹을 이루는지, 또는 새로운 약물에 어떻게 반응할지를 추측할 수 있습니다.

하지만 여기에는 문제가 있습니다. 이 AI 사서들은 너무나 거대합니다. 이를 실행하려면 슈퍼컴퓨터, 엄청난 양의 전기, 그리고 비싼 그래픽 카드가 필요합니다. 이들은 너무 커서 대부분의 일반 과학자들은 자신의 노트북으로 직접 사용할 수 없습니다. 여기서 큰 질문이 생깁니다. 이 모델들이 정말 그렇게 커야만 할까요? 아니면 도서관 전체를 암기했지만, 가장 중요한 사실들을 기억하기 위해 작은 수첩 하나만 있으면 되는 학생과 같은 걸까요? 만약 모델의 '지능적인' 부분이 실제로는 작고 단순하다면, 우리는 이 거인들을 지능을 잃지 않으면서도 아주 작고 빠르게 축소할 수 있을지도 모릅니다.

이것이 바로 MicroSC를 개발한 연구진이 테스트하고자 했던 핵심입니다. 그들은 이렇게 물었습니다. "단일 세포 AI가 무언가를 잊어버리기 전까지 얼마나 더 작아질 수 있을까?" 새로운 거인을 처음부터 만드는 대신, 그들은 기존의 것을 축소하기로 했습니다. 그들은 scGPT(5,100만 개의 '파라미터', 즉 지식 기반 역할을 하는 내부 설정값을 가진)라는 크고 강력한 모델을 가져와서, 아주 작은 학생 모델에게 그 모든 것을 가르치려 했습니다.

그 결과는 놀랍게도 강력한 성능을 보여주는 '작은' 모델인 MicroSC 가족이 탄생했다는 것입니다. 연구진은 150만 개의 파라미터를 가진 소형, 360만 개의 파라미터를 가진 중형, 그리고 770만 개의 파라미터를 가진 대형 등 세 가지 버전을 만들었습니다. 이들을 가르치기 위해, 연구진은 단순히 학생에게 원시 데이터를 읽게 한 것이 아니라 **증류(distillation)**라는 기법을 사용했습니다. 이것은 마치 숙련된 요리사(큰 모델)가 견습생(작은 모델)을 가르치는 것과 같습니다. 스승은 단순히 "이 요리를 만드세요"라고 말하는 것이 아니라, 레시피 뒤에 숨겨진 풍미의 특징, 질감, 그리고 논리를 설명합니다. 학생은 최종 정답뿐만 아니라 그 '부드러운' 추론 과정까지 배우게 됩니다.

연구 결과는 매우 흥방합니다. 중형 크기의 MicroSC 모델(360만 파라미터)은 세포 유형을 올바르게 식별하는 데 있어 기존 거대 모델 능력의 **99.3%**를 학습해 냈습니다. 이는 원래의 거인보다 14배 더 작습니다. 더욱 놀라운 점은, 이 작은 모델이 표준 컴퓨터 프로세서(CPU)에서 17배 더 빠르다는 것입니다. 거대 모델은 노트북에서 구동하기 어려울 수 있지만, MicroSC는 일반 컴퓨터에서 초당 1,450개의 세포를 주석 처리할 수 있습니다. 즉, 과학자가 슈퍼컴퓨터 없이도 일반 컴퓨터로 대규모 데이터셋을 약 1분 만에 처리할 수 있다는 뜻입니다.

하지만 이 논문은 이 모델들이 할 수 없는 일에 대해서도 매우 솔직합니다. 연구진은 MicroSC가 세포 유형을 식별하는 데는 뛰어나지만, 모든 문제를 마법처럼 해결해주지는 않는다는 것을 발견했습니다. 서로 다른 실험에서 나온 세포들을 하나로 묶는 것과 같은 특정 작업의 경우, 전통적이고 더 단순한 수학적 도구들이 심지어 거대한 AI 모델들보다 더 잘 작동합니다. 이 논문은 이러한 거대 모델 속의 '유용한' 정보는 실제로 저차원적이며 압축 가능하다는 점을 시사합니다. 즉, 이 모델들의 핵심은 가능한 모든 생물학적 규칙의 방대한 복잡한 지도를 보유하는 것이 아니라, 함께 작동하는 유전자 패턴을 포착하는 데 있다는 것입니다.

요약하자면, MicroSC는 5,100만 개의 파라미터를 가진 뇌가 5,100만 개의 파라미터를 가진 뇌의 역할을 수행하기 위해 반드시 필요하지 않다는 것을 증명합니다. 모델을 수백만 개의 파라미터로 축소함으로써, 연구진은 과거에 비싼 하드웨어 뒤에 갇혀 있던 강력한 단일 세포 AI를 노트북을 가진 누구라도 사용할 수 있도록 민주화했습니다. 그들은 단순히 더 작은 모델을 만든 것이 아니라, 이 거대한 AI 시스템의 '마법'이 이미 훨씬 더 작은 패키지 안에 숨겨져 있었음을 보여주었습니다.

기술 요약: MicroSC – 작고 성능이 뛰어난 단일 세포 파운데이션 모델

문제 정의

Geneformer, scGPT, scFoundation과 같은 단일 세포 파운데이션 모델(SCFM)은 약 900만 개에서 6억 5천만 개의 파라미터에 이르는 상당한 규모를 달 achievement 했습니다. 그러나 이러한 모델들은 사전 학습, 저장 및 배포하는 데 비용이 많이 들며, 종종 고성능 GPU 클러스터(예: UCE는 24개의 A100 GPU로 40일 소요)를 필요로 합니다.

최 recent 증거에 따르면, 이러한 거대 모델들이 담고 있는 "실질적으로 유용한" 정보는 그들의 파라미터 수가 시사하는 것보다 훨씬 작습니다. 체계적인 벤치마크 결과, 단순한 베이스라인(예: L1 정규화 로지스틱 회귀, PCA, 또는 scVI 및 Harmony와 같은 고전적 통합 도구)이 세포 유형 분류나 배치 통합과 같은 핵심 작업에서 SCFM과 대등하거나 오히려 더 나은 성능을 보이는 경우가 많습니다. 또한, 기계론적 해석 가능성 연구는 SCFM이 복잡한 인과적 조절 논리보다는 조직화된 공발현 구조와 세포 유형 정체성을 주로 인코딩한다는 것을 시사합니다. 이는 SCFM이 활용하는 신호가 저차원이며 압축 가능하다는 것을 의미합니다.

본 연구가 다루는 핵심 질문은 다음과 같습니다: 단일 세포 파운데이션 모델이 자신보다 14배 더 큰 모델의 다운스트림 효용성을 유지하면서 얼마나 작아질 수 있는가?

방법론

저자들은 처음부터 사전 학습하기보다는 더 큰 교사(teacher) 모델로부터 지식을 증류(distill)하도록 설계된 초소형 단일 세포 트랜스포머 제품군인 MicroSC(1.5M–7.7M 파라미터)를 소개합니다.

1. 아키텍처 및 토큰화

교사 모델(Teacher Model): 51M 파라미터의 고정된(frozen) scGPT 모델이 지식의 원천 역할을 합니다.
학생 모델(Student Model): MicroSC는 파라미터 예산을 제어하기 위해 요인화된 유전자 임베딩(factorized gene embeddings, ALBERT에서 영감을 받음)을 사용하는 양방향 트랜스포머 인코더를 사용합니다. 유전자 어휘 임베딩이 작은 모델에서 파라미터 수를 지배하기 때문에, MicroSC는 유전자를 저차원 코드( $d_e=48$ )로 매핑하고 이를 공유 행렬을 통해 모델 너비( $d$ )로 투영합니다.
입력 토큰화: 각 세포는 발현된 상위 $K=1,024$ 개의 유전자로 표현됩니다. 토큰은 유전자 정체성 임베딩과 빈(bin) 처리된 발현 값 임베딩(51개 빈)의 합, 그리고 위치 임베딩으로 구성됩니다.
구성(Configurations): 세 가지 변형이 제안됩니다:
- MicroSC-S: 1.5M 파라미터 (4개 층, $d=128$ ).
- MicroSC-B: 3.6M 파라미터 (6개 층, $d=192$ ).
- MicroSC-L: 7.7M 파라미터 (8개 층, $d=256$ ).

2. 학습 목표

학생 모델은 마스크된 발현 모델링과 세 가지 증류 항을 결합한 4개 항의 목적 함수를 사용하여 학습됩니다:

마스크된 언어 모델링 (MLM): 마스크된 발현 빈을 재구성하기 위한 크로스 엔트로피 손실.
소프트 라벨 증류 (Soft-Label Distillation): 마스크된 유전자에 대해 교사 모델의 소프트화된 로짓(온도 $T=2$ )과 학생 모델 간의 쿨백-라이블러(KL) 발산.
표현 정렬 (Representation Alignment): 학습된 투영을 사용하여 매핑된 레이어 전반에 걸친 학생과 교사의 은닉 상태(hidden states) 간의 평균 제곱 오차(MSE).
세포 임베딩 대조 (Cell-Embedding Contrastive): 학생의 [CLS] 토큰(세포 임베딩)을 교사와 정렬하는 코사인 유사도 손실.

3. 데이터 및 최적화

사전 학습 데이터: 조직과 어세이(assay) 전반에 걸쳐 균형 잡힌 CZ CELLxGENE Discover 셈서스의 2,000만 개 세포 서브셋.
효율성: 학습 중 포워드 패스를 피하기 위해 교사의 예측값과 은닉 상태를 미리 계산하여 캐싱합니다.
하드웨어: MicroSC-B는 두 개의 A100-40GB GPU에서 38 GPU-시간 동안 사전 학습되었습니다.

주요 기여

MicroSC 제품군: 랭크 절단된(rank-truncated) 단일 세포 입력을 위해 맞춤 설계된 증류 레시피를 통해 전이 가능한 효용성을 유지하면서도 명시적으로 작게 설계된 최초의 초소형 SCFM(1.5M–7.7M 파라미터)을 도입했습니다.
성능-크기 파레토 프런티어(Pareto Frontier): MicroSC가 1,000만 미만의 파라미터 영역에서 성능 프런티어를 정의하며, 훨씬 더 큰 모델(Geneformer, UCE, scGPT)과 대등하거나 이를 능가함을 입증했습니다.
효율성 이득: MicroSC-B가 scGPT보다 14배 작고 CPU에서 약 17배 더 빠르다는 점을 보여줌으로써, GPU 없이 표준 노트북에서도 추론이 가능함을 입증하여 배포 이점을 정량화했습니다.
어블레이션 통찰 (Ablation Insights): 소프트 라벨 증류가 성능에 가장 결정적인 요소임을 확인했으며, 이는 마스크된 모델링과 정렬만으로 학습했을 때보다 0.028의 정확도 향상을 가져왔습니다.
정직한 벤치마킹: 고전적 베이스라인(예: Zheng68K에 대한 L1 로지스틱 회귀, 통합 작업에서의 scVI/Harmony)이 여전히 우수함을 보고함으로써, 이러한 발견을 해석 가능성 문헌 내에서 맥락화하고 부정적인 결과도 투명하게 공개했습니다.

결과

세포 유형 주석 (Cell-Type Annotation)

**MicroSC-B (3.6M)**는 네 가지 벤치마크(hPancreas, MS, Myeloid, Zheng68K)에서 평균 0.809의 정확도를 달성하여, 51M 파라미터인 scGPT 교사의 성능(0.815)의 **99.3%**를 회복했습니다.
**MicroSC-L (7.7M)**은 교사 모델을 약간 상회했습니다 (0.816 vs 0.815).
두 MicroSC 변형 모두 훨씬 더 작음에도 불구하고(3~180배 작음) Geneformer(10.3M) 및 UCE(650M)보다 우수한 성능을 보였습니다.
주의 사항: Zheng68K 데이터셋의 경우, 단순한 L1 로지스틱 회귀 베이스라인(0.811)이 모든 파운데이션 모델보다 높은 성능을 보였으며, 이는 PBMC 주 내 분포(in-distribution) 주석 작업에서 선형 베이스라인을 이기기 어렵다는 기존의 연구 결과와 일치합니다.

배치 통합 (Batch Integration)

MicroSC는 목적 기반 도구들에 비해 SCFM이 가진 알려진 한계를 그대로 물려받았습니다.
미세 조정된 MicroSC-B는 scIB 전체 점수 0.808을 기록하여, scGPT 교사(0.818) 및 scFoundation(0.820)과 단 1점 차이 내에 있었습니다.
그러나 타겟 데이터에 직접 학습된 고전적 방법들(scVI: 0.828, Harmony: 0.826)이 여전히 최고의 성능을 유지했습니다. 제로샷(Zero-shot) MicroSC-B(0.766)는 이러한 고전적 방법들과의 격차가 더 컸습니다.

효율성 및 확장성

추론: MicroSC-B는 8코어 CPU에서 초당 1,450개 세포를 처리하며(scGPT보다 17배 빠름), A100 GPU에서는 초당 31,000개 세포를 처리합니다.
메모리: Micro-B는 fp32 기준 14.4 MB의 용량을 차지하며 GPU 피크 메모리는 0.7 GB인 반면, scGPT는 3.8 GB, UCE는 14 GB가 필요합니다.
사전 학습 비용: MicroSC-B는 38 GPU-시간이 소요되어, UCE에서 보고된 약 23,000 GPU-시간에 비해 600배 감소한 수치를 보여줍니다.
데이터 스케일링: 성능은 1,000만 개 세포 사전 학습 후 정체되는 경향을 보였는데, 이는 교사가 원래 보았던 데이터보다 한 자릿수 적은 데이터만으로도 교사의 전이 가능한 신호를 포착할 수 있음을 시사합니다.

의의 및 주장

본 논문은 MicroSC가 현재의 SCFM이 가진 실질적인 내용이 저차원이며 압축 가능하다는 직접적인 증거를 제공한다고 주장합니다. 결과는 이러한 모델들이 사용하는 "신호"가 복잡한 조절 규칙의 방대한 저장소가 아니라, 주로 조직화된 공발현 구조와 세포 유형 정체성이라는 가설을 뒷받침합니다.

결과적으로, MicroSC는 다음을 입증합니다:

접근성: 단일 세포 파운데이션 모델은 거대한 컴퓨팅 예산 없이도 일반적인 하드웨어(노트북)에서 사용할 수 있고, 개별 연구실에서 특정 조직이나 종에 맞춰 재학습할 수 있도록 만들 수 있습니다.
해석 가능성: 51M 모델을 3.6M 모델로 증류하는 데 성공한 것은, SCFM의 표현이 저차원의 중첩된 기하학적 구조를 점유한다는 해석 가능성 연구 결과와 일치합니다.
현실적인 기대치: 파운데이션 모델이 모든 단일 세포 작업에 대한 기본 선택지는 아닙니다. 통합 및 주 내 분포 분류와 같은 특정 작업에서는 고전적 베이스라인이 여전히 우월하며, MicroSC는 교사 모델로부터 물려받은 이러한 한계를 정직하게 계승합니다.

저자들은 MicroSC를 단순한 모델 산물이 아니라, 연구자들이 파운데이션 모델을 더 폭넓게 사용하고 연구할 수 있도록 하는 도구이자, 추가적인 해석 가능성 분석을 위한 테스트베드로 제시합니다.