💻 생물정보학

BioMod: Biological Module Tokenization for Single-Cell Foundation Modeling

BioMod는 개별 유전자가 아닌 생물학적으로 의미 있는 중첩 모듈로 세포를 토큰화함으로써 표현 효율성과 성능을 개선하여 세포 유형 주석 지정 및 섭동 예측과 같은 작업에서 최첨단 결과를 달로 달성하는 동시에 단일 GPU에서의 효율적인 추론을 가능하게 하는 5천만 개의 파라미터를 가진 단일 세포 파운데이션 모델입니다.

원저자: Meng, L., Zhu, J., Han, B., Zang, Y., Li, W., Zong, K., Zhong, J., Yang, Y., Liu, J., Jia, J., Sun, R., Yu, G., Han, J., Chen, Y., Zhang, L., Xu, J.

게시일 2026-10-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Meng, L., Zhu, J., Han, B., Zang, Y., Li, W., Zong, K., Zhong, J., Yang, Y., Liu, J., Jia, J., Sun, R., Yu, G., Han, J., Chen, Y., Zhang, L., Xu, J.

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

세포는 생명의 근본적인 단위이며, 각 세포는 유전자로 쓰인 고유한 지시 설명서를 가지고 있습니다. 과학자들이 인체의 작동 원리나 질병이 왜 발생하는지를 이해하고자 할 때, 그들은 종종 개별 세포 속의 이러한 지시 사항들을 살펴봅니다. 단일 세포 생물학(single-cell biology)이라고 불리는 이 분야를 통해 연구자들은 박동하는 심장 근육에서부터 싸우는 면역 세포에 이르기까지, 조직 내 모든 세포의 뚜렷한 정체성을 확인할 수 있습니다. 그러나 데이터의 엄청난 양은 압도적입니다. 단 하나의 세포에도 수천 개의 활성 유전자가 포함되어 있으며, 현대의 실험은 한 번에 수백만 개의 세포를 프로파일링할 수 있습니다. 이 정보의 바다를 이해하기 위해 연구자들은 인공지능, 구체적으로는 '파운데이션 모델(foundation models)'에 의존해 왔습니다. 이는 거대한 텍스트 라이브러리를 읽으며 문법 규칙을 배우는 언어 모델처럼, 방대한 데이터셋을 통해 생물학의 기저 규칙을 학습하도록 훈련된 강력한 컴퓨터 프로그램입니다. 목표는 세포의 유형을 인식하거나, 약물에 어떻게 반응할지 예측하거나, 유전자가 변형되었을 때 어떻게 변화할지를, 매번 새로운 질문에 맞춰 다시 훈련할 필요 없이 파악할 수 있는 시스템을 만드는 것입니다.

문제는 이 정보를 어떻게 컴퓨터에 입력하느냐였습니다. 기존의 대부분의 모델은 세포 내의 모든 개별 유전자를 문장의 개별 단어처럼 취급합니다. 만약 한 세포에 2만 개의 활성 유전자가 있다면, 컴퓨터는 2만 개의 항목으로 이루어진 시퀀스를 처리해야 합니다. 이는 계산 비용이 많이 들 뿐만 아니라, AI가 유전자 간의 복잡한 관계를 처음부터 스스로 파악해야 하도록 만듭니다. 이 과정에서 많은 유전자가 특정 세포에서 침묵하거나 거의 활성화되지 않는다는 사실 때문에 AI는 종종 어려움을 겪습니다. 선전 루오푸 지역 연구소(Shenzhen Loop Area Institute)와 홍콩중문대학교 선전 캠퍼스의 연구진은 다른 접근 방식을 제안했습니다. 그들은 컴퓨터가 분석을 시작하기 전에 유전자를 기능적 팀으로 그룹화함으로써 세포를 더 효율적으로 이해할 수 있는지 자문했습니다. 자연계에서 유전자는 결코 홀로 작동하지 않습니다. 유전자는 감염과 싸우거나 DNA를 복구하는 것과 같은 특정 과업을 수행하기 위해 '경로(pathways)' 또는 '모듈(modules)'이라 불리는 조정된 그룹으로서 작동합니다. 연구진은 만약 이 생물학적 팀들을 단일 단위로 표현할 수 있다면, 컴퓨터가 더 빠르게 학습하고, 전력을 적게 사용하며, 어쩌면 생물학을 더 깊이 이해할 수 있을 것이라고 가설을 세웠습니다.

이 아이디어를 테스트하기 위해 연구진은 '바이오모드(BioMod)'라는 새로운 모델을 개발했습니다. 컴퓨터에 수천 개의 개별 유전자 목록을 입력하는 대신, 그들은 먼저 유전자를 660개의 중첩되는 생물학적 모듈로 구성했습니다. 이 모듈들은 과학 데이터베이스에서 발견된 알려진 생물학적 경로와 단일 세포 데이터를 분석하여 발견된 새로운 유전자 그룹을 혼합하여 구축되었습니다. 하나의 유전자는 여러 모듈에 속할 수 있는데, 이는 하나의 유전자가 동시에 여러 가지 서로 다른 생물학적 과정에 관여할 수 있다는 현실을 반영합니다. 연구진은 모든 세포에 대해, 수천 개의 개별 유전자 토큰 대신 각 모듈을 나타내는 단 하나의 토큰을 포함하여 단 660개의 토큰으로 이루어진 압축된 표현을 만들었습니다. 이 과정은 사람이 긴 이야기를 요약할 때 모든 단어를 나열하는 것이 아니라 주요 주제와 등장인물을 파악하는 방식과 유사합니다. 이후 이 모델은 뇌, 혈액, 폐를 포함한 25가지 장기와 조직을 아우르는 약 7,300만 개의 인간 세포라는 방대한 데이터셋을 통해 훈련되었습니다. 훈련 과정에서 컴퓨터는 이러한 모듈 요약본의 대부분을 보고 누락된 부분을 추측해야 했으며, 이를 통해 서로 다른 생물학적 프로그램 사이의 깊은 연결 고리를 학습하게 되었습니다.

결과는 이 유전자 그룹화 방식이 놀라울 정도로 잘 작동한다는 것을 보여주었습니다. 약 5,000만 개의 파라미터(모델의 복잡도를 나타내는 척도)를 가진 바이오모드는 개별 유전자를 처리하는 수십억 개의 파라미터를 가진 훨씬 더 큰 모델들과 대등하거나 종종 더 나은 성능을 보였습니다. 세포 유형 식별 테스트에서 이 모델은 다양한 조직에 걸쳐 높은 정확도로 세포를 분류했으며, 종종 기존의 최첨단 시스템들을 능가했습니다. 또한 특정 유전자가 꺼졌을 때와 같은 유전적 변화에 세포가 어떻게 반응하는지, 그리고 암세포가 서로 다른 약물에 어떻게 반응하는지를 예측하는 데 탁al한 능력을 보여주었습니다. 가장 주목할 만한 발견 중 중 하나는 모델의 효율성이었습니다. 수천 개의 항목 대신 660개의 항목만 처리하기 때문에, 바이오모드는 컴퓨터 하드웨어에서 훨씬 더 빠르게 실행됩니다. 표준 고성능 그래픽 카드에서 바이오모드는 초당 수백 개의 세포를 처리할 수 있었던 반면, 다른 모델들은 메모리 부족 문제 없이 수십 개조차 처리하는 데 어려움을 겪었습니다. 이러한 속도는 과거에 값비싼 대규모 컴퓨팅 클러스터가 필요했던 작업을 단일 머신에서 대규모 데이터셋을 분석할 수 있게 해줍니다.

연구진은 또한 유전자를 그룹화한 특정한 방식이 실제로 중요한 것인지, 아니면 단순히 모델의 구조 덕분에 얻은 성공인지 알고 싶었습니다. 이를 확인하기 위해 그들은 유전자를 무작위로 섞어 모듈을 구성함으로써 자연적인 생물학적 관계를 파괴하되, 모듈의 수와 모델의 구조는 동일하게 유지한 대조군 버전을 만들었습니다. 이 섞인 버전의 모델을 테스트했을 때, 성능이 현저히 떨어졌습니다. 이 모델은 세포 유형을 식별하고, 서로 다른 실험의 데이터를 통합하며, 약물 반응을 예측하는 데 있어 성능이 크게 저하되었습니다. 이는 유전자의 생물학적 조직이 단순히 편리한 지름길이 아니라, 모듈 내 유전자들 사이의 구체적이고 의미 있는 연결이 모델의 성공에 필수적이었음을 확인시켜 주었습니다. 추가 분석 결과, 모델이 올바른 것에 주의를 기울이는 법을 배웠다는 사실도 밝혀졌습니다. 연구진이 특정 세포 유형을 식별하는 데 어떤 모듈이 가장 중요한지 조사했을데, 모델이 해당 세포의 알려진 마커 유전자를 포함하는 모듈에 크게 의존한다는 것을 발견했습니다. 만약 이 핵심 모듈들을 숨기면 모델의 세포 식별 능력이 무너졌는데, 이는 모델이 단순히 패턴을 암기한 것이 아니라 올바른 생물학적 논리를 학습했음을 증명합니다.

이 연구는 생물학적 AI의 미래가 세포의 모든 세부 사항을 처리하려고 시도하는 점점 더 커지는 모델을 만드는 데 있는 것이 아니라, 생물의 자연스러운 조직을 존중하는 시스템을 설계하는 데 있음을 시사합니다. 유전자의 복잡한 언어를 생물학적 모듈이라는 기능적 언어로 번역함으로써, 바이오모드는 더 작고 효율적인 모델이 어떻게 우수한 결과를 달este할 수 있는지를 보여줍니다. 이는 세포의 방대한 정보를 컴퓨터가 쉽게 다룰 수 있는 형태로 압축하는 새로운 방법을 제시하며, 인간의 건강과 질병에 대한 더 빠르고 정확한 분석의 문을 열어줍니다. 이 연구는 단일 세포 생물학의 모든 문제를 해결했다고 주장하는 것은 아니지만, AI 모델의 구조에 생물학적 지식을 직접 통합하는 것이 생명의 가장 근본적인 수준을 이해하기 위한 더 강력하고 효율적인 도구를 만드는 데 도움이 된다는 강력한 증거를 제공합니다.

기술 요약: BioMod: 단일 세포 파운데이션 모델링을 위한 생물학적 모듈 토큰화

문제 정의
현재의 단일 세포 파운데이션 모델(scFM)은 일반적으로 세포를 개별 유전자의 평면적인 시퀀스로 표현한다. 이러한 방식은 세밀한 발현 측정을 보존하지만, 모델이 희소한 프로파일로부터 고차원적인 생물학적 조직화를 암시적으로 추론해야 한다는 과제를 안겨준다. 저자들은 자연어 처리에서 문자 단위(character-level)에서 의미론적 토큰화(semantic tokenization)로 진화한 것에 대한 비유를 들어, 생물학적으로 유의미한 중간 단위, 즉 중첩되는 생물학적 모듈을 사용하여 세포를 표현하는 것이 더 효율적이고 구조적인 표현을 제공할 수 있다는 가설을 세웠다. 기존의 접근 방식들은 감독 학습(supervised tasks)을 위해 유전자 세트를 통합하거나 유전자 수준의 토큰에 사전 지식을 추가해 왔으나, 발현 조건부 모듈 토큰이 세포 주석(annotation), 통합(integration), 섭동 예측(perturbation prediction), 약물 반응 모델링(drug response modeling)과 같은 다양한 작업에 전이 가능한 자기 지도 학습 기반 파운데이션 모델의 근본적인 단위로서 기능할 수 있는지는 여전히 불분명하다.

방법론
저자들은 유전자와 세포 사이의 표현 단위로 생물학적 모듈을 도입한 5,000만 파라미터 규모의 단일 세포 파운데이션 모델인 BioMod를 제시한다.

모듈 어휘 구축: BioMod는 50개의 MSigDB Hallmark 유전자 세트, 491개의 Reactome 경로, 73개의 Hotspot 모듈(데이터 기반), 46개의 hdWGCNA 공발현 모듈이라는 네 가지 출처에서 유래한 660개의 중첩되는 생물학적 모듈을 활용하여 고정된 어휘를 사용한다. 이 어휘는 모델 입력 공간의 27,874개 유전자 중 12,895개를 커버한다. 유전자는 여러 모듈에 속할 수 있으며, 이를 통해 유전자의 발현이 서로 다른 생물학적 맥락에 기여할 수 있도록 한다.
토큰화: 각 세포에 대해, 발현 값( $x_g$ )은 모듈 내 유전자의 사전 학습된 Gene2Vec 임베딩( $e_g$ )을 스케일링한다. 학습된 어텐션 풀러(attention pooler)는 투영된 유전자 특징들을 하나의 세포별 모듈 토큰으로 집계한다. 이는 입력 시퀀스를 수천 개의 유전자 토큰에서 660개의 모듈 토큰으로 축소한다.
아키텍처: 모델은 모듈 시퀀스를 처리하기 위해 선형 복잡도를 가진 TSSA(Token-Statistical Self-Attention) 인코더를 채택한다.
사전 학습 전략: BioMod는 약 7,300만 개의 인간 세포와 25개의 장기/조직 카테데고리를 대상으로 높은 비율의 마스킹 전략(75%의 모듈 토큰 마스킹)을 사용하여 사전 학습된다. 비대칭 디코더는 가시적인 모듈 상태를 사용하여 마스킹된 모듈 내의 유전자 발현 값을 재구성한다. 이 설계는 짧은 인코더 시퀀스와 유전자 해상도에서의 재구성 감독(reconstruction supervision)을 결합한다.
다운스트림 적응: 백본(backbone)은 세포 유형 주석을 위해 미세 조정되며, 제로샷 배치 통합 및 약물 반응 예측을 위한 동결된 특징 추출기로 사용된다. 또한 섭동-반응 예측을 위해 모듈-투-유전자 역투영(module-to-gene back-projection)에 연결된다.

주요 기여

새로운 토큰화 체계: BioMod는 유전자와 전체 세포 사이의 "생물학적 모듈" 토큰화 전략을 제안하고 검증하며, 중첩되는 경로와 데이터 기반 유전자 프로그램을 활용한다.
압축된 효율성: BioMod는 약 5,000만 개의 파라미터를 보유함에도 불구하고(scLong와 같은 10억 파라미터 규모의 경쟁 모델보다 현저히 적음), 다양한 작업에서 최첨단 성능을 달 achieves 한다.
제어된 절제 실험(Controlled Ablation): 본 연구에는 아키텍처, 모듈 수, 훈련 프로토콜을 동일하게 유지하면서 유전자-모듈 할당을 무작위화하는 엄격한 "셔플된 모듈(shuffled-module)" 대조군이 포함되어 있다. 이는 단순한 시퀀스 압축이 아닌 생물학적 그룹화의 기여도를 분리한다.
포괄적인 벤치마킹: 모델은 세포 유형 주석, 제로샷 배치 통합, 유전적 섭동 예측, 약물 반응 예측라는 네 가지 뚜렷한 작업 범주에서 평가된다.

결과

세포 유형 주석: BioMod는 벤치마크된 네 가지 데이터셋(Myeloid, hPancreas, Zheng68K, Liver)에서 가장 높은 macro-F1 점수를 기록했으며, 다른 데이터셋에서도 경쟁력 있는 정확도를 보이며 scGPT 및 Geneformer와 같은 더 큰 모델들을 능가했다.
제로샷 배치 통합: 동결된 표현을 사용하여, BioMod는 이질적인 아틀라스(hPNC, BMMC, Lung) 전반에서 생물학적 변이를 기술적 배치 효과로부터 성공적으로 분리하였으며, 명시적인 도메인 적응 훈련 없이도 경쟁력 있는 종합 점수를 달성했다.
섭동-반응 예측: BioMod는 Norman 데이터셋의 네 가지 일반화 설정 중 세 가지에서 가장 높은 피어슨 상관계수를 달성하였으며, 이는 유전적 섭동에 대한 전사 반응을 예측하기 위해 모듈 표현을 유전자 수준 출력으로 투영하는 능력을 입증한다.
약물 반응 예측: CCLE–GDSC 벤치마크에서 BioMod는 단일 약물 반응 예측에서 가장 높은 피어슨 상관계수(0.931)를, 약물 조합 시너지 예측에서 가장 높은 AUROC(0.681)를 달성했다.
효율성: BioMod는 우수한 추론 효율성을 보여주었으며, 배치 크기 256에서 단일 GPU당 초당 최대 ~1,760개의 세포를 처리하여, 유사한 배치 크기에서 종종 메모리 부족 오류를 겪는 유전자 수준 모델들을 크게 앞질렀다.
절제 실험 결과: 유전자-모듈 할당을 셔플링하면 통합, 주석(macro-F1), 약물 반응 작업에서 성능이 일관되게 감소하여, 생물학적 그룹화가 단순한 시퀀스 압축 이상의 성능 기여를 한다는 것을 확인했다. 그러나 섭동 예측에 미치는 영향은 설정에 따라 엇갈린 결과를 보였다.

의의 및 주장
본 논문은 BioMod가 생물학적 모듈 토큰이 압축된 단일 세포 파운데이션 모델을 위한 효과적인 단위임을 입증한다고 주장한다. 결과는 생물학적으로 구조화된 토큰으로 구축된 5,000만 파라미터 규모의 모델이 다양한 다운스트림 작업에서 훨씬 더 큰 파운데이션 모델(예: 10억 파라미터의 scLong)의 성능과 대등하거나 이를 능가할 수 있음을 시사한다.

저자들은 셔플된 모듈 대조군이 이 특정 아키텍처 내에서 생물학적 유전자 그룹화의 가치를 확인해주기는 하지만, 비교 연구가 사전 학습 자체의 기여를 완전히 분리하거나, 동일한 예산 하에서 훈련된 매칭된 유전자-토큰 아키텍처와 비교했을 때 필요한 파라미터 수를 줄여준다는 것을 증명하지는 않는다는 점을 겸허히 언급한다. 또한, 본 연구는 모듈 임베딩과 경로 텍스트 의미론(pathway text semantics) 사이의 정렬이 모듈 구성을 통제한 후에는 약하다는 점을 강조하며, 이는 모델이 명시적인 의미론적 경로 정의보다는 기능적 구조를 포착함을 시사한다.

궁극적으로, 이 연구는 파운데이션 모델의 토큰화 계층에 생물학적 조직을 통합하는 것이 복잡한 단일 세포 분석을 지원할 수 있는 효율적이고 고성능인 모델을 생성할 수 있음을 확립하지만, 구체적인 이점은 작업 및 평가 설정에 따라 달라질 수 있음을 보여준다.

유사한 논문