Foundation Models Improve Perturbation Response Prediction

이 논문은 600 개 이상의 모델을 광범위하게 분석하여 데이터가 충분할 경우 기초 모델이 세포 반응 예측의 성능 한계에 도달할 수 있음을 입증하고, 다양한 모델 통합 방법을 통해 유전적 및 화학적 교란에 대한 예측 정확도를 크게 향상시킬 수 있음을 보여줍니다.

핵심

이 논문은 **"세포가 어떤 약이나 유전자 조작을 받으면 어떻게 반응할지 예측하는 것"**에 대한 연구입니다. 마치 의사가 "이 약을 먹으면 내 몸이 어떻게 변할까?"를 미리 시뮬레이션하고 싶다는 것과 비슷하죠.

연구팀은 최근 화두인 **'기초 모델 (Foundation Models, FM)'**이라는 거대 인공지능이 이 문제를 해결해 줄 수 있는지, 아니면 그냥 간단한 방법으로도 충분할지 실험해 보았습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 연구의 배경: "예측의 대결"

생물학자들은 오랫동안 "유전자를 하나 끄거나 (CRISPR), 약을 한 방 먹이면 세포가 어떻게 변할까?"를 예측하려고 노력해 왔습니다.

최근에는 거대한 AI 모델 (기초 모델) 들이 등장하면서, "이 모델들이 세포 반응을 예측하면 엄청나게 정확할 거야!"라는 주장과 "아니야, 그냥 간단한 통계로 충분해. 복잡한 AI 는 오히려 헛수고야"라는 주장이 팽팽하게 맞서고 있었습니다.

이 연구팀은 600 개가 넘는 다양한 AI 모델을 시험대에 올려놓고, 누가 진짜로 세포 반응을 잘 예측하는지 대결을 시켰습니다.

2. 핵심 발견 1: "무엇을 배웠느냐가 중요해" (데이터의 종류)

AI 모델이 세포 반응을 예측할 때, 어떤 정보를 바탕으로 학습했는지가 가장 중요했습니다.

• 비유: 세포 반응을 예측하려면 마치 도시의 교통 상황을 예측하는 것과 같습니다.
  • 나쁜 예: 단순히 "차량 수"만 세는 것 (단순 통계).
  • 좋은 예: "도로망 지도", "신호등 규칙", "운전자들의 습관"을 모두 알고 있는 것.

연구 결과, 세포 내의 '연결망 (Interactome)'을 학습한 AI가 가장 훌륭했습니다.

• Interactome: 세포 안에서 유전자와 단백질들이 서로 어떻게 연결되어 있는지 보여주는 거대한 지도입니다.
• 결과: 이 지도를 알고 있는 AI 는 단순히 유전자 목록만 외운 AI 보다 훨씬 정확하게 "이 유전자를 끄면 저 유전자가 어떻게 반응할지"를 예측했습니다. 마치 교통 지도를 아는 사람이 "이 도로를 막으면 저곳이 막힐 거야"라고 정확히 예측하는 것과 같습니다.

3. 핵심 발견 2: "약 (화학 물질) 은 더 어렵다"

유전자 조작 (유전적 교란) 을 예측하는 것은 비교적 쉬웠지만, 약 (화학 물질) 을 예측하는 것은 훨씬 어려웠습니다.

• 비유:
  • 유전자 조작: 특정 전구 (유전자) 하나를 직접 뽑아내는 것. 효과가 명확합니다.
  • 약 (화학 물질): 복잡한 약을 넣는 것. 이 약은 목표한 전구뿐만 아니라 다른 전구들도 건드리고, 예상치 못한 부작용을 일으킬 수 있습니다. 마치 복잡한 레시피로 만든 요리를 먹었을 때, 우리 몸이 어떻게 반응할지 예측하는 것이 훨씬 어렵습니다.

현재까지 개발된 약 관련 AI 모델들은 대부분 화학 구조만 분석해서, 생물학적 반응까지 예측하는 데는 한계가 있었습니다.

4. 핵심 발견 3: "혼합 주스 (퓨전) 가 최고다"

가장 흥미로운 발견은 여러 가지 AI 모델을 섞었을 때 가장 좋은 결과가 나왔다는 것입니다.

• 비유: 세포 반응을 예측하려면 단일한 정보만으로는 부족합니다.
  • 유전자 지도 (Interactome) + 유전자 기능 설명서 (텍스트) + 유전자 서열 (DNA) 등을 모두 섞어야 합니다.
  • 마치 맛있는 주스를 만들 때, 오렌지만 넣는 것보다 오렌지, 당근, 생강을 적절히 섞어야 최고의 맛이 나듯이요.

연구팀은 여러 AI 모델에서 뽑아낸 정보를 주의 (Attention) 기법으로 섞어서 하나의 모델로 만들었습니다. 그 결과, 실제 실험 오차 범위까지 도달할 만큼 정확한 예측이 가능해졌습니다. 즉, 컴퓨터 시뮬레이션만으로도 실험실 실험을 거의 대체할 수 있는 수준에 도달했다는 뜻입니다.

5. 결론: "AI 는 이제 진짜 도구가 되었다"

이 연구는 다음과 같은 결론을 내립니다.

1. 모든 AI 가 다 좋은 건 아니다: 단순히 거대하다고 해서 좋은 게 아니라, 세포의 연결망 (Interactome) 을 잘 이해한 AI가 진짜로 유용하다.
2. 단순한 방법도 나쁘지 않다: 데이터가 부족하면 간단한 방법이 나을 수도 있지만, 충분한 데이터와 좋은 AI 를 섞으면 우리는 세포 반응을 거의 완벽하게 예측할 수 있다.
3. 미래의 희망: 이 기술이 발전하면, 신약 개발 시간을 획기적으로 줄이고, 부작용을 미리 찾아내어 환자들에게 더 안전하고 효과적인 치료를 제공할 수 있게 될 것입니다.

한 줄 요약:

"세포 반응을 예측하려면, 단순히 유전자 목록만 외운 AI 보다 세포 내부의 복잡한 연결 지도를 알고 있는 AI가 훨씬 잘하며, 여러 AI 의 지식을 섞으면 실험실 실험을 대체할 만큼 정확한 예측이 가능해졌다!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 분자 생물학에서 유전적 변형 (예: 유전자 녹아웃/과발현) 이나 화학적 처리 (소분자 약물) 가 세포에 미치는 영향을 예측하는 것은 오랜 난제입니다. 최근 대규모 단세포 데이터셋을 기반으로 한 기초 모델 (Geneformer, scGPT 등) 이 이 분야에서 혁신을 가져올 것이라는 기대가 있었으나, 일부 연구에서는 이러한 모델이 단순한 통계적 베이스라인 (PCA 등) 보다 성능이 뛰어나지 않다는 상반된 결과가 보고되었습니다.
• 문제: 기초 모델이 실제로 교란 반응 예측에 유용한지, 어떤 유형의 모델이 효과적인지, 그리고 다양한 데이터 모달리티 (유전체, 단백질, 상호작용 네트워크 등) 가 어떻게 성능에 영향을 미치는지에 대한 체계적인 벤치마킹이 부족했습니다.

2. 방법론 (Methodology)

저자들은 600 개 이상의 다양한 모델과 임베딩 변형을 평가하기 위해 광범위한 실험을 수행했습니다.

• 데이터셋:
  • 유전적 교란: Essential (4 개 세포주, 약 2,000 개 유전자 교란), Norman, Tahoe, Sciplex-3 등.
  • 화학적 교란: Tahoe-100M (약 1 억 개 세포, 379 개 약물), Sciplex-3.
• 평가 지표:
  • LFC 회귀 (Log Fold-Change Regression): 평균 발현 변화 벡터를 예측하는 회귀 문제 (L2 오차 사용).
  • DEG 분류 (Differentially Expressed Gene): 유전자의 발현 상향/하향/무변화를 분류하는 문제 (Macro F1 점수 사용).
• 임베딩 소스 (Embedding Sources):
  • 단일 모달리티: scRNA-seq 표현형 (AIDO.Cell, scGPT, Geneformer 등), DNA 서열, 단백질 서열/구조, 텍스트 기반 설명 (GenePT), 그리고 상호작용 네트워크 (Interactome) 기반 (STRING GNN, WaveGC 등).
  • 다중 모달리티 융합 (Multimodal Fusion): 서로 다른 기초 모델에서 추출한 임베딩을 어텐션 (Attention) 메커니즘을 사용하여 통합하는 모델 개발.
• 비교 대상:
  • 단순 베이스라인 (Train Mean, No Change, PCA 임베딩).
  • 기존 최첨단 모델 (GEARS, STATE 등).
  • 생성 모델 (Latent Diffusion, Flow Matching, Schrödinger Bridge) 과의 비교.
  • 실험적 오차 한계 (Experimental Error Limit): 부트스트래핑을 통해 추정된 이론적 성능 상한선.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 임베딩 유형에 따른 성능 차이

• 상호작용 네트워크 기반 모델의 우위: 유전적 교란 예측에서 상호작용 네트워크 (Interactome) 기반 임베딩 (예: STRING WaveGC, GNN) 이 가장 우수한 성능을 보였습니다. 이는 단순한 유전자 서열이나 표현형 데이터보다 세포 내 네트워크 정보를 포함하고 있기 때문입니다.
• 단순 베이스라인 대비 우월성: 일부 기초 모델은 PCA 와 같은 단순 베이스라인보다 성능이 낮았으나, 네트워크 기반 모델은 단순 베이스라인을 크게 상회했습니다.
• 세포주별 성능: K562 세포주와 같은 특정 조건에서는 최상위 임베딩이 실험적 오차 한계의 77% 까지 성능 격차를 줄였습니다.

3.2 파인튜닝 (Fine-tuning) 의 효과와 한계

• 모델에 따른 상이한 결과: AIDO.Cell 모델의 경우 'In-Silico KO' 방식의 파인튜닝은 성능을 크게 향상시켰으나, 'Indexing' 방식이나 STRING GNN 의 파인튜닝은 오히려 성능을 저하시켰습니다.
• 과적합 위험: 현재 교란 데이터셋의 크기가 상대적으로 작아, 파인튜닝 시 과적합 (Overfitting) 위험이 높습니다. 따라서 고정된 (Frozen) 임베딩을 사용하는 것이 더 견고하고 효과적인 경우가 많았습니다.

3.3 복잡한 생성 모델 vs 단순 회귀

• 단순 모델의 효율성: Latent Diffusion, Flow Matching, Schrödinger Bridge 와 같은 복잡한 생성 모델들은 계산 비용이 높음에도 불구하고, 단순한 kNN 회귀와 결합된 강력한 임베딩보다 성능이 뛰어나지 않았습니다. 이는 교란 반응 예측의 핵심이 '임베딩의 품질'에 있음을 시사합니다.

3.4 다중 모델 융합 (Multimodal Fusion) 의 효과

• 성능 극대화: 단일 임베딩을 사용하는 것보다, 다양한 모달리티 (네트워크, 텍스트, 서열 등) 의 임베딩을 어텐션 기반 융합 (Attention-based Fusion) 모델로 통합하는 것이 유전적 교란 예측에서 가장 좋은 결과를 냈습니다.
• 이론적 한계 도달: 융합 모델은 일부 세포주 (Jurkat, K-562) 에서 **실험적 오차 한계 (Experimental Error Limit)**에 도달하여, 더 이상 개선할 여지가 거의 없는 수준까지 성능을 끌어올렸습니다.

3.5 화학적 교란 (소분자) 예측

• 유전적 교란 대비 어려움: 소분자 약물 예측은 표적이 불명확하거나 다중 표적 작용을 하기 때문에 유전적 교란보다 예측이 어렵습니다.
• 임베딩의 한계: 기존 화학적 기초 모델 (SMILES 기반 등) 은 생물학적 기능과 연결되지 않아 성능이 낮았습니다. 그러나 약물 표적 (Target) 유전자를 임베딩하는 방식이 가장 효과적이었습니다.

4. 의의 및 결론 (Significance)

• 기초 모델의 유효성 입증: 기초 모델이 단순히 과대평가된 것이 아니라, 적절한 임베딩 소스 (특히 상호작용 네트워크) 와 융합 전략을 사용하면 세포 반응 예측의 성능 한계를 획기적으로 높일 수 있음을 증명했습니다.
• 데이터 전략의 방향성: 기초 모델 개발 시 단순한 표현형 데이터 (scRNA-seq) 보다 세포 간 상호작용 네트워크 데이터가 더 가치 있음을 시사합니다. 또한, 소분자 예측을 위해서는 화학적 특성이 아닌 생물학적 기능을 반영한 기초 모델이 필요합니다.
• 실용적 가이드: 복잡한 생성 모델이나 무분별한 파인튜닝보다는, 고품질의 임베딩을 추출하고 이를 다중 모달리티로 융합하는 전략이 현재로서는 가장 실용적이고 효과적인 접근법임을 제시했습니다.

이 연구는 시스템 생물학 및 신약 개발 분야에서 기초 모델을 활용한 가상 세포 모델링의 신뢰성을 높이고, 향후 연구 방향을 설정하는 데 중요한 기준을 마련했습니다.