SpatialFusion: A lightweight multimodal foundation model for pathway-informed spatial niche mapping

이 논문은 조직병리, 유전자 발현 및 경로 활성을 통합하여 공간적 근접성뿐만 아니라 생물학적 기능적 니치를 식별하는 경량 멀티모달 기초 모델인 SpatialFusion 을 개발하고, 이를 통해 대장암의 전악성 니치와 비소세포폐암의 예후 관련 미세환경을 발견했음을 보고합니다.

핵심

🏙️ 1. 기존 방법의 한계: "이웃사촌만 보는 것" vs "새로운 모델"

기존의 연구 방식:
과거에 과학자들은 암 조직을 볼 때, 마치 **"이웃사촌"**만 보고 판단하는 것과 비슷했습니다.

• "이 세포는 암세포야, 저 세포는 면역세포야."라고 분류만 했습니다.
• 하지만 암세포가 **어떤 명령 (신호)**을 받고 있는지, 주변 환경과 어떻게 소통하는지는 잘 모았습니다. 마치 "이 사람은 의사야"라고만 알고, "지금 수술 중인지, 휴식 중인지, 아니면 다른 병원을 치료 중인지"는 모르는 것과 같습니다.

SpatialFusion 의 등장:
이 모델은 **"도시의 생태계"**를 보는 눈으로 바꿉니다.

• 단순히 "이곳에 의사들이 모여 있네"가 아니라, **"이 의사들은 지금 긴급 수술을 준비하고 있네 (특정 신호 활성화)"**라고 파악합니다.
• 또한, **사진 (현미경 이미지)**과 **대화 내용 (유전자 정보)**을 동시에 보고 상황을 판단합니다.

🧩 2. SpatialFusion 이 어떻게 작동할까요? (세 가지 핵심 기능)

이 모델은 세 가지 역할을 하는 전문가 팀이 합동으로 일하는 것과 같습니다.

1. 사진 전문가 (UNI 모델):

   • 조직의 사진을 보고 "이곳은 암 덩어리야, 저곳은 정상 조직이야"라고 형태를 파악합니다.
   • 비유: 건축가가 건물의 외관을 보고 구조를 파악하는 것 같습니다.

2. 대화 분석 전문가 (scGPT 모델):

   • 세포들이 주고받는 유전자 메시지를 읽고 "이 세포들은 지금 공격을 준비하고 있네"라고 파악합니다.
   • 비유: 통역사가 사람들 사이의 대화를 듣고 분위기를 파악하는 것 같습니다.

3. 지도 제작자 (SpatialFusion 본체):

   • 위의 두 전문가가 본 내용을 합쳐서, **"이 구역은 '방어 태세'를 취하고 있는 구역이야"**라고 새로운 지도 (니치, Niche) 를 그립니다.
   • 핵심 아이디어: 단순히 세포가 모여 있는 곳 (공간적 근접) 이 아니라, **같은 임무 (신호 경로 활성화)**를 수행하는 세포들이 모여 있는 곳을 '생물학적 구역'으로 정의합니다.

🚀 3. 이 모델의 놀라운 능력: "보이지 않는 것"을 찾아내다

이 모델은 두 가지 실제 사례에서 기적을 보여주었습니다.

사례 1: 대장암 옆의 '위험한 정상 조직' (Pre-malignant niche)

• 상황: 대장암 환자의 암 덩어리 바로 옆에는 '정상처럼 보이는' 점막 조직이 있습니다. 일반 의사는 현미경으로 봐도 "아, 여기는 정상 조직이네"라고 생각합니다.
• SpatialFusion 의 발견: 하지만 이 모델은 그 '정상 조직' 속의 세포들이 **암과 싸우기 위해 비장하게 무장하고 있다 (방어 태세)**는 것을 알아냈습니다. 마치 전쟁터 옆 마을이 평범해 보이지만, 주민들이 모두 방패를 들고 긴장하고 있는 것과 같습니다.
• 의미: 암이 생기기 전에 이미 몸이 위험을 감지하고 반응하고 있었다는 것을 발견한 것입니다.

사례 2: 폐암의 '진행 단계' 예측

• 상황: 폐암 환자 10 명을 분석했습니다.
• SpatialFusion 의 발견: 이 모델은 암세포들이 어떤 '신호'를 받고 있는지에 따라 두 가지 다른 부류로 나뉜다는 것을 발견했습니다.
  • 부류 A: 활발히 자라나고 혈관을 만드는 부류 (초기 단계와 관련).
  • 부류 B: 면역 체계를 속이고, 더 공격적으로 변하는 부류 (진행된 단계와 관련).
• 결과: 이 두 부류의 비율만 봐도, 환자의 암이 어느 단계인지 (초기인지 말기인지) 를 90% 이상의 정확도로 맞췄습니다. 마치 "집안 분위기와 가구 배치를 보면 집주인의 성격과 생활 패턴을 알 수 있다"는 것과 같습니다.

💡 4. 왜 이 기술이 특별한가요? (경량화)

• 기존의 문제: 보통 이런 거대 인공지능은 슈퍼컴퓨터가 필요하고, 전기를 엄청나게 먹습니다.
• SpatialFusion 의 장점: 이 모델은 '가벼운' 모델입니다.
  • 이미 훈련된 거대 전문가 (기초 모델) 들의 지식을 차용해서, 작은 노트북 하나만 있어도 작동할 수 있습니다.
  • 마치 거대한 도서관의 지식을 요약한 '요약 노트'를 들고 다니는 것과 같습니다. 무겁지 않지만, 핵심 지식은 모두 담고 있습니다.

🌟 결론: 무엇을 얻을 수 있나요?

이 연구는 **"세포가 어디에 있느냐"보다 "세포가 무엇을 하느냐"**가 더 중요할 수 있음을 보여줍니다.

• 의사들에게: 암의 초기 단계나 치료 반응을 더 일찍, 더 정확하게 진단할 수 있는 도구를 제공합니다.
• 환자들에게: "내 암이 어떤 성격을 가지고 있는지"를 더 잘 이해하고, 맞춤형 치료를 받을 수 있는 길이 열립니다.

요약하자면, SpatialFusion 은 조직이라는 복잡한 도시의 지도를 그릴 때, 단순히 건물의 위치만 표시하는 게 아니라, 그 건물들이 '무슨 일을 하고 있는지'까지 함께 그려주는 똑똑하고 가벼운 인공지능 지도 제작자라고 할 수 있습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 현황: 기초 모델 (Foundation Models) 은 단백질 구조 예측 및 단일 세포 생물학 분야에서 데이터 모달리티 간 지식 전이를 가능하게 하여 혁신을 이끌었습니다. 그러나 공간 생물학 (Spatial Biology) 분야에서는 여전히 초기 단계에 있으며, 기존 모델들은 주로 공간적 맥락 내의 단일 세포 표현을 인코딩하는 데 집중하고 있습니다.
• 한계점:
  • 기존 공간 기초 모델들은 전사체 (Transcriptomic) 정보와 형태학적 (Morphological, H&E 이미지) 정보를 완전히 통합하여 기능적 니치 (Functional Niches) 를 규명하지 못합니다.
  • 많은 기존 방법론 (NicheCompass, BANKSY 등) 은 대규모 이질적 데이터셋으로 사전 훈련되지 않아 배치 보정 (Batch Correction) 이나 광범위한 생물학적 일반화 능력이 부족합니다.
  • 기존 모델들은 세포의 공간적 근접성 (Spatial Proximity) 만을 기반으로 니치를 정의하는 경향이 있어, 세포 유형 구성은 유사하지만 신호 전달 경로 (Pathway) 활성화 패턴이 다른 기능적으로 구별되는 미세 환경을 식별하지 못합니다.
• 목표: 공간적 조직과 분자적 활성을 통합하여, 단순한 세포 구성이 아닌 경로 활성화 패턴 (Pathway Activation Patterns) 으로 정의된 생물학적으로 일관된 미세 환경 (Spatial Niches) 을 식별할 수 있는 경량 멀티모달 기초 모델을 개발하는 것.

2. 방법론 (Methodology: SpatialFusion)

SpatialFusion 은 경량 멀티모달 기초 모델로, 조직의 공간적 이웃 (Neighborhood) 을 표현하기 위해 조직병리학 (H&E 이미지) 과 전사체 데이터를 통합합니다.

A. 아키텍처 구성

모델은 크게 세 가지 모듈로 구성됩니다:

1. 단일 모달 인코딩 모듈 (Unimodal Encoding Module):

   • 각 세포는 원시 유전자 발현 수 (GEX) 와 256x256 픽셀 H&E 이미지 패치로 표현됩니다.
   • frozen(동결) 기초 모델을 사용하여 인코딩합니다:
     • 전사체: scGPT
     • 이미지: UNI
   • 이 단계는 사전 훈련된 표현을 활용하여 배치 효과 보정과 기술 중립성을 보장하며, 추가 학습이 필요 없습니다.

2. 멀티모달 정렬 모듈 (Multimodal Alignment Module):

   • 멀티모달 오토인코더 (mAE) 를 사용하여 전사체와 조직학적 임베딩을 공유 잠재 공간 (Shared Latent Space) 에 정렬합니다.
   • 단일 세포 수준의 저차원 표현을 생성하며, 교차 모달 재구성 (Cross-modality reconstruction) 을 통해 두 모달리티 간의 일관성을 학습합니다.

3. 공간 인코딩 모듈 (Spatial Encoding Module):

   • 그래프 컨볼루션 마스킹 오토인코더 (GCMAE) 를 사용합니다.
   • 조직을 k-최근접 이웃 (kNN) 그래프로 모델링하며, 노드는 세포, 간선은 공간적 근접성을 나타냅니다.
   • 핵심 혁신 (Auxiliary Pathway Regression Loss):
     • 단순한 공간적 인접성뿐만 아니라 기능적 상태를 학습하도록 유도하기 위해, PROGENy 를 통해 추정한 10 가지 암 관련 신호 전달 경로 (EGFR, JAK-STAT, NF-κB 등) 의 활성화 점수를 보조 타겟으로 사용합니다.
     • 이를 통해 세포 구성은 유사하지만 경로 활성화가 다른 영역을 잠재 공간에서 분리해냅니다.

B. 특징 및 효율성

• 경량 설계: 학습 가능한 파라미터가 30 만 개 미만이며, 학습 시 5MB 미만의 VRAM, 추론 시 2MB 미만의 VRAM 만 요구합니다.
• 유연성: H&E 이미지와 전사체 데이터가 짝지어진 경우뿐만 아니라, H&E 이미지만 있는 경우에도 (이미지만 추론) 니치를 식별할 수 있습니다.
• 학습 데이터: Xenium 공간 전사체 데이터 (HEST1-k) 로 훈련되었으나, Visium HD 등 훈련 시 보지 못한 기술과 조직에도 일반화됩니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 벤치마크 성능 (Benchmarking)

• 데이터셋: 난소암 (OVCA), 유방암 (BRCA), 전립선암 (PRAD), 폐암 (LUAD) 등 다양한 조직 및 기술 (Xenium, Visium HD) 에서 평가.
• 비교 대상: 전문 니치 탐지 방법 (NicheCompass, BANKSY) 과 기존 공간 기초 모델 (NicheFormer, scGPT-spatial, OmiCLIP 등) 과 비교.
• 성과:
  • 난소암 및 유방암: SpatialFusion 은 병리학자 주석 (Ground Truth) 과의 일치도 (ARI, NMI 등) 와 공간적 일관성 (CHAOS, PAS) 측면에서 대부분의 기존 방법보다 우수한 성능을 보였습니다.
  • 미시적 니치 식별: 세포 유형 구성은 유사하지만 경로 활성화가 다른 미세 환경을 구별하는 데 탁월했습니다 (예: 유방암 DCIS 영역의 에지/코어 구분).
  • 제로샷 (Zero-shot) 일반화: 훈련 시 보지 못한 조직 (전립선암) 과 기술 (Visium HD) 에서도 경쟁력 있는 성능을 발휘했습니다.

B. 생물학적 발견 (Biological Discovery)

1. 대장암 (CRC) - 전악성 (Pre-malignant) 니치 발견:

   • 종양과 인접한 외관상 정상인 점막 (Normal-appearing mucosa) 에서 니치 2를 발견했습니다.
   • 이 니치는 정상 인접 조직 (NAT) 의 니치 1 과 세포 구성은 유사하지만, 분비 및 염증 관련 프로그램이 활성화된 '방어적 (Defensive)' 상태였습니다.
   • 병리학적으로 정상으로 판정되는 영역에서도 분자적 변화 (Field Cancerization) 가 발생하고 있음을 규명했습니다.

2. 비소세포 폐암 (NSCLC) - 종양 진행성 예측:

   • 10 명의 환자 코호트에서 SpatialFusion 임베딩을 사용하여 병리학적 T 단계 (pT stage) 를 예측하는 ABMIL(Attention-based Multiple Instance Learning) 모델을 훈련했습니다.
   • 성능: AUC 0.8, 균형 정확도 0.9 로 우수한 예측력을 보였으며, 유전자 발현만 사용한 베이스라인 (AUC 0.36) 보다 훨씬 뛰어났습니다.
   • 니치 특성화:
     • 니치 10: 증식성, 혈관 생성 관련, 초기 단계와 연관.
     • 니치 16: EMT(상피 - 간엽 전이), 면역 회피, JAK-STAT/NF-κB 경로 활성화, 고위험 (T3/4) 단계와 강력하게 연관됨.
   • 이는 종양 미세환경의 구조적, 분자적 특성이 종양 진행과 직접적으로 연결됨을 시사합니다.

4. 의의 및 결론 (Significance)

• 기술적 의의:
  • 대규모 기초 모델의 일반화 능력과 전문 니치 탐지 방법의 기능적 통찰력을 결합한 최초의 경량 멀티모달 프레임워크입니다.
  • 고비용의 GPU 클러스터 없이도 일반 노트북 GPU 에서 실행 가능한 경량 설계를 통해 접근성을 높였습니다.
• 생물학적/임상적 의의:
  • 단순한 세포 유형 매핑을 넘어, 경로 활성화 (Pathway Activation) 를 기반으로 한 기능적 니치를 정의함으로써 암의 진행, 면역 회피, 치료 저항성 메커니즘을 더 깊이 이해할 수 있게 합니다.
  • 외관상 정상인 조직에서도 전악성 변화를 감지하거나, 종양 단계와 연관된 특정 미세환경을 식별함으로써 새로운 바이오마커 발견 및 예후 예측에 기여할 수 있습니다.
• 미래 전망: 공간 오믹스 기술의 확장에 따라, SpatialFusion 은 다양한 조직과 임상적 맥락에서 질병 관련 조직 상태를 특성화하고 가설을 생성하는 확장 가능한 기초 도구로 자리매김할 것으로 기대됩니다.

---

요약: SpatialFusion 은 H&E 이미지와 전사체 데이터를 통합하여, 단순한 공간적 인접성이 아닌 신호 전달 경로 활성화 패턴으로 정의된 생물학적으로 의미 있는 공간 니치를 식별하는 경량 기초 모델입니다. 이는 기존 방법론의 한계를 극복하고, 대장암의 전악성 변화와 폐암의 진행 단계 예측 등 임상적으로 중요한 생물학적 통찰력을 제공합니다.