InSTaPath: Integrating Spatial Transcriptomics and histoPathology Images via Multimodal Topic Learning

이 논문은 사전 훈련된 히스토로지 기반 모델에서 추출한 토큰 임베딩을 이산적인 이미지 단어로 변환하여 유전자 발현 데이터와 동일한 형태로 표현함으로써, 공간 전사체학과 조직병리 이미지를 통합적으로 분석하고 해석 가능한 잠재 주제를 도출하는 'InSTaPath'라는 다중 모달 토픽 학습 프레임워크를 제안합니다.

핵심

🏥 비유: "음식 레시피와 요리 사진의 만남"

생각해 보세요. 어떤 요리의 **레시피 (유전자 정보)**와 그 요리를 만든 **실제 사진 (조직 이미지)**이 따로따로 있다고 칩시다.

• 레시피만 보면: "소금 1g, 고기 200g" 같은 숫자만 있어서 이 요리가 실제로 어떤 맛이나 모양인지 상상하기 어렵습니다.
• 사진만 보면: "맛있어 보이는 고기 덩어리"는 보이지만, 어떤 재료가 들어갔는지, 어떤 조리가 되었는지 알 수 없습니다.

기존의 연구들은 이 두 가지를 따로 보거나, 사진을 단순히 '보조 자료'로만 썼습니다. 하지만 InSTaPath는 이 두 가지를 완벽하게 섞어서 **"이 레시피가 바로 이 모양의 요리를 만든다"**는 관계를 찾아냅니다.

🛠️ InSTaPath 가 어떻게 작동할까요? (3 단계 과정)

이 도구는 세 가지 단계로 작동합니다.

1 단계: 사진을 '단어'로 바꾸기 (이미지 단어화)

현미경 사진은 픽셀이라는 아주 작은 점들의 연속이라서 컴퓨터가 이해하기엔 너무 복잡합니다. InSTaPath 는 먼저 이 사진을 레고 블록처럼 잘게 쪼갭니다.

• 비유: 마치 긴 소설을 읽을 때, 한 글자씩 읽는 게 아니라 '단어 (Word)' 단위로 읽는 것과 같습니다.
• 이 도구는 AI 가 사진을 보고 "이 부분은 '근육'이라는 단어", "저 부분은 '염증'이라는 단어"라고 분류합니다. 이렇게 하면 복잡한 사진이 **숫자 세기 (카운트)**가 가능한 간단한 데이터로 변합니다.

2 단계: 레시피와 사진을 섞어 '주제' 찾기 (토픽 모델링)

이제 유전자 데이터 (레시피) 와 이미지 단어 (사진의 특징) 를 한 그릇에 담습니다.

• 비유: 이 도구는 **"이런 재료들이 섞이면 이런 모양의 요리가 나온다"**는 **주제 (Topic)**를 찾아냅니다.
• 예를 들어, "면역 세포 관련 유전자 (재료)"와 "림프구 모양의 이미지 단어 (사진)"가 자주 함께 등장한다면, AI 는 이를 '면역 반응'이라는 하나의 주제로 묶어냅니다.
• 이렇게 하면 "어떤 유전자가 작동할 때, 조직이 어떤 모양으로 변하는지"를 한눈에 파악할 수 있습니다.

3 단계: "만약에?" 시뮬레이션 (가상 실험)

가장 흥미로운 부분은 여기서 시작됩니다. InSTaPath 는 **"만약 이 유전자를 없애면 조직 모양이 어떻게 변할까?"**를 예측할 수 있습니다.

• 비유: 요리 레시피에서 **'소금'**을 뺀다고 상상해 보세요. AI 는 "소금이 없으면 이 요리는 짠맛이 사라지고 모양도 흐물거릴 것이다"라고 예측합니다.
• 실제로는 실험실에서 유전자를 끄지 않아도, 컴퓨터 안에서 유전자를 끄고 (Perturbation) 조직 사진이 어떻게 변할지 시뮬레이션해 봅니다. 이를 통해 암세포를 만드는 핵심 유전자를 찾아낼 수 있습니다.

---

🌟 이 도구가 왜 중요한가요?

1. 더 정확한 진단: 암 조직을 분석할 때, 유전자만 보면 놓칠 수 있는 미세한 구조적 특징을 사진과 함께 보면 훨씬 정확하게 구별할 수 있습니다. (예: 암세포와 정상 세포를 더 잘 나눔)
2. 이해하기 쉬운 결과: 기존 AI 는 "검은 상자에 답이 있다"고만 알려주지만, InSTaPath 는 "이 유전자들이 모여서 저런 모양의 조직을 만든다"고 이해하기 쉬운 이유를 설명해 줍니다.
3. 새로운 발견: 유전자와 조직 모양 사이의 숨겨진 관계를 찾아내어, 새로운 치료 표적을 발견하는 데 도움을 줍니다.

💡 한 줄 요약

InSTaPath는 유전자의 '레시피'와 조직의 '사진'을 AI 가 함께 읽게 하여, "어떤 유전자가 어떤 조직 모양을 만드는지"를 찾아내고, 유전자를 바꿔보며 조직이 어떻게 변할지 예측하는 똑똑한 병리학 파트너입니다.

이 기술은 앞으로 암 치료법을 개발하거나 질병의 원인을 더 깊이 이해하는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

논문 요약: InSTaPath

1. 문제 정의 (Problem)

• 배경: 공간 전사체학 (Spatial Transcriptomics, ST) 기술은 조직의 공간적 맥락을 유지하면서 유전자 발현을 측정할 수 있게 해줍니다. 많은 ST 플랫폼 (예: 10x Visium) 은 공간적으로 분해된 전사체 프로파일과 짝을 이루는 조직병리학적 (H&E 염색) 이미지를 생성합니다.
• 한계: 기존 계산적 접근법들은 대부분 조직병리 이미지를 표현 학습 모델의 보조 특징 (auxiliary features) 으로만 활용하거나, 시각화/수동 주석에 그칩니다.
  • 해석 불가능성: 기존 딥러닝 기반 통합 방법 (그래프/합성곱 기반 또는 CLIP/마스크 모델링 기반) 은 잠재적 임베딩을 생성하지만, 이를 생물학적으로 해석하기 어렵습니다.
  • 데이터 형식 불일치: 토픽 모델링 (Topic Modeling) 은 해석 가능한 잠재 프로그램을 제공하는 이상적인 프레임워크이지만, 기존에는 이산적인 카운트 데이터 (유전자 발현) 에만 적용되었습니다. 반면, 조직병리 이미지는 고차원의 연속적인 픽셀 값으로 표현되어 토픽 모델링에 직접 적용하기 어렵습니다.
• 목표: 조직의 형태학적 패턴 (morphology) 과 전사 프로그램 (transcriptional programs) 을 연결하고, 해석 가능한 잠재 주제를 도출할 수 있는 통합 프레임워크 개발.

2. 방법론 (Methodology)

InSTaPath 는 다중 모달 토픽 모델링 (Multimodal Topic Modeling) 을 기반으로 하며, 크게 3 단계로 구성됩니다.

• 1 단계: 이미지 임베딩 이산화 (Image Embedding Discretization)

  • 토큰 레벨 임베딩 추출: 사전 훈련된 조직병리 기초 모델 (UNI, Vision Transformer 기반) 을 사용하여 전체 슬라이드 이미지 (WSI) 를 작은 타일로 나누고 토큰 레벨 임베딩을 추출합니다.
  • 시각 코드북 구축 (Visual Codebook Construction): 추출된 연속적인 임베딩을 이산화하기 위해, 임베딩을 하위 벡터로 분할한 후 미니배치 k-means 클러스터링을 수행하여 '시각 코드북'을 생성합니다.
  • 벡터 양자화 (Vector Quantization): 각 토큰 임베딩을 코드북의 가장 가까운 엔트리에 할당하여 이산적인 '이미지 단어 (Image Words)' 로 변환합니다. 이를 통해 조직병리 이미지를 유전자 발현과 유사한 '카운트 기반' 표현으로 변환합니다.

• 2 단계: 쌍을 이루는 이미지와 유전자 발현의 토픽 모델링

  • 공유 잠재 공간: 각 ST 스팟 (Spatial Spot) 을 '문서'로 간주하여, 이미지 단어 카운트와 유전자 발현 카운트를 동시에 모델링합니다.
  • 구조: 모달리티별 VAE 인코더를 사용하여 입력을 잠재 주제 분포 ($\theta$) 로 매핑합니다. 'Gaussian Product' 메커니즘을 통해 모달리티별 잠재 변수를 통합된 스팟 수준의 주제 분포로 결합합니다.
  • 해석 가능성: 학습된 모델은 각 주제에 대한 유전자 - 주제 연관성 ($\beta_{gene}$) 과 이미지 단어 - 주제 연관성 ($\beta_{img}$) 을 제공합니다.

• 3 단계: 통합 분석 및 다운스트림 작업

  • 공간 영역 탐지: 학습된 스팟 - 주제 비율 ($\theta$) 을 사용하여 조직 영역을 클러스터링합니다.
  • 생물학적 해석: 주제별 상위 유전자에 대한 유전자 세트 풍부화 분석 (GSEA) 을 수행하여 생물학적 기능을 규명합니다.
  • 실내 (In silico) 교란 분석: 특정 주제의 상위 유전자 발현을 제거 (Knockout) 하고, 학습된 디코더를 통해 재구성된 이미지 단어 분포를 예측하여 유전자 변화가 조직 형태에 미치는 영향을 시뮬레이션합니다.

3. 주요 기여 (Key Contributions)

1. 이미지 단어 (Image Words) 개념 도입: 연속적인 조직병리 임베딩을 벡터 양자화를 통해 이산적인 '단어'로 변환함으로써, 텍스트 기반 토픽 모델링 기법을 조직병리 이미지에 적용할 수 있게 했습니다.
2. 해석 가능한 다중 모달 통합: 유전자 발현과 조직 형태학을 공유 잠재 주제 (Shared Latent Topics) 로 연결하여, 각 주제를 유전자와 이미지 패턴 양쪽에서 해석할 수 있는 프레임워크를 제시했습니다.
3. 공간적 맥락 확장: ST 스팟 중심 패치뿐만 아니라 전체 슬라이드 이미지 (WSI) 에서 추출된 토큰 특징을 활용하여, ST 캡처 영역을 넘어선 더 넓은 조직 형태학적 맥락을 분석할 수 있습니다.
4. 인과적 교란 분석: 유전자 발현 변화가 조직 형태 (Endophenotypes) 에 미치는 영향을 예측하는 'in silico' 교란 분석 파이프라인을 구축했습니다.

4. 결과 (Results)

• 이미지 토픽 학습 (CRC-100k 데이터):
  • InSTaPath 는 조직 유형 (암, 정상, 지방 등) 을 명확하게 구분하는 토픽을 학습했습니다.
  • 벡터 양자화 및 토픽 모델링을 거친 임베딩은 원본 UNI 임베딩보다 더 명확한 군집을 형성하며, 학습된 토픽이 실제 조직 구조 (근육 섬유, 선구 등) 와 높은 일치도를 보였습니다.
• 공간 영역 탐지 (10x Visium 유방암 데이터):
  • 성능: InSTaPath 는 유전자만 사용하거나 이미지만 사용한 단일 모달리티 기반 방법보다 공간 클러스터링 정확도 (ARI: 0.82 vs 0.60/0.47) 가 훨씬 높았습니다.
  • 상호 보완성: 유전자 기반 방법은 전사적으로 다른 영역 (예: 침윤성 종양 vs DCIS) 을 구분하지만, 형태학적 영역 (간질 vs 면역) 구분에는 한계가 있었습니다. 반면 InSTaPath 는 두 정보를 통합하여 간질 (Stromal) 과 면역 (Immune) 영역을 명확히 분리했습니다.
• 생물학적 연관성 및 교란 분석 (대장암 데이터):
  • 각 주제는 생물학적으로 의미 있는 경로 (예: 산화적 인산화, 지방 생성, T 세포 분화) 와 연관되었습니다.
  • 교란 실험: 종양 관련 주제의 상위 유전자를 제거했을 때, 모델이 예측한 '종양 확률'이 급격히 감소했습니다. 또한, 교란 후 재구성된 이미지 단어는 실제 종양 영역의 미세 구조 변화를 시각적으로 잘 포착했습니다.

5. 의의 및 결론 (Significance)

• 해석 가능성의 혁신: 기존 딥러닝 기반 통합 모델의 '블랙박스' 문제를 해결하고, 유전자와 조직 형태학을 연결하는 해석 가능한 생물학적 프로그램을 제공합니다.
• 다중 모달 시너지: 유전자 발현과 조직병리 이미지의 상호 보완적 정보를 활용하여, 단일 모달리티로는 불가능했던 정밀한 공간 조직 분석을 가능하게 합니다.
• 임상 및 연구 적용: 암 미세환경의 특성 규명, 새로운 바이오마커 발굴, 그리고 유전자 조절이 조직 구조에 미치는 영향에 대한 가설 검증 (in silico) 을 위한 강력한 도구로 활용될 수 있습니다.

이 연구는 공간 전사체학과 디지털 병리학의 통합을 위한 새로운 패러다임을 제시하며, 특히 토픽 모델링을 통해 복잡한 다중 모달 데이터를 생물학적으로 직관적으로 해석할 수 있는 길을 열었다는 점에서 의의가 큽니다.