Multimodal Cancer Modeling in the Age of Foundation Model Embeddings

기술 요약: 파운데이션 모델 임베딩 시대의 다중 모달 암 모델링

문제 제기
The Cancer Genome Atlas (TCGA) 는 33 가지 암 유형에 걸친 11,000 건 이상의 사례에 대한 조화로운 유전체, 임상 및 영상 데이터를 제공함으로써 암 연구의 최첨단 자원으로 기능합니다. TCGA 데이터를 활용한 암 생존 예측과 같은 작업을 위해 수많은 연구에서 맞춤형 딥러닝 모델을 개발해 왔으나, 이러한 접근 방식은 종종 상당한 컴퓨팅 자원과 작업별 훈련을 요구합니다. 또한 TCGA 내에 무료 텍스트 병리 보고서가 존재함에도 불구하고, 원시 스캔 PDF 문서 처리의 어려움으로 인해 역사적으로 이러한 데이터는 충분히 활용되지 못했습니다. 저자들은 현대 파운데이션 모델 (FMs) 로부터 도출된 제로샷 (zero-shot) 임베딩에 적용된 고전적 머신러닝 모델이 광범위한 미세 조정 없이도 다중 모달 데이터를 사용하여 암 생존을 효과적으로 예측할 수 있는지 조사합니다.

방법론
본 연구는 제로샷 FM 임베딩과 간단한 고전적 머신러닝 모델 (특히 Cox 비례 위험 모델) 을 결합하는 모듈형 후기 융합 (late-fusion) 프레임워크를 사용합니다.

• 데이터 큐레이션: 저자들은 생존 데이터, 병리 보고서, 종양 진단 슬라이드, 종양 RNA-seq 유전자 발현이 모두 포함된 7,982 명의 환자 사례로 구성된 TCGA 데이터셋을 구성했습니다. 인구통계학적 데이터 (나이, 성별, 인종, 민족) 와 암 유형은 원-핫 인코딩 (one-hot encoded) 되었습니다.
• 파운데이션 모델 임베딩: 데이터 누출을 방지하기 위해 저자들은 추가적인 미세 조정 없이 사전 훈련된 제로샷 임베딩을 활용했습니다.
  • 조직학: 진단 슬라이드를 위한 UNI2-h 임베딩.
  • 유전자 발현: BulkRNABert (GTEx/ENCODE 로 훈련됨) 와 Universal Cell Embeddings (UCE).
  • 텍스트: 병리 보고서를 위한 BioMistral-7B 와 Mistral-7B-Instruct-v0.1.
  • 집계: 동일한 모달리티의 여러 샘플에서 추출한 임베딩을 평균화하여 환자 수준의 임베딩을 도출했습니다.
• 병리 보고서 처리: OCR 오류와 보고서 길이 문제를 해결하기 위해 저자들은 Llama-3.1-8B-Instruct 를 사용하여 병리 보고서를 요약했습니다. 이 과정에서는 거시적 설명을 생략하고 현미경적 설명, 진단, 임상 병력에 초점을 맞췄습니다.
• 모델링 파이프라인:
  1. 단일 모달 모델링: 각 모달리티에 대해 임베딩을 표준화하고 주성분 분석 (PCA) 을 통해 다양한 차원 (4~256) 으로 축소했습니다. CoxPH 모델을 훈련 분할 데이터에 훈련하여 위험 점수를 예측했습니다.
  2. 다중 모달 융합: 단일 모달 모델에서 예측된 위험 점수를 최종 다중 모달 CoxPH 모델의 입력 특징으로 사용하는 '후기 융합' 방식을 사용했습니다. 이를 통해 복잡한 아키텍처 변경 없이 다양한 모달리티 (인구통계, 암 유형, 발현, 조직학, 텍스트) 를 통합할 수 있었습니다.
  3. 평가: 모델은 5-fold 교차 검증을 사용하여 평가되었으며, 평가 지표에는 Concordance Index (C-index), 평균 누적/동적 Area Under the Curve (AUCC,D), 통합 Brier Score (IBS) 가 포함되었습니다.
• 할루시네이션 분석: 40 건의 무작위 샘플 사례를 수동으로 검토하여 LLM 생성 요약의 사실적 할루시네이션을 수정했습니다. 이러한 수정된 요약은 다시 임베딩되어 할루시네이션이 하류 생존 예측에 미치는 영향을 평가했습니다.

주요 기여

1. 생존을 위한 FM 임베딩의 정량화: 본 연구는 제로샷 FM 임베딩과 작은 선형 모델 (CoxPH) 의 결합이 TCGA 에서 경쟁력 있는 생존 예측 성능 (단일 모달리티의 경우 최대 C-index 약 0.75) 을 달성하여 더 복잡한 딥러닝 접근법과 견줄 수 있음을 보여줍니다.
2. 가산적 다중 모달 융합: 저자들은 암 데이터 모달리티가 가산적이며 중복되지 않음을 보여주는 간단하고 확장 가능한 후기 융합 프레임워크를 제시합니다. 발현, 조직학, 텍스트 임베딩을 임상 특징 (인구통계 및 암 유형) 과 결합했을 때 가장 좋은 성능을 보였습니다.
3. 텍스트 요약의 영향: 이 논문은 LLM 을 사용하여 병리 보고서를 요약하는 것이 원시 요약되지 않은 텍스트 임베딩을 사용하는 것보다 생존 예측을 크게 개선한다는 증거를 제공합니다.
4. 할루시네이션 견고성: 일부 요약의 수동 수정을 통해 LLM 할루시네이션의 영향을 평가한 결과, 사소한 사실 수정이 샘플링된 하위 집합의 위험 계층화에 크게 영향을 미치지 않는 것으로 나타났습니다.

결과

• 단일 모달 성능: 단일 모달리티 모델은 약 0.75 의 평균 교차 검증 C-index 정점을 달성했습니다. 성능은 일반적으로 PCA 차원이 256 일 때 평탄화되었습니다. 주목할 점은 FM 임베딩을 사용한 단일 모달리티 모델이 모든 경우에 표형 임상 특징 (인구통계 + 암 유형, C-index 0.747) 만을 사용하는 모델보다 크게 우월하지는 않았다는 점으로, 강력한 기준선의 중요성을 강조합니다.
• 다중 모달 성능: 다중 모달 융합은 단일 모달 모델보다 일관되게 우수한 성능을 보였습니다. 모든 모달리티 (인구통계, 암 유형, 발현, 조직학, 텍스트) 를 결합한 경우 C-index 는 0.795였습니다.
• 모달리티 특이성:
  • 유전자 발현: 도메인 특화 모델 (BulkRNABert) 은 벌크 RNA-seq 데이터에서 일반 세포 생물학 모델 (UCE) 보다 우수한 성능을 보였습니다.
  • 텍스트: 요약된 보고서는 C-index 0.752 로 요약되지 않은 보고서 (0.694) 보다 현저히 높았습니다. 도메인 적응 (BioMistral 대 Mistral) 은 요약의 영향에 비해 미미한 차이를 보였습니다.
  • 암 유형: 다중 모달 모델은 8 가지 가장 흔한 암 유형 (예: BRCA, KIRC, UCEC) 에서 단일 모달 모델보다 일관되게 우월한 성능을 보였으며, 반면 최상의 단일 모달리티는 암 유형에 따라 다양했습니다.
• 할루시네이션 영향: 40 건의 샘플 보고서 중 24 건의 할루시네이션을 수동으로 수정한 결과, 하위 집합의 위험 계층화는 변하지 않았으며, 이는 침습, 전이 등 생존 예측에 중요한 정보가 사소한 사실 오류에도 불구하고 온전하게 유지되었음을 시사합니다.

의의 및 주장
저자들은 이 작업이 맞춤형 딥러닝 모델 훈련을 위한 컴퓨팅 인프라 없이도 파운데이션 모델의 힘을 활용하는 모듈형 저자원 다중 모달 암 모델링 프레임워크를 확립했다고 주장합니다. 제로샷 임베딩과 간단한 선형 모델을 사용함으로써 이 접근법은 데이터 프라이버시 문제를 해결하고 작은 데이터셋에서의 과적합을 방지합니다.

본 연구는 복잡한 딥러닝 방법이 존재함에도 불구하고, 특징이 풍부한 FM 임베딩과 간단한 통계 모델 간의 시너지가 고정확도 생존 예측에 충분함을 강조합니다. 저자들은 이 작업을 '임베딩 중심' 접근법의 정량화로 위치시키며, 다중 모달 데이터가 가산적이며 병리 보고서 요약이 텍스트 기반 모델링을 위한 중요한 전처리 단계임을 입증합니다. 그들은 이 패러다임이 파운데이션 모델을 암 멀티-오믹스 및 광범위한 생물의학 작업에 적용하기 위한 확장 가능하고 효과적인 경로를 제공한다고 결론지으며, 할루시네이션 수정을 위한 표본 크기에 대한 한계와 TCGA 를 넘어선 외부 검증의 필요성을 지적합니다.