CARE: A Molecular-Guided Foundation Model with Adaptive Region Modeling for Whole Slide Image Analysis

이 논문은 자연 이미지 백본의 한계를 극복하고 RNA 및 단백질 프로파일과 같은 분자 정보를 활용하여 적응형 영역을 자동으로 분할하는 새로운 파운데이션 모델 'CARE'를 제안하며, 기존 모델보다 적은 데이터로 다양한 병리학적 태스크에서 우수한 성능을 입증합니다.

핵심

1. 문제: 왜 기존 AI 는 헷갈릴까요?

기존의 인공지능 모델들은 거대한 병리 슬라이드를 분석할 때, 마치 거대한 퍼즐을 무작위로 잘게 자른 조각들을 하나씩 보는 것과 비슷했습니다.

• 기존 방식 (Patch 기반): 슬라이드를 정사각형 격자로 잘게 쪼개서 (예: 1cm x 1cm) 각각을 분석합니다.
  • 문제점: 이는 마치 벽돌 하나하나만 보고 건물의 전체 구조를 이해하려는 것과 같습니다. 벽돌 하나만 보면 "이게 벽돌이구나"는 알 수 있어도, "이건 창문이다", "이건 기둥이다"라는 의미 있는 연결을 놓치기 쉽습니다. 또한, 병리학자가 실제로 진단할 때는 특정 부위 (종양 등) 를 집중해서 보는데, AI 는 모든 조각을 똑같이 중요하게 여기느라 핵심을 놓치는 경우가 많았습니다.

2. 해결책: CARE 의 새로운 접근법

CARE 는 이 문제를 해결하기 위해 **적응형 지역 모델링 (Adaptive Region Modeling)**이라는 기술을 도입했습니다.

• 비유: "단어"로 읽기 vs "문장"으로 읽기
  • 기존 모델은 글자를 하나하나 (Patch) 읽는다면, CARE 는 의미 있는 '단어'나 '구' (Adaptive Region) 단위로 묶어서 읽습니다.
  • 예를 들어, "사과", "배", "포도" 같은 과일들이 모여 있다면, CARE 는 이를 따로따로 보지 않고 **"과일 바구니"**라는 하나의 의미 있는 덩어리로 인식합니다.
  • 핵심: CARE 는 조직의 모양과 구조를 보고, **자연스럽게 뭉쳐진 부분 (예: 종양 덩어리, 정상 조직)**을 스스로 찾아내어 그 영역을 하나의 단위로 처리합니다.

3. CARE 가 어떻게 배우나요? (두 단계 학습)

CARE 는 단순히 이미지만 보고 배우지 않습니다. 분자 (유전자, 단백질) 정보라는 '비밀 지도'를 함께 사용합니다.

• 1 단계: 스스로 배우기 (Self-Supervised)
  • 먼저 3 만 4 천 장 이상의 슬라이드를 보며 조직의 모양 (형태) 을 익힙니다. 아직 정답을 알려주지 않아도 스스로 패턴을 찾아냅니다.
• 2 단계: 분자 지도로 다듬기 (Molecular Guidance)
  • 여기서가 진짜 핵심입니다. CARE 는 RNA(유전자) 와 단백질 정보를 함께 공부합니다.
  • 비유: 마치 수술실 의사가 환자의 혈액 검사 결과 (분자 정보) 를 보며, 현미경으로 어떤 부위가 가장 위험한지 정확히 짚어내는 것과 같습니다.
  • 이 과정을 통해 CARE 는 "아, 이 모양의 조직은 유전자적으로 이런 특징을 가진구나!"라고 연결하며, **진짜 중요한 부분 (ROI)**을 더 정확하게 찾아내게 됩니다.

4. 왜 CARE 가 특별한가요? (효과)

• 적은 데이터로 큰 성과: 보통 AI 모델은 엄청난 양의 데이터를 먹어야 잘합니다. 하지만 CARE 는 다른 모델들이 사용하는 데이터의 10 분의 1 정도만으로도 더 좋은 결과를 냈습니다. (분자 정보를 활용해 효율적으로 학습했기 때문입니다.)
• 다양한 임무 수행:
  • 질병 분류: "이게 암인가요, 암이 아닌가요?"
  • 유전자 예측: "이 조직에서 어떤 유전자 변이가 일어났을까요?" (이 부분에서 CARE 가 특히 뛰어납니다.)
  • 예후 분석: "환자의 생존 기간은 얼마나 될까요?"
• 해석 가능성: CARE 는 "어떤 부분을 보고 이렇게 판단했는지"를 보여줍니다. 병리학자가 눈으로 확인한 위험 부위와 AI 가 주목한 부위가 거의 일치합니다.

5. 요약: CARE 의 핵심 메시지

기존 AI 가 거대한 슬라이드를 무작위로 잘게 쪼개서 분석했다면, CARE 는 조직의 자연스러운 흐름을 따라 의미 있는 덩어리로 묶어 분석합니다.

마치 현명한 탐정이 사건 현장 (슬라이드) 을 볼 때, 모든 것을 무작위로 조사하는 대신 중요한 단서 (분자 정보) 를 바탕으로 핵심 증거 (적응형 영역) 에 집중하여 사건을 해결하는 것과 같습니다.

이 기술은 앞으로 병리학자들이 더 빠르고 정확하게 진단을 내리는 데 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제점 (Problem)

• 기존 모델의 한계: 최근 계산 병리학 (Computational Pathology, CPath) 분야에서 파운데이션 모델 (Foundation Models) 이 큰 성과를 거두고 있지만, 대부분의 기존 슬라이드 레벨 모델은 자연 이미지 (Natural Image) 에 기반한 백본을 사용합니다.
• 비효율적인 분할 (Chunking): 이러한 모델들은 전체 슬라이드 (WSI, Whole Slide Image) 를 고정된 크기의 패치 (Patch) 나 규칙적인 격자 (Grid) 로 나눕니다. 이는 자연어 처리 (NLP) 의 '문자 단위 (Character-level)' 토큰화나 '고정 길이' 청킹과 유사하여, 조직의 실제 형태학적 구조를 무시합니다.
• 해석 가능성 및 임상적 관련성 부족: 병리학자는 진단 시 특정 관심 영역 (ROI) 을 먼저 식별하지만, 기존 모델은 명시적인 ROI 개념이 부족합니다. 고정된 격자는 조직 경계를 인위적으로 자르므로, 의미 있는 조직 구조를 포착하지 못하거나 긴 범위의 상호작용 (Long-range interactions) 을 학습하기 어렵게 만들어 해석 가능성과 임상적 유용성을 제한합니다.

2. 제안 방법론 (Methodology: CARE)

저자들은 CARE (Cross-modal Adaptive Region Encoder) 라는 새로운 파운데이션 모델을 제안합니다. 이는 WSI 를 형태학적으로 의미 있는 '적응형 영역 (Adaptive Regions)'으로 자동 분할하며, 분자 데이터 (RNA, 단백질) 를 가이드로 활용합니다.

2.1. 핵심 아키텍처

• 적응형 영역 생성기 (Adaptive Region Generator, ARG):
  • 고정된 격자 대신, 패치 간의 공간적 및 특징적 관계를 모델링하여 WSI 를 불규칙하지만 형태학적으로 일관된 영역으로 분할합니다.
  • 각 패치는 상위 3 개의 후보 서브영역을 선택하고, 시맨틱 유사도 (Cosine Similarity) 와 공간적 근접성을 기반으로 최종 영역에 할당됩니다.
  • 이는 NLP 의 '단어 단위 (Word-level)' 토큰화와 유사하게, 의미 있는 조직 구조 단위를 생성합니다.
• 영향력 있는 특징 추출:
  • 각 적응형 영역 내에서 Regional Self-Attention과 Cross-Attention을 사용하여 CLS 토큰과 쿼리 기반 특징을 추출합니다.
  • Region Structuring Loss (RSL): 모든 패치가 동일한 영역으로 모이는 붕괴 (Collapse) 현상을 방지하기 위해, 패치들이 다양한 후보 영역에 분산되도록 유도하는 손실 함수를 도입합니다.
• 슬라이드 레벨 표현 (Semantic and Prior Fusion, SPF):
  • 적응형 영역들의 특징을 슬라이드 레벨 임베딩으로 집계합니다.
  • 커버리지 사전 (Coverage Prior): 영역이 차지하는 패치 비율과 시맨틱 어텐션 (Semantic Attention) 을 가중치로 결합하여, 가장 대표적인 영역 (ROI) 을 선택하거나 전체 슬라이드 특징을 생성합니다.

2.2. 2 단계 사전 학습 전략 (Two-Stage Pretraining)

CARE 는 데이터 효율성을 극대화하기 위해 2 단계 전략을 사용합니다.

1. 1 단계: 단모달 자기지도 학습 (Unimodal Self-Supervised Pretraining)

   • 데이터: 34,277 개의 WSI (분할 주석 없음).
   • 방법: iBOT 알고리즘을 적응형 영역 구조에 맞게 수정하여 적용합니다. 패치 레벨의 특징을 기반으로 마스킹된 패치를 예측하며, 조직의 형태학적 표현을 학습합니다.
   • 최적화: 거대 WSI 의 패치 수를 줄이기 위해 DBSCAN 클러스터링을 사용하여 슬라이드를 서브-WSI 로 분할하고 배치 크기를 확장합니다.

2. 2 단계: 교차 모달 정렬 (Cross-modal Alignment)

   • 데이터: WSI 와 매칭된 RNA 발현 프로파일 및 단백질 발현 프로파일 (TCGA, GTEx 기반).
   • 방법: CLIP 스타일의 대비 학습 (Contrastive Learning) 을 수행합니다.
     • RNA 가이드: 광범위한 유전자 발현 데이터를 통해 조직의 생물학적 특성을 학습합니다.
     • 단백질 가이드: 높은 특이성을 가진 단백질 데이터를 통해 미세한 생물학적 신호를 정제합니다.
   • 효과: 분자 데이터가 조직의 생물학적 관련성을 반영하도록 적응형 영역의 경계와 표현을 정제 (Refine) 합니다.

3. 주요 기여 (Key Contributions)

1. 데이터 효율적인 파운데이션 모델: CARE 는 기존 주류 모델들이 사용하는 사전 학습 데이터의 약 10 분의 1만으로도 우수한 성능을 달성했습니다. 이는 분자 가이드 학습과 적응형 영역 모델링의 효율성을 입증합니다.
2. 적응형 영역 생성기 (ARG): 병리학자의 ROI 중심 워크플로우와 일치하도록 WSI 를 불규칙하지만 형태학적으로 의미 있는 영역으로 분할하여, 해석 가능성과 시맨틱 표현력을 크게 향상시켰습니다.
3. 광범위한 벤치마크 성능: 33 개의 다운스트림 태스크 (형태학적 분류, 분자 예측, 생존 분석 등) 에서 기존 SOTA 모델들을 능가하는 평균 성능을 기록했습니다.

4. 실험 결과 (Results)

• 벤치마크: 9 개의 공개 데이터셋과 1 개의 기관 내 데이터셋을 활용하여 33 개의 태스크에서 평가했습니다.
• 성능:
  • 선형 프로빙 (Linear Probing) 및 파인튜닝 (Fine-tuning): CARE 는 33 개 태스크 중 12 개에서 SOTA 를 달성했고, 9 개에서 2 위를 기록했습니다. 특히 분자 예측 (Molecular Prediction) 과 생존 분석 (Survival Analysis) 에서 기존 모델 대비 뚜렷한 우위를 보였습니다.
  • 비교 모델: CHIEF, PRISM, GigaPath, TITAN 등 주요 슬라이드 레벨 파운데이션 모델들을 압도했습니다.
• 해석 가능성 (Interpretability):
  • CARE 가 생성한 히트맵 (Heatmap) 은 병리학자가 수동으로 표시한 종양 영역 (핵 이형성, 빈번한 분열 등) 과 높은 일치도를 보였습니다.
  • 분자 가이드 학습 (RNA/Protein) 을 거친 CARE-RNA 및 CARE 모델이 iBOT 만 학습된 모델보다 ROI 위치 파악이 더 정교함을 확인했습니다.
• ROI vs. 슬라이드 레벨: 일부 태스크 (국소 신호 의존) 에서는 CARE 가 선택한 ROI 특징이 전체 슬라이드 특징보다 성능이 우수했으나, 전역 컨텍스트가 필요한 태스크에서는 전체 슬라이드 표현이 더 효과적이었습니다. CARE 는 두 가지 모두를 지원합니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 계산 병리학에서 WSI 를 고정된 패치나 격자로 처리하는 기존 방식을 넘어, 생물학적 및 형태학적 일관성을 가진 적응형 영역으로 분할하는 새로운 패러다임을 제시했습니다.
• 데이터 효율성: 대규모 데이터와 복잡한 아키텍처 없이도, 분자 데이터의 가이드와 효율적인 아키텍처를 통해 강력한 일반화 성능을 달성함을 보여주었습니다.
• 임상적 가치: 모델이 병리학자의 진단 흐름 (ROI 식별) 과 일치하는 영역을 학습함으로써, 임상 현장에서 신뢰할 수 있는 해석 가능한 AI 도구로서의 가능성을 높였습니다.

요약하자면, CARE 는 분자 데이터로 유도된 적응형 영역 모델링을 통해 계산 병리학의 핵심 과제인 'WSI 의 효율적이고 해석 가능한 표현 학습'을 해결한 획기적인 모델입니다.