💻 computer science

From Multi-Resolution Cells to Gigapixel Whole Slide Images Foundation Model for Computational Pathology

이 논문은 생물학적 영감을 받은 교차 해상도 어텐션 메커니즘과 대규모 자기 지도 사전 학습을 활용하여 다양한 진단 작업에 걸쳐 기가픽셀급 전체 슬라이드 이미지를 이해하는 데 있어 기존 모델들을 능가하는 계산 병리학을 위한 다해상도 파운데이션 모델인 MRPT를 소개한다.

원저자: Basit Alawode, Moshira Ali Abdalla, Dwarikanath Mahapatra, Muhammad Muzammal Naseer, Sajid Javed

게시일 2026-08-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Basit Alawode, Moshira Ali Abdalla, Dwarikanath Mahapatra, Muhammad Muzammal Naseer, Sajid Javed

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

단 한 장의 사진으로 거대하고 복잡한 도시를 이해하려고 노력한다고 상상해 보십시오. 너무 가까이 확대하면 벽돌의 질감이나 보도블록의 금을 보게 되지만, 그것이 병원인지 학교인지는 놓치게 됩니다. 반대로 너무 멀리 줌아웃하면 도시 전체의 레이아웃은 보이지만, 그 안의 사람들이 행복한지 혹은 아픈지는 알 수 없습니다. 이것이 바로 조직 샘플의 "전체 슬라이드 이미지(Whole Slide Images, WSIs)"를 보고 질병을 진단하는 의사들인 병리학자들이 매일 마주하는 도전입니다. 이 디지털 슬라이드들은 기가픽셀 단위로, 마치 나라 전체의 지도처럼 거대하여 아주 작은 화면으로 스크롤하며 살펴봐야 하는 수십억 개의 픽셀을 포함하고 있습니다.

수년 동안 이 분야에서 의사를 돕기 위해 만들어진 컴퓨터 프로그램들은 마치 특정 높이에서만 도시를 바라보는 관광객과 같았습니다. 어떤 프로그램은 아주 작은 디테일(벽돌)만을 보았고, 다른 프로그램은 큰 그림(스카이라인)만을 보았습니다. 하지만 실제 의사들은 그렇게 일하지 않습니다. 그들은 진단을 내리기 위해 끊임없이 확대와 축소를 반복하며, 작은 세포들을 큰 조직 구조와 연결하여 이해합니다. 이 분야의 핵심적인 질문은 이것이었습니다: 인간 전문가처럼 여러 "줌 레벨(zoom levels)" 사이를 매끄럽게 전환하며 전체적인 이야기를 이해할 수 있는 AI를 구축할 수 있을 것인가?

이것이 바로 이 논문의 연구진이 해결하고자 했던 문제입니다. 그들은 MRPT(Multi-Resolution Pyramid Transformer)라는 새로운 AI 모델을 선보였습니다. 컴퓨터에게 숲을 볼 것인지 나무를 볼 것인지 선택하도록 강요하는 대신, MRPT는 인간 전문가처럼 두 가지를 동시에 볼 수 있도록 설계되었습니다.

그들이 구축한 방식과 발견한 점:

"줌 사다리(Zoom-Ladder)" 접근법
저자들은 기존의 AI 모델들이 이미지의 "계층 구조"를 놓치고 있다는 점을 깨달았습니다. 그들은 병리학자가 슬라이드를 검사하는 방식을 모방하여 MRPT가 세 가지 뚜렷한 층위에서 작동하도록 구축했습니다:

세포 수준(Cell Level): 개별 세포를 관찰함 (벽돌을 보는 것과 같음).
패치 수준(Patch Level): 세포의 작은 집단을 관찰함 (단일 건물을 보는 것과 같음).
전체 슬라이드 수준(Whole Slide Level): 전체 조직 샘플을 관찰함 (도시 전체를 보는 것과 같음).

이 설계의 마법 같은 핵심 요소는 **연속적 교차 해상도 주의 메커니즘(Consecutive Cross-Resolution Attention, CCRA)**이라 불리는 특별한 장치입니다. 이것은 줌 레벨 사이에 위치한 일종의 "번역기"라고 생각하면 됩니다. 이는 "근접" 뷰가 "원거리" 뷰와 직접 대화하여 혼란을 주는 것을 방지합니다. 대신, 정보는 단계별로 전달됩니다. 즉, 10배 뷰가 20배 뷰와 대화하고, 20배 뷰가 40배 뷰와 대화하는 식입니다. 이를 통해 세포의 미세한 디테일이 그것이 속한 더 큰 조직 구조의 맥락 속에서 항상 올바르게 이해되도록 하며, 이미지에 대한 매끄럽고 연속적인 이해를 만들어냅니다.

학습: 거대한 디지털 현장 학습
이 모델을 가르치기 위해 연구진은 단순히 몇 장의 사진을 보여준 것이 아닙니다. 그들은 6억 2,400만 개의 작은 이미지 패치, 240만 개의 조직 영역, 그리고 실제 환자 샘플에서 추출한 36,000개의 전체 슬라이드 데이터를 입력했습니다. 그들은 "자기 지도 학습(self-supervised learning)" 기법을 사용했는데, 이는 마치 상자에 그려진 그림 없이 퍼즐 조각들을 주고 스스로 어떻게 맞춰지는지 깨닫게 하는 것과 같습니다. 이 과정을 통해 모든 세 가지 줌 레벨에서 동시에 학습함으로써, 모델은 다른 모델들이 놓쳤던 패턴을 인식하는 법을 배웠습니다.

결과: 다른 모델들보다 똑똑하다
연구팀이 MRPT를 현재 가장 뛰어난 AI 모델들(SOTA)과 테스트했을 때, 결과는 인상적이었습니다. 그들은 다양한 유형의 암과 조직 분석을 다루는 34개의 서로 다른 데이터셋에서 실험을 진행했습니다.

더 나은 진단: AI가 암의 종류를 추측하거나 특정 조직 특징을 식ر하는 작업에서, MRPT는 이전 모델들보다 일관되게 높은 점수를 기록했습니다. 예를 들어, 일부 테스트에서 MRPT는 약 **96%에서 98%**의 정확도를 달로 기록하며, 단일 줌 레벨만을 바라보는 모델들을 크게 앞질렀습니다.
질문에 답하기: 그들은 또한 MRPT-LLaVA라는 챗봇 버전을 구축했습니다. 이 모델은 슬라이드를 보고 "이곳의 조직 구조는 어떠한가?" 또는 "염증의 징후가 보이는가?"와 같은 복잡한 질문에 답할 수 있습니다. 이 모델은 다른 의료용 챗봇들을 압도적인 차이로 능가하며, "큰 그림"과 "작은 디테일"을 함께 이해하는 것이 더 똑똑한 답변으로 이어진다는 것을 증명했습니다.

그들이 거부한 것들
논문은 무엇이 효과가 없는지에 대해서도 명확히 밝히고 있습니다. 저자들은 단순히 고해상도의 작은 이미지들을 (계층 구조를 무시한 채) 모아서 붙이는 방식은 혼란스러운 모델을 만든다고 주장합니다. 또한, 세포만을 보거나 혹은 슬라이드 전체만을 보는 등 하나의 해상도만을 바라보는 모델들은 결정적인 맥락을 놓친다는 점을 보여주었습니다. 그들의 실험은 "줌 사다리"를 무시하는 것이 성능 저하로 이어지는 반면, 해상도 간의 단계별 연결을 존중하는 것이 성공의 핵심임을 입증했습니다.

얼마나 확신하는가?
저자들은 수십 개의 데이터셋에 걸친 광범-한 테스트와 다양한 기존 모델과의 비교를 통해 자신들의 발견에 대해 상당한 확신을 가지고 있습니다. 그들은 단순히 컴퓨터 시뮬레이션에 그치지 않고, 실제 의료 데이터를 사용하여 테스트했습니다. 비록 그들이 암 진단을 영원히 "해결했다"고 주장하는 것은 아니지만, 그들의 결과는 멀티 해상도 접근 방식이 병리학을 이해하는 데 있어 더욱 견고하고 일반화 가능한 새로운 길을 제시하는 중요한 진전임을 강력하게 시사합니다.

요약하자면, 이 논문은 마침내 인간 의사처럼 "줌(zoom)"하는 법을 배운 AI를 소개합니다. 생물학적 조직의 자연스러운 계층 구조를 존중하고 미시적 관점과 거시적 관점 사이의 점들을 연결함으로써, MRPT는 질병을 이해하는 강력한 새로운 도구를 제공하며, 향후 병리학자들이 더 빠르고 정확한 진단을 내리는 데 도움을 줄 수 있는 잠재력을 보여줍니다.

기술 요약: 계산 병리학을 위한 다중 해상도 피라미드 트랜스포머 (MRPT)

문제 정의

계산 병리학(Computational Pathology, CPath)은 기가픽셀급 전체 슬라이드 이미지(Whole Slide Images, WSIs)를 분석하는 데 의존하며, 이러한 이미지는 본질적으로 계층적이고 다중 해상도의 구조를 가집니다. 이러한 이미지에는 세포 형태(핵의 이형성, 유사분열 활동)부터 조직 구조(선 구조의 조직화) 및 전역적 맥락(조직의 이질성)에 이르기까지 다양한 공간적 스케일의 진단 패턴이 포함되어 있습니다. 전문 병리학자들은 정확한 진단을 내리기 위해 이러한 다양한 공간적 스케일과 해상도(예: 10×, 20×, 40×)를 가로지르는 증거를 일상적으로 종합합니다.

그러나 기존의 최첨단(SOTA) 파운데이션 모델들은 다음과 같은 중대한 한계에 직면해 있습니다:

단일 해상도 편향: 대부분의 비전 트랜스포머(ViTs) 및 파운데이션 모델(예: UNI, CONCH, QuiltNet)은 단일 해상도 패치로 사전 학습되어, WSI 해석에 필수적인 조ละเอียด(coarse)-to-fine 맥락적 계층 구조를 포착하지 못합니다.
전역적 맥락의 상실: 패치 수준의 모델은 전체 WSI의 전역적 공간 맥락이 부족하며, WSI 수준의 모델(예: GigaPath, SlideChat)은 고유한 계층적 조직이나 다중 해상도 의존성을 존중하지 않고 패치를 집계하는 경우가 많습니다.
부적절한 다중 해상도 통합: 일부 모델이 다중 해상도 데이터를 활용하기는 하지만, 해상도를 독립적인 입력으로 취급하거나 병리학자의 진단 워크플로우를 모방하는 명시적인 교차 해상도 의존성을 모델링하는 데 실패합니다.

방법론: MRPT 및 MRPT-LLaVA

저자들은 세포에서 조직, 그리고 WSI 수준까지 다중 해상도 정보를 계층적으로 집계하도록 설계된 파운데이션 모델인 **다중 해상도 피라미드 트랜스포머(Multi-Resolution Pyramid Transformer, MRPT)**를 제안합니다. 이 아키텍처는 3단계 자기지도 학습(Self-Supervised Learning, SSL) 패러다임을 기반으로 구축되었습니다.

1. 계층적 데이터 구조

모델은 세 가지 해상도(10×(조밀), 20×(중간), 40×(세밀))의 정렬된 영역( $R_i$ )의 삼중항(triplets)을 추출하여 WSIs( $M$ )를 처리합니다. 각 영역은 패치( $P_j$ )로 세분화되며, 이는 다시 세포 수준의 토큰( $C_{j,k}$ )으로 분해됩니다. 이러한 공동 등록(co-registration)은 스케일 전반에 걸친 공간적 정렬과 맥락적 무결성을 보존합니다.

2. 핵심 아키텍처: 연속적 교차 해상도 어텐션 (CCRA)

MRPT의 핵심 혁신은 다중 해상도 ViT 모듈인 mViTP-C 내에 구현된 연속적 교차 해상도 어텐션(Consecutive Cross-Resolution Attention, CCRA) 메커니즘입니다.

생물학적 영감: 이 메커니즘은 스케일을 건너뛰는 대신 연속적인 해상도 쌍(10× ↔ 20× 및 20× ↔ 40×) 사이의 교차 어텐션을 제한함으로써, "줌 인(zoom in) 및 줌 아웃(zoom out)"하는 병리학자의 워크플로우를 모방합니다. 이는 의미적 연속성을 보장하고 불일치를 최소화합니다.
메커니즘: CCRA 모듈은 연속적인 해상도 간의 정보를 융합하기 위해 [CLS] 토큰을 평균화하고 이를 더 세밀한 시퀀스에 추가합니다. 평균화된 토큰은 정보 전달자 역할을 하며, 어텐션을 통해 패치 토큰과 상호작용하여 조밀한 표현과 세밀한 표현 모두를 풍부하게 합니다.
효율성: 평균화된 [CLS] 토큰에 대해 단일 벡터 쿼리를 사용함으로써, 계산 복잡도가 이차(quadratic)가 아닌 선형(linear)으로 유지됩니다.

3. 3단계 사전 학습 파이프라인

MRPT는 6억 2,400만 개의 패치, 240만 개의 영역, 36,000개의 WSI(TCGA 및 CPTAC 출처)로 구성된 대규모 데이터셋을 통해 사전 학습됩니다.

1단계 (세포 수준): mViTP-C 모듈은 CCRA를 사용하여 다중 해상도 표현을 학습합니다. 학생 네트워크는 DINO 기반 SSL을 통해 교사 네트워크와 정렬되며, 세 가지 해상도 전반에 걸쳐 로컬 및 글로벌 뷰를 처리합니다.
2단계 (패치 수준): 학습된 세포 수준 임베딩은 패치 수준의 토큰으로 집계되어 ViTR-P에 입력됩니다. 이 단계에서는 더 넓은 조직 수준의 맥락적 관계를 학습합니다.
3단계 (영역/WSI 수준): 패치 수준의 특징은 영역 수준의 토큰으로 집계되어 ViTM-R에 입력되며, 이를 통해 총체적인 다중 해상도 WSI 수준 임베딩을 생성합니다.

4. MRPT-LLaVA: 멀티모달 추론

복잡한 작업을 위해 저자들은 MRPT를 멀티모달 대규모 언어 모델(MLLM)인 MRPT-LLaVA로 확장합니다.

통합: MRPT의 다중 해상도 계층적 표현을 LLaVA 아키텍처와 결론합니다.
학습: 이는 교차 모달 정렬(WSI-리포트 쌍), 특징 공간 정렬, 그리고 WSI-Bench 데이터셋에 대한 시각적 지시 튜닝(visual-instruction tuning)의 3단계 파이프라인을 따릅니다. 이를 통해 모델은 시각적 질의응답(VQA), 캡셔닝, 리포트 생성을 수행할 수 있습니다.

주요 기여

다중 해상도 계층적 SSL: 다중 해상도 및 계층적 표현을 공동으로 모델링하여 미세한 세포 특징과 전역적인 조직 맥락을 모두 학습할 수 있게 하는 3단계 SSL 패러다임의 도입.
CCRA 메커니즘: 의미적 일관성을 유지하면서 세포 정보를 해상도 간에 효율적으로 통합하는, 생물학적 영감을 받은 연속적 교차 해상도 어텐션 메커니즘을 포함한 새로운 ViT 아키텍처.
MRPT-LLaVA: 복잡한 VQA 작업을 수행하기 위해 MRPT의 다중 해상도 계층적 WSI 표현을 활용하는 CPath 전용 MLLM 개발.

실험 결과

저자들은 분류, VQA, 캡셔닝 및 리포트 생성을 다루는 34개의 다양한 데이터셋에서 MRPT와 MRPT-LLaVA를 평가했습니다.

패치 수준 성능:
- 제로샷 분류: MRPT 기반 모델은 평균 정확도 **83.66%**를 달성하여, 차순위 SOTA인 PathGen-CLIP(73.60%)보다 약 10% 높은 성능을 보였습니다.
- 리니어 프로브(Linear Probe): 평균 정확도 **92.75%**를 달성하여, GigaPath(86.12%)를 6.63% 앞질렀습니다.
- VQA: 기존 MLLM 대비 폐쇄형(closed-ended) VQA 작업에서 약 23%, 개방형(open-ended) VQA 작업에서 약 20%의 상당한 이득을 보였습니다.
WSI 수준 성능:
- 분류: MRPT-LLaVA는 제로샷 설정에서 0.806의 균형 정확도(balanced accuracy)를 달성하여 TITAN(0.751)을 능가했습니다. 리니어 프로브 설정에서 MRPT는 0.898의 균형 정확도를 달성하여 TITAN(0.845)보다 유의미하게 높았습니다.
- VQA 및 리포트 생성: MRPT-LLaVA는 WSI VQA에서 **80.77%**의 정확도(WSI-LLaVA의 72.57% 대비)를 달성했으며, WSI-Bench 및 HistGen 데이터셋에서 우수한 리포트 생성 지표(BLEU, ROUGE, METEOR)를 보여주었습니다.
절제 연구(Ablation Studies): 실험을 통해 성능 향상이 단순히 사전 학습 데이터의 규모 때문이 아니라, 구조적 설계(다중 해상도 입력, CCRA, 토큰 융합 및 3단계 SSL)에서 비롯되었음을 확인했습니다.

의의 및 주장

본 논문은 MRPT가 WSIs의 계층적 및 다중 해상도 특성을 명시적으로 모델링함으로써 현재의 CPath 파운데이션 모델들이 가진 결정적인 격차를 해결한다고 주장합니다. 전문가 병리학자의 진단 워크플로우를 모방하여 로컬 세포 상세 정보와 전역적 조직 구조를 통합함으로써, 모델은 견고하고 일반화 가능하며 임상적으로 의미 있는 표현을 생성합니다.

저자들은 다음과 같이 단언합니다:

다양한 CPath 작업에서 최근의 파운데이션 모델 및 MLLM을 능가합니다.
단일 해상도 모델이 본질적으로 놓치는 상보적 정보를 포착하는 통합 프레임워크를 제공합니다.
CCRA 메커니즘을 통해 생물학적으로 해석 가능한 아키텍처를 제공하여, 해상도 간 상호작용이 의미적으로 일관되도록 보장합니다.

이 연구는 MRPT를 전역적인 환자 수준 이해를 향한 중요한 단계로 자리매김하며, 향후 유전체학 및 방사선학과 같은 멀티모달 데이터와의 통합 가능성을 열어둡니다.