🤖 AI

Pretraining Multiple Instance Learning Networks with Multi-Teacher Distillation from Pathology Slide Foundation Models

본 논문은 데이터 부족 문제를 극복하고 15개 벤치마크 데이터셋, 특히 선형 프로빙(linear probing) 및 퓨샷(few-shot) 시나리오에서의 성능을 향상시키기 위해, 슬라이드 수준의 파운데이션 모델(TITAN 및 CARE)을 교사로 활용하여 다중 인스턴스 학습(Multiple Instance Learning) 네트워크를 초기화하는 증류 기반 사전 학습 프레임워크를 제안한다.

원저자: Mingxi Fu, Jiawen Li, Renao Yan, Jiali Hu, Qiehe Sun, Tian Guan, Yonghong He

게시일 2026-07-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mingxi Fu, Jiawen Li, Renao Yan, Jiali Hu, Qiehe Sun, Tian Guan, Yonghong He

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 미스터리를 풀려는 탐정이라고 상상해 보십시오. 단 하나의 단서가 아니라, 도시 전체를 보여주는 거대하고 고해상도인 지도를 손에 넣었습니다. 이 지도는 너무나 정교해서 모든 건물의 벽돌 하나하나, 모든 나무의 잎사귀 하나, 그리고 보도블록의 균열 하나까지 보여줍니다. 의학계에서 이 "도시 지도"는 환자로부터 채취한 조직 샘수의 디지털 이미지인 '전체 슬라이드 이미지(Whole Slide Image, WSI)'를 의미합니다. 이 이미지들은 너무 방대해서 인간의 뇌나 일반적인 컴퓨터로는 모든 벽돌을 한꺼번에 다 살펴볼 수 없습니다. 이 미스터리(예를 들어 환자가 암에 걸렸는지 여부)를 해결하기 위해 과학자들은 **다중 인스턴스 학습(Multiple Instance Learning, MIL)**이라는 영리한 기술을 사용합니다. MIL을 이해하기 쉽게 설명하자면, 각자 작은 동네(이미지의 한 구역/패치)를 조사하고 그 결과를 팀장에게 보고하는 주니어 탐정 팀과 같습니다. 팀장은 이 모든 보고를 종합하여 최종 판결을 내립니다.

문제는 과거에는 새로운 종류의 미스터리(예를 들어 다른 종류의 암이나 특정 유전적 변이)를 해결할 때마다, 매번 완전히 새로운 주니어 탐정 팀과 새로운 팀장을 고용해야 했다는 점입니다. 그들은 오직 몇 안 되는 오래된 사건 기록만을 가지고 처음부터 다시 훈련받아야 했으며, 그 과정에서 혼란에 빠지지 않기를 기도해야 했습니다. 이는 마치 체스를 배우자마자 곧바로 바둑을 배우고, 그다음 바로 포커를 배우려고 노력하는 것과 같습니다. 기초적인 규칙을 연습도 없이 바로 다음 게임으로 넘어가는 것이죠. 이 팀은 종종 압도당하거나, 실제 규칙을 배우는 대신 주어진 몇 가지 예시만을 통째로 외워버리는 실수를 범하곤 했습니다. 이 논문은 다음과 같은 단순한 질문을 던집니다. 만약 우리가 이미 수백만 건의 사례를 연구한 "마스터 탐정"들의 지혜를 빌려, 이 주니어 탐정들과 팀장들에게 게임의 일반적인 규칙을 먼저 가르쳐서 출발 선상에서 도움을 줄 수 있다면 어떨까?

핵심 아이디어: 마스터로부터 배우기

이 논문은 **지식 증류(knowledge distillation)**라는 기술을 사용하여 이러한 의료용 AI 팀을 훈련시키는 새로운 방법을 소개합니다. 여러분 곁에 TITAN과 CARE라는 이름의 두 전설적인 마스터 탐정이 있다고 상상해 보십시오. 이 마스터들은 이미 수천 장의 전체 슬라이드 이미지를 공부하여 인간이 놓칠 수 있는 패턴을 포착하는 법을 배운, 거대하고 매우 똑똑한 AI 모델들입니다. 이들은 디지털 병리학 세계의 셜록 홈즈와 에르큘 포아로와 같습니다. 하지만 이 마스터들은 매우 무겁고 느립니다. 실행하는 데 엄청난 컴퓨터 자원이 필요하며, 이는 일상적인 병원에서 사용하기 어렵게 만듭니다.

이 논문의 저자들은 영리한 계획을 세웠습니다. 무거운 마스터들을 직접 실행하는 대신, 이들을 가볍고 빠른 학생 모델(MIL 애그리게이터)을 훈련시키는 스승으로 사용하는 것입니다. 학생 모델은 작고 효율적이어서 빠른 진단에 적합하지만, 마스터처럼 생각하는 법을 배워야 합니다. 연구진은 마스터와 학생이 동일한 조직 패치를 바라보는 교실을 설정했습니다. 마스터들은 학생들에게 단순히 최종 정답만을 알려주는 것이 아니라, 데이터에 대한 자신들의 "느낌"—즉, 단서들을 어떻게 그룹화하는지, 무엇이 중요하다고 생각하는지에 대한 정보—을 공유합니다. 학생들은 이 느낌을 모방하며, 전문가들이 정보를 조직하는 방식 그대로 학습합니다.

비법: 스승 사이의 균형 잡기

여기서 조금 까다로운 부분이 있습니다. TITAN과 CARE는 서로 다른 종류의 전문가입니다. TITAN은 전체 슬라이드의 일반적인 "분위기"를 이해하는 데 뛰어나고, CARE는 특정 분자적 세부 사항과 형태를 포착하는 데 전문적입니다. 때때로 한 명의 스승은 매우 확신에 차서 답변이 조밀할 수 있고, 다른 한 명은 다소 산만할 수도 있습니다. 만약 학생들이 그저 목소리 큰 쪽의 말만 듣는다면 혼란에 빠질 수 있습니다.

이를 해결하기 위해 저자들은 **각도 분산 정규화 증류 손실(Angular Dispersion Normalized Distillation Loss)**이라는 특별한 규칙을 발명했습니다. 쉽게 말해, 이는 토론의 심판처럼 두 스승의 의견이 모두 공정하게 반영되도록 조절하는 역할을 합니다. 만약 한 스승의 답변이 매우 "밀집되어 있다면"(답변들이 모두 매우 유사하고 촘-촘하다면), 심판은 그 스승이 독점하지 못하도록 점수를 조정합니다. 반대로 다른 스승의 답변이 더 "퍼져 있다면", 심판은 그 스승에게 조금 더 무게를 실어줍니다. 이를 통해 학생들은 단순히 한 명의 스타일을 복제하는 것이 아니라, 두 마스터의 지혜를 균형 있게 배우게 됩니다.

결과: 작은 모델, 큰 승리

연구진은 이 아이디어를 15가지의 서로 다른 의료 작업(종양이 공격적인지 예측하는 것부터 특정 유전 변이를 찾아내는 것까지)에 테스트했습니다. 그들은 이 "사전 훈련된" 학생들을 두 그룹, 즉 처음부터 학습한 학생(도움 없음) 및 무거운 마스터 스승들과 비교했습니다.

결과는 흥미로웠습니다. 거의 모든 테스트에서 마스터로부터 배운 학생들은 처음부터 학습한 학생들보다 훨씬 더 뛰어난 성과를 보였습니다.

"선형 프로빙(Linear Probing)" 테스트: 이는 학생의 뇌를 훈련시킨 후 뇌를 얼린 상태에서 아주 간단한 질의응답 층만 추가하는 것입니다. 뇌가 얼어붙은 상태에서도, 사전 훈련된 학생들은 종종 거대한 마스터 스승들보다 더 나은 성능을 보였습니다! 예를 들어, 뇌종양 관련 작업에서 학생들은 최고의 스승보다 23% 이상 향상된 성능을 보였습니다.
"퓨샷(Few-Shot)" 테스트: 가장 인상적인 부분입니다. 학생에게 새로운 질병을 배울 수 있는 예시를 단 1개, 2개, 혹은 4개만 준다고 상상해 보십시오. 이러한 "퓨샷" 시나리오에서, 사전 훈련된 학생들은 슈퍼히어로 같았습니다. 그들은 아주 적은 데이터로도 새로운 작업을 배울 수 있었던 반면, 처음부터 학습한 학생들은 고전하거나 완전히 실패했습니다. 일부 작업에서는 예시가 몇 개 없을 때 성능 향상 폭이 무려 20 퍼센트 포인트에 달하기도 했습니다.

이것이 왜 중요한가

이 논문은 이 방법이 의료용 AI의 게임 체인저가 될 수 있음을 시사합니다. 모델을 올바르게 먼저 훈련시킨다면, 진단을 내리기 위해 슈퍼컴퓨터가 필요하지 않다는 것을 증명합니다. 거대하고 무거운 파운데이션 모델의 "지혜"를 사용하여 작고 빠른 모델을 가르침으로써, 의사들은 환자 샘플이 매우 적은 상황에서도 정확하고 신뢰할 수 있는 결과를 얻을 수 있습니다. 이는 마치 젊은 탐사가 범죄 현장에 발을 들이기도 전에 이미 해결된 사건들이 가득한 도서관을 통째로 선물 받는 것과 같습니다. 이 논문은 이 방식이 의학의 모든 문제를 해결한다고 주장하는 것은 아니지만, 이러한 "증류" 접근법이 경량 AI 모델을 훨씬 더 신뢰할 수 있고, 안정적이며, 실제 현장에서 사용할 준비가 되도록 만든다는 점을 강력하게 시사합니다.

기술 요약: 병리 슬라이드 파운데이션 모델로부터의 멀티 티처 증류를 이용한 다중 인스턴스 학습 네트워크의 사전 학습

문제 정의

다중 인스턴스 학습(Multiple Instance Learning, MIL)은 병리 전체 슬라이드 이미지(WSI) 분석을 위한 지배적인 패러다임으로 자리 잡았습니다. 이 프레임워크에서 슬라이드는 패치 수준의 인스턴스들로 구성된 하나의 "백(bag)"으로 취급되며, 동결된 타일 인코더가 특징을 추출하면 MIL 어그리게이터(aggregator)가 이러한 인스턴스들을 결합하여 슬라이드 수준의 예측을 수행합니다. 다양한 어그리게이터 아키텍처(예: 어텐션 기반, 트랜스포머 기반, 그래프 기반, 상태 공간 모델)에도 불구하고, 근본적인 한계가 존재합니다. 기존의 MIL 어그리게이터는 일반적으로 각 다운스트림 태스크를 위해 처음부터(from-scratch) 학습됩니다.

이러한 "처음부터 학습하는" 방식은 변별력 있는 인스턴스 표현과 효과적인 집계 전략을 동시에 학습하기 위해 제한된 슬라이드 수준의 레이블에 의존합니다. 결과적으로, 이러한 모델들은 최적화가 불안정하고, 가짜 상관관계(spurious correlations)에 과적합되며, 태스크 간 전이성이 떨어지는 문제를 겪습니다. 자연 이미지 분석은 대규모 데이터셋(예: ResNet, ViT)을 사용하는 '사전 학습 후 미세 조정(pretrain-then-fine-tune)' 패러다임을 성공적으로 채택했지만, 이를 병리에 적용하는 데는 두 가지 결정적인 장벽이 있습니다:

데이터 희소성: 수백만 개로 크롭할 수 있는 타일 단위 이미지와 달리, 고품질의 공개 가능한 슬라이드 수준 데이터셋은 수천 또는 수만 개 수준으로 제한되어 있어, 대규모 파운데이션 모델을 처음부터 학습시키기에 불충분합니다.
모델 용량: 기존의 MIL 어그리게이터는 매개변수가 적은 경량화된 태스크 특화 모듈입니다. 이들은 대규모 인코더와 달리 전통적인 지도 학습 기반 사전 학습으로부터 이득을 얻을 만큼의 용량을 갖추지 못했으며, 다양한 임상 태스크를 위해 거대한 슬라이드 인코더를 직접 미세 조정하는 것은 계산 비용이 많이 들고 최적화가 불안정할 수 있습니다.

방법론

저자들은 대규모의 사전 학습된 병리 슬라이드 파운데이션 모델로부터 지식을 전이함으로써 경량 MIL 어거리게이터를 사전 학습시키는 멀티 티처 증류(multi-teacher distillation) 프레임워크를 제안합니다. 이 방법의 핵심은 두 개의 최첨단 슬라이드 인코더인 TITAN과 CARE를 보완적인 "티처(teacher)" 모델로 사용하여 다양한 "스튜던트(student)" MIL 아키텍처를 가이드하는 것입니다.

1. 멀티 티처 증류 설정

티처(Teachers):
- TITAN: 대규모 멀티모달 사전 학습을 통해 학습된 범용적이고 전이 가능한 전체 슬라이드 의미론(semantics)을 제공합니다.
- CARE: 형태학적 인지 및 분자 정보가 포함된 지역적 표현을 제공합니다.
- 이 두 티처의 결합은 단일 표현에 의존할 때 발생하는 편향을 줄여주는 다양한 감독 신호(supervisory signals)를 제공합니다.
스튜던트(Students): 9가지의 다양한 MIL 아키텍처(ABMIL, CLAM, TransMIL, WiKG, DAGMIL, GDFMIL, 2DMamba, AMDMIL, AEMMIL 포함)가 스튜던트 역할을 합니다. 스튜던트 모델은 무작위 가중치로 초기화되며, 동결된 티처가 생성한 슬라이드 수준의 임베딩을 모방하도록 학습됩니다.
데이터 구축: 전체 WSI의 계산적 불규칙성을 피하기 위해, TCGA-UT-8K 데이터셋의 고해상도 관심 영역(ROI)을 사용하여 사전 학습을 진행합니다. 각 ROI는 256개의 패치로 구성된 정규 $16 \times 16$ 그리드로 나뉘어 일관된 배치 크기와 안정적인 메모리 소비를 보장합니다.

2. 각도 분산 정규화(Angular Dispersion Normalized, ADN) 증류 손실

멀티 티처 증류의 중심 과제는 서로 다른 티처들이 하이퍼스피어(hypersphere) 상의 표현 분포에서 서로 다른 수준의 집중도를 보일 수 있다는 점입니다. 만약 한 티처는 임베딩을 조밀하게 클러스터링하는 반-면 다른 티처는 더 분산되어 있다면, 이들의 감독 신호는 서로 다른 스케일을 가지게 되어 불균형한 최적화를 초ellig 유발할 수 있습니다.

이를 해결하기 위해 저자들은 **각도 분산 정규화 증류 손실(ADN Loss)**을 도입합니다.

메커니즘: 이 손실은 스튜던트의 예측과 티처의 타겟 사이의 각도 거리를 측정합니다. 결정적으로, 이 오차는 특정 티처의 표현 분포에 대한 실행 각도 분산(running angular dispersion, $\sigma_k$ )에 의해 정규화됩니다.
공식: 티처 $k$ 에 대하여, 손실은 다음과 같이 계산됩니다:
$L^{(k)}_{distill} = \frac{1}{B} \sum_{i=1}^{B} \frac{\Theta^{(k)}_i}{\sigma_k + \epsilon}$
여기서 $\Theta^{(k)}_i$ 는 각도 거리이며, $\sigma_k$ 는 업데이트 중심 주변의 티처 임베딩의 추정 표준 편차입니다.
효과: 이 정규화는 조밀하게 클러스터링된 임베딩을 가진 티처(작은 $\sigma_k$ )가 단순히 원시 오차 크기가 작다는 이유로 그래디언트 업데이트를 지배하지 않도록 보장합니다. 이는 서로 다른 표현 특성을 가진 티처들 사이의 영향력을 균형 있게 조절합니다.

3. 다운스트림 적응(Downstream Adaptation)

사전 학습 후, 티처 전용 프로젝션 헤드는 폐기됩니다. 사전 학습된 MIL 어그리게이터 가중치( $\theta^*$ )는 다운스트림 태스크를 위한 재사용 가능한 초기값 역할을 합니다. 저자들은 두 가지 적응 프로토콜을 평가합니다:

전체 파라미터 미세 조정(Full-Parameter Fine-tuning): MIL 어그리게이터와 태스크 특화 분류 헤드가 모두 다운스트림 슬라이드 수준 레이블을 사용하여 업데이트됩니다.
선형 프로빙(Linear Probing): 사전 학습된 MIL 어그리게이터는 동결되고, 선형 분류 헤드만 학습되어 학습된 슬라이드 수준 표현의 품질을 직접 평가합니다.

주요 기여

실행 가능한 MIL 사전 학습: 본 논문은 대규모 슬라이드 수준 레이블 데이터의 희소성에도 불구하고, 기존 파운데이션 모델로부터의 지식 증류를 활용하여 경량 MIL 어거리게이터를 사전 학습할 수 있는 실질적인 경로를 보여줍니다.
멀티 티처 프레임워크: TITAN과 CARE로부터 상보적인 지식을 활용하는 프레임워크를 도입하여, 이질적인 티처를 결합하는 것이 단일 티처 증류보다 더 나은 일반화 성능을 낼 수 있음을 입증했습니다.
ADN Loss: 각도 분산 정규화 손실의 제안은 서로 다른 티처의 표현 분포를 가진 티처들 사이의 감독 신호를 균형 있게 맞추는 문제를 해결합니다.
포괄적 평가: 암 서브타이핑, 바이오마커 예측, 돌연변이 탐지를 포함하는 6개의 벤치마크 데이터셋과 15개의 다운스트림 태스크에 대해 방법론을 체계적으로 평가했습니다.

실험 결과

저자들은 사전 학습된 MIL 모델을 다음 대상들과 비교하는 광범리한 실험을 수행했습니다:

처음부터 학습된 모델(from-scratch).
티처 모델(TITAN 및 CARE)의 직접적인 미세 조정.

주요 결과:

성능 향상: 사전 학습된 초기화는 처음부터 학습하는 것보다 일관되게 높은 성능을 보였습니다. 이는 특히 선형 프로빙과 퓨샷(few-shot) 시나리오에서 두드러집니다.
티터를 능가함: 많은 경우, 경량화된 사전 학습된 MIL 어거리게이터가 다운스트림 태스크에 적응할 때 무거운 티처 슬라이드 인코더(TITAN 및 CARE)보다 우수한 성능을 보였습니다. 이는 증류된 지식이 어그리게이션 태스크에 효과적으로 압축되고 특화되었음을 시사합니다.
퓨샷 효율성: 퓨샷 설정(클래스당 1~16 샷)에서, 증류 초기화 모델은 처음부터 학습한 모델에 비해 상당한 이득(예: BRACS-Coarse에서 최대 20.55 퍼센트 포인트)을 보여, 개선된 데이터 효율성과 최적화 안정성을 입사합니다.
아키텍처 불가지론(Architecture Agnosticism): 이러한 이점은 다양한 아키텍처(어텐션, 트랜스포머, 그래프, 상태 공간) 전반에서 관찰되었으나, 일부 아키텍처(GDFMIL 및 2DMamba 등)는 태스크 및 적응 프로토콜에 따라 가변적인 성능을 보이기도 했습니다.
메모리 효율성: 패치 수가 증가함에 따라 메모리 폭발을 겪는 대규모 파운데이션 모델과 달리, 경량 MIL 어거리게이터는 많은 수의 패치(예: 3만 개)를 처리할 때도 안정적인 메모리 사용량을 유지하여 기가픽셀 WSI 분석에 확장 가능합니다.

의의 및 주장

본 논문은 이 연구가 기존의 처음부터 학습하는 MIL 학습 방식에 대한 실질적인 대안을 제공한다고 주장합니다. 대규모 파운데이션 모델의 슬라이드 수준 사전 지식을 증류를 통해 경량 어거리게이터로 전달함으로써, 다음과 같은 효과를 얻을 수 있습니다:

전이 가능한 슬라이드 수준 사전 지식: MIL 모델은 자체적인 대규모 레이블 데이터 없이도 안정적이고 일반화 가능한 표현을 습득할 수 있습니다.
효율성: 결과물인 모델은 계산 자원이 제한된 임상 환경이나 주석(annotation) 예산이 적은 환경에서도 적합하도록 계산적으로 효율적이고 확장 가능합니다.
강건성: 이 방법은 특히 퓨샷 학습과 같은 데이터가 부족한 상황에서 수렴 속도를 높이고 과적합을 줄입니다.

저자들은 이 연구를 WSI 분석의 핵심 요소인 MIL에 '사전 학습 후 미세 조정' 패러다임을 적용 가능하게 함으로써, 그동안 처음부터 학습하는 방식에 국한되었던 계산 병리학의 지형을 재편하는 단계로 규정합니다. 향ars 향후 연구로는 사전 학습 데이터를 확장하고 더욱 넓은 범위의 다운스트림 태스크에서 프레임워크를 평가하는 것이 제안되었습니다.