💻 computer science

Benchmarking Deep Learning and Vision Foundation Models for Atypical vs. Normal Mitosis Classification with Cross-Dataset Evaluation

본 논문은 유방암에서 비정형 및 정상 유사분열을 분류하기 위한 딥러닝 및 비전 기반 모델에 대한 포괄적인 벤치마크를 제시하며, 전이 학습과 미세 조정 기법이 도메인 내 데이터셋과 새로 도입된 도메인 외 데이터셋 전반에 걸친 분류 과제를 효과적으로 해결함을 보여줍니다.

원저자: Sweta Banerjee, Viktoria Weiss, Taryn A. Donovan, Rutger H. J. Fick, Thomas Conrad, Jonas Ammeling, Nils Porsche, Robert Klopfleisch, Christopher Kaltenecker, Katharina Breininger, Marc Aubreville, Ch

게시일 2026-04-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sweta Banerjee, Viktoria Weiss, Taryn A. Donovan, Rutger H. J. Fick, Thomas Conrad, Jonas Ammeling, Nils Porsche, Robert Klopfleisch, Christopher Kaltenecker, Katharina Breininger, Marc Aubreville, Christof A. Bertram

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

세포가 분열하는 모습을 상상해 보세요. 마치 빵 굽는 사람이 반죽을 치대어 두 개의 완벽하고 동일한 빵으로 나누는 것과 같습니다. 이것이 정상적인 유세포 분열입니다. 하지만 때로는 빵 굽는 사람이 서툴러 반죽이 찢어지거나 빵이 고르지 않게 나오기도 합니다. 이것이 비정형 유세포 분열입니다. 암의 세계에서는 이러한 '서툰 빵 굽는 사람'을 찾아내는 것이 종양이 공격적이고 위험할 수 있다는 큰 단서가 됩니다.

그러나 이러한 '서툰 빵 굽는 사람'을 찾는 일은 현미경 슬라이드를 보는 병리학자 (의사) 들에게도 매우 어렵습니다. 이들은 드물게 나타나며 정상적인 경우와 매우 비슷하게 보이고, 심지어 전문가들조차 무엇을 보았는지에 대해 종종 이견을 보입니다. 마치 거대한 건초더미 속에서 약간 비뚤어진 특정 바늘을 찾으려 하는데, 건초의 색이 계속 변하는 것과 같습니다.

이 논문은 어떤 컴퓨터 프로그램이 이러한 '서툰 빵 굽는 사람'을 가장 잘 찾아내는지를 겨루는 대회입니다.

경쟁자들: 세 가지 다른 전략

연구자들은 이 퍼즐을 가장 잘 해결할 수 있는 '탐정' (AI 모델) 세 가지 유형을 선정하여 경쟁을 펼쳤습니다:

"새로운 시작" 탐정들 (종단간 모델): 이는 특정 교과서를 사용하여 처음부터 모든 것을 가르치는 똑똑한 인턴을 고용하는 것과 같습니다. 이들은 제공된 데이터를 통해 세포 분열의 규칙을 처음부터 완전히 학습합니다.
- 모델들: EfficientNet, Vision Transformer(ViT), Swin Transformer.
"전문가 사서"들 (선형 탐지 기반의 기초 모델): 수백만 권의 생물학 책을 읽었지만 '서툰 빵 굽는 사람'을 찾아본 적은 없는 사서를 상상해 보세요. 여러분은 그들에게 사진을 보여주고 단순히 '예' 또는 '아니오'라고 말하기 위해 간단한 선을 그리도록 요청합니다. 이들은 방대한 일반 지식을 활용하지만 뇌 자체는 변경하지 않으며, 그 위에 아주 작고 간단한 필터만 추가합니다.
- 모델들: UNI, Virchow, H-Optimus 와 같은 거대 사전 훈련 모델.
"전문 견습생"들 (LoRA 기반의 기초 모델): 이는 같은 사서이지만, 단순히 선을 그리는 대신 이 작업에 대한 구체적인 규칙을 적을 수 있는 작은 전문 노트 ( LoRA라고 함) 를 받아보는 것입니다. 이들은 방대한 일반 지식을 유지하면서도 '서툰 빵 굽는 사람'을 찾아내는 전문가가 되기 위해 필요한 새로운 기술만 충분히 학습하여 전체 뇌를 다시 쓸 필요 없이 전문성을 갖춥니다.

시험 주행: 세 가지 다른 코스

누가 진정으로 가장 뛰어난지 확인하기 위해 연구자들은 그들이 공부한 숙제만으로 테스트하지 않았습니다. 대신 세 가지 다른 시험을 치렀습니다:

실전 모의고사 (AMi-Br): 이는 훈련에 사용된 주요 데이터셋입니다. 수천 장의 인간 유방암 세포 이미지가 포함되어 있습니다.
"같은 도시, 다른 동네" 시험 (AtNorM-Br): 이는 다른 출처 (TCGA) 의 이미지를 사용했습니다. 탐정들을 같은 유형의 도시에서 테스트하되, 다른 거리 표지판과 조명 조건에서 시험한 것과 같습니다.
"외국" 시험 (AtNorM-MD): 이는 가장 어려운 시험이었습니다. 인간 유방암뿐만 아니라 개의 종양과 다른 인간 암도 포함되었습니다. 이는 탐정들을 완전히 다른 언어와 풍습을 가진 다른 나라로 보내 여전히 '서툰 빵 굽는 사람'을 찾을 수 있는지 확인하는 것과 같습니다.

결과: 누가 이겼나요?

1. "전문 견습생" (LoRA) 들이 명확한 승자였습니다.
기초 모델 (사서들) 에게 그 작은 전문 노트 (LoRA) 가 주어졌을 때, 그들은 놀라운 성과를 보였습니다. Virchow2 모델이 LoRA 와 함께 실전 모의고사에서 가장 높은 정확도를 기록하며 챔피언이 되었습니다. 거대하고 일반적인 AI 에 작은 구체적인 조정을 가하는 것이 매우 강력한 전략임을 입증한 것입니다.

2. "새로운 시작" 탐정들은 강력한 준우승자였습니다.
처음부터 훈련된 모델들 (종단간) 은 특히 "외국" 시험에서 매우 잘 수행했습니다. Swin Transformer가 이 부분에서 가장 뛰어났으며, 때로는 특정 작업을 위해 훈련된 전담 팀이 일반인보다 새롭고 이상한 상황을 더 잘 처리할 수 있음을 보여주었습니다.

3. "전문가 사서"들 (선형 탐지) 은 어려움을 겪었습니다.
사서들이 전문 노트 없이 (단순한 선만 사용하여) 작업을 시도했을 때, 그들은 부진한 성과를 보였습니다. 방대한 일반 지식만으로는 추가 훈련 없이 이러한 구체적이고 미묘한 오류를 찾아내는 데는 충분하지 않음이 드러났습니다.

주요 교훈

이 논문은 이러한 비정상적인 세포 분열을 찾아내는 것이 어려운 작업이지만, AI 가 이를 효과적으로 수행할 수 있다고 결론 내립니다.

가장 중요한 교훈은 AI 를 어떻게 훈련시키느냐가 단순히 큰 AI 를 갖는 것보다 더 중요하다는 점입니다.

거대 사전 훈련 모델에게 단순히 추측하도록 요청하는 것 (선형 탐지) 만으로는 충분하지 않습니다.
그 거대 모델에게 특정 작업을 학습할 수 있는 작고 효율적인 방법 (LoRA) 을 제공하는 것이 기적을 일으킵니다.
때로는 특정 데이터로 처음부터 모델을 훈련시키는 것 역시 매우 경쟁력 있는 전략입니다.

연구자들은 또한 모든 데이터와 코드를 공개하여 사실상 "시험 문제"와 "정답 키"를 과학계 전체에 제공함으로써 모두가 이러한 탐정들을 계속 발전시킬 수 있도록 했습니다. 그들은 모델들이 훌륭하지만, "외국" (다른 조직 유형이나 스캐너) 이 너무 다를 때는 여전히 어려움을 겪는다고 지적하며, 이러한 도구를 모든 상황에 완벽하게 만들기 위해서는 여전히 더 다양한 데이터가 필요하다고 강조했습니다.

"비정형 대 정상 유사분열 분류를 위한 교차 데이터셋 평가: 딥러닝 및 비전 기반 모델의 벤치마킹" 논문에 대한 상세 기술 요약입니다.

1. 문제 제기

이 논문은 조직병리학에서 비정형 유사분열상 (AMFs) 과 정상 유사분열상 (MFs) 을 분류하는 중요한 과제를 다룹니다.

임상적 중요성: AMFs 는 비정상적인 세포 분열을 나타내며, 종양의 악성과 환자 생존에 대한 독립적인 예후 지표로 작용합니다. AMFs 의 비율을 정량화하는 것은 종양의 공격성을 평가하는 데 필수적입니다.
과제:
- 낮은 유병률: AMFs 는 정상 MFs 에 비해 드물어 심각한 클래스 불균형을 초래합니다.
- 형태적 미묘함: 정상과 비정형 유사분열상 간의 시각적 차이는 종종 미묘하며 특징이 중복됩니다.
- 주석 변동성: 병리학자들 간의 판독자 간 일치도가 낮아 기준 진실 (ground truth) 생성이 어렵습니다.
- 도메인 이동: 특정 데이터셋으로 훈련된 모델은 염색 및 조직 준비의 차이로 인해 다른 기관, 스캐너, 또는 종의 데이터로 일반화되지 못하는 경우가 많습니다.
격차: 딥러닝이 MF 감지를 개선했음에도 불구하고, AMF 대 정상 MF 의 이진 분류를 위한 기반 모델 (Foundation Models) 의 표준화된 벤치마크와 포괄적인 평가는 부족합니다.

2. 방법론

2.1 데이터셋

저자들은 엄격한 평가를 보장하기 위해 세 가지 고유한 데이터셋을 도입하고 활용합니다:

AMi-Br (훈련 및 도메인 내 테스트): 인간 유방암 (TUPAC16 및 MIDOG21 소스) 의 3,720 개 MF를 포함하는 가장 큰 데이터셋입니다. 주석은 3 명의 전문가 다수결에 기반합니다.
- 클래스 균형: 약 22.4% 비정형, 약 77.6% 정상.
AtNorM-Br (도메인 외 테스트): TCGA 유방암 코호트의 746 개 MF를 포함합니다.
- 주석: 단일 전문가 (매우经验丰富).
- 목적: 잠재적인 레이블 편향을 가진 다른 데이터 소스 (TCGA) 로의 일반화를 테스트합니다.
AtNorM-MD (도메인 외/다중 도메인 테스트): MIDOG++ 데이터셋의 하위 집합에서 유래한 2,107 개 MF를 포함하며, 6 개 도메인 (폐, 림프종, 흑색종 등을 포함하는 인간 및 개 종양) 을 다룹니다.
- 주석: 5 명 전문가 다수결.
- 목적: 종 및 조직 유형 간 (중요한 도메인 이동) 일반화를 테스트합니다.

2.2 모델 아키텍처 및 전략

이 연구는 세 가지 다른 학습 전략을 벤치마킹합니다:

A. 엔드투엔드 파인튜닝 베이스라인:
- AMi-Br 데이터셋에서 (ImageNet 가중치를 사용하여) 처음부터 훈련된 세 가지 아키텍처: EfficientNetV2, Vision Transformer (ViT), Swin Transformer.
- 모든 레이어의 전체 파인튜닝.
B. 선형 프로빙을 활용한 기반 모델:
- 자기지도 학습/DINOv2 를 사용하여 수백만 개의 조직병리학 타일로 사전 훈련된 8 가지 최첨단 비전 기반 모델: UNI, UNI2-h, Virchow, Virchow2, Prov-Gigapath, H-Optimus-0, H-Optimus-1, H0-mini.
- 전략: 백본은 고정되며, 추출된 임베딩 위에 가벼운 선형 분류기만 훈련됩니다.
C. LoRA(저랭크 적응) 를 활용한 기반 모델:
- 동일한 8 가지 기반 모델이 LoRA(매개변수 효율적 파인튜닝, PEFT) 기술을 사용하여 적응됩니다.
- 전략: 원래 가중치는 고정되며, 작은 훈련 가능한 저랭크 행렬이 어텐션 레이어 (Query, Key, Value) 와 MLP 구성 요소에 주입됩니다. 이를 통해 모델의 사전 훈련된 지식을 유지하면서 최소한의 계산 비용으로 적응이 가능합니다.

2.3 실험 설정

훈련: 모든 모델은 AMi-Br 데이터셋에서만 훈련됩니다.
검증: 데이터 누출을 방지하기 위해 환자 단위 계층화를 적용한 5 폴드 교차 검증.
지표: 클래스 불균형으로 인해 균형 정확도 (Balanced Accuracy) (주요 지표) 와 AUROC.
전처리: 이미지 크기 조정 (224x224), 표준 증강 (플립, 회전, 컬러 지터), 모델별 정규화.

3. 주요 기여

새로운 벤치마크: AMF 분류를 위한 교차 데이터셋 및 교차 도메인 일반화를 평가하도록 특별히 설계된 두 가지 새로운 홀드아웃 데이터셋 (AtNorM-Br 및 AtNorM-MD) 도입.
포괄적인 벤치마킹: 비정형 대 정상 유사분열 분류라는 특정 작업에 대한 엔드투엔드 파인튜닝, 선형 프로빙, LoRA 파인튜닝의 대규모 비교 최초 수행.
코드 및 데이터 공개: 향후 연구를 촉진하기 위해 모든 코드, 데이터, 훈련된 모델을 GitHub 저장소를 통해 공개.

4. 결과

성능 요약 (균형 정확도)

도메인 내 (AMi-Br):
- 최고 모델: Virchow2 (LoRA) 가 0.8135의 가장 높은 균형 정확도를 달성했습니다.
- 베이스라인: Swin Transformer(엔드투엔드) 가 베이스라인 중 가장 우수한 성능 (0.8052) 을 보였으며, EfficientNetV2 와 ViT 를 능가했습니다.
- 선형 프로빙: 선형 프로빙만 수행된 기반 모델은 성능이 낮았습니다 (0.60–0.65). 이는 고정된 특징이 이 특정 작업에는 불충분함을 나타냅니다.
도메인 외 (AtNorM-Br):
- 최고 모델: ViT(엔드투엔드) 가 0.7788로 선두를 차지했습니다.
- LoRA 성능: Virchow (LoRA) 가紧随其后 (0.7696) 했습니다. LoRA 모델은 일관되게 선형 프로빙 대응 모델보다 우수한 성능을 보였습니다.
다중 도메인 (AtNorM-MD):
- 최고 모델: Swin Transformer(엔드투엔드) 가 0.7723을 달성했습니다.
- LoRA 성능: Virchow (LoRA) 가 최상위 기반 모델이었습니다 (0.7705).
- 일반화 격차: 모든 모델이 AMi-Br 대비 성능 저하를 보였으며, 이는 도메인 이동 (다른 종/조직) 의 어려움을 강조합니다.

통계적 유의성

LoRA 대 선형 프로빙: 모든 데이터셋에서 LoRA 가 선형 프로빙을 통계적으로 유의미하게 능가했습니다 ( $p \ll 0.001$ ).
베이스라인 대 선형 프로빙: 엔드투엔드 베이스라인이 선형 프로빙을 통계적으로 유의미하게 능가했습니다 ( $p \ll 0.0001$ ).
베이스라인 대 LoRA: 전체 엔드투엔드 베이스라인과 LoRA 파인튜닝 기반 모델 간의 차이는 대부분의 경우 통계적으로 유의하지 않았습니다 (예: AMi-Br 의 경우 $p=0.73$ ). 이는 LoRA 가 기반 모델이 처음부터 훈련된 모델의 성능 수준에 도달할 수 있게 하지만, 완전한 파인튜닝이 여전히 일부 교차 도메인 시나리오에서 미세한 우위를 점함을 시사합니다.

5. 중요성 및 논의

적응의 효과성: 이 연구는 기반 모델이 일반화 가능한 특징을 보유하고 있지만, AMF 분류라는 세밀한 작업에는 파인튜닝이 필수적임을 보여줍니다. 선형 프로빙은 불충분하지만, LoRA는 더 적은 수의 매개변수 업데이트로 동등한 성능을 달성하는 매우 효율적인 대안을 제공합니다.
도메인 이동 과제: 결과는 도메인 이동 (다른 스캐너, 염색 프로토콜, 종) 이 성능을 크게 저하시킨다는 것을 확인시켜 줍니다. 다중 도메인 데이터 (AtNorM-MD) 포함은 인간 유방암만으로 훈련된 모델이 특정 적응 없이는 다른 조직으로 일반화하는 데 어려움을 겪음을 보여줍니다.
향후 방향: 저자들은 현재 한계가 인간 유방암에만 훈련된 점임을 지적합니다. 향후 연구는 이러한 분류기를 2 단계 탐지 파이프라인에 통합하고, 견고성을 높이기 위해 다양한 조직 유형과 종을 포함하도록 훈련 데이터를 확장해야 합니다.
임상적 영향: AMF 비율의 정량화를 자동화함으로써 이 기술은 더 객관적이고 재현 가능하며 효율적인 종양 등급 판정을 지원하여, 임상 환경에서 치료 계획 수립 및 예후 평가 개선을 가능하게 할 수 있습니다.

결론적으로, 이 논문은 LoRA 파인튜닝 기반 모델(특히 Virchow2) 과 엔드투엔드 파인튜닝된 Swin Transformer가 AMF 분류를 위한 최첨단 기술임을 입증하며, 단순한 선형 프로빙을 크게 능가하고 자동화된 견고한 조직병리학 분석을 위한 실현 가능한 길을 제시합니다.