Development and evaluation of CADe systems in low-prevalence setting: The RARE25 challenge for early detection of Barrett's neoplasia
이 논문은 바렛 식도 조기 암 검출을 위한 저유병률 환경의 CADe 시스템 개발과 평가를 위해, 실제 유병률을 반영한 대규모 벤치마크인 RARE25 챌린지를 제안하고, 높은 민감도에도 불구하고 낮은 양성 예측도로 인해 임상적 유용성이 과대평가될 수 있음을 보여주며, 향후 유병률 변화에 강건한 시스템 개발을 위한 공개 데이터셋과 평가 프레임워크를 제공합니다.
원저자:Tim J. M. Jaspers, Francisco Caetano, Cris H. B. Claessens, Carolus H. J. Kusters, Rixta A. H. van Eijck van Heslinga, Floor Slooter, Jacques J. Bergman, Peter H. N. De With, Martijn R. Jong, Albert JTim J. M. Jaspers, Francisco Caetano, Cris H. B. Claessens, Carolus H. J. Kusters, Rixta A. H. van Eijck van Heslinga, Floor Slooter, Jacques J. Bergman, Peter H. N. De With, Martijn R. Jong, Albert J. de Groof, Fons van der Sommen
원저자: Tim J. M. Jaspers, Francisco Caetano, Cris H. B. Claessens, Carolus H. J. Kusters, Rixta A. H. van Eijck van Heslinga, Floor Slooter, Jacques J. Bergman, Peter H. N. De With, Martijn R. Jong, Albert J. de Groof, Fons van der Sommen
상상해 보세요. 거대한 바닷가 모래사장 (정상적인 식도 조직) 이 있습니다. 그런데 그 모래사장 한구석에 **금색 바늘 (초기 암)**이 하나, 혹은 두 개 숨어 있습니다.
현재의 문제: 대부분의 컴퓨터 프로그램은 훈련을 할 때, 모래알 100 개와 금색 바늘 100 개를 섞어서 "이게 바늘이야, 이게 모래알이야"라고 가르칩니다. (균형 잡힌 데이터)
현실의 문제: 하지만 실제 병원에서 환자를 검사할 때는 모래알 10,000 개에 바늘이 1 개 정도 들어있는 경우가 대부분입니다. (저 prevalence, 낮은 발생률)
결과: 컴퓨터는 훈련 때는 잘해도, 실제 현장에 가면 "모래알을 바늘로 착각"하는 경우가 너무 많아져서 의사에게 "거기 있어요! 여기 있어요!"라고 100 번 이상 거짓말을 하게 됩니다. 이를 **'거짓 경보 피로 (Alarm Fatigue)'**라고 합니다.
2. RARE25 챌린지: "현실적인 시험"
이 대회는 기존 연구들의 한계를 깨고, 현실과 똑같은 조건에서 컴퓨터를 시험해 보자는 취지로 열렸습니다.
훈련용 자료: 3,000 장 정도의 이미지 (정상 2,937 장, 암 158 장) 를 공개했습니다.
시험용 자료: 25,000 장 이상의 이미지를 숨겨두었습니다. 이 시험지는 실제 병원에서 볼 법한 비율 (정상:암 = 약 100:1) 로 만들어졌습니다.
평가 기준: 단순히 "얼마나 잘 맞췄나?"(정확도) 가 아니라, **"바늘을 찾아냈을 때, 그 바늘이 진짜 바늘일 확률이 얼마나 높은가?"(양성 예측도)**를 중점적으로 봤습니다.
3. 참가자들의 전략: "탐정들의 다양한 작전"
전 세계 7 개 나라, 11 개 팀이 참가했습니다. 그들은 각자 다른 방식으로 이 어려운 문제를 해결하려 했습니다.
팀 IMSY (최우수 팀): 여러 개의 '탐정'을 동시에 부려서 의견을 모았습니다 (앙상블). 또한, 거대한 사전 지식을 가진 AI(파운데이션 모델) 를 식도 전문 지식으로 재교육하여 바늘을 더 잘 찾게 했습니다.
팀 UT: 최신형 AI 아키텍처를 사용했고, 다양한 각도로 이미지를 회전시켜 보며 바늘을 찾았습니다.
팀 Jmees-inc: 그냥 '찾기'만 하지 않고, "어디에 바늘이 있을지 범위를 먼저 표시하는 훈련"을 시켰습니다. (세그멘테이션)
다른 팀들: 데이터 불균형을 해결하기 위해 가상의 이미지를 만들거나, 중요한 부분에만 더 집중하는 손실 함수 (Loss function) 를 사용하거나, 확률 값을 보정하는 등 다양한 시도를 했습니다.
4. 결과: "잘했지만, 여전히 어려운 문제"
성공: 참가 팀들은 바늘 (암) 과 모래알 (정상) 을 구분하는 능력 자체는 매우 뛰어났습니다. (구분 능력은 90% 이상)
한계: 하지만 **실제 현장 (시험지)**에서 평가했을 때, "바늘을 찾았다"고 말했을 때 그중 진짜 바늘일 확률 (양성 예측도) 은 3~4% 수준에 그쳤습니다.
즉, 100 번 "바늘 있어요!"라고 외쳤을 때, 진짜 바늘은 34 개뿐이고 나머지는 9697 개는 다 거짓말이라는 뜻입니다.
교훈: 컴퓨터가 아무리 똑똑해도, 찾는 대상이 너무 드물면 "거짓 경보"가 너무 많아져서 실제 임상에서 쓰기엔 위험할 수 있다는 것을 증명했습니다.
5. 미래의 희망: "새로운 접근법"
논문은 중요한 제안을 합니다. 지금까지는 모두 "정상 vs 비정상"을 이분법적으로 가르쳤는데, **차라리 "정상"만 열심히 공부하게 하고, "정상과 다른 것"을 찾아내는 방식 (이상 탐지)**으로 바꾸는 것이 더 나을 수도 있다는 것입니다.
비유: "모래알 10,000 개를 다 외워야 바늘을 찾지"가 아니라, "모래알은 다 이렇게 생겼어"라고 완벽하게 익혀두면, 조금이라도 다른 게 보이면 바로 "이건 이상해!"라고 외치는 것이 더 나을 수 있습니다.
6. 결론
이 논문은 컴퓨터가 의사를 도와주려면, 단순히 점수를 잘 받는 게 아니라 실제 병원의 드문 상황에서도 "거짓말"을 하지 않도록 훈련되어야 한다는 점을 강조합니다.
RARE25 대회는 그 첫걸음으로, 현실적인 데이터를 제공하고 공정한 평가를 통해 더 안전하고 신뢰할 수 있는 의료 AI 를 만드는 길을 열었습니다. 아직 갈 길은 멀지만, 의사와 컴퓨터가 협력하여 초기 암을 놓치지 않는 날이 오기를 기대합니다.
논문 요약: RARE25 챌린지 - 저유병률 (Low-Prevalence) 환경에서의 바렛 식도 암전 단계 (Neoplasia) 조기 발견을 위한 CADe 시스템 개발 및 평가
1. 문제 정의 (Problem)
배경: 바렛 식도 (Barrett's Esophagus, BE) 감시 과정에서 발생하는 조기 암전 단계 (neoplasia) 의 발견은 임상적으로 매우 중요하지만, 실제 감시 영상 내에서 병변이 발견되는 비율이 극히 낮습니다 (연간 진행률 1% 미만).
핵심 과제: 기존 컴퓨터 보조 검출 (CADe) 시스템은 대부분 균형 잡힌 (balanced) 또는 과포화 (enriched) 데이터셋에서 높은 성능을 보이지만, 실제 임상 환경과 같은 저유병률 (low-prevalence) 조건에서는 성능이 급격히 저하되거나 평가되지 않는 경우가 많습니다.
유병률 편향 (Prevalence Shift): 훈련 데이터와 배포 환경 간의 유병률 차이는 모델의 오탐 (False Positive) 을 급증시켜 임상가의 피로도를 높이고, 실제 임상 유용성을 과장 평가하는 결과를 초래합니다.
목표: 실제 임상 감시 워크플로우의 유병률을 반영한 대규모 벤치마크를 통해 CADe 시스템의 실제 성능을 평가하고, 저유병률 환경에서의 기술적 한계와 해결 방안을 모색하는 것.
2. 방법론 (Methodology)
2.1. RARE25 챌린지 설계
데이터셋 구성:
공개 훈련 세트: 3,095 장의 이미지 (비이형성 바렛 식도 2,937 장, 암전 단계 158 장). 현재까지 공개된 가장 큰 바렛 식도 영상 데이터셋입니다.
비공개 테스트 세트: 25,000 장 이상의 이미지 (비이형성 23,176 장, 암전 3,232 장). 실제 임상 감시에서 예상되는 **극단적인 불균형 (약 1:100 비율)**을 반영하도록 샘플링되었습니다.
평가 프로토콜:
단순 정확도나 AUROC/AUPRC 와 같은 순위 기반 지표만으로는 부족하므로, **임상적으로 의미 있는 운영점 (Operating Point)**을 강조하는 지표를 사용했습니다.
주요 지표: 90% 재현율 (Recall) 을 유지할 때의 양성 예측도 (PPV@90RECALL). 이는 높은 민감도를 유지하면서도 발생하는 오탐의 절대적 부담을 평가합니다.
부트스트래핑 (Bootstrapping): 1,000 회 반복 샘플링을 통해 불확실성과 신뢰 구간을 추정했습니다.
2.2. 참여 팀 및 접근 방식 (11 개 팀, 7 개 국가)
아키텍처: ResNet, ConvNeXt, ViT (Vision Transformer), DeiT 등 다양한 딥러닝 모델 사용.
전처리 및 학습 전략:
앙상블 (Ensembling): 상위 팀들 (IMSY, agaldran 등) 은 10~40 개의 모델을 앙상블하여 성능을 높였습니다.
프리트레이닝 (Pretraining): GastroNet-5M(위장관 전문 데이터) 과 같은 도메인 특화 데이터나 ImageNet-21k 등 일반 데이터로 사전 학습을 수행했습니다.
손실 함수 및 불균형 처리: Focal Loss, Asymmetric Loss, Balanced MixUp, 가중치 샘플링 등을 사용하여 소수 클래스 (암전 단계) 학습을 강화했습니다.
보정 (Calibration): Platt Scaling, Affine Re-calibration 등을 통해 모델의 확률 출력값을 실제 유병률에 맞게 조정했습니다.
한계: 모든 팀이 완전 지도 학습 (Fully Supervised Classification) 방식을 사용했으며, 이상 탐지 (Anomaly Detection) 또는 원클래스 학습 (One-class learning) 과 같은 유병률 무관 (Prevalence-agnostic) 접근법은 사용되지 않았습니다.
3. 주요 결과 (Key Results)
성능 순위:
IMSY 팀이 PPV@90RECALL 지표에서 가장 높은 성능 (부트스트랩 중앙값 0.035, 전체 데이터셋 기준 0.320) 을 기록하여 1 위를 차지했습니다.
UT 팀은 AUPRC 지표에서 가장 높은 성능을 보였으나, PPV@90RECALL 에서는 IMSY 에 뒤졌습니다.
성능 분석:
강력한 판별력: 상위 팀들은 AUROC(0.92 이상) 와 AUPRC 에서 높은 수치를 기록하여 암전 단계와 정상 조직을 구분하는 능력은 뛰어났습니다.
낮은 양성 예측도 (PPV): 실제 저유병률 환경에서 PPV@90RECALL 은 모든 팀에서 4% 미만으로 낮았습니다. 이는 높은 민감도를 유지하려면 엄청난 수의 오탐 (False Positives) 을 감수해야 함을 의미합니다.
점진적 개선: 1 위와 5 위 팀 간의 PPV 차이는 약 52% 로, 단일 우월한 솔루션보다는 점진적인 개선이 이루어지고 있음을 보여줍니다.
정성적 분석:
모든 팀이 매우 미묘한 초기 병변 (visual cues 가 희미한 경우) 을 탐지하는 데 어려움을 겪었습니다. 반면, 명확한 병변은 모든 팀이 성공적으로 탐지했습니다.
4. 주요 기여 (Key Contributions)
대규모 공개 데이터셋: 바렛 식도 감시를 위한 현재까지 가장 큰 공개 훈련 데이터셋 (3,000 장 이상) 과 실제 유병률을 반영한 테스트 세트를 제공하여 재현성과 비교 연구를 가능하게 함.
유병률 인식 (Prevalence-Aware) 벤치마크: 기존의 균형 잡힌 데이터셋 기반 평가가 아닌, 실제 임상 배포 환경을 시뮬레이션한 엄격한 평가 프레임워크를 정립함.
임상적 통찰: 현재 CADe 시스템이 저유병률 환경에서 겪는 '오탐 부담 (False Positive Burden)'의 심각성을 수치화하여, 단순한 분류 성능이 아닌 임상 워크플로우 통합의 중요성을 강조함.
방법론적 격차 지적: 현재 연구가 완전 지도 학습에 치중되어 있으며, 이상 탐지 (Anomaly Detection) 나 원클래스 학습과 같은 유병률 무관 접근법의 부재를 지적하여 향후 연구 방향을 제시함.
5. 의의 및 결론 (Significance)
임상적 함의: RARE25 결과는 현재 CADe 기술이 임상적으로 유용한 수준 (높은 PPV) 에 도달하기 위해서는 여전히 많은 과제가 있음을 보여줍니다. 높은 민감도를 달성하기 위한 오탐 증가는 임상가의 신뢰를 떨어뜨리고 절차 시간을 늘릴 수 있으므로, **보정 (Calibration)**과 임상가 중심의 워크플로우 통합이 필수적입니다.
향후 연구 방향:
이상 탐지 (Anomaly Detection) 접근: 정상 데이터는 풍부하지만 병변 데이터는 부족한 감시 환경의 특성을 고려하여, 정상 패턴을 학습하고 편차를 탐지하는 방식 (One-class learning 등) 이 더 효과적일 수 있음.
유연한 배포 전략: CADe 시스템을 이진 분류기 (Binary Decision Maker) 가 아닌, 주의 환기 (Attention Guidance) 또는 선별 (Triage) 도구로 활용하는 전략이 필요함.
결론: RARE25 는 저유병률 의료 영상 분석 분야에서 기술적 성숙도를 평가하는 새로운 표준을 제시하며, 실제 임상 환경에 적합한 강건한 CADe 시스템 개발을 촉진하는 기반을 마련했습니다.