Calibrated Selective Prediction Using Deep Ensembles for ROI-Based Thyroid Nodule Ultrasound Classification Under Dataset Shift: A Retrospective Evaluation

기술 요약: 데이터셋 변화(Dataset Shift) 상황에서 ROI 기반 갑상선 결절 초음파 분류를 위한 딥 앙상블 기반 보정된 선택적 예측

문제 정의
딥러닝 모델이 초음파 영상에서 갑상선 결절을 분류하는 데 높은 식별력을 보여주었으나, 높은 정확도만으로는 임상 의사 결정 지원에 충분하지 않다. 실제 임상 환경에서는 모호한 사례, 서로 다른 획득 프로토콜을 가진 영상, 또는 훈련 데이터와 분포가 다른 데이터(데이터셋 변화)에 대해 모델이 확신을 가지고 있지만 신뢰할 수 없는 예측을 내놓을 수 있다. 안전한 임상 시스템은 단순히 영상을 분류하는 것을 넘어, 자동화된 분류 제안이 신뢰할 수 없는 경우를 식별하고 이를 인간 전문가에게 넘겨야 한다. 이를 위해서는 견고한 확률 보정, 불확실성 추정, 그리고 데이터셋 변화 하에서도 보수적으로 작동하는 선택적 예측(거부 옵션이 있는 분류) 메커니즘이 필요하다.

방법론
본 연구는 주석 지원형 갑상선 결절 관심 영역(ROI) 분류를 위해 보정된 결정론적 5-멤버 딥 앙상블 프레임워크를 제안한다. 방법론의 주요 구성 요소는 다음과 같다:

• 데이터셋 및 아키텍처: 본 프레임워크는 개발 및 내부 교차 검증을 위해 TN5000 데이터셋(5,000장, 악성 강화)을 사용하며, 데이터셋 변화 하에서의 외부 평가를 위해 TN3K 데이터셋(614장, 다른 클래스 분포 및 주석 스타일)을 사용한다. Squeeze-and-Excitation (SE) 어텐션 모듈으로 증강된 ConvNeXt-Tiny 백본이 최적의 아키텍처로 선택되었다.
• 앙상블 및 보정: 서로 다른 랜덤 시드를 사용하여 독립적으로 훈련된 5개의 앙상블 멤버를 생성한다. 신뢰할 수 있는 확률 추정을 보장하기 위해, 각 교차 검증 폴드 내의 전용 보정 서브셋(val_calib)을 사용하여 사후적으로 멤버별 벡터 스케일링(vector scaling)을 적용한다.
• 불확실성 추정: 상호 정보량(Mutual Information, MI)을 앙상블 불일치를 측정하는 주요 운영 지표로 채택한다. MI는 앙상블 평균 예측의 엔트로피와 개별 멤버들의 평균 엔트로피 사이의 발산 정도를 정량화한다. 높은 MI는 높은 에피스테믹 불확실성(모델 간의 불일치)을 나타낸다.
• 선택적 트리아지(Triage) 정책: 엄격한 3단계 사후 정책이 적용된다:
  1. 불확실성 게이트: MI가 폴드별 임계값을 초과하는 영상은 즉시 방사선 전문의 검토 대상으로 할당된다.
  2. 배제/포함 게이트: 낮은 MI를 가진 영상 중, 보정된 악성 확률이 폴드별 임계값에 따라 평가된다.
     • 보수적인 배제 임계값($\tau_{low}$) 미만의 확률은 영상 기반 "No-FNA"(세침 흡인 검사 불필요) 제안을 받는다.
     • 보수적인 포함 임계값($\tau_{high}$) 이상의 확률은 영상 기반 "FNA 권고"를 받는다.
     • 중간 "그레이 존(gray zone)"에 해당하는 확률은 방사선 전문의 검토 대상으로 할당된다.
• 임계값 선택: 엄격한 안전 기준을 충족하기 위해 각 폴드의 검증 서브셋(val_es)에서만 임계값을 도출한다. 이때 No-FNA 음성 예측도(NPV) $\ge$ 98% 및 FNA 권고 양성 예측도(PPV) $\ge$ 95%를 목표로 한다.
• 외부 평가: TN5000에서 유도된 고정된 모델과 정책을 변경 없이 TN3K에 적용하여, 데이터셋 변화 하에서 보정, 불확실성 거동 및 결정 임계값의 전이 가능성을 평가한다.

주요 기여

1. 프레임워크 개발: 저자들은 ROI 기반 갑상선 결절 분류를 위해 SE 어텐션이 포함된 ConvNeXt-Tiny를 사용하는 보정된 결정론적 딥 앙상블 프레임워크를 개발하였다.
2. 불확실성 기반 유예: 훈련 시의 불확실성 가중치와 구분되는 개념으로서, 자동화된 트리아지에 부적합한 영상을 식별하기 위한 구체적인 앙상블 불일치 점수로 상호 정보량(MI)을 평가하였다.
3. 보수적 트리아지 정책: 불확실성 기반 유예와 확률 기반 배제 및 포함 경로를 결합하여, 불확실성이 낮고 확률이 극단적인 경우에만 자동화된 제안이 발행되도록 하는 3단계 정책을 제 제안하였다.
4. 외부 전이성 분석: 데이터셋 변화 하에서 식별력, 보정 및 임계값 유효성이 어떻게 저하되는지를 명시적으로 분석하며, TN5000에서 유도된 고정된 정책을 독립적인 TN3K 코호트에 엄격하게 평가하였다.

결과

• 내부 성능 (TN5000): 보정된 앙상블은 풀링된 Out-of-fold AUC-ROC 0.9395 및 평균 정밀도(AP) 0.9715를 달성하였다. 보정 상태는 우수하였으며, 기대 보정 오차(ECE)는 0.0088, Brier 점수는 0.0813이었다.
• 내부 선택적 예측: 50%의 명목 MI 유지율에서, 시스템은 7.2%의 사례를 "No-FNA"로, 39.9%를 "FNA 권고"로, 52.9%를 방사선 전문의 검토로 할당하였다. 이를 통해 98.3%의 No-FNA NPV와 99.83%의 악성 포착률을 달est하였다.
• 외부 성능 (TN3K): 데이터셋 변화 하에서 식별력은 감소하였고(AUC-ROC 0.7870, AP 0.7254), 보정은 크게 악화되었다(ECE 0.1899, Brier 점수 0.2281).
• 외부 트리아지 결과: 고정된 TN5000 정책을 TN3K에 적용했을 때, 83.7%의 사례가 방사선 전문의 검토로 할당되었고, 15.3%가 FNA 권고를 받았으며, 단 1.0%만이 No-FNA 제안을 받았다. No-FNA 경로에서 악성 이미지가 잘못 할당된 사례는 없었으나(관찰된 NPV 100%), 이는 견고한 배제 능력보다는 높은 유예율 때문이었다. FNA 권고 PPV는 76.6%로 떨어져, 내부 임계값 선택 단계에서 설정한 95% 목표치를 달려하지 못했다.

의의 및 주장
본 논문은 제안된 보정된 딥 앙상블 프레임워크가 강력한 내부 식별력과 보정 성능을 성공적으로 입증하였으며, 불일치가 높은 사례에 대해 자동화된 제안을 보류하는 보수적인 선택적 예측 프레임워크를 지원한다고 주장한다. 그러나 저자들은 TN3K에 대한 외부 평가가 식별력 감소, 보정 악화, 그리고 데이터셋 변화 하에서의 운영 임계값의 제한된 전이성을 드러냈음을 명시적으로 밝히고 있다.

결과적으로, 저자들은 이러한 결과가 직접적인 임상 배치나 실제 생검 감소를 주장하는 근거가 될 수 없다고 결론짓는다. 이는 로컬 보정, 임계값 검증 및 전향적 임상 평가가 선행되어야 함을 의미한다. 대신, 본 연구는 선택적 예측을 자동 트리아지에 부적합한 이미지를 식별하기 위한 신중한 메커니즘으로 위치시키며, 잠재적으로 신뢰할 수 없는 예측은 전문가 검토로 넘기는 동시에 자동화된 영상 기반 제안은 불일치가 낮은 경우에만 발행되어야 함을 강조한다. 본 연구는 새로운 임상 환경에 모델을 적용하기 전 로컬 검증의 필요성을 역설한다.