Cross-cohort evaluation of thyroid ultrasound deep learning across different outcome definitions: a duplicate-controlled benchmark

기술 요약: 서로 다른 결과 정의에 따른 갑상선 초음파 딥러닝의 교차 코호트 평가

문제 정의
갑상선 초음파 해석을 위한 인공지능(AI) 모델의 성능은 코호트의 특성과 사용된 특정 평가 종점(endpoint)에 크게 의존한다. 이 분야의 핵심 과제는 서로 다른 진단 종점 간의 상호 교환 가능성이다. 즉, 수술 후 병리 결과(확정적 진단 결과)와 방사선 전문의가 부여한 TI-RADS(미국 방사선학회 갑상선 영상 보고 및 데이터 시스템)와 같은 위험 범주(관리 중심의 의심 점수)는 서로 다르다. 이러한 종점들은 진단 경로의 서로 다른 단계를 나타내며 상호 교환될 수 없다. 또한, 하나의 데이터셋으로 학습된 딥러닝 모델은 인구 통계, 장비, 획득 프로토콜 및 라벨 정의의 변화로 인해 독립적인 코호트로 일반화하는 데 실패하는 경우가 많다. 본 연구는 갑상선 초음파 분류기의 벤치마킹을 수행하는 동시에, 이미지 수준의 데이터 누출(leakage)을 제어하면서, 악성 결과에 대한 평가와 TI-RADS 유래 위험 범주와의 일치성을 명시적으로 분리하여 검증할 필요성을 다룬다.

방법론
본 연구는 고정된 분석 환경(Python 3.10, PyTorch 2.5.1)을 사용하여 중복 제어된 이미지 수준 벤치마킹 파이프라인을 채택하였다.

• 데이터셋:

  • 개발 아카이브(Development Archive): 385개의 소스 케이스에서 유래된 387개의 B-모드 초음파 이미지와 1,332개의 미세침 흡인 세포 검사(FNA) 블록을 포함하는 공개 Mendeley Data 릴리스. 라벨은 수술 후 진단에 기반한 이진 분류(유두암[PTC] 대 양성)이다. 환자 수준의 식별자를 사용할 수 없어 검증된 환자 단위 분할(patient-level split)이 불가능했다.
  • 외부 코호트: 재학습이나 임계값 조정 없이 두 개의 동결된(frozen) 모델을 다음 데이터셋에 대해 평가하였다:
    1. TN3K: 데이터셋에서 제공된 양성/악성 라벨을 가진 1,228개 이미지의 하위 집합.
    2. DDTI: 방사선 전문의의 TI-RADS 범주를 통해 도출된 이진 종점(저위험 의심 TI-RADS 2–3 그룹과 고위험 의심 TI-RADS 4–5 그룹의 결합)을 대상으로 평가된 637개 이미지.

• 데이터 전처리 및 누출 제어:

  • 중복 제어: MD5 해시(정확한 중복) 및 지각 해시(perceptual hash, 거의 동일한 이미지)를 사용하여 이미지를 그룹화하였다. 이러한 그룹은 데이터 누출을 방지하기 위해 단일 파티션(훈련, 검증, 테스트) 내에 유지되었다.
  • 전처리: 이미지는 224×224 픽셀 크기로 조정되었다. 주변부 인터페이스 아티팩트를 억제하기 위해 자동 텍스처 기반 관심 영역(ROI) 크로핑 실험을 실시하였다.

• 모델 아키텍처 및 학습:

  • 다섯 가지 백본 아키텍처를 학습시켰다: ConvNeXt-Small, EfficientNet-B3, Swin-Tiny, ResNet-50, DenseNet-121.
  • ImageNet 가중치로 초기화되었으며, AdamW 최적화 기법을 사용한 클래스 가중치 적용 이진 교차 엔트로피 손실 함수를 사용하여 미세 조정되었다.
  • ConvNeXt-Small, EfficientNet-B3, Swin-Tiny, ResNet-50의 시그모이드 확률을 평균하여 앙상블을 구성하였다.
  • 보정(Calibration)은 온도 스케일링(temperature scaling), Brier 점수 및 기대 보정 오차(ECE)를 사용하여 평가되었다.

• 평가 전략:

  • 성능은 AUROC, AUPRC, 정확도, 민감도, 특이도 및 F1 점수를 사용하여 측정되었다.
  • 신뢰 구간은 비모수적 부트스트랩 리샘플링(2,000회 반복)을 통해 생성되었다.
  • 세포학(cytology) 및 초음파 양식은 별개의 비쌍합(non-paired) 이미지 분포로 분석되었으며, 환자 내 비교 정확도는 추정하지 않았다.

주요 기여

1. 종점 기원 분리: 본 연구는 모델의 악성 예측 능력(병리 라벨 대상)과 방사선학적 위험 계층화(TI-RADS)와의 일치성을 명시적으로 구분하였다.
2. 중복 제어 벤치마킹: 환자 수준 식별자가 없는 공공 의료 이미지 아카이브에서 흔히 발생하는 문제인 이미지 수준의 데이터 누출을 방지하기 위해 정확한 해시 및 지각 해시를 구현하였다.
3. 교차 코호트 동결 평가: 재학습이나 임계값 조정 없이 두 개의 서로 다른 외부 코호트(TN3K 및 DDTI)에 대해 동결된 모델을 평가함으로써, 획득 방식과 종점 정의에 따라 성능이 어떻게 변하는지 강조하였다.
4. 양식 간 기술적 대조: 초음파와 세포학 성능에 대한 비쌍합 부트스트랩 분석을 통해, 이러한 비교가 환자 매칭된 비교가 아닌 이미지 분포를 설명함을 명확히 하였다.

결과

• 내부 성능 (개발 아카이브):

  • 세포학: ConvNeXt-Small 모델은 0.988(95% CI 0.976–0.998)의 AUROC를 달성하였고, 앙상블은 0.986을 달성하였다.
  • 초음파: EfficientNet-B3 모델은 0.745(95% CI 0.612–0.865)의 AUROC를 달성하였고, 앙상블은 0.733을 달성하였다.
  • ROI 크로핑: 자동 ROI 크로핑은 초음파 앙상블의 AUROC를 0.745에서 0.817로 향상시켰다.
  • 보정: 온도 스케일링은 순위 기반 지표를 변경하지 않으면서 확률 신뢰도를 개선하였다(ECE가 0.032에서 0.014로 감소).

• 외부 코호트 평가 (동결 모델):

  • TN3K (악성 라벨): 초음파 앙상블은 0.825의 AUROC를 달성하였고, ResNet-50은 0.888에 도달하였다. 이는 데이터셋의 분포된 양성/악성 라벨에 대한 우수한 판별력을 나타낸다.
  • DDTI (TI-RADS 종점): TI-RADS 유래 종점에 대해 앙상블은 0.477, ResNet-50은 0.437의 AUROC를 기록하였다. 이는 TI-RADS 범주화와 일치성이 거의 없음을 나타낸다.
  • 해석: 저자들은 TN3K와 DDTI 사이의 결과 차이가 라벨 정의 때문만은 아니라고 언급하였다. 코호트, 장비, 획득 방식 및 질병 스펙트럼 또한 동시에 변화했기 때문이다.

• 양식 비교:

  • 세포학-초음파 AUROC 차이에 대한 비쌍합 부트스트랩 분석 결과는 0.247(95% CI 0.120–0.384)이었다. 저자들은 이 결과가 환자 매칭이 되지 않았으므로 세포학이 임상적으로 더 우월하다는 것을 증명하는 것은 아님을 강조하였다.

의의 및 주장
본 논문은 동결된 갑상선 초음파 모델이 획득 방식과 결과 정의가 다른 코호트에서 다르게 작동한다고 주장한다. TN3K(악성 라벨)에서의 높은 성능과 DDTI(TI-RADS 라벨)에서의 무작위 수준 성능 사이의 극명한 대조는 이러한 종점들이 상호 교환 불가능함을 강조한다.

본 연구는 향후 연구를 위해 세 가지 주요 시사점을 제시한다:

1. 명시적 보고: 라벨의 기원(예: 수술 후 진단 vs TI-RADS)을 반드시 명시적으로 보고해야 한다.
2. 신중한 해석: 교차 코호트 성능 차이는 단일 원인이 아닌 분포 변화와 종점 정의의 복합적인 결과로 해석되어야 한다.
3. 환자 단위 검증: 향후 연구에는 전이 가능성(transportability)을 보장하기 위해 임상적으로 적절한 참조 표준에 대한 환자 단위 외부 평가가 필요하다.

저자들은 자신들의 연구가 갑상선 AI의 일반화 문제를 해결하는 결정적인 해결책을 제시하기보다는, 검증된 환자 단위 분할과 일관된 참조 표준 기술의 필요성을 뒷받침한다는 점을 겸허히 결론지었다. 본 연구는 DDTI에 대해 악성 진단을 검증한 것이 아니며, 그 이유는 TI-RADS 종점이 악성 참조 표준이 아니기 때문이다.