A Hybrid CNN-Transformer Deep Learning Model for Differentiating Benign and Malignant Breast Tumors Using Multi-View Ultrasound Images

기술 요약: 유방 종양 감별을 위한 하이브리드 CNN-Transformer 딥러닝 모델

문제 정의
유방암은 여전히 전 세계적인 주요 악성 종양이며, 조기 진단과 정확한 진단이 필수적입니다. 초음파는 핵심적인 비침습적 선별 도구이지만, 그 진단 정확도는 검사자의 숙련도에 크게 의존하며 종종 단일 이미지 분석에 의존하는 경향이 있습니다. 이러한 방식은 임상의가 여러 각도와 평면에서 스캔하며 종합하는 병변의 포괄적이고 다차원적인 특징을 포착하지 못합니다. 또한, 기존의 딥러닝 연구들은 종종 개별 2D 초음파 이미지를 독립적인 샘플로 취급하는데, 이는 여러 이미지의 시퀀스로부터 누적된 증거를 바탕으로 진단을 내리는 임상 워크플로우와는 차이가 있습니다. 게다가 RNN과 같은 표준 순차 모델은 초음파 검사에서 흔히 나타나는 순서가 정해지지 않은 이미지 집합(unordered sets)을 처리하기에 부적합하며, 무작위 데이터 분할은 데이터 누수(data leakage)를 초반하여 성능 지표를 인위적으로 부풀리는 결과를 초래할 수 있습니다.

방법론
본 연구는 임상의의 다중 뷰(multi-view) 진단 과정을 모사하는 새로운 컴퓨터 보조 진단(CAD) 시스템을 제안합니다.

• 데이터 전략: 본 연구는 두 병원의 회고적 데이터셋(내부 데이터 840명, 외부 데이터 133명)과 전향적 검증 세트(신규 병변 188개)를 활용했습니다. 엄격한 병변 단위 데이터 분할(lesion-level data partitioning) 전략을 적용하여, 단일 종양에서 파생된 모든 이미지가 내부 데이터, 검증 데이터, 또는 테스트 세트 중 하나에만 배정되도록 함으로써 데이터 누수를 방지했습니다.
• 전처리: 원본 DICOM 이미지는 병변을 격리하도록 크롭되었으며, 300×300 픽셀로 크기가 조정되고 정규화되었습니다. 병변당 가변적인 이미지 수(2~10개)를 처리하기 위해, 저자들은 제로 패딩(zero-padding)과 **어텐션 마스크(attention mask)**를 사용하는 고정 길이 전략(최대 10개 이미지)을 구현하여 패딩된 더미 이미지가 모델에 영향을 미치지 않도록 했습니다.
• 모델 아키텍처:
  • 백본 (국소 특징 추출): 사전 학습된 EfficientNetV2 모델을 사용하여 각 개별 초음파 이미지로부터 공간적 특징을 독립적으로 추출합니다.
  • 퓨전 (전역 특징 통합): 추출된 특징 벡터는 Transformer Encoder로 전달됩니다. 결정적으로, 입력이 순서가 없는 집합임을 강제하기 위해 위치 인코딩(positional encoding)을 제거했습니다. 이는 초음파 뷰의 획득 순서가 임의적이라는 임상적 현실과 일치합니다.
  • 분류: 학습 가능한 분류 토큰(classification token)이 셀프 어텐션(self-attention)을 통해 모든 뷰의 정보를 집계하며, 이후 시그모이드(Sigmoid) 활성화 함수가 포함된 다층 퍼셉트론(MLP) 헤드를 통해 악성 확률을 예측합니다.
• 비교 베이스라인: 제안된 모델은 다음 모델들과 벤치마킹되었습니다:
  • 단일 이미지 EfficientNetV2 분류기.
  • 전역 평균 풀링(global average pooling, bag-of-features)을 사용하는 CNN 전용 모델.
  • 순차적 의존성 가설을 테스트하기 위한 CNN-RNN (LSTM) 모델.
  • 최신 아키텍처인 VGG-ViT, TransMed, MedFormer.

주요 기여

1. 새로운 하이브리ated 아키텍처: 다중 뷰 초음파 이미지를 순서가 없는 집합으로 취급하도록 설계된, EfficientNetV2와 Transformer를 통합한 엔드 투 엔드(end-to-end) 모델 개발.
2. 방법론적 엄밀성: 데이터 누수를 제거하고 일반화 가능한 성능 평가를 보장하기 위해 엄격한 병변 단위 데이터 분할 구현.
3. 임상적 정렬: 모델 설계(순열 불변성, permutation invariance)가 순서에 의존하지 않고 여러 뷰로부터 정보를 합성하는 임상의의 인지 과정과 일치함.
4. 포괄적 검증: 내부 테스트, 서로 다른 제조사(GE 및 Philips) 간의 외부 검증, 그리고 새롭게 수집된 독립적인 데이터셋에 대한 전향적 검증을 포함함.

결과

• 성능: 내부 테스트 세트에서 하이브리드 모델은 정확도(Accuracy) 0.960 및 AUC 0.9788을 달립했습니다. 외부 데이터셋에서도 정확도 0.940 및 AUC 0.9730을 유지하며 견고한 성능을 보였습니다.
• 전향적 검증: 188개의 신규 병변에 대한 전향적 테스트에서 모델은 정확도 0.952 및 AUC 0.9801을 달성하여, 시간적으로 분리된 실제 데이터에 대한 안정성을 입증했습니다.
• 비교 우위: 하이브리드 모델은 단일 이미지 베이스라인(AUC 0.95/0.94) 및 기타 아키텍처(VGG-ViT, TransMed, MedFormer)를 유의미하게 능가했습니다. 어블레이션 연구(ablation study)를 통해 Transformer의 셀프 어텐션 메커니즘이 단순 평균(CNN-Only)이나 순차적 모델링(CNN-RNN)보다 우수함을 확인하였으며, 이는 순서가 없는 집합 모델링이 이 작업에 더 적합하다는 가설을 입증합니다.
• 일반화: 모델은 서로 다른 초음파 기기 제조사(GE LOGIQ E9 vs. Philips EPIQ 7C)에 대해 일관된 성능을 보여, 장치 특이적인 아티팩트가 아닌 생물학적으로 유의미한 특징을 학습했음을 나타냈습니다.
• 전문가 비교: 블라인드 테스트에서 모델(정확도 0.960, 민감도 0.967)은 주니어 및 시니어 영상의학과 전문의(시니어 전문가 정확도 0.849, 민감도 0.869) 모두를 유의미하게 능가했습니다.
• 효율성: 모델은 환자당 평균 0.0335초의 초저지연 시간을 기록하여 실시간 임상 통합에 적합함을 보여주었습니다.

의의 및 주장
본 논문은 CNN과 Transformer를 결합함으로써 매우 정확하고 견고한 진단 시스템을 구축할 수 있다고 주장하며, 이는 임상적 논리와 일치합니다. 다중 뷰 정보를 효과적으로 융합함으로써, 모델은 단일 이미지 분석과 검사자 의존성의 한계를 해결합니다. 저자들은 자신들의 접근 방식이 다중 뷰 통합의 핵심 과제에 대한 계산 효율적인 솔루션을 제공하며, 특정 목적에 맞춘 경량 아키텍처가 복잡한 범용 의료용 트랜스포머보다 뛰어날 수 있음을 입증했다고 주장합니다. 본 연구는 이 시스템이 진단의 신뢰성을 높이고, 위음성(악성 미검출)을 줄이며, 특이도를 개선하여 불필요한 생검을 감소시키는 데 기여함으로써 임상의를 위한 신뢰할 수 있는 보조 도구로서의 잠재력을 가지고 있다고 결론짓습니다.