Comparing the Performance of Foundation Model Derived Embeddings with Traditional Approaches for Distant Metastasis Prediction in Head and Neck Cancer

기술 요약: 두경부암의 원격 전이 예측을 위한 파운데이션 모델 유도 임베딩과 전통적 접근 방식의 비교

문제 정의
두경부암(HNC)에서 원격 전이(DM)를 조기에 예측하는 것은 생존율을 개선할 수 있는 적기 개입을 가능하게 하므로 임상 관리에 있어 매우 중요하다. 의료 영상을 활용한 머신러닝 접근 방식이 널리 탐구되고 있으나, 전통적인 방법들은 관심 영역(ROI), 구체적으로 종양 분할(segmentation)에 대한 사전 지식에 의존하는 경우가 많다. 이러한 전통적 접근 방식은 다음과 같은 중대한 한계점을 가진다:

• 라디오믹스(Radiomics): ROI에 대한 정확한 수동 또는 자동 컨투어링(contouring)을 요구한다. 수동 델리네이션(delineation)은 시간이 많이 소요되고 주관적이며, 자동 분할은 제한적이거나 편향된 참조 컨투어를 바탕으로 학습될 경우 신뢰도가 떨어질 수 있다.
• 딥러닝(Deep Learning): 일반적으로 바운딩 박스(bounding box)나 ROI 정의가 필요하며, 이는 종양 위치에 대한 지식을 요구한다. 또한, 이러한 국소적 ROI는 주변 조직에 존재하는 예후 정보를 간과할 수 있다.
• 일반적 제약 사항: 두 방식 모두 사용자 의존적인 변동성을 유발하고, 전문가의 델리네이션이 필요하여 치료까지의 시간을 증가시키며, 종종 광범위한 주석(annotated) 데이터셋과 3D 네트워크 학습을 위한 상당한 계산 자원을 필요로 한다.

연구 방법론
본 연구는 RADCURE 데이터셋의 두경부암 환자 2,327명(2년 내 원격 실패 사례 375명 포함)의 수술 전 CT 영상을 활용하였다. 데이터셋은 훈련/검증 세트(1,819명)와 별도의 테스트 세트(508명)로 분리되었다.

세 가지 서로 다른 특징 추출 전략을 비교하였다:

1. CT 파운데이션 임베딩(CT Foundation Embeddings): 50만 개 이상의 다기관 CT 영상으로 학습된 "CT Foundation" 모델을 활용하였다. 이 모델은 전체 CT 볼륨을 처리하며(저장 효율을 위해 축 방향 감소를 적용하되 종양 크롭은 하지 않음), 1,408차원의 임베딩 벡터를 출력한다. 이는 ROI 델리네이션이나 수동 분할을 필요로 하지 않는다.
2. 라디오믹스(Radiomics): pyradiomics 라이库를 사용하여 GTVp(Gross Tumor Volume)로부터 1,316개의 핸드크래프트 특징(1차, 형태, 텍스처 행렬)을 추출하였다. 이를 위해서는 데이터셋에 제공된 수동 GTVp 컨투어가 필요했다.
3. 딥러닝 (비전 트랜스포머 - ViT): GTVp를 중심으로 한 80x80x80 복셀 크롭(voxel crops)에 대해 처음부터 학습된 ViT 모델을 사용하였다. 이는 GTVp 컨투어와 표준 전처리(리샘플링, HU 절단, 정규화)를 필요로 했다.

모델 아키텍처 및 학습

• 분류기(Classifiers): 두 가지 분류기 유형인 4개 층의 다층 퍼셉트론(MLP)과 서포트 벡터 머신(SVM)을 채택하였다.
• 입력값: 모든 모델은 14개의 임상 특징(예: 연령, 성별, T/N 병기, HPV 상태)을 영상 유도 특징과 결합하여 사용하였다.
• 학습 프로토콜:
  • MLP: 5-겹 교차 검증(5-fold cross-validation)과 Adam 옵티마이저, 그리고 플래토 기반(plateau-based) 학습률 스케줄러를 사용하여 학습되었다. 5개 폴드(fold)의 앙상블은 확률 평균화를 통해 생성되었다.
  • SVM: mRMR(minimum Redundancy Maximum Relevance) 특징 선택 알고리-즘을 선행한 후, 그리드 서치와 5-겹 교차 검증을 통해 학습되었다.
• 평가: 모델들은 홀드아웃(hold-out) 테스트 세트를 사용하여 ROC 곡선 아래 면적(AUC), 평균 정밀도(AP), 민감도(SEN), 특이도(SPE)를 기준으로 평가되었다. 통계적 유의성은 FDR(False Discovery Rate) 보정을 적용한 일방향 DeLong 테스트로 평가되었다.

주요 결과
본 연구는 파운데이션 모델 유도 임베딩의 성능을 전통적인 라디오믹스 및 딥러닝 접근 방식과 비교하였다:

• MLP 성능: CT 파운데이션 임베딩 모델은 단일 특징 입력 중 가장 높은 AUC인 0.791 (95% CI: 0.736–0.846)을 달성하였다. 이는 라디오믹스 모델(AUC 0.772)과 ViT 모델(AUC 0.753)보다 우수한 성능을 보였다.
• 결합 특징과의 비교: 라디오믹스와 ViT 특징을 결합한 모델은 0.794의 AUC를 달성하였다. 통계 분석 결과, CT 파운데이션 모델과 이 결합 모델 사이에는 유의미한 차이가 없었다 (보정된 p-value = 0.558).
• SVM 성능: SVM 모델은 각각의 MLP 대응 모델과 유사한 AUC를 보였다 (Foundation: 0.791, Radiomics: 0.792). 그러나 MLP 모델은 SVM 모델(비율 약 1.8)이 특이도를 선호하는 경향을 보이는 것과 달리, 민감도와 특이도의 균형(SEN/SPE 비율 약 0.9) 측면에서 더 나은 모습을 보였다.
• 효율성: CT 파운데이션 접근 방식은 다운스트림 작업에서의 학습 가능한 파라미터 수를 약 5개 차수(order of magnitude) 가까이 줄였다 (3D 네트워크의 약 9,700만 개에서 약 2,600개로 감소). 이를 통해 CPU에서도 효율적인 학습이 가능해졌다.

의의 및 주장
본 논문은 파운데이션 모델 유도 임베딩이 두경부암의 DM 예측을 위한 전통적인 라디오믹스 및 딥러닝의 유망한 대안임을 주장한다. 주요 의의는 도메인 전문 지식 및 데이터 주석 요구사항의 감소에 있다:

• 자동화: CT 파운데이션 모델은 시간이 많이 소요되는 전문가 의존적 종양 분할 또는 ROI 델리네이션의 필요성을 제거한다.
• 확장성: 크롭 없이 전체 볼륨을 처리하고 압축된 임베딩을 출력함으로써, 이 접근 방식은 계산 자원이 제한적인 연구자들도 더 쉽게 접근할 수 있게 한다 (예: 특징 추출을 위한 GPU 불필요).
• 성능: 파운데이션 모델은 전통적인 방식과 대등하거나 약간 더 나은 성능을 달성하였으며, 복잡한 라디오믹스 및 딥러닝 특징의 조합과 통계적으로 구별되지 않는 성능을 보여주었다.

저자들은 API 접근성 및 클라우드 기반 데이터 처리와 관련된 과제가 존재하지만, 최소한의 전처리로 고성능 예측 특징을 생성할 수 있는 능력은 파운데이션 모델을 의료 영상 작업, 특히 광범위한 주석 데이터나 전문가의 큐레이션이 부족한 환경을 위한 확장 가능한 솔루션으로 만든다고 결론지었다.