When is 3D Worth It? A Resource-Performance Frontier for CNNs and Transformers in Lung CT

기술 요약: 언제 3D가 가치가 있는가? 폐 CT를 위한 CNN 및 트랜스포머의 자원-성능 프런티어

문제 정의
3차원(3D) 모델은 체적 맥락(volumetric context)을 포착하는 능력 덕분에 입체적인 의료 영상 분야에서 널리 우월하다고 가정되어 왔으나, 그 실질적인 효용성에 대해서는 추가적인 계산 비용, 메모리 요구량, 최적화 복잡성을 감수할 만큼 성능 향상이 정당한지에 대한 의문이 자주 제기된다. 폐 CT 분석에서 3D 접근 방식이 널리 사용되고 있음에도 불구하고, 특히 클래스 불균형이 심한 스크리닝 시나리오 내에서 3D 입력이 2D 또는 하이브리드 2.5D 전략과 비교하여 실제로 비용을 지불할 가치가 있는지에 대한 통제된 증거가 부족하다.

방법론
저자들은 새로운 아키텍처를 제안하기보다는 통제된 진단 연구를 수행하였다. 연구는 누출(leakage)이 없는 국립 폐암 스크리닝 시험(NLST) 코호트($n=1,977$)를 활용하였으며, 고정된 환자 수준 분할(훈련 1,426, 검증 254, 테스트 297)을 적용하였다. 과업은 강력한 클래스 불균형(테스트 세트 내 유병률 약 6.7%)을 특징으로 하는 이진 환자 수준 암 분류이다. LIDC-IDRI로부터 추출된 보조 코호트는 오직 실패 모드(failure modes)의 외부 확인을 위해서만 사용되었으며, 훈련에는 사용되지 않았다.
실험 설계는 훈련 프로토콜을 일정하게 유지하면서 입력 차원을 주요 변수로 격리하였다:

• 입력: 각 환자의 단일 정준(canonical) CT 시리즈로부터 세 가지 유형의 입력을 구성하였다:
  • 2D: 단일 중앙 축상 단면(axial slice).
  • 2.5D: 채널로 쌓인 세 개의 직교 단면.
  • 3D: 폐 중심의 서브 볼륨(sub-volume).
• 모델: 두 가지 백본 패밀리인 잔차 합성곱 신경망(Residual CNN)과 비전 트랜스포머(ViT)를 각 입력 차원에 맞게 적응시켰다.
• 프로토콜: 모든 모델은 불균형 문제를 해결하기 위해 가중치 적용 이진 크로스 엔트로피를 사용하여 20 에포크 동안 훈련되었으며, 동일한 옵티마이저 및 학습률 설정을 사용하였다.
• 평가: 성능은 ROC-AUC, PR-AUC, 민감도(sensitivity), 특이도(specificity)를 기본(0.5) 및 검증 최적화 임계값에서 평가하였다. 계산 비용은 GPU 메모리 및 추론 시간을 통해 측정되었다. AUC 지표에 대해서는 부트스트랩 95% 신뢰 구간을 계산하였다.

주요 결과
연구 결과, 증가된 차원이 이 불균형 설정에서 안정적이거나 우월한 성능을 보장하지는 않는 것으로 나타났다:

• 2.5D CNN: 가장 유리한 트레이드오프를 달성하여, 가장 높은 ROC-AUC(0.682, 95% CI [0.546, 0.799])와 PR-AUC(0.158)를 기록하였으며, 낮은 GPU 메모리 사용량(~1.6 GB)과 함께 안정적인 작동 지점을 보였다.
• 3D CNN: 임계값에 따른 심각한 **임계값 불안정성(threshold instability)**을 보였다. ROC-AUC는 중간 정도(0.622)였음에도 불구하고, 임계값 변화에 따라 민감도가 0.05에서 0.50까지 급격히 변동하였다.
• 트랜스포머 (ViT): 퇴행적 예측(degenerate predictions) 문제를 겪었다. 3D ViT는 ROC-AUC가 0.589임에도 불구하고 제로 민감도(모든 예측이 음성)를 나타냈으며, 2.5D ViT는 극단적인 임계값 민감도를 보였다. 트랜스포머는 일반적으로 CNN보다 약 3배 더 많은 GPU 메모리를 요구했다.
• 통계적 유의성: 저자들은 부트스트랩 신뢰 구간이 모든 모델에 걸쳐 넓고 서로 겹친다는 점을 강조한다. 결과적으로, 점 추정치의 순위 차이는 통계적으로 구별 불가능하다.

주요 기여

1. 자원-성능 프런티어: 본 논문은 고정된 프로토콜 하에서 입력 차원, 계산 비용, 변별력 사이의 트레이드오프를 CNN 및 ViT 패밀리 모두에 대해 매핑한다.
2. 실패 모드 분류 체계: 연구는 ROC-AUC가 은폐하는 특정 작동 지점의 실패 사례, 즉 "임계값 불안정성"(3D CNN)과 "퇴행적 예측"(예: 트랜스포머의 전원 양성 또는 전원 음성 출력)을 규명한다.
3. 진단적 범위: 이 연구는 새로운 최첨단(SOTA) 모델을 주장하기보다는, 단일 코호트 범위와 낮은 절대적 성능을 명시적 한계점으로 인정하며, 통제되고 재현 가능한 출발점 역할을 한다.

의의 및 주장
본 논문은 클래스 불균형이 있는 폐암 스크리닝 분류에서 2.5D 입력이 풀 3D 표현보다 성능, 안정성 및 계산 효율성 사이의 더 신뢰할 수 있는 트레이드오프를 제공한다고 겸허하게 주장한다. 저자들은 3D 맥락이 이론적으로는 유익하지만, 제한된 데이터 및 불균형 환경에서는 안정적인 동작을 보장하지 않으며, 특히 트랜스포머와 같이 데이터 집약적인 아키텍처의 경우 최적화의 어려움을 초래할 수 있다고 주장한다.

이러한 결과는 2.5D가 폐 CT 분류 작업에 있어 실질적인 기본값(default)이자 시작 가설로서 고려되어야 함을 시사한다. 반면, 완전한 3D 표현은 체적 연속성이 중요한 공간 집약적인 다운스트림 작업(예: 세그멘테이션)에 더 적합할 수 있다. 저자들은 입력 차원의 적합성은 작업에 따라 달라지며, 관찰된 자원-성능 프런티어 및 실패 모드는 결정적인 우월성 주장이 아니라 더 큰 다중 코호트 연구를 통해 확인되어야 할 관찰 결과라고 결론짓는다.