기술 요약: CS3F – 3D 의료 영상을 위한 학습 불필요 제로샷 이상 탐지 (Training-Free Zero-Shot Anomaly Detection in 3D Medical Images)

문제 정의

제로샷 이상 탐지(ZSAD)는 의료 영상 분야에서 매우 중요합니다. 임상 시스템은 다양한 획득 프로토콜, 변화하는 환자군, 그리고 주석이 달린 학습 데이터가 부족한 병리 현상을 처리할 수 있어야 하기 때문입니다. 2D 이미지에 대한 기존 ZSAD 방법들은 파운데이션 모델(예: CLIP, DINOv2)을 활용하지만, 이를 3D 의료 볼륨으로 직접 확장하는 데에는 세 가지 주요 장애물이 존재합니다.

1. 3D 파운데이션 모델의 부재: 대규모의 네이티브 3D 의료 파운데이션 모델은 2D 모델에 비해 아직 성숙하지 않은 상태입니다.
2. 계산적 불가능성: 볼륨 이미지는 2D 이미지보다 수십 배 많은 토큰을 생성하므로, 피험자 간 상호 유사성(cross-subject mutual similarity)을 검색할 때 발생하는 이차 복잡도(quadratic complexity)는 계산적으로 매우 부담스럽습니다.
3. 문맥 손실(Contextual Loss): 슬라이스 단위 처리는 평면 간(through-plane) 문맥 정보를 소실시키며, 고정된 스케일의 깊이 집계(depth aggregation)는 병변이 집계 윈도우의 아주 작은 부분만을 차지할 경우 병변 신호를 약화시킬 수 있습니다.

현재의 비지도 학습 방법들은 정교하게 선별된 정상 대조군 코호트를 필요로 하는 경우가 많으나, 이는 구축 비용이 많이 들 뿐만 아니라 도메인 변화(domain shifts)로 인해 운영 환경의 분포와 일치하지 않을 수 있습니다.

방법론: CS3F 프레임워크

저자들은 2D 파운데이션 모델을 3D 이상 탐지 로컬라이제이션에 적응시키는 학습 불필요(training-free), 배치 기반(batch-based) 프레임워크인 CS3F(Cross-Subject Anomaly Scoring for 3D volumes via Foundation models)를 제안합니다.

1. 핵심 가정: 도플갱어 가정 (The Doppelgänger Assumption)

이 프레임워크는 동일한 해부학적 도메인 내의 볼륨들로 구성된 배치 내에서, 정상적인 해부학적 구조는 일관된 외형과 공간적 조직을 가지고 반복된다는 통계적 관찰에 기초합니다. 반면, 병리적 구조는 이질적이고 희귀합니다. 결과적으로 정상 토큰은 서로 유사한 형태의 대응물을 찾을 수 있지만, 이상 토킨은 그렇지 못합니다.

2. 볼륨 토큰 구성 (Volumetric Token Construction)

CS3F는 3D 인코더를 사용하는 대신, 동결된(frozen) 2D 비전 트랜스포머(예: DINOv2)를 활용합니다.

• 다축 슬라이싱 (Multi-Axis Slicing): 각 3D 볼륨을 시상면(sagittal), 관상면(coronal), 축상면(axial) 축을 따라 분해합니다.
• 슬라이스 인코딩: 슬라이스의 크기를 조정하고 2D 파운데이션 모델을 통해 패치 특징(patch features)을 추출합니다.
• 깊이 풀링 (Depth Pooling): 인접한 슬라이스 특징들을 평균 풀링(average pooling)과 $L_2$ 정규화를 통해 집계하여 국소적 볼륨 토큰을 형성합니다. 이는 3D 사전 학습 없이도 깊이 방향의 해부학적 문맥을 포착합니다.
• 무작위 투영 (Random Projection): 메모리 및 계산 비용을 줄이면서 국소 이웃 기하 구조를 보존하기 위해, 고차원 토큰 특징을 무작위 투영 행렬을 사용하여 저차원 공간(예: $d=128$)으로 투영합니다(존슨-린덴스트라우스 정리 활용).

3. 피험자 간 스코어링 (Cross-Subject Scoring)

이상 점수는 배치 내에서의 **상호 유사성(mutual similarity)**으로부터 도출됩니다.

• 쿼리 토큰에 대해, 배치 내 다른 모든 볼륨에 존재하는 가장 가까운 토큰들과의 거리를 계산합니다.
• 이상 점수는 $K$개의 가장 작은 거리들의 평균값입니다. 근접한 대응물이 없는 토큰(높은 거리)은 더 높은 이상 점수를 부여받습니다.
• 축별 융합 (Axis-Wise Fusion): 스코어링은 각 해부학적 축에 대해 독립적으로 수행되며, 직교하는 평면들로부터 보완적인 증거를 융합하기 위해 생성된 이상 맵(anomaly maps)들을 평균화합니다.

4. Coarse-to-Fine (C2F) 토큰화 전략

큰 풀링 커널로 인한 병변 약화 현상과 정밀한 매칭의 계산 비용 문제를 해결하기 위해, CS3F는 C2F 라우팅 메커니즘을 도입합니다.

• Coarse Pass (조대 단계): 조대 풀링 설정($q_c$)을 통해 견고한 전역 해부학적 매칭을 위한 큰 토큰을 생성합니다.
• 라우팅 (Routing): 각 쿼리 조대 토큰에 대해, 참조 볼륨 내에서 상위 $L$개의 가장 가까운 조대 토큰을 식별합니다.
• Fine Pass (미세 단계): 미세 매칭($q_f$)은 선택된 조대 영역 내에 포함된 미세 토큰들에 대해서만 제한적으로 수행됩니다.
• 다중 스케일 융합 (Multi-Scale Fusion): 최종 이상 맵은 안정적인 조대 맵과 고해解도의 미세 맵을 결합하여, 전역적 일관성과 국소 병변에 대한 민감도 사이의 균형을 맞춥니다.

주요 기여

1. CS3F 프레임워크: 병변 주석이나 정교하게 선별된 정상 학습 데이터 없이도, 동결된 2D 파운데이션 모델을 사용하여 3D 의료 영상의 볼륨 표현을 생성하는 학습 불필요, 배치 기반의 ZSAD 프레임워크를 제안했습니다.
2. 축별 스코어 융합 (Axis-Wise Score Fusion): 특징 레벨이 아닌 맵 레벨에서 이상 점수를 융합하도록 설계된 파이프라인입니다. 이는 메모리 사용량을 줄이고, 축별 공간 증거를 보존하며, 비정형 입방체 볼륨(예: 폐 CT)을 지원합니다.
3. Coarse-to-Fine 다중 스케일 토큰화: 풀링으로 인한 병변 약화 분석에서 착안한 전략입니다. 이는 전수 미세 매칭의 막대한 비용을 피하면서도 국소 병변에 대한 정밀한 스코어링을 가능하게 합니다.
4. 교차 장기 검증 (Cross-Organ Validation): 뇌 MRI(정렬된 데이터)를 넘어 비표준화된 비입방체 폐 CT 데이터에 대해서도 프레임워크의 일반화 능력을 입증했습니다.

실험 결과

본 프레임워크는 뇌 MRI(전이암, 교종, 뇌졸중) 및 폐 CT(폐암)에 대해 평가되었습니다.

• 이상 탐지 (환자 수준): CS3F 변형 모델들은 모든 벤치마크에서 CLIP 기반 제로샷 베이스라인(WinCLIP, AnomalyCLIP, APRIL-GAN)보다 일관되게 우수한 성능을 보였습니다. CS3F-MS(Multi-Scale)는 모든 데이터셋에서 환자 수준 AUROC >84%를 달축한 반면, CLIP 기반 방법들은 특정 병리(예: 뇌졸중의 경우 ~63%까지 하락)에서 상당한 성능 저하를 보였습니다. 또한 CS3F는 도메인 차이로 인해 성능이 저하되는 재구성 기반 비지도 학습 방법(DAE, pDDPM)과 비교해도 경쟁력 있는 성능을 유지했습니다.
• 이상 분할 (복셀 수준): CS3F는 CLIP 기반 방법들보다 Dice 및 IoU 점수에서 우위를 점했습니다. 다중 스케일 접근 방식(CS3F-MS)은 조대 토큰의 안정성과 미세 토큰의 민감도 사이의 균형을 제공했습니다.
• 병변별 분석: 고정된 99% TNR(True Negative Rate) 조건 하에서, 미세 토큰화(CS3F-F)는 작은 병변의 검출 성능을 크게 향상시켰으나(예: ATLAS T1w에서 작은 병변 LTPR이 11.5%에서 34.6%로 증가) 위양성(false positive)이 증가하는 결과를 초래했습니다. CS3F-MS는 조대 전용 방식보다 민감도를 높이면서도 관리 가능한 수준의 위양성률을 유지하며 최적의 절충안을 제시했습니다.
• 교차 장기 일반화: 비정렬된 비입방체 볼륨인 폐 CT에서도 CS3F는 효과를 유지하며, 탐지와 로컬라이제이션 모두에서 CLIP 기반 베이스라인을 능가했습니다.
• 효율성: C2F 라우팅은 전수 미세 매칭 대비 계산 오버헤드를 크게 줄였습니다. CS3-C(조대 전용)는 소비자용 GPU에서 약 3.2초, CS3F-MS는 약 5.5초의 처리 시간을 기록했습니다.

의의 및 주장

본 논문은 동결된 2D 파운데이션 모델이 적절한 볼륨 토큰화 및 스코어링 파이프라인과 결려될 때, 3D 의료 영상의 이상 로컬라이제이션을 효과적으로 지원할 수 있음을 주장합니다.

• 실용성: CS3F는 별도로 선별된 건강한 대조군 데이터셋이나 수동 병변 주석 없이도 코호트 수준의 스크리닝, 대규모 데이터셋 구축, 자동 품질 관리를 위한 실용적인 경로를 제공합니다.
• 한계점: 저자들은 이 방법이 "도플게가 가정"에 의해 제약을 받으며, 단일 피험자 처리가 아닌 추론을 위한 배치가 필요하다는 점을 인정합니다. 또한 작거나 미묘하거나 저대조도인 병변에 대한 성능은 파운데이션 모델이 해당 특징을 분리 가능한 이상치로 인코딩할 수 있는 능력에 제한을 받습니다. C2F 토큰화가 민감도를 개선하긴 하지만, 특정 양상(예: 저대조도 전이암에 대한 T1w MRI)에서 밑바탕이 되는 인코더의 판별 신호 부족을 완전히 극복할 수는 없다고 명시했습니다.
• 향후 방향: 저자들은 보조 의료 데이터를 통한 경량 적응 전략과 다중 모달 융합이 타겟 작업의 제로샷 특성을 유지하면서도 병변-정상 분리 능력을 더욱 향상시킬 수 있을 것이라고 제안합니다.