When Can Test-Time Adaptation Help Zero-Shot CT Vision-Language Models?

기술 요약: 제로샷 CT 시각-언어 모델(Vision-Language Models)을 위한 테스트 단계 적응(Test-Time Adaptation)은 언제 도움이 되는가?

문제 정의
CT-CLIP 및 fVLM과 같은 제로샷 3D CT 시각-언어 모델(VLM)은 특정 작업용 레이블 없이 텍스트 프롬프트를 통해 이상 징후를 분류함으로써 기관 간 배포를 위한 유망한 경로를 제공한다. 그러나 이러한 모델은 스캐너 제조사, 재구성 프로토콜, 인구 통계학적 차이로 인한 분포 변화(distribution shifts)로 인해 새로운 임상 환경에 배치될 때 상당한 어려움에 직면한다. 테스트 단계 적응(TTA)은 소스 데이터나 주석 없이 미지의 타겟 데이터에 대해 모델을 업데이트할 수 있게 해주지만, 기존의 TTA 방법론들은 이 특정 도메인에 부적합하다. 현재의 접근 방식들은 자연 이미지에 대한 다중 클래스 소프트맥스(softmax) 예측이나 단일 레이블 의료 세그멘테이션을 대상으로 한다. 이들은 단일 스캔 내에 여러 개의 공존하는 이상 징후가 포함되어 있으며, 이들이 공유된 소프트맥스 분포가 아닌 독립적인 베르누이 확률(Bernoulli probabilities)로 점수화되는 비지도 다중 레이블 적응(unsupervised multi-label adaptation) 문제를 해결하지 못한다. 더욱이, 이러한 모델들에 대해 TTA가 유익하게 작용하는 조건이 무엇인지에 대해서는 여전히 잘 알려져 있지 않다.

방법론: CARVE
저자들은 제로샷 3D CT VLM의 프롬프트 쌍 다중 레이블 체제에 특화되어 설계된 최초의 TTA 방법인 CARVE(Cardinality-Aware Retained-View Entropy)를 소개한다. 이 방법은 세 가지 주요 단계로 작동한다:

1. 메모리 효율적인 뷰 선택(Memory-Efficient View Selection): 볼륨 추론의 계산 제약을 해결하기 위해, CARVE는 입력 스캔의 $V$개의 약한 증강(weakly augmented) 3D 뷰를 생성한다. 이 방법은 그래디언트를 계산하지 않고 모든 레이블에 대한 평균 이진 엔트로피(mean binary entropy)를 기준으로 뷰의 점수를 매긴다. 그 후, 적응 단계를 위해 가장 낮은 엔트로피를 가진 상위 $K$개의 뷰(신뢰할 수 있는 서브셋)만을 유지하여, 모든 증강된 뷰에 대해 역전파를 수행할 때 발생하는 메모리 비용을 방지한다.
2. 샘플별 카디널리티 추정(Sample-Specific Cardinality Estimation): 쌍을 이루는 캡션을 검색하여 레이블 수를 추정하는 자연 이미지의 다중 레이블 TTA와 달리, CARVE는 프롬프트 쌍 확률로부터 양성 이상 징후의 수($\hat{k}$)를 직접 추정한다. 이는 모든 레이블에 대한 베르누이 확률을 합산하고, 그 결과를 유효 범위인 $[k_{min}, k_{max}]$ 내로 클리핑(clipping)하는 방식으로 이루어진다.
3. 카디널리티 인식 목적 함수(Cardinality-Aware Objective): CARVE는 표준 엔트로피 최소화를 top-$\hat{k}$ 목적 함수로 대체한다. 이 손실 함수는 추정된 $\hat{k}$개의 가장 가능성 높은 양성 레이블의 확률은 날카롭게 만들고(sharpening), 나머지 레이블은 억제한다. 이러한 접근 방식은 공존하는 이상 징후의 붕괴(cross-label entropy의 실패 모드)를 방지하며, 결정 경계 근처($p \approx 0.5$)에서 발생하는 개별 레이블 이진 엔트로피의 취약성을 피한다.

적응은 에피소드식(episodic)이며 소스 프리(source-free) 방식으로 진행된다: 각 테스트 스캔에 대해, 모델은 시각적 정규화 파라미터를 소스 값으로 리셋하고, 유지된 뷰들에 대해 CARVE 손실을 사용하여 몇 번의 그래디언트 단계를 수행한 다음, 원래의 변형되지 않은 볼륨에 대해 예측을 수행한다.

주요 기여

• 진단 프레임워크: 저자들은 제로샷 3D CT VLM을 위한 TTA가 보편적으로 유익한 것이 아니라 **조건부(conditional)**라는 점을 확립했다. 적응을 위해서는 두 가지 전제 조건이 필요하다: (1) 볼륨 입력 파이프라인이 인코더가 사전 학습된 깊이 구조를 보존해야 하며(깊이를 줄이면 적응 시작 전 성능이 크게 저하됨), (2) 기본 표현(base representation)이 타겟 코호트에서 존재함과 부재함을 구분할 수 있을 만큼 충분히 판별력(discriminative)이 있어야 한다.
• 목적 함수의 불일치 식별: 본 논문은 표준 엔트로피 최소화와 프롬프트 쌍 다중 레이블 CT 예측 사이의 구조적 불일치를 식별했다. 표준 엔트로피는 공존하는 양성 레이블을 붕괴시키거나 결정 경계 근처에서 무의미해지며, 스캔 수준의 이상 징후 카디널리티를 보존하는 데 실패한다.
• CARVE 알고리즘: 확률로부터 레이블 수를 직접 추정하고 top-$\hat{k}$ 목적 함수를 최적화하여 여러 공존하는 이상 징후를 보존할 수 있게 하는, 카디널리티 인식 및 메모리 효율적인 TTA 방법론을 도입했다.

결과
실험은 CT-CLIP 및 fVLM 백본을 사용하여 내부(CT-RATE) 및 외부(RAD-ChestCT) 데이터셋에서 다중 레이블, 3-클래스 및 이진 설정에 걸쳐 수행되었다.

• 전제 조건: 입력 깊이를 줄이는 것(예: $z=240$에서 $z=40$으로)은 적응 전 기본 모델의 AUROC를 크게 떨어뜨려(>0.12), 입력 무결성이 TTA의 전제 조건임을 확인시켜 주었다. 심각한 외부 변화(RAD-ChestCT) 상황에서는 적응 목적 함수의 선택보다 백본(예: fVLM vs. CT-CLIP)의 선택이 성능에 더 큰 영향을 미쳤으며, 이는 TTA가 전이 불가능한 기본 표현으로부터 성능을 회복할 수 없음을 나타낸다.
• 성능: 기본 모델이 이미 판별력이 있는 경우, CARVE는 가장 일관된 개선을 제공했다. 예를 들어, 내부 CT-RATE(제로샷)에서 CARVE는 AUROC를 0.713(No-TTA)에서 0.749로 향상시켰다. 외부 RAD-ChestCT에서는 AUROC를 0.499에서 0.533으로 향상시켰다.
• 비교: 표준 엔트로피 기반 방법(TENT, RLCF) 및 기존의 다중 레이블 TTA(ML-TTA)는 공존하는 레이블을 보존하지 못한 채 작동 지점(operating point)을 이동시켜 성능을 개선하지 못하거나 오히려 저하시키는 경우가 많았다. CARVE의 이점은 올바른 양성 레이블 수를 추정하고 보존하는 능력 덕분인 것으로 분석되었다.

의의 및 주장
본 논문은 제로샷 3D CT VLM을 위한 다중 레이블 TTA를 카디널리티 인식이 필요한 별개의 문제로 정립한다고 주장한다. 저자들은 자신들의 결과가 적응이 언제 도움이 되는지, 즉 언제 적응이 유익한지를 입증한다고 겸허하게 주장한다: 구체적으로, 입력 파이프라인이 볼륨 구조를 보존하고 기본 모델이 이미 전이 가능한 판별적 표현을 보유하고 있을 때이다. 그들은 CARVE가 기존의 신호를 정교화하는 데 효과적이지만, 실패한 표현으로부터 판별력을 만들어낼 수는 없다는 점을 강조한다. 이 연구는 배포를 위한 진단 프로토콜과 프롬프트 쌍 기반 의료 진단의 베르누이 특성에 부합하는 특화된 목적 함수(CARVE)를 제공한다.