기술 요약: 언어 불필요 의료 이상 탐지를 위한 ReCAP

문제 정의

의료 이상 탐지(Anomaly Detection, AD)는 제한된 감독 하에서 비정상 이미지를 식별하고 병변 영역을 국소화하는 것을 목표로 하며, 이는 희귀성, 다양성 및 높은 주석 비용을 가진 의료 병변의 특성을 고려할 때 매우 중요한 요구사항이다. 실용적인 탐지기는 텍스트 주석 없이도 다양한 장기(예: 뇌, 간, 망막)와 모달리티(MRI, CT, X-ray, OCT) 전반에 걸쳐 일반화될 수 있어야 한다.

기존의 CLIP 기반 접근 방식은 시각-언어 정렬을 활용하여 주석 부담을 줄이고자 시도한다. 그러나 이러한 방법들은 대개 모든 테스트 이미지에 대해 변하지 않는 정적 이상 앵커(static anomaly anchors)—고정된 텍스트 프롬프트(예: "정상" 대 "비정상") 또는 학습된 시각적 토큰—에 의존한다. 해부학적 구조와 영상 프로토콜에 따라 정상 외형이 크게 달라지는 교차 도메인 의료 시나리오에서, 이러한 정적 참조 모델은 신뢰성 있게 전이되지 못하는 경우가 많다. 이들은 다음과 같은 세 가지 주요 한계를 겪는다:

1. 의미론적 거칠기(Semantic Coarseness): 텍스트 프롬프트는 미세하고 국소적인 의료적 편차를 포착하기 어려운 일반적인 감독 정보를 제공한다.
2. 교차 도메인 미교정(Cross-Domain Miscalibration): 텍사트가 없는 학습된 시각적 앵커라 할지라도, 보지 못한 타겟 도메인에서는 잘못 배치될 수 있는 고정된 경계를 정의한다.
3. 인스턴스 수준 적응의 부재: 압축된 글로벌 앵커는 특히 퓨샷(few-shot) 설정에서 미세한 국소화를 위해 필요한 다양한 정상 패턴을 보존하지 못한다.

방법론: ReCAP

저자들은 제로샷 및 퓨샷 의료 이상 탐지를 위해 설계된 언어 불필요 프레임워크인 ReCAP(Re-Centered Anomaly Prototypes)을 제안한다. ReCAP은 정적 앵커를 텍스트 프롬프트나 테스트 시점의 그래디언트 업데이트 없이도 각 쿼리 이미지의 글로벌 컨텍스트에 적응하는 **입력 조건부 시각적 프로토타입(input-conditioned visual prototypes)**으로 대체한다.

핵심 구성 요소

1. 다단계 특징 추출 (Multi-Level Feature Extraction):
   ReCAP은 선택된 트랜스포머 레이어에 삽입된 경량 세그멘테이션 및 탐지 어댑터로 증강된 동결된 CLIP 시각 인코더(ViT-L/14)를 활용한다. 이를 통해 공간적 충실도를 보존하는 $\ell_2$-정규화된 다단계 패치 토큰을 추출하여 분류를 위한 판별적 응답과 국소화를 위한 공간적 정밀도를 유지한다.

2. 조건부 프로토타입 변조 (Conditional Prototype Modulation):
   고정된 프로토타입을 사용하는 대신, ReCAP은 한 쌍의 정상($q_n$) 및 비정상($q_a$) 시각적 프로토타입을 학습한다. 각 입력 이미지에 대해, 이 프로토타입들은 이미지의 글로벌 컨텍스트를 기반으로 **재중심화(re-centered)**된다.

   • 컨텍스트 디스크립터: 쿼리의 패치 토큰을 평균 풀링하고 정규화하여 글로벌 컨텍스트 벡터 $c_l(x)$를 도출한다.
   • 유계 게이트 변조 (Bounded Gated Modulation): 프로토타입은 유계된 게이트 잔차를 통해 업데이트된다:
     $$\tilde{q}_{l}^{z} = \text{Norm}\left(q_{l}^{z} + \sigma(\beta_{l}^{z}) \cdot \eta \cdot \tanh(W_{l}^{z} c_{l}(x))\right)$$
     이 설계는 매우 중요하다. 컨텍스트가 전체 이미지(병변을 포함할 수 있음)로부터 풀링되기 때문에, 제약 없는 변조는 "정상" 앵커를 이상 징후 쪽으로 이동시켜 이를 정상으로 잘못 분류하게 만들 수 있다. 유계된(bounded) 특성($\tanh$를 통한)과 학습 가능한 게이트($\sigma(\beta)$)는 적응이 통제된 상태로 유지되도록 보장하며, 프로토타입이 이상적인 콘텐츠로 붕괴되는 것을 방지하면서도 타겟 도메인의 분포로 이동할 수 있게 한다.

3. 스코어링 메커니즘 (Scoring Mechanisms):

   • 프로토타입 브랜치: 쿼리 패치와 조건부 프로토타입 사이의 스케일드 코사인 로짓(scaled-cosine logits)을 통해 이상 점수를 계산한다.
   • 메모리 브랜치 (퓨샷 전용): 퓨샷 설정에서 인스턴스 수준의 정상 변이를 포착하기 위해, ReCAP은 정상 지원 이미지로부터 비매개변수적 **정상 참조 메모리 뱅크(normal-reference memory bank)**를 구축한다. 쿼리 패치는 이 메모리의 최근접 이웃 코사인 거리(nearest-neighbor cosine distance)를 기준으로 점수가 매겨진다.

4. 퓨전 및 추론 (Fusion and Inference):

   • 레이어 퓨전: 여러 트랜스포머 레이어의 증거를 학습 가능한 가중치와 top-$k$ 풀링을 사용하여 결합함으로써 견고한 이미지 수준 점수와 픽셀 수준 맵을 생성한다.
   • 브랜치 퓨전: 퓨샷 설정에서 프로토타입 기반 점수와 메모리 기반 점수는 학습 가능한 가중치 $\lambda$와 함께 퓨전된다. 제로샷 설정에서는 메모리 브랜치가 비활성화된다($\lambda=0$).

5. 학습 목적 함수 (Training Objectives):
   모델은 픽셀 수준 국소화 손실(focal + Dice), 이미지 수준 탐지 손실(binary cross-entropy), 그리고 조건화 전 기본 정상 및 비정상 프로토타입 간의 마진을 강제하는 **프로토타입 분리 정규화(prototype separation regularizer)**의 조합을 사용하여 최적화된다.

주요 기여

1. 정적 앵커의 한계 식별: 본 논문은 CLIP 기반 방법에서의 고정된 이상 참조가 의료 영상의 교차 도메인 일반화를 저해함을 식별하고, 그 해결책으로 입력 조건부 시각적 프로토타입을 제안한다.
2. 유계 게이트 프로토타입 변조: 텍스트 프롬프트 없이도 타겟 도메인에 적응하면서도 이상 콘텐츠로의 "표류(drift)"를 방지하기 위해 입력을 통한 컨텍스트에 따라 정상/비정상 프로토타입을 재중심화하는 새로운 메커니즘을 제시한다.
3. 통합된 퓨샷 프레임워크: 조건부 프로토타입을 비매개변수적 정상 참조 메모리 및 다층 퓨전과 결격하여, 6개의 벤치마크에서 이미지 수준 탐지 및 픽셀 수준 국소화 모두에서 최첨단 성능을 달ach한다.

실험 결과

ReCAP은 다섯 가지 영상 도메인을 아우르는 6개의 의료 데이터셋(BrainMRI, LiverCT, RESC, OCT17, ChestXray, HIS)에서 제로샷 및 퓨샷(K=2, 4, 8, 16) 설정으로 평가되었다.

• 제로샷 성능: ReCAP은 모든 6개 데이터셋에서 최고의 이미지 수준 AUROC를 달성했으며, 모든 3개 세그멘테이션 데이터셋에서 최고의 픽셀 수준 AUROC를 기록하여 프롬프트 기반 CLIP 방법과 언어 불필요 VisualAD 베이스라인을 모두 능가했다.
• 퓨샷 성능: ReCAP은 24개 퓨샷 설정 중 23개(K=2 및 K=4 전체)에서 최고의 이미지 수준 AUROC를 달성했으며, 모든 세그멘테이션 데이터셋에서 최고의 픽셀 수준 AUROC를 달성했다.
• 효율성: ReCAP은 가장 빠른 베이스라인인 VisualAD에 비해 지연 시간을 70% 이상 단축하며 우수한 추론 효율성을 입증했다. 예를 들어, 제로샷 추론은 텍스트 인코딩과 복잡한 토큰 상호작용을 피함으로써 VisualAD의 66.1ms에 비해 17.4ms가 소요되었다.
• 정성적 분석: 시각화 결과, ReCAP은 베이스라인인 APRIL-GAN 및 MVFA와 비교했을 때 정상 해부학적 구조에서의 허위 양성(false positive)이 적고, 실제 병변과 일치하는 더 조밀한 이상 응답을 생성함을 보여주었다.

의의 및 주장

본 논문은 ReCAP이 의료 영상에서 텍스트 기반 이상 모델링의 효과적인 대안으로서 제어된 시각적 프로토타입 적응을 확립한다고 주장한다. 텍스트 프롬프트와 테스트 시점의 그래디언트 업데이트를 제거함으로써, ReCAP은 보지 못한 해부학적 구조와 모달리티에 잘 일반화되는 강력한 언어 불필요 솔루션을 제공한다.

저자들은 유계 변조(bounded modulation) 메커니즘이 성공의 핵심이라고 강조하며, 이것이 정상과 비정상 사이의 판별 경계를 훼손하지 않으면서도 타겟 도메인에 적응할 수 있게 해준다고 설명한다. 현재의 평가는 2D 벤치마크에 집중되어 있으나, 저자들은 ReCAP을 볼륨(volumetric) 및 멀티모달 임상 데이터로 확장하는 것이 중요한 향후 연구 방향임을 언급한다. 이 연구는 시간 민감도가 높은 임상 스크리닝을 위해 높은 정확도와 낮은 추론 지연 시간의 조합을 갖춘 ReCAP이 실제 배포에 특히 적합하다는 점을 시사한다.