CapCLIP: A Vision-Language Representation Alignment Approach for Wireless Capsule Endoscopy Analysis

기술 요약: 캡슐 내시경 분석을 위한 비전-언어 표현 정렬 접근법 CapCLIP

문제 제기
무선 캡슐 내시경 (WCE) 은 비침습적으로 소장 내부를 시각화할 수 있게 하지만, 검사당 생성되는 방대한 양의 프레임과 매우 다양한 영상 조건 하에서 미세한 이상을 식별하는 어려움으로 인해 중요한 임상적 제약에 직면해 있습니다. WCE 를 위한 기존 머신러닝 접근법은 주로 비전 (vision) 만을 활용하며, 종종 제한된 병리 집합에 국한되고 다양한 데이터셋 및 임상 센터 간에 일반화 능력이 제한적입니다. 이러한 모델들은 일반적으로 고정된 클래스 레이블에 의존하여, 의미론적 해석 가능성이 부족한 출력을 생성하고 분포 변화 (예: 병리 유병률, 획득 장치, 또는 영상 외관의 변화) 에 취약합니다. 더 나아가, 자연스러운 이미지 - 텍스트 쌍 데이터 (특정 프레임과 연결된 임상 보고서) 가 대규모로 존재하지 않으며, 기존 의료 비전 - 언어 모델은 서로 다른 특성을 가진 방사선학 또는 기타 모달리티로 훈련되기 때문에 WCE 를 위한 도메인 특화형 멀티모달 프레임워크가 부족합니다.

방법론
본 논문은 WCE 프레임을 임상적으로 근거 있는 텍스트 설명과 정렬하도록 설계된 도메인 특화형 비전 - 언어 표현 학습 프레임워크인 CapCLIP을 제안합니다. 이 방법론은 구조화된 캡션 생성 파이프라인을 통해 자연스러운 이미지 - 텍스트 쌍의 부재를 해결합니다:

1. 캡션 생성: 프레임 수준의 레이블이 사전 정의된 캡션 템플릿, 델파이 합의 연구에서 도출된 도메인 특화 용어, 그리고 의학 문헌의 맥락적 지식 베이스에 의해 안내된 대규모 언어 모델 (LLM) 을 사용하여 풍부한 텍스트 설명으로 변환됩니다. 이러한 캡션은 시각적 특성, 병리 의미론, 그리고 임상적 관련성을 인코딩합니다 (예: "발적 (Erythema)"을 "혈관 병변 (vascular lesion)"과 연결하거나 "비정상 (Abnormal)"을 "크론병 (Crohn's disease)"과 연결).
2. 아키텍처: 이 프레임워크는 두 개의 인코더를 갖춘 CLIP 스타일의 아키텍처를 채택합니다:
   • 이미지 인코더: OpenAI CLIP 가중치로 초기화된 비전 트랜스포머 (ViT) 로, ViT-B/16 및 ViT-L/14 두 가지 변형으로 평가됨.
   • 텍스트 인코더: 바이트 페어 인코딩 (BPE) 을 사용하는 12 층 트랜스포머 (원래 CLIP 설정과 유사).
3. 훈련 목적: 모델은 공유된 초구면 (hyperspherical) 공간 내에서 이미지 및 텍스트 임베딩을 정렬하기 위해 대칭적 교차 엔트로피 손실을 사용하여 훈련됩니다. 훈련은 매칭된 이미지 - 텍스트 쌍이 높은 코사인 유사성을 갖도록 하고, 매칭되지 않은 쌍은 서로 멀어지도록 하는 미니배치를 활용합니다.
4. 변형: 세 가지 훈련 모드가 탐구됩니다:
   • CapCLIP-B: 이진 분류 (정상 vs 비정상).
   • CapCLIP-M: 다중 클래스 분류 (특정 병리 레이블).
   • CapCLIP-MIX: 이진 및 다중 클래스 페어링을 결합한 하이브리드 접근법.

실험 설정 및 평가
이 프레임워크는 훈련 중에 사용되지 않은 보이지 않는 분포 외 (out-of-distribution) WCE 데이터셋 (CrohnIPI, KID2, Galar) 을 사용하여 엄격한 Zero-shot 조건 하에서 평가됩니다. 훈련 데이터는 SEE-AI 및 Kvasir-Capsule 데이터셋으로 구성됩니다. 평가는 CapCLIP 을 여러 베이스라인과 비교합니다:

• 비전 전용 기반 모델: EndoSSL, EndoFM, EndoFM-LV.
• 일반/의료 비전 - 언어 모델: CLIP (OpenAI), MedCLIP, BioMedCLIP, MedImageInsight.

성능은 세 가지 다운스트림 작업을 통해 평가됩니다:

1. Zero-shot K-최근접 이웃 (KNN) 분류: 시각적 임베딩의 의미론적 구조를 탐지.
2. Zero-shot CLIP 스타일 이미지 - 텍스트 분류: 텍스트 프롬프트를 사용한 교차 모달 판별 능력 평가.
3. Zero-shot 텍스트 - 이미지 검색: 텍스트 쿼리에 기반하여 관련 프레임을 검색하는 능력 평가 (광범위한 "이상" 수준과 세밀한 "병리" 수준 모두).

주요 결과

• KNN 분류: CapCLIP 은 KID2 및 CrohnIPI 데이터셋에서 베이스라인을 일관되게 능가했으며, 다중 클래스 설정에서 가중 F1 점수가 최대 +11.2% 향상되었습니다. Galar 데이터셋에서는 데이터셋의 높은 중복성으로 인해 KNN 탐지가 덜 판별적이었기 때문에 베이스라인과 성능이 유사했습니다.
• 이미지 - 텍스트 분류: CapCLIP 은 모든 베이스라인보다 상당한 개선을 보여주었습니다. 이진 분류에서 최상의 베이스라인 대비 AUROC/AUPRC 가 최대 +54.5% 향상되었습니다. 다중 클래스 분류에서는 개선 폭이 더욱 두드러져 CrohnIPI 데이터셋에서 가중 F1 점수가 최대 +206.7% 향상되었습니다.
• 텍스트 - 이미지 검색: CapCLIP 은 검색 성능을 크게 개선했습니다. 광범위한 이상 검색의 경우 CrohnIPI 에서 mAP 가 최대 +94.2% 향상되었고, 세밀한 병리 검색의 경우 Galar 데이터셋에서 가중 Precision@200 이 최대 +260.8% 향상되었습니다.
• 임베딩 시각화: t-SNE 시각화는 CapCLIP 이 비전 전용 및 기존 의료 비전 - 언어 베이스라인 모두보다 더 명확한 클러스터 구조와 더 나은 클래스 간 분리성을 가진 임베딩을 학습함을 확인시켜 주었습니다.

의의 및 주장
본 논문은 CapCLIP 이 캡슐 내시경에 특화된 기반 모델로 나아가는 중요한 단계라고 주장합니다. 주요 의의는 언어 기반 표현 학습이 기존 일반 도메인 또는 의료 도메인 베이스라인이 생성한 임베딩보다 더 전이 가능하고 의미론적으로 풍부한 임베딩을 산출할 수 있음을 입증하는 데 있습니다.

주요 기여점은 다음과 같습니다:

1. WCE 데이터에서 멀티모달 모델을 평가하기 위한 체계적인 Zero-shot 벤치마킹 프레임워크 개발.
2. 자연스러운 이미지 - 텍스트 쌍이 부재하는 모달리티를 위한 언어 기반 표현 학습을 가능하게 하는 CapCLIP 도입.
3. 구조화되고 병리 인식형 캡션과 이미지를 정렬하는 것이 보이지 않는 데이터셋으로의 일반화를 개선하고 WCE 분석의 의미론적 해석 가능성을 향상시킨다는 증거 제시.

저자들은 현재 비전 전용 접근법이 고정된 분류 체계에 의해 제한받는 반면, 제안된 비전 - 언어 접근법은 의사가 사전 정의된 레이블로 제한되지 않고 자연어 개념을 사용하여 WCE 데이터를 쿼리할 수 있게 함으로써 임상 의사결정 지원을 위한 더 유연한 경로를 제공한다고 결론지었습니다. 또한 저자들은 생성된 캡션에 대한 의존성과 일반 기반 모델에 비해 상대적으로 작은 규모의 WCE 훈련 데이터라는 한계를 인정하며, 향후 연구는 더 큰 데이터셋과 통합된 훈련 전략에 초점을 맞춰야 한다고 제안합니다.