Differential Attention-Augmented BiomedCLIP with Asymmetric Focal Optimization for Imbalanced Multi-Label Video Capsule Endoscopy Classification

논문 개요

이 논문은 비디오 캡슐 내시경 (VCE) 데이터의 극심한 클래스 불균형 문제를 해결하기 위해 제안된 멀티 레이블 분류 프레임워크를 다룹니다. 저자들은 BiomedCLIP 기반 모델을 개조하여 미세한 점막 병변을 탐지하고, 데이터의 불균형을 완화하기 위한 다층적 최적화 전략을 적용하여 ICPR RARE-VISION 챌린지 2026 에서 성능을 입증했습니다.

1. 문제 정의 (Problem)

• 데이터의 불균형: Galar 데이터셋과 같은 VCE 데이터에서는 해부학적 영역 (위, 소장, 대장) 이 프레임의 대부분을 차지하는 반면, 임상적으로 중요한 병리학적 소견 (활성 출혈, 혈관확장, 침식, 궤양 등) 은 전체 주석 프레임의 0.1% 미만으로 극히 희소합니다.
• 기존 모델의 한계: 표준 교차 엔트로피 손실 함수를 사용하면 모델이 다수 클래스 (정상 조직) 를 예측하여 높은 정확도를 보이더라도, 소수 클래스 (병변) 를 탐지하지 못하는 'recall collapse' 현상이 발생합니다.
• 작업 환경: 한 번의 VCE 검사로 생성되는 5 만~13 만 장의 이미지를 의사가 수동으로 검토하는 것은 시간 소모적이며 피로로 인한 오류가 발생할 수 있어 자동화 시스템이 필수적입니다.

2. 방법론 (Methodology)

제안된 파이프라인은 4 단계로 구성되며, 핵심 기술은 다음과 같습니다.

가. 아키텍처: 차분 주의 (Differential Attention) 강화 BiomedCLIP

• 기반 모델: PubMed Central 의 1500 만 쌍의 의학 이미지 - 텍스트로 사전 학습된 BiomedCLIP (ViT-B/16 + PubMedBERT) 을 사용합니다.
• 차분 주의 메커니즘 (Differential Attention):
  • 기존 멀티 헤드 셀프 어텐션을 수정하여, 두 개의 소프트맥스 어텐션 맵의 차이를 계산합니다.
  • 수식: $DiffAttn(X) = (\text{softmax}(Q_1K_1^T) - \lambda \cdot \text{softmax}(Q_2K_2^T))V$
  • 목적: 공통 모드 노이즈 (균일하거나 저랭크인 어텐션 맵) 를 상쇄하고, 희소하지만 진단적으로 의미 있는 공간적 영역 (병변) 에서의 신호를 증폭시킵니다.
• 전송 학습: 사전 학습된 가중치를 완전히 유지하면서 QKV 프로젝션만 분리하여 차분 파라미터화를 도입합니다.

나. 분류 아키텍처

• 분류 경로: ViT 에서 추출된 512 차원 특징을 Excitation Block (Squeeze-and-Excitation 기반) 을 통과시킨 후 17 개 클래스의 로짓으로 매핑합니다.
• 대조적 학습 경로 (Contrastive Path): 이미지 특징을 PubMedBERT 로 생성된 임상 텍스트 프롬프트 ("[라벨] 이 있는 비디오 캡슐 내시경 이미지") 와 매칭하여 대조적 손실을 계산합니다.

다. 클래스 불균형 처리 전략 (Multi-level Strategy)

1. 샘플링: $\sqrt{f_c}$ (희소 클래스의 빈도) 에 반비례하는 가중치를 부여하는 sqrt-frequency weighted sampler를 사용하여 희소 클래스를 과다 샘플링하되, 선형 역가중치의 불안정성을 피합니다.
2. 손실 함수: 비대칭 Focal Loss를 적용합니다 ($\gamma_+ = 1, \gamma_- = 4$). 쉽게 예측되는 음수 샘플의 가중치를 강하게 낮추고, 양성 샘플에 대한 그래디언트 흐름을 유지합니다.
3. 정규화: Mixup ($\alpha=0.3$), 라벨 스무딩 ($\epsilon=0.05$), 그리고 강력한 데이터 증강 (회전, 자르기, 색상 교란 등) 을 적용하여 과적합을 방지합니다.
4. 임계값 최적화: 검증 세트에서 클래스별 최적 임계값을 탐색하여 (희소 클래스는 0.05 부터 시작) F1 점수를 극대화합니다.

라. 시간적 후처리 (Temporal Post-Processing)

• 프레임별 예측을 이벤트 수준으로 변환하기 위해 **중앙값 필터 (window size=7)**를 적용하여 고립된 오검출을 제거합니다.
• 간격 병합 (Gap Merging): 5 프레임 이하의 간격을 동일한 클래스 이벤트로 간주하여 채웁니다 (임상적 연속성 반영).
• 3 프레임 미만의 짧은 이벤트는 제거합니다.

3. 주요 기여 (Key Contributions)

1. 차분 주의 메커니즘 도입: BiomedCLIP 의 어텐션 메커니즘을 수정하여 시각적 노이즈를 억제하고 미세한 점막 병변에 대한 판별력을 향상시켰습니다.
2. 다층적 불균형 해결: 샘플링, 손실 함수, 증강, 후처리 임계값 조정을 통합한 종합적인 전략을 통해 0.1% 미만의 병변 데이터에서도 학습이 가능하도록 했습니다.
3. 효율적인 파이프라인: 단일 GPU 에서 16 만 장 이상의 프레임을 약 8.6 분 만에 처리할 수 있는 효율적인 추론 파이프라인을 구축했습니다.

4. 실험 결과 (Results)

• 테스트 세트 성능: RARE-VISION 테스트 세트 (3 개 NaviCam 검사, 총 161,025 프레임) 에서 다음과 같은 결과를 달성했습니다.
  • Temporal mAP@0.5: 0.2456
  • Temporal mAP@0.95: 0.2353
  • 의미: mAP@0.5 와 mAP@0.95 간의 격차가 매우 작음 (0.0103) → 예측된 이벤트의 시간적 경계 (Temporal Boundary) 가 매우 정밀하게 위치함을 의미합니다.
• 클래스별 성능:
  • 해부학적 영역 (위, 소장, 대장) 은 높은 AP(0.849~0.996) 를 기록했으나, 활성 출혈, 혈관확장, 적혈구 (erythema) 등 희소 병변 (학습 데이터 200 프레임 미만) 은 AP 가 0.03 미만이었습니다. 이는 시각적 모호성과 데이터 부족의 근본적인 한계를 보여줍니다.
• 학습 동향: 정규화 전략으로 인해 검증 손실이 훈련 손실보다 2.3 배 정도만 증가하여 (과적합 방지), 5 에포크 동안 안정적인 학습이 이루어졌습니다.

5. 의의 및 결론 (Significance)

• 임상적 가치: VCE 데이터의 극심한 불균형과 노이즈 문제를 해결하여, 의사의 수동 검토 부담을 줄이고 희소 병변 탐지 가능성을 높이는 기술적 토대를 마련했습니다.
• 기술적 통찰: 사전 학습된 대규모 비전 - 언어 모델 (BiomedCLIP) 에 차분 주의 메커니즘을 결합함으로써, 의료 영상에서 '노이즈 제거'와 '신호 증폭'이 동시에 가능함을 입증했습니다.
• 한계 및 향후 과제: 200 프레임 미만의 극히 희소 클래스 (z-line, 활성 출혈 등) 에 대한 성능은 여전히 낮습니다. 이는 시각적 모호성과 데이터 부족 때문이며, 향후 **시퀀스 모델링 (RNN 또는 Attention 기반)**을 도입하여 프레임 간의 시간적 맥락과 병변의 점진적 형태 변화를 활용하는 연구가 필요하다고 결론지었습니다.

이 연구는 의료 영상 분석 분야에서 클래스 불균형과 미세 병변 탐지라는 두 가지 난제를 동시에 해결하기 위한 종합적인 접근법을 제시했다는 점에서 의의가 큽니다.