Handling Supervision Scarcity in Chest X-ray Classification: Long-Tailed and Zero-Shot Learning

이 논문은 흉부 X-ray 분류에서 발생하는 불균형한 장기 꼬리 분포와 누락된 희귀 병변 주석 문제를 해결하기 위해 각각 불균형 인식 학습과 제로샷 학습 전략을 도입하여 CXR-LT 2026 챌린지에서 1 위를 차지한 방법을 제시합니다.

핵심

🏥 배경: 왜 AI 가 힘들어할까?

일반적으로 AI 는 많은 데이터를 볼수록 잘 배우지만, 의료 데이터는 조금 다릅니다.

1. **불공정한 데이터 **(긴 꼬리 분포)

   • 상황: AI 가 학습하는 X-ray 이미지 100 장 중 90 장은 '폐렴'이나 '흉수' 같은 흔한 병변이고, 나머지 10 장 중 9 장은 아주 흔한 '비정상'입니다. 하지만 진짜 중요한 **드문 병 **(예: 희귀 종양)은 1 장도 안 나올 수도 있습니다.
   • 문제: AI 는 "많이 나오는 것"만 보고 배우다가, "드물게 나오는 중요한 병"은 아예 못 보게 됩니다. 마치 **시험을 볼 때, 자주 나오는 문제만 외워서 시험을 보다가, 한 번도 안 나온 어려운 문제 **(드문 병)와 같습니다.

2. **보이지 않는 병 **(Zero-shot)

   • 상황: AI 가 훈련하는 동안에는 'A 병', 'B 병'만 배웠는데, 실제 진료에서는 AI 가 한 번도 본 적 없는 'C 병'이 나타날 수 있습니다.
   • 문제: AI 는 "이 병은 훈련할 때 없었으니 모른다"라고 말하고 넘어갑니다. 마치 요리사에게 '김치찌개'와 '된장찌개'만 가르쳐놓고, 갑자기 '떡볶이'를 만들어달라고 하면 당황하는 상황과 같습니다.

---

🚀 이 연구의 해결책: 두 가지 미션

이 연구팀은 위 두 가지 문제를 해결하기 위해 각각 다른 전략을 썼습니다.

🎯 미션 1: 드문 병도 놓치지 않기 (Task 1)

전략: "약한 학생에게 더 많은 점수 부여하기"

• 비유: 학급에서 성적이 좋은 학생 (흔한 병) 은 이미 잘하니까 조금만 봐주고, 성적이 낮은 학생 (드문 병) 에게는 특별 보너스 점수를 주면서 집중적으로 가르치는 것입니다.
• 구체적인 방법:
  • 가중치 조정: AI 가 드문 병을 맞출 때 평소보다 훨씬 더 큰 '보상'을 줍니다.
  • 샘플링: 드문 병이 있는 이미지를 AI 가 더 자주 보게끔 반복해서 보여줍니다.
  • 정리: AI 가 "아, 이건 흔한 병이구나"라고 너무 자신할 때, "잠깐, 혹시 드문 병은 아닐까?"라고 다시 한번 확인하게 하는 후처리 과정을 거칩니다.

🔮 미션 2: 본 적 없는 병도 맞히기 (Task 2)

전략: "의사에게 '설명서'를 보여주는 것"

• 비유: AI 가 '떡볶이'를 본 적이 없다고 해서 포기하는 게 아니라, **떡볶이에 대한 설명서 **(텍스트)를 보여주고, "이 사진이 설명서와 얼마나 비슷해?"라고 물어보는 방식입니다.
• 구체적인 방법:
  • 시각 - 언어 모델 사용: AI 는 X-ray 이미지와 의학적 설명 (텍스트) 을 연결하는 능력을 이미 가지고 있습니다.
  • 프롬프트 엔지니어링: AI 가 본 적 없는 6 가지 드문 병 (예: 척추 측만증, 골다공증 등) 에 대해 의학적 설명을 텍스트로 입력합니다.
  • 비교: AI 는 "이 X-ray 이미지"와 "드문 병에 대한 텍스트 설명"을 비교하여, 이미지 속 모습이 설명과 얼마나 닮았는지 점수로 매깁니다. 훈련 데이터가 없어도, 언어를 이해하는 능력을 통해 추측해내는 것입니다.

---

🏆 결과: 수석의 탄생

이 연구팀은 이 두 가지 전략을 적용해 CXR-LT 2026이라는 국제 대회에 참가했습니다.

• 결과: 두 가지 미션 (드문 병 찾기, 본 적 없는 병 추측하기) 에서 모두 1 위를 차지했습니다.
• 의미: AI 가 단순히 많이 나온 병만 잘 보는 게 아니라, 드문 병도 잘 찾아내고, 훈련하지 않은 새로운 병에 대해서도 의학적 설명을 통해 추론할 수 있음을 증명했습니다.

💡 한 줄 요약

"이 연구는 AI 가 흔한 병만 보는 편견을 고치고, 본 적 없는 병도 의학적 설명을 통해 추측할 수 있게 만들어, 더 똑똑하고 공정한 의료 AI 를 개발한 것입니다."

이 기술이 실제 병원에 적용된다면, AI 가 의사의 눈을 대신해 희귀 질환을 놓치지 않고, 새로운 질병에 대해서도 빠르게 대응할 수 있는 '수석 의사'가 될 날이 머지않았음을 보여줍니다.

기술 요약

1. 문제 정의 (Problem)

임상 현장에서의 흉부 X 선 (CXR) 분류는 불완전한 감독 (Imperfect Supervision) 으로 인해 큰 어려움을 겪고 있습니다. 주요 문제는 다음과 같습니다.

• 극단적인 장꼬리 분포 (Extreme Long-tailed Distribution): 흔한 질병 (Head classes) 은 데이터에 많지만, 임상적으로 중요한 희귀 질환 (Tail classes) 은 데이터가 매우 적어 기존 모델이 희귀 질환을 제대로 인식하지 못합니다.
• 누락된 주석 및 미관측 데이터: 희귀하거나 이전에 보지 못한 (Unseen) 소견에 대한 라벨링이 누락되어 있거나 아예 존재하지 않는 경우가 많습니다.
• 다중 라벨 (Multi-label) 복잡성: 하나의 이미지 내에 여러 가지 이상 소견이 동시에 존재할 수 있어 균형 잡힌 예측이 어렵습니다.

이를 해결하기 위해 CXR-LT 2026 챌린지는 PadChest 기반 벤치마크를 통해 두 가지 핵심 과제를 제시했습니다:

1. Task 1: 30 개의 인-분포 (In-Distribution, ID) 클래스에 대한 장꼬리 다중 라벨 분류.
2. Task 2: 6 개의 아웃-분포 (Out-of-Distribution, OOD) 클래스에 대한 제로샷 (Zero-shot) 인식 (학습 시 해당 클래스의 라벨이나 예시를 전혀 사용하지 않음).

2. 방법론 (Methodology)

저자들은 두 가지 과제를 해결하기 위해 각각 맞춤형 전략을 제안했습니다.

Task 1: 장꼬리 다중 라벨 분류 (Long-tailed Multi-label Classification)

희귀 질환의 인식률을 높이면서도 흔한 질환의 성능을 유지하기 위해 불균형 인식 (Imbalance-aware) 학습 전략을 사용했습니다.

• 모델 아키텍처: MIMIC-CXR 에서 사전 학습된 ConvNeXtV2-Base를 백본으로 사용하며, 두 가지 헤드를 파인튜닝합니다.
  • 표준 MLP 헤드
  • 클래스별 공간 주의 (Class-specific Spatial Attention) 를 도입한 CSRA 헤드
• 손실 함수 (Distribution-Balanced Loss):
  • 클래스별 유효 샘플 수 (Effective number) 를 기반으로 가중치를 재조정하여 희귀 클래스의 기여도를 높입니다.
  • 양수 (Positive) 라벨에 마진 (Margin) 조정을 적용하여 불균형을 완화합니다.
• 샘플링 전략 (Class-Aware Sampling): 희귀 양성 라벨을 포함하는 이미지를 오버샘플링하는 'Repeat-factor' 방식의 샘플러를 사용하여 모델이 희귀 질환을 더 자주 접하도록 합니다.
• 추론 (Inference) 파이프라인:
  • TTA (Test-Time Augmentation): 회전, 플립, 줌 인/아웃 등 다양한 변환을 적용한 예측의 평균을 취합니다.
  • 앙상블: 두 개의 서로 다른 체크포인트를 가중 평균하여 결합합니다.
  • 후처리 (Normal Gating): '정상 (Normal)' 클래스의 확률이 높을 경우, 다른 모든 이상 소견의 점수를 $(1 - p_{normal})^{\alpha}$만큼 감쇠시켜 가짜 양성 (False Positive) 을 줄입니다.

Task 2: 제로샷 OOD 인식 (Zero-shot OOD Recognition)

학습 시 OOD 클래스의 라벨을 사용할 수 없으므로, 시각 - 언어 매칭 (Vision-Language Matching) 문제를 접근했습니다.

• 모델: WhyXrayCLIP 사용. OpenCLIP ViT-L/14 백본을 기반으로 MIMIC-CXR 의 대규모 이미지 - 보고서 쌍으로 파인튜닝된 의료 특화 모델입니다.
• 프로세스:
  • 각 OOD 질병 (예: 척추측만증, 골다공증 등) 에 대해 여러 개의 방사선학적 텍스트 프롬프트 (Text Prompts) 를 정의합니다.
  • 이미지 임베딩과 텍스트 프롬프트 임베딩 간의 코사인 유사도를 계산합니다.
  • 여러 프롬프트에 대한 유사도를 평균한 후, 스케일링된 시그모이드 함수를 적용하여 [0, 1] 확률로 매핑합니다.
  • 이 방식은 OOD 클래스에 대한 감독 학습 없이도 텍스트 프롬프트를 클래스 프로토타입으로 활용하여 제로샷 인식을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 임상적 현실성 반영: 장꼬리 분포와 누락된 라벨이라는 실제 임상 데이터의 한계를 해결하기 위한 두 가지 독립적이지만 통합된 솔루션을 제시했습니다.
2. 불균형 인식 학습 전략: 손실 함수 재가중치, 클래스 인식 샘플링, 그리고 'Normal Gating' 기반의 후처리를 결합하여 희귀 질환의 성능을 극대화했습니다.
3. 데이터 없는 제로샷 인식: OOD 클래스의 라벨 없이도 텍스트 프롬프트와 시각 - 언어 모델을 활용하여 새로운 질병을 정확히 식별하는 방법을 입증했습니다.
4. 성능 입증: 개발 단계 공개 리더보드에서 두 과제 모두 1 위를 차지하며 방법론의 유효성을 입증했습니다.

4. 결과 (Results)

CXR-LT 2026 개발 단계 공개 리더보드 (Public Development Leaderboard) 기준 결과입니다. 주요 지표는 Macro-averaged mAP입니다.

과제	순위	mAP	mAUC	mF1	비고
Task 1 (장꼬리 분류)	1 위	0.583	0.919	0.376	2 위 (0.535) 보다 0.048 포인트 우위
Task 2 (제로샷 OOD)	1 위	0.467	0.779	0.259	2 위 (0.365) 보다 0.102 포인트 우위

• Task 1: 희귀 질환에 대한 인식력이 크게 향상되었으며, mAUC(0.919) 와 mF1(0.376) 에서도 최상위권을 기록했습니다.
• Task 2: 학습 데이터가 전혀 없는 OOD 클래스에서도 강력한 성능을 보여, 제로샷 학습의 효과성을 입증했습니다.
• 한계: 공개 리더보드 기준이며, mECE(기대 오차) 가 다소 높게 나와 보정 (Calibration) 측면에서는 개선의 여지가 있음을 인정했습니다.

5. 의의 및 결론 (Significance)

이 논문은 의료 영상 분석 분야에서 감독 신호가 부족하거나 불균형한 상황을 해결하기 위한 실용적이고 강력한 프레임워크를 제시했습니다.

• 임상 적용 가능성: 실제 임상 환경에서는 희귀 질환의 데이터가 부족하고 새로운 질병이 계속 발견되므로, 제안된 장꼬리 학습 및 제로샷 인식 전략은 AI 모델의 배포 신뢰성을 높이는 데 기여합니다.
• 기술적 확장성: 시각 - 언어 모델 (CLIP 계열) 을 의료 도메인에 적응시켜 라벨 없는 학습을 가능하게 한 접근법은 향후 의료 VQA(시각적 질문 응답) 나 보고서 생성과 같은 다른 작업으로도 확장 가능합니다.
• 벤치마크 기여: CXR-LT 2026 챌린지를 통해 의료 AI 연구계가 직면한 '데이터 불균형'과 '새로운 질병 인식'이라는 두 가지 핵심 과제를 체계적으로 평가할 수 있는 기준을 마련했습니다.

저자들은 향후 모델의 보정 능력 향상, 다양한 의료 기관 및 촬영 환경에서의 강건성 확보, 그리고 더 정교한 텍스트 - 이미지 정렬을 통한 제로샷 성능 향상을 위한 연구를 진행할 계획입니다.