Loss Design and Architecture Selection for Long-Tailed Multi-Label Chest X-Ray Classification

이 논문은 CXR-LT 2026 벤치마크를 기반으로 LDAM-DRW 손실 함수와 ConvNeXt-Large 아키텍처를 결합하여 장기 꼬리 분포를 가진 다중 레이블 흉부 X-ray 분류 문제를 해결하고, 68 개 팀 중 5 위를 기록한 체계적인 실증 평가 및 분석을 제시합니다.

핵심

1. 문제 상황: "유명 스타 vs. 무명 배우"의 불공정 경쟁

가슴 X-ray 데이터를 상상해 보세요.

• 헤드 클래스 (유명 스타): '심장 비대'나 '흉수' 같은 병은 환자들에게 아주 흔합니다. 데이터에 수천 장씩 쌓여 있죠.
• 테일 클래스 (무명 배우): '기흉'이나 '폐기종' 같은 병은 드뭅니다. 데이터에 몇 장밖에 없죠.

기존의 AI 는 이 데이터를 공부할 때, 수천 장의 '유명 스타' 사진만 보고 공부하느라, '무명 배우'가 등장하면 "아, 이건 그냥 배경이겠지?"라고 무시해 버립니다. 하지만 의학에서는 드문 병일수록 더 중요할 수 있습니다. 이 AI 는 드문 병을 놓치면 안 되죠.

2. 해결책 1: "공부 방법 바꾸기" (손실 함수 설계)

저자들은 AI 가 공부를 할 때, 드문 병을 더 열심히 가르치는 방법을 실험했습니다.

• 기존 방식 (BCE): 모든 병을 똑같이 취급합니다. 유명 스타가 100 번, 무명 배우가 1 번 나오면 AI 는 무명 배우를 거의 무시합니다.
• 새로운 방식 (LDAM-DRW):
  • 비유: 시험을 치를 때, '유명 스타' 문제는 1 점 주고, '무명 배우' 문제는 100 점을 줍니다.
  • 전략: 처음에는 모든 문제를 골고루 풀게 하다가 (일반적인 특징 학습), 나중에 드문 병 (무명 배우) 에만 집중해서 점수를 더 많이 주도록 학습 방식을 바꿨습니다.
  • 결과: 이 방법 (LDAM-DRW) 이 가장 잘 작동했습니다. 드문 병을 찾아내는 능력이 크게 향상되었죠.

3. 해결책 2: "뇌의 크기 키우기" (아키텍처 선택)

학습 방법뿐만 아니라, **AI 의 두뇌 구조 (모델)**도 중요했습니다.

• 구식 두뇌 (ResNet, DenseNet): 예전부터 쓰던 구조입니다. 나쁘지는 않지만, 드문 병을 구별하는 데 한계가 있었습니다.
• 최신 두뇌 (ConvNeXt): 최신 트렌드를 반영한 구조입니다. 마치 고급 스포츠카처럼 더 넓은 시야와 더 많은 처리 능력을 가졌습니다.
• 결과: 'ConvNeXt-Large'라는 최신 모델이 가장 좋은 성적을 냈습니다. 드문 병을 찾아내는 데 훨씬 능숙했습니다.

4. 해결책 3: "시험 직전 전략" (후처리 전략)

학습이 끝난 후, 실제 시험 (환자 진단) 을 볼 때 적용한 전략들입니다.

• 분류기 재학습 (cRT): "두뇌 (특징 추출) 는 그대로 두고, 마지막 판단을 하는 '판사'만 새로 채용해서 훈련시켰다"는 뜻입니다. 드문 병을 판단할 때 판사가 더 민감해지도록 한 거죠.
• 테스트 시간 증강 (TTA): X-ray 사진을 좌우로 뒤집거나 살짝 회전시켜서 여러 번 보고, 그 결과를 평균냈습니다. 마치 "이 사진을 여러 각도에서 봐도 똑같다면 진짜 병일 확률이 높겠지?"라고 생각하는 것과 같습니다.

5. 결과와 교훈: "성적표의 아이러니"

이 연구는 CXR-LT 2026이라는 국제 대회에 참가했습니다.

• 성적: 68 개 팀 중 5 위를 차지했습니다. (전체 1,528 개의 제출물 중)
• 흥미로운 점:
  • 순위 (mAP): 드문 병을 '찾아내는 능력'은 매우 뛰어났습니다. (순위 5 등)
  • 정확도 (F1 점수): 하지만 "이게 병이다"라고 정확히 찍는 능력은 생각보다 낮았습니다. (0.0945 점)

왜 이런 일이 생겼을까요?
비유하자면, AI 는 "병이 있을 것 같은 부위"를 아주 잘 찾아냈습니다. (예: "여기, 저기, 저기 다 이상해 보여요!") 하지만 "정확히 병이다"라고 확정 짓는 기준이 너무 엄격하거나, 반대로 너무 느슨해서 실제 진단에서는 놓치는 경우가 많았습니다.

• 개발 데이터 vs 실제 데이터: 연구실 안에서 (개발 데이터) 는 52 점 만점에 52 점에 가까운 성적을 냈는데, 실제 대회 (테스트 데이터) 에서는 39 점으로 떨어졌습니다. 이는 AI 가 연구실 데이터에 너무 맞춰져서 (과적합) 실제 상황에서는 조금 덜 작동했다는 뜻입니다.

6. 결론: 앞으로의 방향

이 논문은 우리에게 두 가지 중요한 교훈을 줍니다.

1. 드문 병을 위해 공부를 다르게 해야 한다: 드문 병을 찾아내려면 '무명 배우'에게 더 많은 점수를 주는 학습 방식 (LDAM-DRW) 과 최신 두뇌 (ConvNeXt) 가 필수적입니다.
2. 찾아내는 것과 정확히 진단하는 것은 다르다: "병이 있을 것 같다"고 찾는 능력 (순위) 만 좋으면 안 됩니다. "이게 병이다"라고 확신할 수 있도록 확률을 조정하는 기술이 더 필요합니다.

한 줄 요약:

"AI 가 드문 병을 찾아내는 눈은 밝아졌지만, '진짜 병'과 '아닌 병'을 구분하는 기준을 더 다듬어야 진짜 의료 현장에서 쓸모 있는 도구가 될 수 있다."

이 연구는 앞으로 병원에서 AI 가 드문 질병을 놓치지 않고 정확하게 진단할 수 있도록 하는 중요한 발걸음이 되었습니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 흉부 X-ray (CXR) 는 전 세계적으로 가장 널리 사용되는 진단 영상이지만, 데이터 내 임상 소견의 분포는 본질적으로 장꼬리 (Long-tailed) 분포를 따릅니다. 심비대나 흉수 같은 흔한 질환은 많지만, 기흉이나 폐기종 같은 드문 질환은 매우 적게 존재합니다.
• 도전 과제:
  • 심한 클래스 불균형: 기존 손실 함수는 다수 클래스 (Head classes) 에 편향되어, 임상적으로 중요하지만 드문 소견 (Tail classes) 을 제대로 인식하지 못합니다.
  • 다중 레이블 특성: 단일 환자가 여러 질환을 동시에 가질 수 있어, 단일 레이블 분류와 달리 복잡한 레이블 공존 패턴을 학습해야 합니다.
  • 체계적 평가 부재: 손실 함수, 백본 아키텍처, 사후 학습 전략 간의 상호작용을 장꼬리 다중 레이블 CXR 분류에 대해 체계적으로 분석한 연구가 부족했습니다.

2. 방법론 (Methodology)

저자는 CXR-LT 2026 벤치마크 (PadChest 기반, 약 14.3 만 장의 이미지, 30 개 질병 레이블) 를 사용하여 다음과 같은 실험을 수행했습니다.

가. 손실 함수 (Loss Functions)

• LDAM-DRW (Label-Distribution-Aware Margin with Deferred Re-weighting):
  • 소수 클래스에 더 큰 결정 마진 (Margin) 을 부여하는 LDAM 손실을 사용.
  • DRW (Deferred Re-weighting): 초기 학습 단계에서는 균일 가중치를 사용하여 일반적인 특징을 학습한 후, 일정 기간이 지난 후 클래스 균형 가중치로 전환하여 소수 클래스에 집중.
  • 다중 레이블 설정을 위해 30 개 클래스를 독립적인 이진 분류 문제로 처리.
• 비대칭 손실 (Asymmetric Loss): 양/음성 샘플에 다른 포커싱 파라미터를 적용하지만, 본 연구에서는 극단적인 불균형으로 인해 성능이 저하됨.
• 기타: 표준 이진 교차 엔트로피 (BCE) 를 베이스라인으로 사용.

나. 아키텍처 (Network Architectures)

다양한 설계 철도와 모델 용량을 가진 CNN 백본들을 비교 평가:

• 전통적 CNN: ResNet-50/101, DenseNet-121/169.
• 효율적 모델: EfficientFormerV2-S.
• 최신 모델 (Transformer 영감): ConvNeXt-Base 및 ConvNeXt-Large (패치형 스템, 대형 커널, 레이어 정규화 등 적용).
• 모든 모델은 ImageNet 사전 학습 가중치로 초기화되었으며, 30 개 로짓을 출력하는 분류 헤드를 가짐.

다. 사후 학습 전략 (Post-Training Strategies)

• 분류기 재학습 (Classifier Re-training, cRT): 두 단계 학습 방식. 1 단계에서 전체 네트워크를 학습한 후, 2 단계에서는 백본을 고정하고 분류기 헤드만 클래스 균형 샘플링으로 재학습.
• 테스트 시간 증강 (TTA): 수평 반전 및 작은 회전 (±5°) 을 적용한 증강된 이미지들의 예측값 평균화.
• 앙상블 (Ensembling): 검증 성능이 좋은 모델들의 예측을 가중 평균하여 결합.

3. 주요 기여 (Key Contributions)

1. 손실 함수 비교: 다양한 CNN 아키텍처 (ResNet ~ ConvNeXt) 에 걸쳐 LDAM-DRW가 드문 클래스 인식에 있어 BCE 및 Asymmetric Loss 보다 일관되게 우월함을 입증.
2. 아키텍처 성능 입증: 현대적인 아키텍처, 특히 ConvNeXt-Large가 기존 백본보다 훨씬 우수한 성능을 보임 (단일 모델 기준 mAP 0.5220 달성).
3. 전략적 분석: cRT, TTA, 캘리브레이션, 앙상블이 랭킹 지표 (mAP, AUC) 와 인스턴스 레벨 지표 (F1) 에 미치는 영향을 분석.
4. 실제 경쟁 분석: CXR-LT 2026 테스트 리더보드 5 위 (전체 68 팀 중) 달성 결과를 공개하고, 개발 세트와 테스트 세트 간의 성능 격차 (Gap) 에 대한 솔직한 분석 제공.

4. 실험 결과 (Results)

• 손실 함수 영향: ResNet-50 에서 BCE 대비 LDAM+DRW 사용 시 mAP 가 0.3248 에서 0.4241 로 30% 이상 향상. Asymmetric Loss 는 극단적인 불균형으로 인해 성능이 매우 낮았음 (mAP 0.0667).
• 아키텍처 영향:
  • ConvNeXt-Large가 단일 모델 중 가장 높은 성능 기록 (개발 세트 mAP 0.5220, F1 0.3765).
  • 용량 증가와 현대적 CNN 설계 원칙의 결합이 장꼬리 학습에 유리함.
• 전략 효과:
  • cRT: AUC 등 랭킹 지표는 개선되었으나, F1 점수나 캘리브레이션 오차 개선에는 일관된 효과가 없었음.
  • TTA 및 앙상블: AUC 는 향상되었으나, F1 점수나 mAP 는 단일 최선 모델보다 나아지지 않음 (랭킹 강건성 vs 인스턴스 정확도 간의 트레이드오프).
• 경쟁 결과:
  • 공식 테스트 리더보드에서 mAP 0.3950을 기록하여 5 위 (1528 개 제출 중) 달성.
  • 성능 격차: 개발 세트 mAP (0.52) 대비 테스트 세트 mAP (0.395) 가 크게 하락. 이는 내부 검증 세트에 대한 과적합, 비최적 확률 캘리브레이션, 그리고 랭킹 지표 최적화에 치중된 앙상블 전략이 원인임.
  • F1 점수 문제: 테스트 F1 점수 (0.0945) 가 매우 낮아, 좋은 랭킹 성능이 반드시 높은 인스턴스 레벨 검출 정확도로 이어지지 않음을 시사.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 함의: 자동화된 CXR 스크리닝 시스템 배포 시, 흔한 질환뿐만 아니라 드문 병변을 신뢰성 있게 탐지하는 것이 필수적임.
• 실무 가이드:
  • 임상 장꼬리 작업의 기본 전략으로 LDAM-DRW 손실 함수와 ConvNeXt 같은 현대적 아키텍처의 조합을 권장.
  • 랭킹 지표 (mAP) 만으로는 충분하지 않으며, 클래스별 임계값 최적화와 확률 캘리브레이션 (Temperature Scaling, Isotonic Regression 등) 이 인스턴스 레벨 성능 향상을 위한 핵심 과제임을 강조.
• 향후 방향: Sharpness Aware Minimisation (SAM), 가중치 균형 조정, 레이블 공존 모델링을 위한 그래프 기반 방법론 등이 성능 격차 해소에 기여할 수 있음.

이 논문은 장꼬리 다중 레이블 의료 영상 분류에서 손실 함수와 아키텍처 선정의 중요성을 체계적으로 입증하고, 실제 임상 적용을 위한 실용적인 통찰력을 제공합니다.