CXR-LT 2026 Challenge: Multi-Center Long-Tailed and Zero Shot Chest X-ray Classification
이 논문은 14 만 5 천 장 이상의 다중 기관 데이터를 기반으로 30 개 알려진 질병의 강건한 다중 레이블 분류와 6 개 미관측 희귀 질병에 대한 제로샷 일반화를 평가하는 'CXR-LT 2026' 챌린지의 개요, 데이터 구축, 참가팀의 솔루션 전략 및 성능 분석 결과를 제시합니다.
원저자:Hexin Dong, Yi Lin, Pengyu Zhou, Fengnian Zhao, Alan Clint Legasto, Juno Cho, Dohui Kim, Justin Namuk Kim, Mingeon Kim, Sunwoo Kwak, Gabriel Moyà-Alcover, Ky Trung Nguyen, Thanh-Huy Nguyen, Ha-Hieu PhHexin Dong, Yi Lin, Pengyu Zhou, Fengnian Zhao, Alan Clint Legasto, Juno Cho, Dohui Kim, Justin Namuk Kim, Mingeon Kim, Sunwoo Kwak, Gabriel Moyà-Alcover, Ky Trung Nguyen, Thanh-Huy Nguyen, Ha-Hieu Pham, Huy-Hieu Pham, Huy Le Pham, Nikhileswara Rao Sulake, Aina Tur-Serrano, Ruichi Zhang, Ang Zu, Adam E. Flanders, Zhiyong Lu, Ronald M. Summers, Mingquan Lin, Hao Chen, Yuzhe Yang, George Shih, Yifan Peng
원저자: Hexin Dong, Yi Lin, Pengyu Zhou, Fengnian Zhao, Alan Clint Legasto, Juno Cho, Dohui Kim, Justin Namuk Kim, Mingeon Kim, Sunwoo Kwak, Gabriel Moyà-Alcover, Ky Trung Nguyen, Thanh-Huy Nguyen, Ha-Hieu Pham, Huy-Hieu Pham, Huy Le Pham, Nikhileswara Rao Sulake, Aina Tur-Serrano, Ruichi Zhang, Ang Zu, Adam E. Flanders, Zhiyong Lu, Ronald M. Summers, Mingquan Lin, Hao Chen, Yuzhe Yang, George Shih, Yifan Peng
지금까지의 AI 연구들은 마치 **"유명한 스타 배우들만 나오는 영화"**를 보고 배우를 구별하는 연습을 한 것과 비슷했습니다.
현실: 병원에서 찍는 X-ray 는 대부분 '정상'이거나 흔한 병 (감기, 폐렴 등) 입니다. 하지만 드물게 나타나는 희귀한 병도 존재합니다.
기존 AI 의 문제: AI 는 흔한 병은 잘 찾아내지만, **드문 병 (꼬리 부분)**은 거의 못 찾거나, 아예 새로운 병이 나오면 당황해합니다. 마치 "사과와 배는 잘 구분하지만, '드래곤'이 나오면 '사과'라고 잘못 부르는 학생"과 같습니다.
2. 이번 대회의 특징 (새로운 규칙)
이번 2026 년 대회는 이전보다 훨씬 현실적이고 까다로운 조건을 제시했습니다.
다양한 병원 데이터 (멀티센터): 서울의 병원과 부산의 병원, 심지어 해외 병원의 X-ray 데이터를 섞었습니다. 마치 **"다른 학교, 다른 교실의 시험지"**를 섞어서 보낸 것과 같습니다. AI 가 특정 학교의 문제만 외운 게 아니라, 진짜 실력을 발휘하는지 확인하기 위함입니다.
전문가의 눈 (라디오로그): 컴퓨터가 자동으로 쓴 보고서 대신, 실제 전문의 (라디오로그) 가 직접 눈으로 보고 정답을 적었습니다. 이는 AI 의 실력을 더 정확하게 측정하기 위한 '진짜 시험'입니다.
두 가지 미션:
미션 1 (흔한 병 찾기): 30 가지의 알려진 병 중에서 드문 병까지 잘 찾아내는 것.
미션 2 (새로운 병 추측하기): 훈련할 때 전혀 가르쳐주지 않은 6 가지의 새로운 병을 보고도 "아, 이건 저런 병이겠구나!"라고 추측해내는 것 (제로샷 학습).
3. 참가팀들의 전략 (해결책)
전 세계 72 개 팀이 참가했는데, 그들은 다양한 방법을 썼습니다.
기존 방식 (미션 1): 드문 병을 더 많이 보게 하거나, 흔한 병보다 드문 병에 더 점수를 주는 방식으로 AI 를 훈련시켰습니다. (비유: 시험에서 자주 나오는 문제보다 잘 모르는 문제를 더 많이 풀게 하는 것)
새로운 방식 (미션 2): **시각 - 언어 모델 (Vision-Language Model)**을 사용했습니다. 이는 AI 에게 "이 병은 '목이 붓는 것'과 비슷해"라고 글자 (텍스트) 로 설명을 해주고, X-ray 이미지와 그 설명을 연결시키는 방식입니다. 마치 **"새로운 동물을 보지 못했지만, '코끼리'라는 글자 설명을 듣고 '코가 긴 동물'을 찾아내는 것"**과 같습니다.
4. 주요 결과 (무엇이 잘되고, 무엇이 안 됐나?)
성공한 점:
AI 가 흔한 병을 찾는 능력은 매우 뛰어났습니다. (정답률 90% 이상)
언어와 이미지를 연결하는 최신 AI 모델이 새로운 병을 추측하는 데 도움을 주었습니다.
아쉬운 점 (여전히 어려운 문제):
드문 병은 여전히 약합니다: 병이 아주 드물수록 AI 의 정확도는 뚝 떨어집니다. 여전히 "희귀한 병"을 찾아내는 것은 AI 에게 큰 난관입니다.
병원마다 달라요: 한 병원 데이터로 훈련한 AI 가 다른 병원 데이터에서는 성능이 떨어졌습니다. (비유: 서울에서 운전 연습을 잘한 사람이, 부산의 좁은 골목길에서는 당황하는 것)
약간의 변화에도 흔들림: X-ray 이미지를 살짝 회전하거나 밝기를 바꾸기만 해도 AI 의 판단이 흔들렸습니다. 이는 AI 가 아직 '진짜' 이해를 하기보다 '패턴'을 외운 상태임을 보여줍니다.
5. 결론: 앞으로의 방향
이 대회는 AI 가 병원 현장에서 실제로 쓰이려면 넘어야 할 산을 명확히 보여주었습니다.
핵심 메시지: AI 는 이제 '유명한 병'을 잘 찾지만, '드문 병'과 '새로운 병'을 찾아내고, 병원이 바뀌어도 흔들리지 않는 강인함을 갖추려면 더 많은 연구가 필요합니다.
비유: 지금의 AI 는 "유명한 스타 배우는 잘 알아보는 팬" 수준입니다. 앞으로는 **"아무도 본 적 없는 새로운 캐릭터도 보고 '이건 저런 역할이겠구나'라고 알아보는 배우"**가 되어야 합니다.
이 논문은 바로 그 다음 단계로 가기 위한 현실적인 지도와 나침반을 제공했다고 할 수 있습니다.
1. 문제 정의 (Problem)
임상 환경에서 흉부 X-ray 해석은 다음과 같은 두 가지 주요 장애물에 직면해 있습니다:
장기 꼬리 분포 (Long-tailed Distribution): 흔한 질환은 많지만, 임상적으로 중요한 희귀 질환은 데이터셋에서 매우 드물게 나타납니다. 기존 심층 학습 모델은 흔한 클래스에 편향되어 희귀 질환 (Tail classes) 을 정확히 식별하지 못하는 경향이 있습니다.
오픈 월드 및 일반화 한계: 기존 벤치마크는 단일 기관의 폐쇄된 클래스 (Closed-set) 에 의존하여, 훈련 중 보지 못한 새로운 질환 (Unseen findings) 이나 다른 기관의 데이터에 대한 일반화 능력을 평가하지 못했습니다.
이러한 한계를 극복하고 현실적인 임상 조건을 반영하기 위해 CXR-LT 2026 챌린지가 설계되었습니다.
2. 데이터셋 및 방법론 (Methodology & Dataset)
2.1. 데이터 구성
소스: PadChest (스페인어 보고서 기반) 와 NIH Chest X-ray (미국) 데이터를 결합하여 145,000 장 이상의 다중 센터 (Multi-center) 데이터셋을 구성했습니다.
레이블 품질 향상: 이전 챌린지들이 보고서에서 자동 추출된 레이블을 사용했던 것과 달리, 2026 버전의 개발 및 테스트 세트는 전문 방사선과 의사가 직접 주석 (Annotation) 을 달았습니다. 이는 더 신뢰할 수 있는 Ground Truth 를 제공합니다.
데이터 분할:
훈련 세트: PadChest 의 142,928 장 (보고서 기반 약한 감독).
테스트 세트: PadChest-GR (의사 주석, 내부 테스트) 및 NIH ChestX-ray (의사 주석, 외부 테스트).
2.2. 주요 과제 (Tasks)
과제 1: 장기 꼬리 다중 레이블 분류 (Long-Tailed Multi-Label Classification)
목표: 30 개의 '알려진 (Seen)' 질병 카테고리를 식별.
특징: 20 개의 기존 클래스와 10 개의 새로운 임상적 흔한 질환을 포함하며, 불균형한 분포를 다룹니다.
과제 2: 오픈 월드 일반화 (Open-World Generalization)
목표: 훈련 데이터에 포함되지 않은 6 개의 '보이지 않는 (Unseen/OOD)' 희귀 질환 (Adenopathy, Bulla, Goiter 등) 을 제로 샷 (Zero-shot) 방식으로 식별.
특징: 명시적인 감독 없이 모델이 학습된 시각적 표현을 활용하여 새로운 질병을 일반화하는 능력을 평가합니다.
2.3. 평가 지표
주요 지표:평균 정밀도 (mAP, mean Average Precision). 장기 꼬리 분포에서 부정적 샘플이 많을 때 AUROC 가 왜곡될 수 있으므로, 순위 기반의 mAP 를 주 평가 기준으로 채택했습니다.
보조 지표: AUROC, F1 점수, 정밀도, 재현율, 기대 보정 오차 (ECE).
3. 주요 기여 및 참여 팀 전략 (Key Contributions & Strategies)
3.1. 챌린지의 혁신적 기여
다중 센터 및 의사 주석 데이터: 외부 기관 (NIH) 데이터와 의사 주석 테스트 세트를 도입하여 모델의 실제 임상 적용 가능성과 교차 센터 일반화 능력을 엄격하게 평가했습니다.
오픈 월드 시나리오 도입: 훈련되지 않은 희귀 질환을 식별하는 제로 샷 과제를 포함하여, 현실적인 임상 환경에서의 모델 한계를 탐구했습니다.
3.2. 상위 참여 팀의 방법론
과제 1 (분류):
ConvNeXt, Swin Transformer 등 최신 아키텍처를 기반으로 Distribution-Balanced Loss, Asymmetric Loss (ASL), LDAM Loss 등을 사용하여 클래스 불균형을 해결했습니다.
테스트 시간 증강 (TTA) 및 모델 앙상블을 통해 성능을 극대화했습니다.
Team A (VinUni-Illinois) 는 ConvNeXtV2 기반의 불균형 인식 프레임워크로 1 위를 차지했습니다.
과제 2 (제로 샷):
비전 - 언어 (Vision-Language) 기초 모델이 주류를 이루었습니다.
OpenCLIP, CheXzero, MedKlip 등을 활용하여 이미지와 텍스트 (질병 설명) 간의 매칭을 수행했습니다.
프롬프트 엔지니어링 (Prompt Engineering) 및 프롬프트 앙상블을 통해 텍스트 표현의 변형에 대한 강건성을 높였습니다.
Team A 는 WhyXrayCLIP 기반의 이미지 - 텍스트 유사성 매칭으로 1 위를 차지했습니다.
4. 실험 결과 (Results)
4.1. 주요 성과
과제 1: 최상위 모델은 mAP 0.5854를 기록했습니다. AUROC 는 전반적으로 높았으나, 임계값 의존적 지표 (F1, Recall) 와 보정 (Calibration) 성능은 팀 간 편차가 컸습니다.
과제 2: 오픈 월드 설정에서 성능이 급격히 하락했습니다. 최상위 모델의 mAP 는 0.4315였으며, 이는 훈련되지 않은 개념을 인식하는 것이 여전히 큰 난제임을 보여줍니다.
4.2. 심층 분석
Head-to-Tail 성능: 질병의 빈도가 낮아질수록 (Common → Very Rare) 모든 팀의 성능이 일관되게 감소했습니다. 이는 희귀 질환 인식의 지속적인 어려움을 시사합니다.
교차 센터 일반화: NIH 데이터셋 (외부 테스트) 에서 PadChest 데이터셋보다 성능이 더 높게 나타났습니다. 이는 두 데이터셋 간의 촬영 프로토콜 및 데이터 구성 차이가 모델 성능에 영향을 미칠 수 있음을 의미합니다.
강건성 (Robustness): 테스트 시간 증강 (Perturbation) 실험에서 모델 성능이 감소했습니다. 이는 현재 모델들이 입력 데이터의 작은 변화에도 민감함을 보여줍니다.
지표 불일치: 순위 기반 지표 (mAP, AUROC) 가 높은 모델이 반드시 임계값 기반 지표 (F1) 에서 좋은 성능을 내지는 않았습니다. 또한, 높은 AUROC 를 가진 모델도 보정 오차 (ECE) 가 커서 확률 추정치가 신뢰할 수 없는 경우가 있었습니다.
5. 의의 및 결론 (Significance & Conclusion)
CXR-LT 2026 챌린지는 의료 AI 연구에 다음과 같은 중요한 통찰을 제공합니다:
현실적인 벤치마크 필요성: 단일 기관의 폐쇄된 데이터셋이 아닌, 다중 센터 및 의사 주석 데이터를 기반으로 한 벤치마크가 실제 임상 적용 가능성을 평가하는 데 필수적입니다.
장기 꼬리 및 오픈 월드의 한계: 기존 불균형 해결 기법 (재가중치, 리샘플링 등) 만으로는 희귀 질환 인식과 제로 샷 일반화의 한계를 완전히 극복하기 어렵습니다.
비전 - 언어 모델의 잠재력: 오픈 월드 설정에서 비전 - 언어 기초 모델이 유망한 결과를 보였으나, 여전히 새로운 질병 개념에 대한 일반화 능력은 제한적입니다.
향후 방향: 향후 연구는 더 나은 표현 학습 (Representation Learning), 확률 보정 (Calibration) 방법, 그리고 기관 간 분포 이동 (Distribution Shift) 을 명시적으로 고려한 접근법이 필요함을 시사합니다.
이 벤치마크는 현실적인 장기 꼬리 및 오픈 월드 조건 하에서 더욱 견고하고 임상적으로 적용 가능한 AI 시스템을 개발하기 위한 기초를 마련했습니다.