💻 computer science

Benchmarking the Domain Gap: Model Selection Instability Under Domain Shift in Video Capsule Endoscopy

본 논문은 비디오 캡슐 내시경을 위한 모델 선택이 도메인 변화 하에서 매우 불안정함을 입증하며, 즉 인도메인 성능 순위가 서로 다른 데이터셋에 걸친 교차 타겟 결과를 일관되게 예측하지 못하므로, 최고 단일 데이터셋 성능보다는 교차 타겟 순위 안정성을 평가하는 방향으로의 전환이 필요함을 보여준다.

원저자: Dan Hanson, Debesh Jha

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dan Hanson, Debesh Jha

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 다양한 종류의 과일을 인식하도록 가르치고 있다고 상상해 보세요. 당신은 당신의 주방에서, 당신 특유의 조명과 카메라로 찍은 수천 장의 사과, 오렌지, 바나나 사진을 로봇에게 보여줍니다. 로봇은 정말 잘하게 됩니다! 로봇은 당신의 주방에서 과일 박사가 됩니다. 하지만, 당신이 그 똑같은 로봇을 친구의 집으로 데려갑니다. 그곳의 주방은 조명이 다르고, 카메라 모델도 다르며, 심지어 '익었다'는 기준조차 당신과 다를 수 있습니다. 갑자기, 당신의 주방에서는 챔피언이었던 로봇이 약간 다르게 생긴 바나나 앞에서 비틀거리게 됩니다. 반면, 당신이 평범하다고 생각했던 로봇은 갑자기 빛을 발합니다. 이것이 바로 컴퓨터 과학에서 '도메인 시프트(domain shift)'라고 불리는 문제의 핵심입니다. 그것은 컴퓨터 모델이 훈련된 실험실에서의 성능과, 실제로 사용되는 무질서한 현실 세계에서의 성능 사이의 간극을 의미합니다. 의료 분야에서 이 문제는 매우 중요합니다. 만약 의사가 환자의 몸속 문제를 찾아내기 위해 AI에 의존한다면, 그 AI는 특정 병원뿐만 아니라 어떤 카메라를 사용하든, 어떤 환자가 오든, 모든 병원에서 똑똑하게 작동할 수 있어야 합니다.

이 논문은 과일 대신 로봇이 비디오 캡슐(환자가 내부 사진을 찍기 위해 삼키는 알약 크기의 작은 카메라)을 보고 있는 상황을 통해 바로 그 문제에 대해 깊이 파고듭니다. 연구진은 알고 싶었습니다. 만약 우리가 하나의 특정 데이터셋(이미지 모음)에서 얼마나 잘 수행하는지를 기준으로 '최고의' AI 모델을 선택한다면, 그 똑같은 모델이 완전히 다른 병원의 전혀 다른 이미지 세트로 테스트했을 때도 여전히 최고일 것인가? 그들은 단순히 추측한 것이 아니라, 대규모 실험을 수행했습니다. 그들은 11가지의 서로 다른 '두뇌' 아키텍처(AI를 구동하는 핵심 엔진)를 가져와 표준적인 캡슐 비디오 세트로 훈련시켰습니다. 그런 다음, 이 훈련된 두뇌들을 두 개의 다른 비디오 세트에 대해 테스트했습니다.

여기서 그들이 발견한 반전이 있습니다. "최고의" 모델은 전적으로 누구에게 묻느냐에 따라 달라진다는 것입니다. 첫 번째 데이터셋을 기준으로 모델의 순위를 매겼을 때, 1위는 Swin-B라는 모델이었습니다. 그것은 명백한 승자였습니다. 하지만 그 똑같은 Swin-B 모델을 가져다가 두 번째 데이터셋으로 테스트했을 때, 이 모델은 5위로 떨어졌습니다. 반면, 첫 번째 테스트에서는 7위에 불과했던 ConvNeXt-Base라는 모델이 두 번째 테스트에서는 1위 챔피언이 되었습니다. 이것은 마치 아침에 경주를 열었을 때는 단거리 선수가 우승했는데, 오후에 다른 트랙에서 경주를 열었을 때는 마라톤 선수가 우승한 것과 같습니다. 이 논문은 어디에서나 승리하는 단 하나의 '마법의 탄환' 같은 모델은 없다는 것을 보여줍니다. 만약 당신이 단 하나의 특정 테스트에서 가장 높은 점수를 받았다는 이유만으로 모델을 선택한다면, 당신은 다음 병원을 방문할 때 잘못된 모델을 고르게 될 수도 있습니다.

연구진은 또한 두 번째 실험을 시도했습니다. 그들은 두 번째 데이터셋으로 새로운 모델 그룹을 훈련시킨 뒤, 이를 세 번째 데이터셋으로 테스트했습니다. 결과는 같았습니다. 순위는 계속 바뀌었습니다. 두 번째 테스트에서 훌륭했던 모델이 세 번째에서는 평범해졌습니다. 이는 연구 논문에 보이는 '리더보드'가 종종 그 모델이 특정 퍼즐에 얼마나 잘 들어맞는지에 대한 스냅샷일 뿐, 다음 퍼즐도 해결할 것이라는 보장이 아님을 시사합니다. 저자들은 우리가 단 하나의 데이터셋에 대한 최고 점수만을 찾는 것을 멈춰야 한다고 결론짓습니다. 대신, 우리는 많은 다양한 테스트를 거쳐도 일관성을 유지하는 모델을 찾아야 합니다. 만약 어떤 모델이 진정으로 견고하다면, 조명이 바뀌거나 카메라가 바뀌더라도 상관하지 않아야 합니다. 즉, 그 모델의 순위가 일정하게 유지되어야 합니다. 우리가 그런 꾸준한 성과를 내는 모델을 찾기 전까지, 단 하나의 테스트 점수만을 근거로 의료용 AI를 선택하는 것은, 마치 여행 가이드가 당신의 동네를 얼마나 잘 아는지만 보고 그를 선택하는 것과 같습니다. 그 가이드는 당신이 동네를 벗어나는 순간 길을 잃을지도 모르기 때문입니다.

기술 요약: 비디오 캡슐 내시경의 도메인 격차 벤치마킹

문제 정의
비디오 캡슐 내시경(VCE) 분류 모델은 일반적으로 단일 데이터셋 내에서의 성능을 기준으로 개발 및 선정됩니다. 그러나 임상 배포를 위해서는 다양한 획득 소스, 라벨링 정책 및 환자군에 대한 강건함이 필수적입니다. 모델이 소스 도메인 검증에서 가장 높은 순위를 차지하더라도, 평가 소스가 변경되었을 때 여전히 가장 강력한 모델로 남을 것인지에 대한 이해에는 결정적인 격차가 존재합니다. VCE 데이터셋은 캡슐 시스템, 임상 현장, 이미지 특성 및 주석 프로토콜 측면에서 크게 다릅니다. 분포 변화(distribution shift) 및 과소지정(underspecification)에 관한 기존 연구는, 도메인 내 성능이 유사한 예측 모델들이 선택 조건 외부에서는 다르게 동작할 수 있음을 시사합니다. 본 논문은 VCE에서 도메인 변화에 따른 모델 선정의 안정성을 조사하며, 특히 도메인 내 순위가 외부 타겟에 대한 성능을 신뢰성 있게 예측하는지를 탐구합니다.

연구 방법론
본 연구는 세 가지 별도의 평가 타겟에 대해 일반 도메인 사전 학습된 비전 백본을 벤치마킹하기 위해 표준화된 미세 조정(fine-tuning) 프로토콜을 채택했습니다:

Kvasir-Capsule: 공식 비디오 분리 폴드(video-isolated folds)를 사용한 소스 도메인.
Capsule Vision 2024 (CV2024): 혼합 소스 훈련 분포에서 추출된 홀드아웃 챌린지 테스트 세트.
Galar: 외부의 다기관, 다중 시스템 데이터셋.

주요 실험 설계 요소:

백본(Backbones): 11개의 일반 도메인 사전 학습된 백본(ResNet, DenseNet, EfficientNet, ConvNeXt, ViT, Swin, DINOv2, CAFormer 포함)을 최소 프로토콜(25 에포크, AdamW, 증강 없음)을 사용하여 Kvasir-Capsule에 대해 미세 조정하였습니다.
공유 라벨 프로토콜(Shared-Label Protocol): 교차 데이터셋 비교를 가능하게 하기 위해, 평가는 "shared-8" 라벨 공간(Angioectasia, Bleeding, Erosion, Erythema, Foreign Body, Lymphangiectasia, Normal, Ulcer)으로 제한되었습니다. 소스 예측값은 점수 산출 전 의미론적 매핑(semantic mapping)과 재정규화를 통해 이 공간으로 투영되었습니다. 네이티브 라벨 공간 결과도 별도로 보고되었으나, 교차 타겟 순위 결정에는 사용되지 않았습니다.
두 번째 훈련 소스: 관찰된 불안정성이 특정 Kvasir 훈련 소스에 국한된 것인지 테스트하기 위해, 11개의 선택된 구성(다양한 증강 및 손실 전략을 적용한 CAFormer 및 Swin 아키텍처에 집중)을 CV2024를 통해 훈련하는 두 번째 실험을 수행했습니다.
지표: 성능은 Macro F1, 다중 클래스 매튜스 상관계수(MCC), 그리고 평균 one-vs-rest AUROC(mAUROC)를 사용하여 측정되었습니다. 모델 선정 안정성은 Spearman 순위 상관관계와 순위 이동(rank shifts)을 사용하여 분석되었습니다.

주요 결과

타겟 의존적 순위: 도메인 내 순위의 예측 가치는 타겟에 따라 크게 달라집니다.
- Kvasir-Capsule 순위는 Galar와는 강한 일치성( $\rho = 0.700$ )을 보였으나, CV2024와는 약한 일치성( $\rho = 0.191$ )을 보였습니다.
- 두 개의 비소스 타겟(CV2024 및 Galar) 간에도 낮은 일치성( $\rho = 0.264$ )을 보였습니다.
순위 불안정성: 가장 강력한 도메인 내 백본이 모든 타겟에서 일관되게 우위를 점하지 못했습니다.
- Swin-B/384는 Kvasir와 Galar에서 선두를 차지했으나, CV2024에서는 5위를 기록했습니다.
- ConvNeXt-Base는 CV2024에서 선두를 차지했으나, Kvasir와 Galar에서는 각각 7위와 9위를 기록했습니다.
- FocalNet-Base는 도메인 내 8위에서 Galar에서는 2위로 상승했습니다.
두 번째 소스 확인: CV2024로 훈련된 11개 구성의 모델 세트 또한 이러한 불안정성을 재현했습니다. CV2024의 macro-F1 선두 모델(특정 증강이 적용된 CAFormer-S18)은 Galar에서 2위를 차지했으며, CV2024에서 8위를 기록했던 모델이 Galar에서 1위로 상승했습니다.
변동성: 교차 타겟 순위 이동은 여러 랜덤 시드에 걸쳐 관찰된 실행 간 변동성보다 유의미하게 컸으며, 이는 불안정성이 훈련 노이즈가 아닌 도메인 변화에 의해 발생함을 나타냅니다.

주요 기여

표준화된 벤치마크: 공식 폴드를 사용한 Kvasir-Capsule 상의 11개 일반 도메인 백본에 대한 지도 미세 조정의 강력한 참조 베이스라인을 구축했습니다.
불안정성 정량화: 문서화된 공유 라벨 프로토콜 하에 CV2024 및 Galar에서 동일한 체크포인트를 평가하여, 세 가지 평가 타겟 간의 백본 순위 불안정성을 정량화했습니다.
다중 소스 검증: 두 번째 훈련 소스(CV2024로 훈련된 구성)를 사용하여 도메인 내-외부 순위 분석을 재현함으로써, 모델 선정의 불안정성이 단일 훈련 세트의 결과물이 아닌 이 도메인의 일반적인 현상임을 확인했습니다.

의의 및 주장
본 논문은 최고 수준의 단일 데이터셋 성능과 전이 가능한 모델 선정이 서로 다른 질문에 답하고 있다고 결론짓습니다. 한 타겟에서의 순위를 바탕으로 선택된 모델이 다른 분포에서도 그 상대적 위치를 유지할 것이라고 가정할 수 없습니다. 저자들은 캡슐 내시경 모델 선정이 단일 데이터셋이나 단일 외부 테스트 세트에서의 피크 성능에 의존하기보다, 독립적으로 소싱된 여러 평가 타겟에 걸친 **교차 타겟 순위 안정성(cross-target ranking stability)**을 보고하는 것을 우선시해야 한다고 주장합니다. 본 연구는 하나의 변화된 분포에 대한 성공적인 선택이 다른 분포에 대한 성능에 대해서는 거의 알려주는 바가 없음을 강조하며, 외부 평가를 오직 가장 높은 순위를 기록한 소스 도메인 모델들로만 제한하는 것은 경쟁력 있는 후보(예: FocalNet-Base)를 간과할 수 있음을 보여줍니다. 저자들은 보다 견고한 보고 관행을 지원하기 위해 공유 라벨 평가 프로토콜과 표준화된 벤치마크를 공개합니다.

유사한 논문