Clinically Aware Synthetic Image Generation for Concept Coverage in Chest X-ray Models

기술 요약: CARPA - 임상적 인식을 가진 방사선학적 교란 증강

문제 제기
표준 벤치마크에서 강력한 성능을 달성하는 흉부 X 선 (CXR) 진단용 딥러닝 모델은, 공개 학습 데이터셋 (예: MIMIC-CXR) 에서 임상적으로 의미 있는 개념 조합의 불완전한 커버리지로 인해 신뢰성과 일반화 측면에서 상당한 한계에 직면해 있습니다. 표준 데이터 증강 (회전, 뒤집기) 은 원본 데이터 분포 내의 샘플 다양성을 증가시키지만, 새로운 임상적 의미를 도입하지는 않습니다. GAN 이나 확산 모델을 통한 합성 이미지 생성은 학습 분포를 확장하기 위해 탐구되어 왔으나, 기존 방법들은 종종 임상적 의미에 대한 명시적 추론 없이 이미지 수준에서 작동합니다. 그 결과, 합성 이미지는 특정 임상 관련 개념 조합 (예: 희귀하거나 공존하는 패턴) 의 커버리지를 개선하지 않은 채 시각적 다양성만 증가시키거나, 임상적으로 모호한 상태로 남을 수 있습니다.

이전 연구인 CoRPA 는 합성 CXR 을 생성하기 위해 임상 개념 벡터를 교란시키는 방식으로 이 문제를 해결하려 했습니다. 그러나 CoRPA 는 해부학적 제약이 부족하여, 원본 이미지와 현저히 다른 구조적 불일치 (예: 변형된 폐 모양 또는 골격 구조) 를 가진 합성 이미지를 생성했습니다. 이러한 해부학적 기반의 부재는 생성된 데이터가 모델 신뢰성 향상에 임상적 유용성을 갖는 것을 제한합니다.

방법론: CARPA 프레임워크
저자들은 실제 방사선 사진과의 해부학적 대응 관계를 유지하면서 임상적으로 의미 있는 개념 커버리지를 확장하도록 설계된 CARPA(Clinically Aware Radiographic Perturbation Augmentation) 프레임워크를 제안합니다. CARPA 는 세 가지 명확한 단계를 통해 작동합니다:

1. 개념 인코딩: 각 이미지 - 보고서 쌍은 전문가가 정의한 어휘 (예: "폐 종괴", "림프절 비대") 를 기반으로 이진 임상 개념 벡터로 인코딩되며, 이러한 특정 소견은 "의심되는 악성 종양"과 같은 고수준 진단 레이블과 구별됩니다.
2. 표적 개념 교란: 개념 벡터는 세 가지 임상적으로 동기 부여된 전략을 사용하여 수정됩니다:
   • 클래스 내 (Intra-Class): 동일한 조건의 대체 가능한 유효한 발현을 반영하기 위해 진단 레이블 내의 개념을 수정합니다.
   • 삽입 (Insertion): 원래 레이블을 유지하면서 추가 병리 레이블에서 개념을 추가하여 다중 병리학적 증상을 시뮬레이션합니다.
   • 삭제 (Deletion): 선택된 병리와 관련된 개념을 제거하여 임상적으로 타당한 누락된 진단이나 특이 소견이 없는 스캔을 시뮬레이션합니다.
3. 해부학 보존 이미지 편집: 전체 이미지 합성과는 달리, CARPA 는 교란된 개념 벡터를 간결한 임상 프롬프트로 변환한 후 RadEdit(BioViL-T 와 SDXL-VAE 와 결합된 잠재 확산 모델) 를 사용하여 원본 소스 이미지에 공간적으로 국소화된 편집을 적용합니다. 이 과정은 의도된 진단적 변화를 표현하면서도 폐野 및 골격 해부학과 같은 전역 해부학적 구조를 엄격하게 보존합니다.

실험 설정
저자들은 MIMIC-CXR 데이터셋 (PA 뷰로 제한됨) 을 사용하여 ConvNeXt-Base/Small, DenseNet-161, EfficientNet-V2-S, ResNet-50/101, ResNeXt-101 등 일곱 가지 합성곱 백본 아키텍처에 걸쳐 CARPA 를 평가했습니다.

• 학습: 모델들은 CoRPA 또는 CARPA 가 생성한 10,000 개의 합성 이미지의 층화된 하위 집합으로 미세 조정되었습니다.
• 평가: 성능은 홀드아웃 MIMIC-CXR 벤치마크에서 테스트되었습니다. 측정 지표에는 매크로 평균 AUROC, AUPRC 및 F1 이 포함되었습니다.
• 신뢰성 분석: 예측 불확실성 (엔트로피) 과 보정 (기대 보정 오차 - ECE) 이 측정되었습니다.
• 이미지 품질: 구조적 충실도는 구조적 유사성 지수 (SSIM) 를 통해 평가되었습니다. 의미적 불확실성은 합성 이미지에서 자유 텍스트 설명을 생성하는 LLaVA-Rad 를 사용하여 평가되었으며, 이는 개념 벡터로 매핑된 후 실제 교란과 비교되었습니다 (자카드 유사도, 해밍 거리, 과/과소 예측률 측정).
• 전문가 검증: 두 명의 독립적인 방사선 전문의가 제안된 소견에 대한 현실성과 임상적 일치성을 위해 합성 이미지 하위 집합을 평가했습니다.

주요 결과

• 분류 성능: CARPA 가 생성한 이미지로 미세 조정하는 것은 모든 아키텍처에서 매크로-AUPRC 및 매크로-F1 을 일관되게 개선하여, 클래스 불균형 하에서 더 나은 정밀도 - 재현율 균형을 나타냈습니다. 반면, CoRPA 이미지로 미세 조정하는 것은 모든 지표에서 성능을 일관되게 저하시켰습니다.
• 불확실성 및 보정: CARPA 미세 조정은 대부분의 아키텍처에서 예측 엔트로피를 감소시켜 (신뢰도 증가) 보정을 개선 (낮은 ECE) 했습니다. CoRPA 미세 조정은 엔트로피와 ECE 를 모두 증가시켜 더 높은 불확실성과 더 나쁜 보정을 반영했습니다.
• 구조적 충실도: CARPA 는 평균 SSIM 0.750 ± 0.031을 달성하여 CoRPA 의 0.273 ± 0.089보다 현저히 높았으며, CARPA 가 해부학적 구조를 훨씬 더 충실하게 보존함을 확인했습니다.
• 의미적 정렬: CARPA 는 현저히 개선된 의미적 일관성을 보여주었습니다. 의도된 개념과 추론된 개념 간의 평균 자카드 유사도는 CARPA 의 경우 0.609인 반면 CoRPA 는 0.168이었습니다. CARPA 는 또한 과대 예측 (환각) 과 과소 예측 (소견 누락) 의 비율이 CoRPA 보다 현저히 낮았습니다.
• 전문가 평가: 방사선 전문의들은 CoRPA(86% 및 62%) 에 비해 CARPA 이미지를 현실적으로 판단한 비율이 현저히 높았습니다 (두 명의 방사선 전문의 각각 94% 및 88%). CoRPA 에서는 구조적 비현실성이나 의미적 오류가 일반적인 실패 양상이었던 반면, CARPA 이미지와의 불일치는 주로 "미묘한" 또는 "초기" 소견과 같은 현실적인 진단적 모호성으로 귀결되었습니다.

의의 및 주장
이 논문은 해부학적으로 기반을 둔 개념 교란이 순수 이미지 기반이거나 제약 없는 개념 기반 방법보다 CXR 모델을 위한 합성 데이터 증강에 더 효과적이고 임상적으로 의미 있는 접근법이라고 주장합니다. 의미적 확장을 통제되지 않은 구조적 변이와 분리함으로써, CARPA 는 방사선학적 타당성을 유지하면서 소외된 임상 시나리오를 체계적으로 탐색할 수 있게 합니다.

저자들은 이 접근법이 하류 분류 성능을 개선할 뿐만 아니라 예측 불확실성을 줄이고 보정을 개선함으로써 모델 신뢰성을 향상시킨다고 결론지었습니다. 특히, 이 방법은 모델 불확실성의 성질을 거대한 의미 불일치 및 구조적 오류에서 임상적으로 현실적인 모호성으로 전환시켜, 더 안전한 임상 배포를 지원합니다. 이 연구는 합성 데이터가 의료 영상 모델의 견고성 향상에 유용하기 위해서는 해부학적 제약을 부과하는 것이 필수적임을 시사합니다.