Using Unsupervised Domain Adaptation Semantic Segmentation for Pulmonary Embolism Detection in Computed Tomography Pulmonary Angiogram (CTPA) Images

이 논문은 도메인 간 전이 학습과 Mean-Teacher 아키텍처를 기반으로 프로토타입 정렬, 전역 및 국소 대비 학습, 어텐션 기반 보조 예측 모듈을 도입하여 CTPA 이미지에서 폐색전증 검출을 위한 비지도 도메인 적응 세그멘테이션 프레임워크를 제안하고, 다양한 임상 환경에서 높은 성능과 일반화 능력을 입증했습니다.

핵심

🏥 배경: 왜 이 연구가 필요할까요?

1. 문제 상황: "다른 나라의 지도를 보고 길 찾기"
폐색전증은 생명을 위협하는 병이라서, CT 스캔 (CTPA) 으로 빠르게 찾아내야 합니다. 하지만 인공지능 (AI) 이 한 병원 (예: A 병원) 의 데이터로만 공부하면, 다른 병원 (B 병원) 의 데이터를 보면 엉뚱한 답을 내놓습니다.

• 이유: 병원마다 사용하는 CT 기계가 다르고, 조영제를 넣는 타이밍이 다르고, 환자 체격도 다릅니다. 마치 한국어 지도를 보고 일본에서 길을 찾으려다 헤매는 것과 비슷합니다. 이를 '도메인 시프트 (Domain Shift)'라고 하는데, AI 가 새로운 환경에 적응하지 못한다는 뜻입니다.

2. 해결책의 난관: "선생님이 없는 교실"
새로운 병원 (B 병원) 의 데이터를 AI 에게 가르치려면, 전문의가 "여기가 병입니다"라고 하나하나 표시해줘야 합니다. 하지만 이는 시간이 너무 오래 걸리고 비용이 너무 비쌉니다. 그래서 표시된 데이터 없이 (레이블 없이) AI 가 스스로 적응하게 만드는 기술이 필요합니다.

---

🚀 이 연구의 핵심 솔루션: "스마트한 AI 학생과 3 가지 학습법"

이 연구팀은 **트랜스포머 (Transformer)**라는 최신 AI 기술을 기반으로, 세 가지 특별한 학습 방법을 도입했습니다.

1. '프로토타입 정렬 (Prototype Alignment)': "같은 부류끼리 모여라!"

• 비유: 학급에서 학생들을 그룹으로 나눌 때, "눈이 큰 아이들"과 "코가 높은 아이들"을 각각 한데 모으는 작업입니다.
• 설명: 병원 A 와 병원 B 의 사진은 생김새 (스타일) 는 다르지만, '폐색전증'이라는 본질은 같습니다. AI 가 두 병원 사진 속의 '병' 특징을 서로 비슷하게 묶어주어, 병원만 바뀌어도 병을 똑같이 인식하도록 훈련시킵니다.

2. '전역 및 국소 대비 학습 (GLCL)': "큰 그림과 작은 디테일 모두 챙기기"

• 비유: 그림을 볼 때, **전체적인 구도 (전역)**도 보고, **세부적인 붓터치 (국소)**도 동시에 분석하는 것입니다.
• 설명:
  • 전역: "이건 심장이구나, 폐구나"라는 큰 구조를 이해하게 합니다.
  • 국소: "여기 혈관 벽이 조금 찢어졌네"라는 아주 작은 병변을 놓치지 않게 합니다.
  • 이 두 가지를 동시에 학습시켜, AI 가 병원 스타일 차이에 흔들리지 않고 정확한 구조를 파악하게 합니다.

3. '주목 기반 보조 예측 (AALP)': "무작위 검색 대신 '초점'을 맞추다" (가장 중요한 부분!)

• 비유: 전체 도서관에서 책 한 권을 찾으려 할 때, 무작위로 책장을 뒤지는 것 (기존 방식) vs 도서관 사서가 "여기 있어요!"라고 가리키는 것 (이 연구의 방식).
• 문제: 폐색전증 병변은 전체 이미지에서 아주 작고 희미합니다. 기존 방식은 무작위로 잘라낸 조각 (패치) 을 학습시켰는데, 99% 확률로 '아무것도 없는 배경'만 나오게 되어 AI 가 공부할 게 없었습니다.
• 해결: 이 연구팀은 AI 가 스스로 "여기에 병이 있을 확률이 높아!"라고 **주목 (Attention)**하는 부분을 찾아냈습니다. 그리고 그 중요한 부분만 잘라내어 집중 학습시켰습니다. 덕분에 아주 작은 병변도 놓치지 않게 되었습니다.

---

📊 결과: 얼마나 잘해냈을까요?

이 방법은 실제로 두 가지 큰 시험에서 놀라운 성과를 냈습니다.

1. 다른 병원 간 적응 (CTPA):

   • 한 병원 데이터로만 배운 AI 가 다른 병원 데이터에 적용하면 성능이 0.11 수준으로 떨어졌습니다.
   • 하지만 이 방법을 쓰니 0.41 로 3 배 이상 향상되었습니다. (기존에 못 찾던 병을 찾아낸 것입니다.)

2. 다른 촬영 방식 간 적응 (CT → MRI):

   • CT 사진으로 배운 AI 가 MRI 사진에서도 심장을 잘 그렸습니다. (Dice 점수 69.9%)
   • 특히, 다른 병원의 데이터 (레이블) 를 전혀 보지 않고도 최고의 모델을 고르는 데 성공했습니다. 이는 실제 임상 현장에서 매우 중요합니다.

---

💡 결론: 왜 이 연구가 중요한가요?

기존의 최신 기술들은 컴퓨터 성능이 매우 좋아야만 (고가의 그래픽카드 등) 돌아가거나, 학습 과정이 너무 복잡했습니다.

하지만 이 연구팀은 **"가벼운 2D 구조"**를 사용하면서도 3 가지 지능적인 학습법을 섞어, 일반적인 병원에서도 쓸 수 있을 만큼 빠르고 정확한 AI를 만들었습니다.

한 줄 요약:

"병원마다 다른 CT 사진에서도 AI 가 스스로 적응하게 만들어, 아주 작은 폐색전증 병변도 놓치지 않고 찾아내는 똑똑한 시스템을 개발했습니다."

이 기술이 실제 병원에 도입되면, 의사의 진단 오류를 줄이고 환자들의 생명을 구하는 데 큰 도움이 될 것입니다.

기술 요약

논문 기술 요약: 무감독 도메인 적응을 활용한 CTPA 영상에서의 폐색전증 검출

1. 연구 배경 및 문제 정의 (Problem)

• 폐색전증 (PE) 진단의 중요성: 폐색전증은 즉각적인 치료가 필요한 생명을 위협하는 질환이며, 컴퓨터 단층 촬영 폐 혈관 조영술 (CTPA) 이 진단의 금표준 (Gold Standard) 으로 간주됩니다.
• 현재의 한계:
  • 도메인 시프트 (Domain Shift): 스캐너 프로토콜, 조영제 타이밍, 환자 인구 통계 등의 차이로 인해 한 병원 (소스 도메인) 에서 학습된 모델이 다른 병원 (타겟 도메인) 의 데이터에 적용될 때 성능이 급격히 저하됩니다.
  • 레이블 비용: 의료 영상의 픽셀 단위 어노테이션은 전문의의 시간이 많이 소요되어 비용이 매우 비쌉니다. 따라서 타겟 도메인의 레이블 없이 모델을 전이하는 것은 현실적으로 어렵습니다.
  • 작은 병변 탐지의 어려움: PE 병변은 매우 작고 혈관 구조 내에서 쉽게 간과될 수 있으며, 기존 CNN 기반 모델은 장기적 의존성 (Long-range dependency) 을 포착하는 데 한계가 있습니다.
  • 기존 UDA 방법의 결함: 기존 무감독 도메인 적응 (UDA) 방법들은 대부분 CNN 을 기반으로 하거나, 무작위 크롭 (Random Cropping) 을 사용하여 작은 병변이 포함된 패치를 얻기 어렵고, 생성적 적대 신경망 (GAN) 기반의 불안정한 학습 과정을 겪습니다.

2. 제안된 방법론 (Methodology)

이 연구는 **Transformer 백본 (Mix Vision Transformer, MiT)**과 Mean-Teacher 아키텍처를 기반으로 한 무감독 도메인 적응 (UDA) 프레임워크를 제안합니다. 핵심은 피처 공간 (Feature Space) 에서 구조적 정보를 학습하여 가짜 레이블 (Pseudo-label) 의 신뢰성을 높이는 것입니다.

주요 구성 요소:

1. 아키텍처:

   • 인코더: ImageNet 사전 학습된 **MiT-B5 (Mix Vision Transformer)**를 사용하여 CNN 의 국소적 수용 영역 (Receptive field) 한계를 극복하고 장기적 의미적 의존성을 포착합니다.
   • 디코더: 작은 병변의 세부 사항을 보존하기 위해 **Feature Pyramid Network (FPN)**를 활용합니다.
   • 학습 전략: Mean-Teacher 프레임워크를 사용하여 타겟 도메인의 무레이블 데이터에 대해 일관성 정규화 (Consistency Regularization) 를 수행합니다. 엔트로피 기반 동적 필터링을 통해 신뢰도가 낮은 가짜 레이블을 제거합니다.

2. 세 가지 핵심 모듈 (Feature Space Alignment Modules):

   • (1) 프로토타입 정렬 (Prototype Alignment, PA):
     • 소스와 타겟 도메인 간의 클래스별 중심 (Centroid) 을 정렬하여 도메인 간 분포 차이를 줄입니다.
     • PE 와 같이 클래스 불균형이 심한 경우, 노이즈가 많은 타겟 픽셀을 제외하고 모멘텀 업데이트를 통해 안정적인 클래스 프로토타입을 유지합니다.
   • (2) 전역 및 지역 대비 학습 (Global and Local Contrastive Learning, GLCL):
     • 지역 대비 학습 (LCL): 병변의 윤곽과 세부 구조를 포착하기 위해 인접 픽셀 간의 위상적 관계를 학습합니다.
     • 전역 대비 학습 (GCL): MoCo (Momentum Contrast) 를 활용하여 배치 크기의 제한 없이 다양한 부정적 샘플 (Negative samples) 을 확보하고, 이미지의 전체적인 구조와 의미적 레이아웃을 학습합니다.
   • (3) 어텐션 기반 보조 지역 예측 (Attention-based Auxiliary Local Prediction, AALP):
     • 문제 해결: 기존 방법의 '무작위 크롭'은 PE 병변이 매우 작아 배경만 포함된 패치를 선택할 확률이 높다는 문제를 해결합니다.
     • 해결책: Transformer 의 Self-Attention 맵을 활용하여 병변이 포함된 고정보 (High-information) 영역을 자동으로 식별하고 크롭합니다. 이를 통해 보조 네트워크가 항상 의미 있는 병변 데이터를 학습하도록 강제합니다.

3. 데이터 증강:

   • 입력 공간의 도메인 차이를 줄이기 위해 FFT(고속 푸리에 변환) 기반 스타일 전이와 히스토그램 매칭을 적용합니다.

3. 주요 기여 (Key Contributions)

1. 효율적인 Transformer 기반 UDA 프레임워크: CTPA PE 분할을 위해 계산 효율성과 성능을 균형 있게 맞춘 Mean-Teacher 기반 프레임워크를 개발했습니다.
2. 가짜 레이블 품질 향상 모듈: 프로토타입 정렬 (PA), GLCL, AALP 세 가지 모듈을 통합하여 도메인 시프트를 완화하고 소규모 병변 탐지 민감도를 높였습니다.
3. AALP 모듈의 혁신: 무작위 크롭을 대체하여 Transformer 어텐션 맵을 기반으로 병변이 풍부한 영역을 정밀하게 추출함으로써, 희소한 병변 탐지 성능을 획기적으로 개선했습니다.
4. 엄격한 검증 환경: 타겟 도메인 레이블을 전혀 사용하지 않는 (Unsupervised Model Selection) 엄격한 조건에서 실험을 수행하여 실제 임상 적용 가능성을 입증했습니다.

4. 실험 결과 (Results)

실험은 교차 중심 (Cross-center) CTPA 데이터셋 (FUMPE, CAD-PE) 과 교차 모달리티 (Cross-modality) 심장 데이터셋 (MMWHS, CT→MRI) 에서 수행되었습니다.

• MMWHS (CT → MRI) 교차 모달리티 작업:
  • 소스 전용 (Source-only) 모델의 Dice 점수: 19.4%
  • 제안된 방법 (PA + AALP + GLCL 적용): **69.9%**로 대폭 향상.
  • 기존 SOTA 방법 (MAPSeg 등) 과 비교했을 때, 3D CNN 과 VAE 를 사용하는 고비용 모델에 비해 단일 RTX 4090 GPU 로 경쟁력 있는 성능을 달성했습니다.
• CTPA 교차 중심 작업 (FUMPE ↔ CAD-PE):
  • FUMPE → CAD-PE: IoU 가 0.1152 에서 0.4153으로 증가 (+0.3001).
  • CAD-PE → FUMPE: IoU 가 0.1705 에서 0.4302로 증가 (+0.2597).
  • 이는 제안된 방법이 서로 다른 병원 간의 도메인 시프트를 효과적으로 완화하고, 레이블이 없는 타겟 데이터에서도 정확한 병변 특징을 학습했음을 의미합니다.
• 시각화 결과: AALP 모듈이 무작위 크롭과 달리 거의 모든 추출된 패치에 PE 병변을 포함시켰음을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 적용 가능성: 이 연구는 고가의 하드웨어 (3D GPU, 대용량 메모리) 나 복잡한 생성 모델 없이도, 단일 2D Transformer 아키텍처와 효율적인 피처 정렬 기법만으로 다양한 임상 환경 (서로 다른 병원, 서로 다른 스캐너) 에서 강력한 일반화 성능을 달성할 수 있음을 증명했습니다.
• 작은 병변 탐지: PE 와 같이 매우 작고 희소한 병변을 탐지하는 데 있어 '무작위 크롭'의 한계를 '어텐션 기반 크롭'으로 극복한 점은 의료 영상 분석 분야에서 중요한 진전입니다.
• 비용 대비 효율성: 기존 SOTA 방법들 (MAPSeg, FSUDA-V2 등) 이 요구하는 막대한 계산 자원과 학습 시간을 줄이면서도, 레이블 없는 환경에서 높은 정확도를 유지하여 실제 의료 현장에서의 배포 (Deployment) 에 매우 적합한 솔루션을 제시했습니다.

결론적으로, 본 논문은 Transformer 기반의 구조적 학습과 지능형 지역 패치 추출을 결합한 UDA 프레임워크를 통해 폐색전증 검출의 도메인 시프트 문제를 해결하고, 제한된 자원 환경에서도 고성능 의료 AI 시스템을 구축할 수 있는 새로운 패러다임을 제시했습니다.