Seeing What Shouldn't Be There: Counterfactual GANs for Medical Image Attribution

기술 요약: 의료 이미지 귀속을 위한 반사실적 GAN

문제 제기
본 논문은 안전이 중요한 의료 영상 진단 (MID) 에서 특히 두드러지는 딥러닝 모델의 '블랙박스' 성격을 다룹니다. 기존 시각화 기법 (예: CAM, Grad-CAM) 은 분류기가 사용하는 차별적 영역을 강조하지만, 종종 모든 눈에 띄는 객체를 고려하지 못하며 최소한의 특징 집합에 의존하여 오해의 소지가 있는 설명을 초래할 수 있습니다. 더 나아가 기존 반사실적 설명 (CX) 방법들은 종종 비현실적인 반사실적 인스턴스 (CIs) 를 생성합니다. 이러한 방법들은 일반적으로 이미지 영역을 임의의 값으로 대체하거나 입력과 반사실적 쌍으로 구성된 짝지어진 데이터셋을 요구하는데, 이는 의료 분야 (예: 동일한 환자의 건강한 스캔) 에서 거의 구할 수 없습니다. 의미상 타당한 CIs 의 부재는 "이 종양이 존재하지 않았다면 스캔은 X 처럼 보였을 것이다"와 같은 자기 설명적이며 유추 기반의 추론을 제공하는 능력을 저해합니다.

방법론
저자들은 짝지어진 훈련 데이터 없이도 타당한 CIs 와 해당 반사실적 설명 (CXs) 의 생성을 공동으로 학습하도록 설계된 생성적 적대 신경망 (GAN) 기반의 통합 모델인 CX-GAN을 제안합니다.

1. 아키텍처: 이 모델은 두 개의 생성기와 두 개의 판별기로 확장된 순환 일관성 GAN(CycleGAN) 프레임워크를 활용합니다.

   • 생성기 $G$: 입력 이미지 (예: 비정상/종양) 를 반사실적 도메인 (예: 정상/건강) 으로 변환하여 타당한 CI 를 생성합니다.
   • 생성기 $G_M$: 변화 맵 (Change Map) 을 생성합니다. 이는 CX 에 해당하며 입력과 생성된 CI 사이의 특정 차이를 나타냅니다. 이 맵을 CI 에 추가하면 원래 입력이 재구성됩니다.
   • 판별기 ($D_x, D_y$): 생성된 이미지와 맵이 각각의 실제 데이터 분포에 속하도록 보장합니다.

2. 손실 함수: 모델은 복합 손실 함수를 사용하여 최적화됩니다.

   • 적대적 손실 ($L_{GAN}$): 생성된 CIs 와 변화 맵이 각각의 도메인에서 실제 데이터와 구별 불가능하도록 보장합니다.
   • 순환 일관성 손실 ($L_{cyc}$): 입력을 CI 로 변환했다가 다시 변환하거나 (또는 변화 맵을 CI 에 추가하거나) 원래 이미지를 재구성하도록 강제하여 의미 정렬을 보장하고 관련 없는 변환을 방지합니다.
   • 통합 목적 함수: 총 손실은 적대적, 변화 맵, 순환 일관성 항을 결합하여 네트워크가 변환과 설명을 동시에 학습할 수 있게 합니다.

3. 네트워크 설계: 생성기는 위치 정보와 문맥 정보를 보존하기 위해 스킵 연결이 포함된 얕은 U-Net 아키텍처를 사용하며, 판별기는 표준 CNN 구조를 사용합니다.

주요 기여

• 타당한 CI 생성: 짝지어진 입력 - 출력 데이터셋 없이 의료 이미지를 위한 의미상 타당한 반사실적 인스턴스를 생성하는 문제를 제기하고 해결합니다.
• 통합 CX 방법: 차이점을 설명하는 반사실적 이미지와 구체적인 "변화 맵"(귀속) 을 모두 생성하는 통합 프레임워크를 제안하여, 2 단계 접근법의 연쇄적 오류를 방지합니다.
• 평가 지표: 생성된 CIs 의 품질을 평가하기 위해 원본과 반사실적 영역 간의 "비유사성" 점수를 측정하는 새로운 기법을 도입하여 변화가 의미 있음을 보장합니다.
• 벤치마킹: 이 방법은 합성 데이터, 결핵 흉부 X 선 데이터셋, 그리고 BraTS(뇌 종양) 데이터셋에서 평가되었으며, CAM, Grad-CAM, VA-GAN 과 같은 기존 방법에 대한 기준 결과를 제공합니다.

결과
제안된 CX-GAN 은 디스 (Dice) 점수, 교집합 대비 합집합 비율 (IoU), 정규화 교차 상관 (NCC) 을 사용한 정량적 평가와 시각적 검사를 통한 정성적 평가로 평가되었습니다.

• 합성 데이터: CX-GAN 은 IoU 91.4 와 Dice 점수 95.5 로 우수한 성능을 달성하여 VA-GAN(IoU 87.2) 과 차별적 방법 (CAM/Grad-CAM) 을 크게 앞섰습니다.
• 의료 데이터셋: BraTS 데이터셋에서 CX-GAN 은 IoU 91.4 와 Dice 점수 94.0 을 기록하여 VA-GAN(IoU 89.5, Dice 93.2) 보다 우월한 성능을 보였습니다. 결핵 데이터셋에서는 IoU 74.73 과 Dice 81.47 을 달성했습니다.
• 정성적 발견: 시각적 결과는 차별적 방법 (CAM/Grad-CAM) 이 종종 최소한의 영역이나 지나치게 광범위한 영역을 강조하는 반면, VA-GAN 은 정렬되지 않은 매핑으로 인해 노이즈와 오탐을 유발함을 나타냅니다. 반면, CX-GAN 은 이상 (예: 종양) 을 정확하게 국소화하면서 타당한 건강한 대응체를 생성하는 정밀하고 노이즈가 없는 변화 맵을 생성합니다.

의의 및 주장
본 논문은 신뢰할 수 있는 CIs 를 동반한 CX 가 의료 전문가에게 필수적인 자기 설명적, 유추 기반 설명을 제공한다고 주장합니다. "어떻게 보이는지 (입력)"와 "차이점 (CX)"과 함께 "어떻게 보였어야 하는지 (CI)"를 생성함으로써, 이 방법은 "X 가 발생하지 않았더라면 Y 도 발생하지 않았을 것이다"라는 인과적 추론 과정을 제공합니다. 저자들은 이 접근법이 비현실적인 인스턴스를 생성하거나 구할 수 없는 짝지어진 데이터를 요구하는 기존 CX 기술의 한계를 극복함으로써 의료 진단에서 딥러닝 모델의 해석 가능성과 신뢰성을 향상시킨다고 강조합니다. 또한 이 연구는 현실적인 인스턴스를 생성하는 데 있어 현재 최첨단 CX 방법들의 한계를 부각시켜, 안전이 중요한 응용 분야를 위해 제안된 통합 GAN 접근법이 필수적인 발전임을 위치 짓습니다.