A Pragmatic Note on Evaluating Generative Models with Fréchet Inception Distance for Retinal Image Synthesis

본 논문은 안과 영상 합성 분야에서 생성 모델의 성능을 평가할 때 널리 사용되는 Fréchet Inception Distance(FID) 가 실제 하류 작업 (분류 및 분할) 의 목표와 불일치할 수 있음을 지적하고, 합성 데이터의 유효성을 평가하기 위해서는 하류 작업 학습을 통한 실용적 검증이 필요함을 강조합니다.

핵심

이 논문은 **"인공지능이 만든 의료 사진이 실제로 병을 진단하는 데 도움이 되는지, 우리가 어떻게 판단해야 할까?"**라는 아주 실용적인 질문에서 출발합니다.

간단히 말해, **"화려한 외모 (FID 점수) 가 실력 (진단 정확도) 을 보장하지 않는다"**는 놀라운 사실을 발견한 연구입니다.

이 내용을 일상적인 비유로 풀어서 설명해 드릴게요.

---

🎨 비유: "요리 대회와 실제 손님"

이 논문의 상황을 한 가지 비유로 그려보겠습니다.

1. 생성 모델 (AI 요리사): AI 는 실제 눈의 사진 (데이터) 을 배우고, 똑같은 눈 사진을 새로 만들어냅니다.
2. FID 점수 (요리 대회 심사위원): 지금까지는 AI 가 만든 사진이 얼마나 '실제 사진처럼 생겼는지'를 평가할 때, **FID(Fréchet Inception Distance)**라는 점수를 주로 썼습니다.
   • 비유: 마치 미쉐린 가이드 심사위원이 "이 요리의 색감이 진짜 고기 같고, 향도 비슷하네? 점수 100 점!"이라고 매기는 것과 같습니다.
3. 다운스트림 작업 (실제 손님): 하지만 의료 현장에서 AI 가 만든 사진의 진짜 목적은 의사 (또는 AI 진단 모델) 가 병을 더 잘 진단하도록 훈련시키는 것입니다.
   • 비유: 요리 대회 점수가 높은 요리가 실제 식당에 나와 손님을 만족시킬 수 있는지는 별개의 문제입니다. 손님은 "맛있고 배불러야 (병을 잘 찾아내야)" 합니다.

🔍 연구의 핵심 발견: "점수 vs 실력"의 괴리

연구진은 안과 사진 (망막 사진) 을 이용해 AI 가 만든 가짜 사진들을 여러 개 만들고, 이를 두 가지 방식으로 평가해 보았습니다.

1. FID 점수: "이 사진이 진짜처럼 보이니?" (심사위원 점수)
2. 실제 진단 테스트: "이 가짜 사진으로 훈련받은 AI 가 진짜 병을 잘 찾아내나?" (손님 만족도)

결과는 충격적이었습니다.

• FID 점수가 높을수록 (사진이 더 그럴듯할수록), 실제 진단 능력은 오히려 떨어지거나 전혀 상관없는 행동을 했습니다.
• 마치 "요리 대회 1 등 요리가 손님들에게는 너무 짠맛이라 먹지 못하게 된 경우"와 비슷합니다.
• 심지어 FID 점수와 실제 진단 능력은 서로 반대 방향으로 움직이기도 했습니다. (FID 점수가 좋아질수록 진단 능력은 나빠짐)

🧐 왜 이런 일이 일어날까요?

논문은 그 이유를 이렇게 설명합니다.

• FID 의 한계: FID 는 AI 가 "이미지 전체의 통계적 분포"가 진짜와 비슷한지 봅니다. 하지만 의료 진단에서는 **"병이 있는 부분 (예: 녹내장 부위)"**이 얼마나 정확하게 묘사되었는지가 훨씬 중요합니다.
• 잘못된 나침반: FID 는 "전체적인 분위기"는 잘 잡지만, "중요한 디테일 (병변)"은 놓칠 수 있습니다. 그래서 점수는 좋지만, 실제 임무에는 쓸모없는 데이터를 만들어낼 수 있습니다.

💡 이 논문이 우리에게 주는 교훈

이 연구는 의료 AI 개발자들에게 아주 중요한 조언을 합니다.

1. 점수만 믿지 마세요: "FID 점수가 낮으니 (좋으니) 이 AI 모델을 쓰자"라고만 생각하면 안 됩니다.
2. 실전 테스트가 최고: "이 가짜 사진으로 훈련시킨 AI 가 실제 환자를 진단할 때 얼마나 잘하느냐?"를 직접 테스트하는 것이 유일한 확실한 방법입니다.
3. 새로운 기준이 필요: 우리는 "사진이 얼마나 예쁜가"가 아니라, "사진이 얼마나 유용한가"를 측정하는 새로운 평가 기준이 필요합니다.

📝 한 줄 요약

"AI 가 만든 가짜 의료 사진이 얼마나 '진짜처럼 생겼는지'를 점수로 매기는 것 (FID) 은, 그 사진이 실제 병을 고치는 데 '도움이 되는지'를 알려주지 못합니다. 결국 중요한 건 점수가 아니라, 실제 진료에서 얼마나 잘 쓰이는지입니다."

이 연구는 의료 AI 개발자들이 화려한 점수표에 현혹되지 말고, 실제 환자 치료에 도움이 되는지를 먼저 확인하라고 경고하는 '현실적인 조언 (Pragmatic Note)'입니다.

기술 요약

논문 요약: 망막 이미지 합성을 위한 생성 모델 평가에 대한 실용적 고찰

1. 문제 제기 (Problem)

생성 모델 (GAN, Diffusion 모델 등) 은 의료 영상 분야에서 데이터 부족 및 프라이버시 문제를 해결하기 위해 합성 데이터를 생성하는 데 널리 사용됩니다. 특히 망막 영상 (안저 촬영, OCT) 에서 생성된 이미지는 분류 (Classification) 및 분할 (Segmentation) 과 같은 하류 작업 (Downstream Task) 의 학습 데이터를 보강하는 데 활용됩니다.

현재 생성 모델의 품질을 평가하는 사실상의 표준 (De facto standard) 은 Fréchet Inception Distance (FID) 입니다. FID 는 ImageNet 으로 사전 학습된 Inception-v3 네트워크를 사용하여 생성된 이미지와 실제 이미지의 특징 분포 간 거리를 계산합니다.

• 핵심 문제: FID 와 그 변형 지표들은 생성된 이미지의 '시각적 현실감 (Perceptual Quality)'이나 분포 유사성을 측정할 수는 있지만, 실제 하류 작업 (예: 질병 분류, 병변 분할) 에서 생성 데이터가 얼마나 유용한지 (Utility) 를 반영하지 못한다는 의문이 제기되었습니다.
• 연구 질문: 다양한 특징 거리 (Feature-distance) 기반 지표들이 생성 모델의 성능을 일관되게 순위 매기는가? 그리고 이 순위가 실제 하류 작업의 성능 향상과 일치하는가?

2. 방법론 (Methodology)

이 연구는 망막 이미지의 두 가지 주요 모달리티 (Color Fundus Photography, OCT) 를 대상으로 생성 모델 평가 지표와 하류 작업 성능 간의 정합성을 분석했습니다.

• 실험 설정:

  • 데이터셋:
    • 안저 촬영 (Fundus): AIROGS 데이터셋 (약 10 만 장) 을 사용. '참조 가능 녹내장 (RG)'과 '비참조 가능 녹내장 (NRG)'으로 분류. 불균형 데이터 보강을 위해 RG 클래스에 초점.
    • OCT: MICCAI GOALS 챌린지 데이터셋 (100 장). 망막 신경 섬유층 (RNFL), GCIPL, 맥락막층 (CL) 의 픽셀 단위 분할 레이블 사용.
  • 생성 모델:
    • StyleGAN3: 안저 이미지 합성. 학습 중 검증 FID 에 따라 10 개의 체크포인트 (SG-1~10) 선택.
    • Medfusion (Latent Diffusion): 안저 이미지 합성. 샘플링 단계 (t) 를 변경하여 7 개의 모델 (MF-1~MF-7) 생성.
    • DDPM: OCT 이미지 합성. 분할 맵 (Sketch) 조건부 생성. 샘플링 단계 변경으로 7 개의 모델 (DM-1~DM-7) 생성.
  • 하류 작업 (Downstream Tasks):
    • 분류: ResNet-50, Swin Transformer Tiny (F1 Score 평가).
    • 분할: U2-Net, TransUNet (Dice Score 평가).
  • 평가 지표 (Metrics): 총 7 가지 지표 비교.
    • 거리 측정법: Fréchet Distance (FID, Clean-FID, CLIP-FD, RETFound-FD), Maximum Mean Discrepancy (KID, CMMD), Kullback-Leibler Divergence (FLD).
    • 특징 추출기 (Feature Extractors): Inception-v3 (ImageNet), CLIP, DINOv2, RETFound (망막 특화).

• 분석 방법:

  • 생성 모델의 품질 순위 (각 지표에 기반) 와 하류 작업 성능 순위 간의 Kendall's τ (타우) 순위 상관관계를 계산.
  • 특징 벡터의 희소성 (Sparsity) 과 엔트로피 (Entropy) 를 분석하여 특징 추출기의 특성이 지표 행동에 미치는 영향 규명.

3. 주요 기여 및 결과 (Key Contributions & Results)

1) 지표 간의 높은 상관관계 (Redundancy):

• 7 가지 평가 지표 (FID, KID, CMMD 등) 간 Kendall's τ 상관관계가 대부분 0.7 이상으로 매우 높게 나타났습니다.
• 이는 서로 다른 특징 추출기 (Inception, CLIP, RETFound 등) 와 거리 측정법을 사용하더라도, 모델들을 순위 매기는 방식이 거의 동일함을 의미합니다. 즉, FID 의 변형 지표들이 본질적인 평가 능력을 크게 개선하지 못함을 시사합니다.

2) 하류 작업 성능과의 불일치 (Misalignment):

• 가장 중요한 발견: 생성 모델 평가 지표 (FID 등) 가 낮을수록 (품질이 좋을수록) 하류 작업의 성능이 향상된다는 가정이 전혀 성립하지 않았습니다.
  • Diffusion 모델 (Medfusion, DDPM): 지표와 하류 성능 간 상관관계가 통계적으로 유의하지 않음 (p ≥ 0.05).
  • StyleGAN3: 오히려 역상관관계 (Negative Correlation) 를 보였습니다. 즉, FID 점수가 낮아질수록 (시각적 품질이 좋아질수록) 실제 분류/분할 모델의 성능은 오히려 떨어지는 경향이 있었습니다 (p < 0.01).
• 시각화 (Figure 2): FID 의 역수 (1/FID) 와 하류 작업 점수 (F1, Dice) 를 비교한 그래프에서 두 곡선의 추세가 일치하지 않음을 확인했습니다.

3) 특징 추출기의 영향:

• 망막 특화 모델인 RETFound 를 사용하더라도 Inception-v3 나 CLIP 보다 하류 작업과의 정합성이 개선되지 않았습니다.
• 특징 벡터의 희소성과 엔트로피 분석은 서로 다른 추출기가 서로 다른 기하학적 특성을 가짐을 보여주었으나, 이것이 하류 작업 성능 예측으로 이어지지 않았습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 실용적 경고: 의료 영상 합성 분야에서 생성 모델의 품질을 평가할 때, FID 나 그 변형 지표들을 신뢰해서는 안 됩니다. 이러한 지표들은 생성된 이미지가 시각적으로 얼마나 그럴듯한지는 알려줄 수 있으나, 해당 데이터를 학습에 활용했을 때 실제 진단 모델의 성능을 높여줄지는 예측하지 못합니다.
• 새로운 평가 패러다임 제안: 생성 모델이 데이터 보강 (Data Augmentation) 을 목적으로 사용될 경우, 하류 작업 (Downstream Task) 에 직접 합성 데이터를 포함시켜 학습하고 평가하는 것이 가장 신뢰할 수 있는 기준 (Gold Standard) 이어야 합니다.
• 미래 방향:
  • 계산 비용이 많이 드는 하류 작업 평가를 피하기 위해, 하류 성능과 높은 상관관계를 가지면서도 계산 효율적인 새로운 프록시 (Proxy) 지표를 개발해야 합니다.
  • 베이지안 최적화나 대리 모델 (Surrogate modeling) 등을 활용하여 하류 작업 성능을 예측하는 효율적인 워크플로우 구축이 필요합니다.

결론적으로, 본 논문은 생성 모델의 '시각적 품질'과 '실용적 유용성'이 반드시 일치하지 않음을 망막 영상 데이터를 통해 실증적으로 증명했으며, 의료 AI 연구 커뮤니티에 생성 모델 평가 기준의 전환을 촉구합니다.