A Calibrated Memorization Index (MI) for Detecting Training Data Leakage in Generative MRI Models

1. 문제 정의 (Problem Statement)

의료 영상 생성 모델 (Generative Models) 은 데이터 부족, 클래스 불균형, 환자 프라이버시 문제를 해결하기 위해 널리 사용되고 있습니다. 그러나 이러한 모델은 훈련 데이터를 단순히 암기 (Memorization) 하거나 복제하여 출력하는 '데이터 누출 (Data Leakage)' 현상을 보일 수 있으며, 이는 환자의 개인 식별 정보 (PII) 유출로 이어져 심각한 프라이버시 위험을 초래합니다.

기존의 데이터 누출 탐지 방법에는 다음과 같은 한계가 있었습니다:

• 분포 기반 지표 (FID, MMD 등): 훈련 데이터가 평가 세트에 섞이면 오히려 점수가 개선되어, 모델이 훈련 데이터를 복사할수록 '더 좋은 품질'을 가진 것처럼 오인하는 역설적인 결과를 초래합니다.
• 자연 이미지 기반 지표 (CT-score, Vendi score 등): InceptionV3 와 같은 자연 이미지로 훈련된 모델의 특징을 사용하므로, 해부학적 구조가 규칙적이고 다양성이 제한적인 의료 영상 (MRI) 에 적용 시 성능이 떨어집니다. 단순한 증강 (Augmentation) 에 쉽게 속아 근사한 복제본 (Near-duplicates) 을 탐지하지 못합니다.
• 보정 (Calibration) 부재: 데이터셋마다 지표의 스케일이 달라서 일관된 임계값을 설정하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 MRI 데이터셋에서 슬라이스 수준의 암기 현상을 탐지하기 위해 보정된 다중 스케일 지표 (Calibrated Multi-scale Metric) 를 제안합니다. 전체 파이프라인은 다음과 같은 4 단계로 구성됩니다.

2.1 특징 추출 (Feature Extraction)

• 모델: 다양한 MRI 데이터셋으로 사전 훈련된 도메인 특화 기반 모델인 MRI-CORE (SAM ViT-B 인코더) 를 사용합니다.
• 다중 스케일 추출: ViT 의 초기 레이어는 CNN 의 초기 합성곱과 유사한 국소적 특징 (텍스처) 을, 깊은 레이어는 전역적 특징 (해부학적 구조) 을 포착합니다. 이를 위해 11 개 블록 중 3, 7, 11 번 블록에서 특징을 추출하여 미세한 텍스처부터 고수준 구조까지 포괄합니다.
• 공간 풀링: 추출된 공간 토큰을 적응형 평균 풀링 (Adaptive Average Pooling) 을 통해 벡터로 변환합니다.

2.2 화이트닝 및 레이어별 유사도 계산 (Whitening & Similarity)

• ZCA 화이트닝: 레이어별 훈련 데이터 특징에 대해 ZCA 화이트닝을 적용하여 특징 간 상관관계를 제거하고 원래 특징 공간을 유지합니다 (PCA 와 달리 회전하지 않음).
• 최대 코사인 유사도: 각 테스트 샘플 $j$에 대해, 해당 레이어 $k$에서 훈련 세트의 모든 샘플과 계산된 코사인 유사도 중 최대값을 구합니다.

2.3 다중 스케일 집계 (Multi-Scale Aggregation)

• 기하 평균 (Geometric Mean): 각 레이어에서 계산된 유사도 ($s^{(k)}_j$) 를 기하 평균으로 집계합니다.
  • 이는 '전문가들의 제품 (Product-of-Experts)'과 같은 역할을 하여, 초기, 중기, 후기 특징에서 모두 높은 유사도를 보일 때만 높은 점수를 부여합니다.
  • 산술 평균에 비해 단일 레이어의 이상치 (Outlier) 를 억제하고, 어떤 스케일에서도 근접한 이웃을 찾지 못하면 패널티를 줍니다.

2.4 보정 및 암기 지수 (Calibration & Memorization Index)

• 영분포 (Null Distribution) 구축: 훈련 데이터를 부트스트랩 (Bootstrapping) 하여 무작위 부분집합 간의 유사도를 계산함으로써 경험적 영분포를 만듭니다.
• 지수 정의:
  • Memorization Index (MI): 표준화된 점수 ($s_j - \mu_{null} / \sigma_{null}$).
  • Overfit/Novelty Index (ONI): $-\tanh(MI)$ 함수를 사용하여 $[-1, 1]$ 범위로 변환합니다.
    • ONI $\approx -1$: 높은 유사도 (암기/복제 가능성).
    • ONI $\approx 0$: 무작위 유사도 (정상).
    • ONI $\approx +1$: 새로운 데이터 (Novelty).

3. 주요 결과 (Key Results)

저자들은 뇌 (BRATS), 무릎, 척추 MRI 데이터셋을 사용하여 제안된 방법의 성능을 검증했습니다.

• 증강 (Augmentation) 에 대한 강건성:
  • 가우시안 노이즈, 회전, 플립, 강도 스케일링 등 8 가지 증강 기법을 적용했을 때, 제안된 MI 지수는 CT Score 보다 6~20 배 더 안정적이었습니다 (표준편차 기준).
  • CT Score 는 증강 시 점수 분산이 크고 비단조적인 경향을 보인 반면, MI 는 증강이 있더라도 거의 선형적으로 증가하는 경향을 유지했습니다.
• 데이터셋 간 일관성 (Cross-dataset Consistency):
  • 서로 다른 3 개 MRI 데이터셋에서 MI 의 변동 계수 (CV) 는 CT Score 보다 평균 5.5 배 낮았습니다.
  • 이는 데이터셋에 관계없이 보편적인 임계값 (Universal Threshold) 을 설정할 수 있음을 의미합니다 (예: ONI < 0.68 은 누출로 간주).
• 샘플 수준 탐지 성능:
  • ROC-AUC: 깨끗한 이미지, 노이즈, 강도 변화가 있는 경우 1.0 (완벽한 탐지) 을 기록했습니다.
  • 기하학적 변환: 작은 회전 ($\pm 3^\circ$) 에서는 0.87, $\pm 5^\circ$에서는 0.76, 플립에서는 약 0.73 의 성능을 보였습니다.
  • 이는 개별 샘플을 식별하여 누출된 데이터를 제거 (Curation) 하는 데 직접적으로 활용 가능함을 보여줍니다.
• 기존 지표와의 비교:
  • FID/MMD 는 복제가 증가할수록 점수가 개선되어 오해를 불러일으켰습니다.
  • Vendi Score 는 유의미한 신호를 제공하지 못했습니다.
  • AuthPct 는 탐지력은 좋았으나 증강에 매우 민감했습니다.

4. 주요 기여 (Key Contributions)

1. 보정된 다중 스케일 지표 개발: 의료 영상 특화 기반 모델 (MRI-CORE) 의 다중 레이어 특징을 활용하여, 해부학적 구조와 미세 텍스처를 모두 고려한 새로운 지표 (MI/ONI) 를 제안했습니다.
2. 데이터셋 독립적인 보정: 경험적 영분포를 통해 지표를 보정하여, 서로 다른 MRI 데이터셋 간에 일관된 해석이 가능한 범위를 제공합니다.
3. 실용적인 데이터 큐레이션 도구: 단순히 '누출이 있다/없다'를 진단하는 것을 넘어, 개별 샘플 수준에서 복제본을 식별하고 제거할 수 있는 능력을 제공합니다.
4. 강건한 증강 내성: 일반적인 데이터 증강 기법 (노이즈, 회전 등) 에 대해 기존 지표보다 훨씬 안정적인 성능을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 생성형 의료 AI 모델의 안전성을 검증하는 데 있어 수동적인 진단 도구에서 능동적인 큐레이션 도구로의 전환을 가능하게 합니다.

• 프라이버시 보호: 훈련 데이터의 암기를 정량적으로 탐지하여 환자 정보 유출 위험을 사전에 차단할 수 있습니다.
• 신뢰성 향상: 생성 모델의 평가 시, 단순한 화질 지표 (FID 등) 와 함께 이 지표를 병행함으로써 모델이 훈련 데이터를 복사하는지 여부를 명확히 구분할 수 있습니다.
• 범용성: MRI 에 특화되었으나, 적절한 도메인 특화 특징 공간이 제공된다면 다른 의료 영상 모달리티에도 적용 가능한 일반적인 방법론을 제시했습니다.

결론적으로, 이 논문은 생성형 의료 AI 의 윤리적 사용과 데이터 무결성 보장을 위한 필수적인 평가 지표 체계를 정립했다는 점에서 중요한 의의를 가집니다.