DiffusionPrint: Learning Generative Fingerprints for Diffusion-Based Inpainting Localization

1. 문제 정의 (Problem Statement)

최근 등장한 텍스트 기반 확산 모델 (Diffusion Models, 예: Stable Diffusion, FLUX, Adobe Firefly) 은 이미지 인페인팅 (inpainting) 기술을 통해 비전문가도 사실적인 이미지 조작을 가능하게 했습니다. 이는 가짜 뉴스, 사기, 증거 조작 등의 심각한 위협이 되고 있습니다.

기존의 이미지 위조 국소화 (Image Forgery Localization, IFL) 방법들은 주로 스플라이싱 (splicing) 위협 모델을 가정하고 있습니다. 즉, 조작된 영역의 픽셀만 교체되고 나머지 영역은 원본 센서 노이즈 (sensor noise) 와 같은 저수준의 포렌식 흔적을 유지한다는 전제에 기반합니다.

그러나 현대적인 잠재 확산 (latent diffusion) 기반 인페인팅은 다음과 같은 이유로 기존 방법을 무력화시킵니다.

• 완전 재생성 (Fully-regenerative) 방식: 인페인팅이 수행되더라도, 최종 이미지는 잠재 공간 (latent space) 에서 전체 이미지를 재구성한 후 VAE 디코더를 통해 복원됩니다.
• 전역적 스펙트럼 왜곡: 이로 인해 인페인팅 마스크 바깥의 '진짜' 영역조차도 재구성 과정에서 왜곡되며, 기존 IFL 방법들이 의존하는 국소적인 센서 노이즈 패턴이 파괴됩니다.
• 기존 방법의 실패: 기존 방법들은 이러한 전역적 스펙트럼 이동 (spectral shift) 을 탐지하지 못하거나, 오히려 이를 조작의 증거로 오인하여 성능이 급격히 저하됩니다.

2. 제안 방법: DiffusionPrint (Methodology)

저자들은 잠재 재구성에 의해 발생하는 스펙트럼 왜곡에 불변 (invariant) 이면서도, 생성된 영역의 고유한 '생성 지문 (generative fingerprint)'을 포착할 수 있는 새로운 포렌식 신호를 학습하기 위해 DiffusionPrint를 제안합니다. 이는 패치 수준의 대비 학습 (contrastive learning) 프레임워크입니다.

핵심 구성 요소

1. 비대칭 긍정 쌍 구성 (Asymmetric Positive Pair Construction):

   • 생성된 패치 (Generated Patches): 동일한 생성 모델로 인페인팅된 이미지 내에서, 인페인팅 전 패치와 후 패치를 긍정 쌍으로 구성합니다. 두 패치는 동일한 생성 지문을 공유하므로, 인코더가 이 공통된 지문을 학습하도록 유도합니다.
   • 진짜 패치 (Authentic Patches): 실제 이미지 (Real Image) 를 다양한 생성 모델로 인페인팅한 후, 마스크 바깥의 패치들을 긍정 쌍으로 구성합니다. 이는 인코더가 VAE 재구성으로 인한 아티팩트 (노이즈 변화) 에 불변성을 갖도록 학습시킵니다.
   • 배제: 실제 이미지에서 인페인팅된 영역 (새로 생성된 부분) 은 긍정 쌍에서 제외되며, 오히려 부정 샘플로 활용됩니다.

2. MoCo 스타일 대비 학습 (MoCo-style Contrastive Training):

   • 모멘텀 인코더 (Momentum Encoder): 안정적인 임베딩을 위해 모멘텀 업데이트 방식을 사용합니다.
   • 크로스-카테고리 하드 네거티브 마이닝 (Cross-category Hard Negative Mining): 각 앵커 (anchor) 에 대해 반대 카테고리 (생성된 패치 vs 진짜 패치) 에서 가장 유사한 '하드 네거티브'를 큐 (queue) 에서 추출합니다. 이는 모델이 시각적으로 유사하지만 포렌식적으로 다른 영역을 구별하도록 강제합니다.
   • Top-k 마이닝: 가장 유사한 $k$개의 네거티브에 초점을 맞춰 학습 효율을 높입니다.

3. 생성 모델 인식 분류 헤더 (Generator-aware Classification Head):

   • 대비 학습 목적 함수와 함께, 이미지가 어떤 생성 모델 (SD 2.1, SDXL, Flux 등) 에 의해 생성되었는지 분류하는 보조 작업을 수행합니다. 이는 모델별 고유 지문을 더 명확히 학습하도록 돕습니다.

4. 아키텍처:

   • DnCNN 백본을 사용하여 입력의 공간 차원을 유지하는 밀도 특징 맵 (dense feature map) 을 생성합니다.
   • 학습 시에는 글로벌 평균 풀링 (GAP) 을 사용하지만, 추론 시에는 전체 공간 특징 맵을 출력하여 하류의 퓨전 (fusion) 프레임워크에 직접 전달합니다.

3. 주요 기여 (Key Contributions)

1. DiffusionPrint 프레임워크 제안: 잠재 재구성 아티팩트에 불변하면서 인페인팅된 콘텐츠의 생성 지문을 포착하는 패치 수준의 대비 학습 프레임워크를 최초로 제안했습니다.
2. 새로운 학습 전략: 비대칭 긍정 쌍 구성과 크로스-카테고리 하드 네거티브 마이닝을 결합하여, 생성 모델의 지문 간 효과적인 대비 학습을 가능하게 했습니다.
3. 범용성 및 일반화: TGIF 벤치마크에서 TruFor, MMFusion 등 다양한 퓨전 프레임워크에 통합하여 평가되었으며, 훈련 시 보지 못한 생성 모델 (Flux 등) 과 마스크 유형에서도 뛰어난 성능을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크: TGIF (Text-guided Image Forgery) 데이터셋의 완전 재생성 (Fully Regenerated) 하위 집합을 사용했습니다.
• 성능 향상: 기존 포렌식 신호인 Noiseprint++ 를 대체하여 DiffusionPrint 를 사용할 경우, 모든 프레임워크 (Lite Baseline, TruFor, MMFusion) 에서 일관된 성능 향상을 보였습니다.
  • F1 점수 향상: 특히 훈련 시 보지 못한 마스크 유형 (random mask) 에서 최대 +28% 의 성능 향상을 기록했습니다.
  • 일반화 능력: SD 2.1 과 SDXL 로만 사전 학습된 모델 (DP†) 이 Flux 시리즈 (Flux schnell, dev, fill) 와 같은 완전히 새로운 아키텍처에서도 경쟁력 있는 성능을 보여주어, 모델 특정적 단서가 아닌 근본적인 생성 신호를 학습했음을 증명했습니다.
• 정성적 분석: Noiseprint++ 는 종종 진짜 영역에서 오작동하거나 노이즈가 많은 예측을 보이는 반면, DiffusionPrint 는 더 정밀하고 오탐지 (false positive) 가 적은 국소화 맵을 생성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 포렌식 패러다임의 전환: 기존 IFL 방법이 의존하던 '센서 노이즈' 기반 접근법의 한계를 극복하고, '생성 지문 (Generative Fingerprint)'을 새로운 포렌식 신호로 확립했습니다.
• 실용성: DiffusionPrint 는 기존 퓨전 기반 IFL 프레임워크에 '플러그인 (drop-in)' 방식으로 쉽게 통합될 수 있어, 다양한 생성 모델에 대한 탐지 성능을 즉시 향상시킬 수 있습니다.
• 미래 전망: 이 연구는 생성형 AI 시대의 이미지 진위 여부 판단을 위한 새로운 기준을 제시하며, 향후 카메라 노이즈와 생성 지문을 결합한 통합 포렌식 파이프라인 개발의 기초를 마련했습니다.

요약하자면, DiffusionPrint는 최신 확산 모델이 만들어내는 전역적 재구성 효과를 포렌식적으로 활용 가능한 신호로 전환하여, 기존 방법론이 실패하는 환경에서도 강력한 이미지 위조 탐지 능력을 보여주는 획기적인 연구입니다.