SEED: A Large-Scale Benchmark for Provenance Tracing in Sequential Deepfake Facial Edits

1. 문제 정의 (Problem Definition)

• 배경: 소셜 미디어상의 딥페이크 콘텐츠는 단일 조작이 아닌, 얼굴 생체 데이터 (이미지 등) 에 대한 연속적인 편집 (Sequential Edits) 을 통해 생성되는 경우가 increasingly 많습니다. 예를 들어, 입술 색을 바꾼 후 모자를 쓰고, 눈을 변경하는 식의 다단계 작업이 이루어집니다.
• 한계: 기존의 딥페이크 검출 벤치마크 (FaceForensics++, ForgeryNet 등) 는 주로 단일 단계 (Single-step) 조작이나 전체적인 진위 여부 (Binary Authenticity) 판별에 초점을 맞추고 있습니다.
• 핵심 문제:
  • 실제 편집 워크플로우는 여러 단계로 이루어지며, 후속 편집이 이전 편집의 흔적 (Artifacts) 을 덮어쓰거나 분산시켜 증거를 희석시킵니다.
  • 확산 모델 (Diffusion Models) 기반의 편집은 기존 GAN 기반보다 더 자연스럽고 미묘한 아티팩트를 남기므로, 기존 공간적 (Spatial) 증거만으로는 편집 이력을 복원하기 어렵습니다.
  • 편집된 속성 (Attribute) 과 그 순서 (Order) 를 동시에 추적할 수 있는 대규모 데이터셋과 평가 기준이 부재합니다.

2. 제안 방법 및 핵심 기여 (Methodology & Contributions)

저자들은 이 문제를 해결하기 위해 SEED라는 새로운 벤치마크와 이를 분석하기 위한 FAITH라는 모델을 제안합니다.

A. SEED: Sequential Editing in Diffusion (벤치마크)

• 규모 및 구성: 91,526 개의 얼굴 이미지로 구성된 대규모 데이터셋입니다.
• 생성 방식: FFHQ 및 CelebAMask-HQ 의 고품질 실사 얼굴을 기반으로, 1 단계에서 4 단계까지 연속적으로 속성 편집을 가합니다.
• 사용 모델: LEDITS, SDXL, SD3 등 최신 확산 모델 기반 편집 파이프라인을 활용하여 다양성을 확보했습니다.
• 세부 주석 (Fine-grained Annotations): 각 샘플은 다음 메타데이터를 포함합니다.
  • 편집된 속성 순서 (Edit Order)
  • 텍스트 명령어 (Text Instructions/Prompts)
  • 조작 영역 마스크 (Manipulation Masks)
  • 사용된 생성 모델 정보
• 지원 태스크:
  1. 진위성 분석 (Authenticity Analysis): 실사 vs 연속 편집된 이미지 구분.
  2. 편집 흔적 분석 (Editing Trace Analysis): 편집된 속성과 그 순서 예측.
  3. 공간 증거 분석 (Spatial Evidence Analysis): 조작된 영역 로컬라이제이션.
• 데이터 분할: 신원 (Identity) 이 겹치지 않도록 분할하여 모델이 특정 인물을 암기하는 것을 방지하고, 편집 단계 수 (L=0~4) 를 균등하게 배분하여 편향을 제거했습니다.

B. FAITH: Frequency-Aware Identification Transformer (베이스라인 모델)

• 동기: 기존 공간적 (Spatial) 접근법만으로는 확산 모델의 미묘한 아티팩트, 특히 다단계 편집 시 누적된 흔적을 포착하기 어렵다는 관찰에서 시작되었습니다.
• 아키텍처:
  • 공간 특징 추출: CNN (ResNet-50) 을 통해 공간적 특징을 추출합니다.
  • 주파수 도메인 가이드: 이산 웨이블릿 변환 (DWT) 을 사용하여 고주파수 성분 (HH 서브밴드) 을 추출합니다. 확산 모델의 편집 흔적은 고주파수 영역에서 더 잘 드러난다는 가정에 기반합니다.
  • 트랜스포머 구조: 인코더 - 디코더 구조를 사용하며, 디코더의 크로스 어텐션 (Cross-attention) 단계에서 추출된 주파수 특징을 가이드 맵 (Guidance Map) 으로 주입하여, 디코더가 미세한 편집 흔적에 더 민감하게 반응하도록 유도합니다.
  • 시퀀스 예측: 편집된 속성 토큰을 순차적으로 예측하는 이미지 - 투 - 시퀀스 (Image-to-Sequence) 문제로 설정합니다.

3. 실험 결과 (Results)

• 성능 비교: SEED 데이터셋에서 기존 딥페이크 검출기 (Shuai et al., FreqNet 등) 와 순차적 베이스라인 (SeqFakeFormer) 을 비교했습니다.
  • 단일 단계 검출기의 한계: 기존 모델들은 단일 편집에는 강하지만, 편집 단계가 늘어나면 (L=2, 3, 4) 성능이 급격히 저하되었습니다.
  • FAITH 의 우수성: 주파수 도메인 정보 (특히 DWT) 를 통합한 FAITH 가 모든 단계 수에서 가장 높은 성능을 보였습니다. 특히 Full-Acc (전체 편집 이력을 정확히 맞추는 지표) 에서 기존 모델 대비 유의미한 개선을 보였습니다.
• 주파수 도메인의 중요성: DCT 나 FFT 보다 DWT(웨이블릿) 가 국소적인 고주파수 변화를 더 잘 포착하여, 다단계 편집 시 발생하는 복잡한 아티팩트 복원에 효과적이었습니다.
• 강건성 (Robustness) 평가: JPEG 압축 및 가우시안 노이즈와 같은 후처리 조건에서 테스트했습니다.
  • 모든 모델의 성능이 저하되었으나, FAITH(DWT) 가 가장 높은 강건성을 유지했습니다.
  • 특히 고압축이나 고노이즈 환경에서도 FAITH 는 편집 순서를 올바르게 예측하고 조기 종료 (Early Stopping) 를 방지하는 데 탁월한 성능을 보였습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 새로운 벤치마크의 필요성: SEED 는 확산 모델 기반의 연속적 편집 이력 추적 (Provenance Tracing) 을 위한 첫 번째 대규모 표준 벤치마크로, 단순한 진위 판별을 넘어 "어떻게, 어떤 순서로" 조작되었는지를 분석할 수 있는 기반을 마련했습니다.
• 기술적 통찰: 딥페이크 검출에서 주파수 도메인 정보 (특히 고주파수 성분) 가 공간적 정보보다 다단계 편집 흔적 복원에 더 중요한 단서가 될 수 있음을 실증했습니다.
• 미래 방향: SEED 와 FAITH 는 AI 생성 콘텐츠의 신뢰성 있는 분석, 허위 정보 감사 (Misinformation Auditing), 그리고 포렌식 워크플로우의 발전에 중요한 기여를 할 것으로 기대됩니다. 특히 편집 단계가 길어질수록 발생하는 증거의 희석 문제를 해결하기 위해 공간과 주파수 정보를 융합하는 접근법의 중요성을 강조합니다.

이 논문은 AI 생성 이미지의 진위성을 판단하는 데 있어, 단순한 '거짓/진짜' 구분을 넘어 편집의 역사 (History) 를 복원하는 것이 얼마나 중요한지, 그리고 이를 위해 어떤 새로운 데이터와 기술적 접근이 필요한지를 체계적으로 제시했습니다.