High-Fidelity Face Content Recovery via Tamper-Resilient Versatile Watermarking

1. 연구 배경 및 문제 정의 (Problem)

• 배경: AIGC(인공지능 생성 콘텐츠) 기술의 발전으로 인해 딥페이크 (Deepfake) 및 얼굴 조작 기술이 급격히 진화하고 있습니다. 이는 미디어의 출처 증명, 무결성, 저작권 보호에 심각한 위협을 가하고 있습니다.
• 기존 방법의 한계:
  • 신뢰성 - 기능성 트레이드오프: 기존 범용 워터마킹 시스템은 저작권 보호와 조작 탐지를 동시에 수행하기 위해 명시적인 '로컬라이제이션 (조작 위치 식별) 페이로드'를 삽입합니다. 이는 시각적 품질 (Fidelity) 을 저하시키고, 강력한 생성형 편집 하에서 워터마크 복호화 강건성을 약화시킵니다.
  • 콘텐츠 복구 부재: 기존 방법들은 대부분 조작된 원본 콘텐츠를 복구하는 기능을 지원하지 않아, 증거 보존을 위해 원본을 재구성해야 하는 포렌식 (Forensics) 상황에서 활용도가 제한적입니다.
• 핵심 과제: 저작권 보호와 조작 로컬라이제이션 사이의 충실도 - 기능성 트레이드오프를 해소하면서, 고충실도 (High-Fidelity) 로 원본 얼굴 콘텐츠를 복구할 수 있는 통합된 방어 체계가 필요합니다.

2. 제안 방법: VeriFi (Methodology)

저자들은 VeriFi라는 새로운 범용 워터마킹 프레임워크를 제안합니다. 이는 저작권 보호, 픽셀 단위 조작 로컬라이제이션, 고충실도 얼굴 콘텐츠 복구를 하나의 통합된 프레임워크로 결합합니다.

2.1 핵심 아키텍처 및 모듈

VeriFi 는 크게 네 가지 핵심 모듈로 구성됩니다 (그림 2 참조):

1. 통합 복구 - 저작권 워터마킹 임베더 (URW Embedder):

   • 저작권 코드 ($w_{cop}$): 소유권 인증을 위한 이진 비트열.
   • 압축된 얼굴 잠재 표현 ($z_{face}$): VAE(변분 오토인코더) 기반의 저차원 잠재 코드로, 원본 얼굴의 의미적 (Semantic) 정보를 압축하여 저장합니다. 이는 강력한 조작 후에도 복구가 가능한 '콘텐츠 보존 사전 지식 (Content-preserving prior)' 역할을 합니다.
   • 두 신호를 시각적으로 불감지 (Imperceptible) 하도록 원본 이미지에 임베딩합니다.

2. AIGC 공격 시뮬레이터 (AIGC Attack Simulator):

   • 훈련 단계에서 실제 딥페이크 생성 파이프라인을 모방하기 위해 설계되었습니다.
   • 잠재 공간 혼합 (Latent Mixing): VAE 인코더를 통해 추출된 원본과 소스 얼굴의 잠재 특징을 채널 단위로 혼합하여 생성형 모델의 특징을 모사합니다.
   • 이미지 블렌딩 (Image Blending): 포아송 블렌딩 (Poisson Blending) 을 적용하여 자연스러운 얼굴 교체 효과를 구현합니다.
   • 이를 통해 워터마크 네트워크가 다양한 AIGC 공격에 대해 강건하게 학습하도록 합니다.

3. 워터마크 유도 조작 로컬라이제이션 (Watermark-Guided Forgery Locator):

   • 원리: 조작이 가해진 영역에서는 임베딩된 워터마크 신호가 손상되거나 결손됩니다. 이를 '공간적 불일치 (Spatial Inconsistency)'로 활용합니다.
   • 구조: 복호화된 워터마크 신호와 조작된 이미지의 시각적 특징을 비교하는 듀얼-브랜치 (Dual-branch) Swin-Unet 구조를 사용합니다.
   • 동작: 두 스트림 간의 코사인 유사도 (Cosine Similarity) 를 계산하여 조작 확률 맵 ($\hat{M}$) 을 생성합니다. 별도의 로컬라이제이션 페이로드를 삽입하지 않아도 되므로 시각적 품질 저하를 방지합니다.

4. 워터마크 유도 딥페이크 복구 네트워크 (Watermark-Guided Deepfake Recovery):

   • 입력: 조작된 이미지, 복원된 잠재 표현 ($\hat{z}_{face}$) 에서 생성된 거친 얼굴 프록시 ($\hat{I}_b$), 예측된 조작 마스크 ($\hat{M}$).
   • 구조: 듀얼 스트림 트랜스포머 (Dual-stream Transformer) 를 사용합니다.
   • 메커니즘: 예측된 조작 마스크를 '스페이셜 게이트 (Spatial Gating)'로 사용하여, 워터마크 기반의 의미적 사전 지식이 조작된 영역에만 선택적으로 주입되도록 합니다. 이를 통해 원본의 세부 사항을 고충실도로 복원합니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크: 저작권 보호, 픽셀 단위 조작 로컬라이제이션, 고충실도 얼굴 복구를 동시에 지원하는 최초의 범용 워터마킹 시스템 중 하나입니다.
2. 트레이드오프 해소: 별도의 로컬라이제이션 페이로드 없이, 복호화된 저작권 신호의 공간적 불일치를 분석하여 조작을 탐지함으로써 시각적 품질과 기능성 사이의 트레이드오프를 극복했습니다.
3. 고충실도 복구: 압축된 의미적 잠재 워터마크를 사전 지식으로 활용하여, 심각한 AIGC 조작 후에도 원본 얼굴을 정확하게 재구성할 수 있는 복구 네트워크를 설계했습니다.
4. AIGC 공격 시뮬레이터: 잠재 공간 혼합과 이미지 블렌딩을 결합한 훈련 시뮬레이터를 도입하여, 실제 딥페이크 파이프라인에 대한 워터마크의 강건성을 획기적으로 향상시켰습니다.

4. 실험 결과 (Results)

CelebA-HQ 와 FFHQ 데이터셋을 사용하여 다양한 기존 방법 (EditGuard, OmniGuard, StableGuard, WAM 등) 과 비교 평가되었습니다.

• 조작 로컬라이제이션 (Tamper Localization):
  • SD Inpainting, HD-painter, Splicing 등 다양한 공격 유형에서 F1 점수, AUC, mIoU 모두에서 기존 최첨단 방법들을 압도적으로 능가했습니다. (예: Splicing 에서 F1 0.989, AUC 0.995 달성).
  • 시각적 결과에서도 조작 경계가 더 명확하게 식별되었습니다.
• 얼굴 복구 (Face Recovery):
  • 복구된 이미지의 품질 (PSNR, SSIM) 이 Imuge+, DFREC 등 기존 복구 방법들보다 월등히 높았습니다. (CelebA-HQ 기준 SD Inpainting 에서 PSNR 31.05 dB, SSIM 0.894 달성).
  • FID(Fréchet Inception Distance) 점수가 낮아 복원된 얼굴이 원본과 의미적으로 일치하고 자연스러움을 입증했습니다.
• 워터마크 강건성 (Robustness):
  • 다양한 AIGC 조작 및 일반적인 이미지 손상 (JPEG, 노이즈 등) 하에서 평균 비트 정확도 (Bit Accuracy) 가 97.70% 로 가장 높았습니다.
  • 저작권 보호와 조작 탐지, 복구를 동시에 수행하면서도 워터마크 추출률이 매우 높게 유지되었습니다.
• 효율성:
  • 전체 모델 파라미터는 약 1.57 억 개이며, 이미지당 추론 지연 시간 (Latency) 은 약 82.75ms 로 실시간 또는 준실시간 적용이 가능한 수준입니다.

5. 의의 및 결론 (Significance)

• 포렌식 패러다임의 전환: 수동적인 딥페이크 탐지 (Passive Detection) 를 넘어, 사전에 워터마크를 삽입하여 출처를 증명하고 조작을 정확히 위치시키며, 심지어 원본을 복구할 수 있는 능동적 (Proactive) 방어 체계를 제시했습니다.
• 실용적 가치: 저작권 침해 방지, 가짜 뉴스 식별, 법적 증거 확보 등 실제 딥페이크 대응 시나리오에서 필수적인 기능을 통합하여 제공함으로써, 생성형 AI 시대의 미디어 보안에 중요한 기여를 합니다.
• 향후 전망: 이 프레임워크는 비디오 콘텐츠 및 기타 멀티모달 데이터로 확장될 수 있는 잠재력을 가지고 있습니다.

요약하자면, VeriFi는 AIGC 시대의 얼굴 조작 위협에 대응하기 위해, 시각적 품질을 해치지 않으면서 저작권 보호, 정밀한 조작 탐지, 그리고 원본 복구를 동시에 달성한 혁신적인 워터마킹 솔루션입니다.