RecoverMark: Robust Watermarking for Localization and Recovery of Manipulated Faces

이 논문은 적대적 공격을 견디면서도 얼굴 조작 영역을 국소화하고 복원하며 소유권을 보호하기 위해, 얼굴 자체를 워터마크로 활용하여 배경에 임베딩하는 'RecoverMark'라는 새로운 프레임워크를 제안합니다.

핵심

🕵️‍♂️ '리커버마크 (RecoverMark)': AI로 변조된 얼굴을 찾아내고 원상복구하는 디지털 탐정

이 논문은 AI 가 만들어낸 가짜 얼굴 (딥페이크 등) 을 어떻게 찾아내고, 어떻게 원래 모습으로 되돌릴 수 있는지에 대한 새로운 기술을 소개합니다. 기존의 방법들은 해커가 '수정'을 하기 전에 이미 숨겨진 흔적을 지워버리면 무용지물이 되었지만, 이 새로운 기술은 그 치명적인 약점을 해결했습니다.

비유를 들어 쉽게 설명해 드리겠습니다.

---

1. 문제: 왜 기존 기술은 실패했을까? ( fragile watermark = 깨지기 쉬운 유리 조각)

기존의 보안 기술들은 사진에 **'유리 조각 같은 흔적 (fragile watermark)'**을 숨겨두었습니다.

• 원리: 사진이 조금만 변조되어도 이 유리 조각이 깨져서 "여기가 변조된 곳이야!"라고 알려주는 방식입니다.
• 약점: 해커가 변조하기 전에, 이 유리 조각을 모래로 덮어버리거나 (저주파 필터) 아예 다시 그리는 (재생성 공격) 방식으로 흔적을 지워버리면, 시스템은 변조 사실을 전혀 모르게 됩니다. 마치 도둑이 범행 현장의 지문을 깨끗이 지워버린 것과 같습니다.

또한, 사진의 소유권을 증명하는 '튼튼한 도장 (robust watermark)'과 이 '유리 조각'을 동시에 넣으려다 보니, 공간이 부족해져서 둘 다 제대로 작동하지 않는 문제도 있었습니다.

2. 해결책: 리커버마크의 핵심 아이디어 (상상력 vs 현실)

이 연구팀이 발견한 치명적인 진실은 다음과 같습니다.

"해커는 얼굴은 바꿀 수 있어도, 배경은 함부로 바꿀 수 없다."

• 상황: 가령 CCTV 영상에서 범죄자의 얼굴을 다른 사람으로 바꾸려 한다고 상상해 보세요.
• 현실: 해커는 얼굴만 바꿀 수 있습니다. 배경 (벽, 바닥, 다른 사람) 을 마음대로 바꾸면, "어? 저 벽이 왜 갑자기 사라졌지?"라고 눈치채기 쉽기 때문입니다. 법원이나 감식관들은 배경의 불일치를 보고 가짜 증거라고 바로 알아챕니다.
• 아이디어: 해커는 배경을 그대로 두어야만 합니다. 이 점을 역이용한 것입니다.

3. 어떻게 작동할까요? (비유: "얼굴을 그림으로 그려서 벽에 숨기다")

리커버마크는 다음과 같은 마법 같은 과정을 거칩니다.

1. 얼굴을 '도장'으로 만든다: 원래 사진의 얼굴 정보를 잘라내어 '디지털 도장 (워터마크)'으로 만듭니다.
2. 배경에 '도장'을 찍는다: 이 얼굴 도장을 주변 배경에 아주 미세하게, 하지만 튼튼하게 숨겨 넣습니다. (기존처럼 얼굴에 흔적을 남기는 게 아니라, 얼굴을 배경에 숨기는 것입니다.)
3. 해커가 얼굴을 바꾼다: 해커가 얼굴을 다른 사람으로 바꾸거나 지워버려도, 배경은 변하지 않습니다.
4. 원래 얼굴을 꺼내다: 우리는 변조된 사진의 배경을 분석하여, 그 안에 숨겨진 '원래 얼굴 도장'을 꺼냅니다.
   • 위치 파악: 꺼낸 '원래 얼굴'과 현재 사진의 '변조된 얼굴'을 비교하면, **"어디가 변조되었는지"**를 정확히 찾아낼 수 있습니다.
   • 원상복구: 숨겨진 '원래 얼굴 도장'을 꺼내서, 변조된 얼굴 부분을 원래 모습으로 다시 채워 넣을 수 있습니다.
   • 소유권 확인: 이 도장은 배경에 튼튼하게 박혀있으므로, 사진이 누구 것인지 증명하는 저작권 도장 역할도 동시에 합니다.

4. 훈련 과정: "가장 힘든 시험부터 치르다"

이 시스템이 얼마나 강력한지 학습시키기 위해, 연구팀은 특별한 훈련 방식을 썼습니다.

• 단계 1: 얼굴을 배경에 숨기는 법을 배웁니다.
• 단계 2 (중요): 해커가 할 수 있는 **가장 잔인한 공격 (이미지를 완전히 다시 그리는 재생성 공격 등)**부터 먼저 겪게 합니다.
  • 마치 최고 수준의 격투기 선수가 가장 강한 상대와 먼저 싸우며 훈련을 시작하는 것과 같습니다.
  • 이렇게 가장 어려운 공격을 먼저 이겨내면, 그다음에 오는 약한 공격 (노이즈, 압축 등) 은 쉽게 이길 수 있게 됩니다.

5. 결론: 왜 이것이 중요한가요?

• 기존의 약점 극복: 해커가 흔적을 지우려 해도, 배경에 숨겨진 원래 얼굴을 다시 꺼낼 수 있어 무용지물이 됩니다.
• 일석삼조: 변조된 곳을 찾는 것 (탐지), 원래 모습으로 되돌리는 것 (복구), 사진 주인을 증명하는 것 (저작권) 을 한 번에 해결합니다.
• 실용성: AI 가 만들어낸 가짜 뉴스나 딥페이크가 판치는 시대에, 증거의 진위를 가리고 피해를 복구하는 강력한 방패가 될 것입니다.

한 줄 요약:

"해커가 얼굴을 바꿔치기해도, 배경에 숨겨진 원래 얼굴의 흔적을 이용해 범인을 찾아내고, 얼굴을 원래대로 되돌려주는 디지털 탐정 기술입니다."

기술 요약

논문 요약: RecoverMark (얼굴 조작 지역화 및 복원을 위한 강인한 워터마킹)

1. 문제 제기 (Problem)

• 배경: 생성형 AI(AIGC) 의 발전으로 인해 얼굴 조작 (Face Manipulation) 이 정교해지면서 시각적 무결성과 지적 재산권 (IP) 보호에 심각한 위협이 되고 있습니다.
• 기존 방법의 한계:
  • 수동적 탐지 (Passive Detection): 조작된 영역의 아티팩트나 노이즈 불일치를 탐지하는 기존 방법은 새로운 조작 기법에 대한 일반화가 어렵고, 사후 처리 (Post-processing) 로 인해 흔적이 지워지면 성능이 급격히 저하됩니다.
  • 능동적 워터마킹 (Proactive Watermarking) 의 취약점:
    • 취약한 워터마킹 (Fragile Watermark) 의존: 기존 선두 방법들 (EditGuard, OmniGuard 등) 은 조작을 감지하기 위해 '취약한' 워터마킹을 사용합니다. 그러나 적대적 공격자가 워터마킹 제거 공격 (저역 통과 필터, 재생성 공격 등) 을 수행하면 워터마킹이 손상되어 탐지 및 지역화가 무효화됩니다.
    • 이중 워터마킹 전략의 결함: 소유권 검증을 위한 '강인한' 워터마킹과 조작 탐지를 위한 '취약한' 워터마킹을 동시에 삽입하는 방식은 용량 제한과 상호 간섭으로 인해 취약한 워터마킹의 효과를 약화시킵니다.
    • 콘텐츠 복원 부재: 대부분의 기존 방법은 조작된 영역의 원본 콘텐츠를 복원하는 기능을 제공하지 않습니다.

2. 방법론 (Methodology)

저자들은 RecoverMark라는 새로운 프레임워크를 제안하며, 다음과 같은 핵심 통찰과 기술적 접근을 사용합니다.

• 핵심 통찰 (Key Insight):

  1. 배경의 의미론적 일관성 유지: 적대적 공격자는 얼굴을 조작하더라도 시각적 탐지를 피하기 위해 배경 (Background) 의 의미론적 일관성을 유지해야 합니다. 즉, 배경은 조작 전후에 큰 변화가 없어야 합니다.
  2. 콘텐츠를 워터마킹으로 활용: 이미지 자체의 콘텐츠 (얼굴) 를 워터마킹으로 사용하여 추출 강인성을 높입니다.

• 작동 원리:

  • 워터마킹 전략: 원본 이미지의 얼굴 영역 ($I_{sal}$) 을 워터마킹으로 간주하고, 이를 주변 배경 ($I_{bg}$) 에 강인하게 임베딩합니다.
  • 2 단계 점진적 학습 파이프라인 (Two-Stage Progressive Training):
    1. 1 단계 (초기 학습): 얼굴을 압축하여 배경에 임베딩하고, 원본과 복원된 얼굴의 유사성 (Fidelity Loss), 워터마킹 추출 정확도 (Watermark Loss), 그리고 배경에 워터마킹이 없을 때의 오검출 방지 (Clean Loss) 를 통해 네트워크를 학습시킵니다.
    2. 2 단계 (강인성 향상 학습): 인코더와 디코더를 고정하고, 왜곡 계층 (Distortion Layer) 을 도입하여 다양한 공격을 시뮬레이션합니다.
       • 왜곡 유형: saliency 처리 (얼굴 영역에 노이즈 추가), 전역 처리 (JPEG, 가우시안 노이즈, 저역 통과 필터), 고급 공격 (재생성 공격, Lattice 공격 등).
       • 점진적 전략: 모든 공격을 한 번에 학습하는 대신, 가장 강력한 재생성 공격 (Regeneration Attack) 을 먼저 학습하고 나머지 공격을 순차적으로 추가합니다. 이는 모델이 단순한 공격에만 국소 최적화되는 것을 방지하고 전역적 강인성을 확보하게 합니다.

• 검증 및 복원:

  • 조작된 이미지에서 배경에 숨겨진 얼굴 정보를 추출합니다.
  • 조작 지역화: 추출된 얼굴과 의심스러운 이미지의 얼굴을 비교하여 차이 마스크를 생성합니다.
  • 콘텐츠 복원: 추출된 얼굴 정보를 원본으로 복원합니다.
  • 소유권 검증: 추출된 얼굴과 원본 얼굴 간의 정규화 상관 계수 (NCC) 가 임계값 (0.95) 을 초과하면 소유권을 확인합니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크 제안: 조작 지역화, 원본 콘텐츠 복원, 저작권 검증을 동시에 수행하는 최초의 강인한 워터마킹 프레임워크인 RecoverMark 를 제안했습니다.
2. 새로운 패러다임: 기존 취약한 워터마킹의 약점을 극복하기 위해, 배경의 일관성 제약 조건을 활용하여 얼굴 콘텐츠를 배경에 강인하게 임베딩하는 방식을 도입했습니다.
3. 고급 학습 전략: 재생성 공격을 포함한 다양한 공격을 시뮬레이션하는 2 단계 점진적 학습 파이프라인을 설계하여, 훈련된 공격뿐만 아니라 훈련되지 않은 공격 (Unseen Attacks) 에 대해서도 뛰어난 일반화 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: CelebA (In-distribution), FFHQ (Out-of-distribution) 를 사용했습니다.
• 비교 대상: 수동적 방법 (MVSS-Net, HiFi-Net) 과 능동적 방법 (Imuge+, EditGuard, OmniGuard) 과 비교했습니다.
• 성능:
  • 강인성: 저역 통과 필터, 패치 제거, 노이즈, JPEG 압축, 그리고 훈련에 포함되지 않은 Lattice 공격과 재생성 공격을 포함한 다양한 공격 하에서 기존 모든 방법 (SOTA) 을 압도하는 성능을 보였습니다.
  • 정량적 지표: 조작 지역화 (F1 점수, AUC) 와 복원 (PSNR, MS-SSIM) 모두에서 가장 높은 점수를 기록했습니다. 예를 들어, 재생성 공격 하에서 F1 점수는 0.855 (기존 최고 0.535) 에 달했습니다.
  • 소유권 검증: NCC 임계값 0.95 기준 99.9% 의 성공률을 기록했습니다.
  • 일반화: 훈련 데이터 (CelebA) 와 다른 분포의 데이터 (FFHQ) 에서 모두 우수한 성능을 유지하여 OOD (Out-of-Distribution) 일반화 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

• 적대적 환경 대응: 적대적 공격자가 워터마킹 제거 공격을 수행하더라도 조작을 탐지하고 원본을 복원할 수 있는 실질적인 방어 메커니즘을 제공합니다.
• 법적/실무적 활용: 증거의 신뢰성을 판단할 때 배경의 불일치를 통해 조작을 식별할 수 있는 능력을 제공하여, 디지털 포렌식 및 저작권 보호 분야에서 중요한 역할을 할 것으로 기대됩니다.
• 확장성: 얼굴에 국한된 연구이지만, 다른 사물 (Salient Object) 을 워터마킹으로 활용하고 배경을 컨테이너로 사용하는 방식은 일반 이미지로 확장 가능함을 시사합니다.

이 논문은 AI 생성 콘텐츠 시대의 디지털 무결성 보호를 위해, 기존 취약점을 극복하는 새로운 강인한 워터마킹 패러다임을 제시했다는 점에서 큰 의의를 가집니다.