기술 요약: GhostVAE – 은밀한 백도어를 통한 확산 모델 시맨틱 워터마크 회피

문제 정의

시맨틱 워터마킹은 잠재 확산 모델(LDM)로 생성된 이미지의 출처를 확립하기 위한 주요 기술적 솔루션으로 부상했습니다. Tree-Ring, Gaussian Shading, PRCMark과 같은 이러한 체계는 이미지 충실도를 유지하기 위해 생성 과정의 초기 잠재 노이즈에 정보를 임베딩하며, 잠재 가우시안 분포의 보존에 의존합니다. 이러한 시스템의 핵심 가정은 이미지를 다시 잠재 공간으로 매핑하는 데 일반적으로 변이형 오토인코더(VAE)를 사용하는 탐지 파이프라인이 신뢰할 수 있다는 것입니다.

본 논문은 이러한 가정에 존재하는 근본적인 취약점을 식별합니다: 탐지를 위해 신경망에 의존한다는 점은 백도어 공격 표면을 도입합니다. 저자들은 악의적인 모델 공급자가 "증명 가능한 보안" 워터마킹 체계를 배포함으로써 규제 요구 사항을 외견상 준수하면서도, VAE 인코더에 비밀리에 백도어를 심는 위협 모델을 제시합니다. 이를 통해 공급자는 공모한 사용자들에게 유니버설 트리거(universal trigger)를 배포할 수 있습니다. 이 트리거가 포함된 이미지가 백도어가 심겨진 인코더에 의해 처리되면, 워터마크 탐지가 선택적으로 비활성화되어 규제 감사를 우회하는 추적 불가능하고 유해한 콘텐츠 생성을 가능하게 합니다.

방법론: GhostVAE

저자들은 LDM의 VAE 인코더에 은밀한 백도어를 심기 위해 설계된 2단계 백도어 공격 프레임워크인 GhostVAE를 제안합니다. 이 공격은 선택적(트리거 발생 시에만 탐지 회피)이고, 은밀하며(화이트박스 감사자에게 탐지되지 않음), 다양한 LDM 아키텍처 및 워터마킹 체계에 걸쳐 일반화 가능하도록 설계되었습니다.

1단계: 유니버설 트리거 생성

첫 번째 단계는 모든 이미지에 적용될 수 있는 견고하고 인지하기 어려운 트리거($\delta$)를 구축하는 데 중점을 둡니다.

• 목표: 트리거는 일반적인 손상 및 정화 기술에 대해 견고성을 유지하면서, 인코딩된 이미지의 잠재 공간에서 일관된 "부호 반전(sign-flip)" 효과를 유도해야 합니다.
• 최적화: 트리거는 다음 두 가지 항을 결합한 손실 함수를 최소화하도록 투영 경사 하강법(PGD)을 통해 최적화됩니다:
  1. 부호 반전 손실 ($L_{flip}$): 트리거가 포함된 이미지의 잠재 표현($E_{bd}(x+\delta)$)이 깨끗한 이미지의 잠재 표현($E_{cl}(x)$)의 음수(negative)가 되도록 유도합니다. 이는 잠재 값의 부호에 의존하는 워터마크 체계(예: Gaussian Shading, PRCMark)나 푸리에 구조(Tree-Ring)를 방해합니다.
  2. 견고성 손실 ($L_{robust}$): 원본 이미지와 트리거의 파워 스펙트럼을 정렬하기 위해 파워 스펙트럼 정규화(BlurGuard에서 채택)를 활용합니다. 이는 최적화 과정 중에 학습 가능한 가우시안 블러를 트리거에 적용함으로써 달성되며, 이를 통해 트리거가 정화 방어 기제(예: DiffPure)에 의해 억제될 수 있는 고주파 시그니처를 피하도록 보장합니다.

2단계: 백도어 인코더 학습

두 번째 단계는 정상적인 입력에 대해서는 본래의 기능을 유지하면서 트리거에 안정적으로 반응하도록 VAE 인코더($E_{bd}$)를 미세 조정합니다.

• 다중 작업 학습: 인코더는 다음의 복합 손실 함수를 최소화하도록 학습됩니다:
  1. 기능성 손실 ($L_{func}$): 인코더의 깨끗한 이미지에 대한 출력이 양질의 참조 인코더($E_{cl}$)와 일치하도록 하여, 생성 충실도와 양질의 탐지율을 보존합니다.
  2. 백도어 손실 ($L_{bd}$): 트리거가 포함된 입력에 대해서만 부호 반전 동작을 강제합니다.
  3. 은밀성 손실 ($L_{stealth}$): 파라미터 공간에서의 탐지를 방지하기 위해, 저자들은 최대 평균 편차(MMD) 정규화 도구를 사용합니다. 이는 백도어 인코더의 채널별 가중치 분포를 양질의 참조 인코더와 정렬시켜, 백도어 동작이 가지치기(pruning)나 활성화 클러스터링 방어에 의해 플래그가 지정될 수 있는 특정 뉴런에 집중되는 것을 방지합니다.

주요 기여

1. 위협 모델 공식화: 본 논문은 워터마킹 알고리즘 자체가 암호학적으로 안전하더라도, VAE 인코더의 무결성이 훼손될 경우 시맨틱 워터마킹 시스템의 신뢰성을 근본적으로 약화시킬 수 있는 새로운 위협 벡터를 식별하고 공식화했습니다.
2. GhostVAE 공격 프레임워크: 저자들은 이미지 품질을 저하시키거나 추론 시 이미지당 개별 최적화를 요구하지 않으면서도 높은 회피율을 달리는 실용적이고 은밀한 공격을 제안합니다.
3. 포괄적인 방어 평가: 입력 공간, 파라미터 공간 및 잠재 공간 차원에서의 17가지 대표적인 방어 기제에 대한 엄격한 평가를 제공하여, 이 특정 위협에 대한 현재 완화 전략의 한계를 입증했습니다.

실험 결과

저자들은 세 가지 최첨단 LDM(SD-2.1, SD-XL, FLUX-1.0)과 세 가지 시맨틱 워터마킹 체계(Tree-Ring, Gaussian Shading, PRCMark)에 대해 GhostVAE를 평가했습니다.

• 공격 성공률 (ASR): GhostVAE는 모든 설정에서 평균 **94.6%**의 ASR을 달성했습니다. 특히, PRCMark 체계 하의 SD-2.1에서는 100% ASR에 도달했습니다.
• 양질의 성능: 이 공격은 양질의 워터마크 이미지는 그대로 탐지되도록 유지하며, 평균 진양성률(TPR) **94.4%**와 거의 0에 가까운 위양성률(FPR)을 유지했습니다.
• 이미지 품질: 트리거는 인지하기 어려울 정도로 은밀했으며, 시각적 충실도에 미치는 영향이 미미했습니다(예: PSNR이 높게 유지되었으며, LPIPS 점수는 지각적 저하가 무시할 만한 수준임을 나타냄).
• 제거 공격과의 비교: 기존의 워터마크 제거 공격(예: Embedding, Imprint, Regeneration)이 상당한 계산 비용, 반복적인 최적화 또는 확산 샘플링을 요구하는 것과 달리, GhostVAE는 테스트 시 확산 샘플링 없이 매우 낮은 지연 시간(이미지당 약 $5 \times 10^{-5}$초)으로 작동합니다.

방어 회피

GhostVAE는 광범위한 방어 기제에 대해 견고함을 입증했습니다:

• 입력 공간: 트리거는 이미지 손상(JPEG, 노이즈, 회전), 정화 기술(DiffPure), 소셜 미디어 파이프라인(X/Twitter)에 대해 여전히 효과적이었습니다.
• 파라미터 공간: 가지치기 기반 방어(CLP, ANP, 구조적 가지치기) 및 미세 조정 방어(FT, FT-SAM, I-BAU)는 모델의 양질의 기능이나 워터마크 탐지 능력을 크게 저하시키지 않고는 백도어를 제거하는 데 실패했습니다.
• 잠재 공간: 백도어 인코더의 잠재 분포와 활성화 패턴이 통계적으로 양질의 인코더와 구별할 수 없을 정도로 유사하기 때문에, 메타 분류기 탐지기(Jumbo MNTD), 활성화 클러스터링, 콜모고로프-스미르노프 검정(Kolmogorov-Smirnov tests)을 모두 회피했습니다.

의의 및 주장

본 논문은 시맨틱 워터마킹 시스템의 보안이 단순히 견고한 임베딩 알고리즘에 의해서만 보장될 수 없으며, 그 기초가 되는 신경망 구성 요소, 특히 VAE 인코더 또한 반드시 보호되어야 한다고 결론짓습니다. 저자들은 다음과 같이 주장합니다:

• 근본적 취약성: 신경망에 대한 의존성은 생성된 콘텐츠의 추적 가능성을 근본적으로 무너뜨릴 수 있는, 중요하지만 아직 충분히 탐구되지 않은 공격 표면을 생성합니다.
• 엔드 투 엔드 보안: 보안된 배포를 위해서는 모델 훈련 파이프라인에 대한 감독과 VAE 구성 요소의 무결성을 포함한 엔드 투 엔드 보안 고려가 필요합니다.
• 규제적 시사점: 워터마크의 존재 여부에 초점을 맞춘 현재의 규제 프레임워크는 탐지 파이프라인 자체가 침해될 경우 불충분할 수 있습니다. 저자들은 VAE의 신뢰할 수 있는 제3자 훈련과 모델 구성 요소에 대한 암호학적 무결성 검사가 필수적인 완화책이라고 제안합니다.

본 연구는 워터마킹 체계의 이론적 견고함과 손상된 모델 구성 요소가 존재하는 실제 보안 사이의 간극을 강조하며, 생성 모델 파이프라인 전체의 보안을 다룰 것을 커뮤니티에 촉구합니다.