기술 요약: 생성 모델의 잠재 공간(Latent Space) 내 워터마킹 학습

문제 정의

확산 모델(Diffusion) 및 자기회귀 모델(Autoregressive)과 같은 생성 모델의 급격한 발전은 매우 사실적인 합성 콘텐츠 생성을 가능하게 했으나, 이는 오용, 딥페이크, 지적 재산권 침해에 대한 우려를 불러일고 있습니다. 보이지 않는 워터마킹(Invisible watermarking)이 출처 증명을 위한 해결책을 제시하지만, 기존 방식들은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 사후 픽셀 공간 방식(Post-hoc Pixel-Space Methods): 이미 생성된 이미지를 픽셀 공간에서 수정합니다. 유연하고 모델에 종속되지 않는다는 장점이 있지만, 고해상도 처리(예: $512 \times 512 \times 3$)로 인해 상당한 계산 오버헤드가 발생하며 지연 시간(Latency)을 유발합니다. 또한, 사용자가 코드 한 줄을 제거하는 것만으로도 쉽게 우회할 수 있기 때문에 오픈 소스 배포 환경에서는 보안이 취약합니다.
2. 모델 내부 방식(In-Model Methods): 보안성은 더 높지만, 기존의 모델 가중치 통합 시도는 견고함(Robustness)이 부족하거나 샘플링 과정을 복잡하게 수정해야 하는 경우가 많습니다.

핵심 과제는 생성 모델의 잠재 공간(Latent space) 내에서 직접 작동하는 통합 워터마킹 프레임워크를 개발하여, 지연 시간 페널티 없이도 계산 효율적이고 제거에 강한 모델 내부 워터마킹(모델 가중치에 워터마크를 임베딩하는 방식)을 구현하는 것입니다.

방법론: DISTSEAL

저자들은 확산 모델과 자기회귀 모델 모두에 적용 가능한 통합 잠재 공간 워터마킹 프레임워크인 DISTSEAL을 소개합니다. 이 접근 방식은 두 가지 주요 단계로 구성됩니다.

1. 사후 잠재 워터마킹 (Post-hoc Latent Watermarking)

첫 번째 단계는 픽셀 공간이 아닌 생성 모델의 잠재 공간에서 작동하는 워터마크 임베더-추출기 쌍($W_\theta, E_\theta$)을 학습시키는 것입니다.

• 임베딩(Embedding): 임베더는 잠재 표현 $z$와 이진 메시지 $m$을 입력받아 워터마크가 삽입된 잠재 표현 $z_w = z + \epsilon W_\theta(z, m)$를 출력합니다.
  • 확산 모델(연속적 잠재 공간)의 경우, 섭동(Perturbation)은 $z$에 직접 적용됩니다.
  • 자기회귀 모델(이산적 토큰)의 경우, 임베더는 양자화(Quantization) 전(연속적 잠재값 수정) 또는 양자화 후(토큰 임베딩 수정)에 작동할 수 있습니다. 저자들은 양자화 단계를 통해 역전파(Backpropagation)를 수행하기 위해 Straight-through estimation을 활용합니다.
• 학습 목적 함수(Training Objective): 모델은 워터마크 추출 손실($L_w$)과 불투명성(Imperceptibility)을 보장하기 위해 픽셀 공간에 적용되는 판별자 손실($L_{disc}$)의 조합을 사용하여 학습됩니다. 일부 선행 연구와 달리, 저자들은 재구성 또는 지각 손실(Perceptual loss) 대신 워터마크 강도 $\epsilon$과 판별자를 사용하여 출력을 제약합니다.
• 증강(Augmentation): 사용자 편집을 시뮬레이션하고 견고함을 확보하기 위해 다양한 값-메트릭(Value-metric), 기하학적 및 압축 증강 기법을 학습에 포함합니다.

2. 모델 내부 워터마킹을 위한 증류 (Distillation for In-Model Watermarking)

두 번째 단계는 학습된 사후 잠재 워터마커를 생성 모델 자체나 그 잠재 디코더(Latent decoder)로 증류하여, 별도의 사후 처리 단계 없이도 작동하게 합니다.

• 생성 모델으로의 증류: 사전 학습된 생성 모델(Diffusion Transformer 또는 Autoregressive Transformer)이 원래의 깨끗한 잠재값 $z$ 대신 워터마크가 삽입된 잠재값 $z_w$를 재구성하거나 예측하도록 미세 조정(Fine-tuning)합니다. 이를 통해 모델이 본질적으로 워터마크가 포함된 출력을 생성하도록 강제합니다.
• 잠재 디코더로의 증류: 잠재 디코더 $D$를 미세 조정하여 워터마크가 없는 잠재값으로부터 워터마크가 삽입된 이미지를 재구성하도록 합니다. 손실 함수는 재구성 손실($L_{rec}$)과 워터마크 추출 손실($L_w$)을 결합하여 디코더가 워터마크 신호를 포함하는 출력을 생성하도록 유도합니다.

주요 기여

1. 통합 프레임워크 (DISTSEAL): 연속적 잠재 공간(확산 모델)과 이산적 토큰 시퀀스(자기회귀 모델)를 모두 처리할 수 있는 단일 접근 방식을 제공합니다.
2. 효율성 및 견고함: 압축된 잠재 표현(예: $8 \times 8 \times 128$ vs. $512 \times 512 \times 3$)에서 작동함으로써 픽셀 공간 베이스라인 대비 최대 20배의 추론 속도 향상을 달면서도 경쟁력 있는 견고함을 유지합니다.
3. 효과적인 증류: 잠재 워터마커가 모델 가중치로 효과적으로 증류될 수 있음을 입증했습니다. 결정적으로, 저자들은 잠재 워터마커를 증류하는 것이 픽셀 공간 워터마커를 증류하는 것보다 성능이 뛰어남을 보여주었습니다. 픽셀 공간 워터마커는 고주파 섭동을 재구성하는 데 어려움이 있어 잠재 디코더로의 증류가 실패하는 경우가 많지만, 잠재 섭동은 더 구조화되어 있어 디코더가 학습하기 더 쉽습니다.
4. 포괄적 분석: 논문은 사후(Post-hoc) 방식과 모델 내부(In-model) 방식 간의 트레이드오프, 멀티 워터마킹 호환성, 그리고 워터마크 망각(Watermark forgetting, LoRA 미세 조정에 대한 취약성)에 대한 상세한 연구를 제공합니다.

실험 결과

저자들은 DCAE(확산 모델)와 RAR-XL(자기회귀 모델)에 대해 DISTSEAL을 평가했습니다.

• 사후 성능 (Post-hoc Performance): 잠재 워터마킹은 결합 공격 하에서 DCAE의 경우 평균 비트 정확도 95.18%, RAR-XL의 경우 **93.96%**를 달성하여 픽셀 공간 베이스라인(각각 97.78%, 97.27%)과 유사한 수준을 보였습니다. 시각적 품질(FID)은 높은 수준을 유지하며 최소한의 저하만을 보였습니다.
• 모델 내부 성능 (In-Model Performance - Distillation):
  • 잠재 디코더 증류: 잠재 워터마커를 디코더로 증류했을 때 DCAE 96.77%, RAR-XL **90.57%**의 평균 비트 정확도를 달성했으며, 이는 종종 교사(Teacher)인 사후 모델보다 우수한 성능을 보였습니다. 반면, 픽셀 워터마커를 증류한 경우 현저히 낮은 견고성(예: DCAE의 경우 65.69%)과 높은 FID를 보였습니다.
  • 생성 모델 증류: 생성 모델을 직접 미세 조정하는 방식은 시각적 품질이 디코더 증류보다 약간 더 나은 상태에서 견고한 결과(DCAE 94.78%, RAR-XL 89.13%)를 냈습니다.
• 속도: 잠재 방식은 픽셀 공간 방식과 비교하여 DCAE에서는 20배, RAR-XL에서는 2.4배의 속도 향상을 제공했습니다.
• 관찰된 한계점:
  • 워터마크 망각 (Watermark Forgetting): 증류된 생성 모델은 비워터마크 데이터로 미세 조정(예: LoRA를 통한)할 경우 워터마크를 잊어버리는 경향이 있는 반면, 증류된 디코더는 이러한 변화에 견고하게 유지되었습니다.
  • 강력한 공격: 이 방법은 아직 매우 강력한 기하학적 변환(Geometric transformations)에는 완전히 대응하지 못하며, 이는 저자들이 인정한 한계입니다.

의의 및 주장

본 논문은 DISTSEAL이 생성 모델 내에 견고한 워터마크를 직접 삽beding하는 실용적이고 효율적인 솔루션을 제공한다고 주장합니다. 워터마킹을 픽셀 공간에서 잠재 공간으로 이동함으로써 저자들은 다음을 달enc성했습니다:

• 오버헤드 감소: 상당한 계산 절감 및 지연 시간 감소를 달성하여 실시간 또는 대규모 배포를 더욱 용이하게 만듭니다.
• 오픈 소스를 위한 보안 강화: 워터마크를 모델 가중치에 통합(증류를 통해)함으로써, 사후 처리 스크립트를 제거하는 것만으로는 워터마크를 쉽게 비활성화할 수 없게 하여, 오픈 소스 모델 배포의 중요한 보안 공백을 해결합니다.
• 우월한 증류 방식: 잠재 워터마커가 픽셀 공간 워터마커보다 더 효과적으로 증류된다는 발견은, 높은 충실도와 견고함을 유지하면서도 "설계 단계부터 워터마크가 내재된(Watermarked-by-design)" 생성 모델을 만들기 위한 새로운 패러다임을 제시합니다.

저자들은 이 연구를 콘텐츠 품질과 생성 속도를 보존하면서 책임성을 확보하기 위한 신뢰할 수 있는 출처 증명 메커니즘의 한 단계로 규정합니다. 또한, 이 방법이 견고하지만 완벽하게 제거 불가능한 것은 아니며, 향후 연구를 통해 강력한 기하학적 공격을 처리하기 위해 잠재 워터마킹과 사후 동기화(Post-hoc synchronization) 방법을 결합하는 방안을 탐구할 것이라고 밝히고 있습니다.