기술 요약: DASMark

문제 정의

텍스트-투-이미지 확산 모델(diffusion models)의 급증은 매우 사실적인 이미지 생성을 가능하게 했으나, 이는 딥페이크 및 기만적인 시각적 콘텐츠에 대한 심각한 우려를 불러일으키고 있습니다. 합성 콘텐츠를 탐지하기 위한 수동적 포렌식 방법들이 존재하지만, 이들은 서로 다른 생성기 간의 일반화에 어려움을 겪는 경우가 많으며 특정 모델이나 사용자의 출처를 입증하는 데 한계가 있습니다. 능동적 워터마킹은 소스 단계에서 식별 가능한 신호를 삽입함으로써 해결책을 제시합니다. 그러나 기존의 확산 워터마킹 방식들은 다음과 같은 결정적인 한계에 직면해 있습니다:

1. 기하학적 취약성 (Geometric Vulnerability): 회전, 크롭(cropping), 신축(stretching)과 같은 기하학적 공격은 추출된 워터마크와 참조 워터마크 사이의 공간적 대응 관계를 깨뜨려, 워터마크 정보가 살아남더라도 식별 실패를 초의합니다.
2. 확장성 대 강건성의 트레이드오프 (Scalability vs. Robustness Trade-off): Tree-Ring이나 RingID와 같은 방식은 구조화된 패턴(예: 푸리에 링)을 사용하여 회전에는 강건하지만, 대규모 사용자 식별(많은 키 값)에는 어려움을 겪으며 이미지 품질에 영향을 미치는 원형 아티팩트(circular artifacts)를 유발할 수 있습니다.
3. 계산 오버헤드 (Computational Overhead): WIND와 같은 최신 기법들은 기하학적 불일치를 보상하기 위해 회전 및 슬라이딩 윈도우 탐색에 의존하며, 이는 사용자 ID 공간이 확장됨에 따라 상당한 계산 비용과 메모리 사용량을 초래합니다.

방법론

저자들은 기하학적 공격 하에서도 강건한 모델 검증과 확장 가능한 사용자 식별을 위해 설계된 확산 이미지 워터마킹 프레임워크인 DASMark를 제안합니다. 핵심 혁신은 사전 학습된 생성기의 가중치를 수정하지 않고 작동하는 이중 앵커 기하학적 동기화(dual-anchor geometric synchronization) 메커니즘입니다.

1. 워터마크 생성

• 사용자별 초기 노이즈: 각 사용자에게는 고유 식별자($u_i$)가 할당되며, 이는 모델별 마스터 키($\kappa_A$)와 결합되어 HMAC 및 가우시안 샘플링을 통해 재현 가능한 초기 노이즈 벡터($z_T^{(u_i)}$)를 생성합니다. 이 노이즈는 정체성 캐리어 역할을 합니다.
• 이중 앵커 임베딩: 기하학적 동기화를 가능하게 하기 위해, 두 개의 공간적으로 분리된 로컬라이제이션 앵커가 직교 채널 코드($c_A$ 및 $c_B$)를 사용하여 초기 노이즈에 임베딩됩니다.
  • 앵커는 잠재 그리드(latent grid)의 좌측 상단과 우측 하단 영역에 배치됩니다.
  • 이들은 직교 채널 코드를 가진 2D 가우시안 템플릿을 활용하여, 잠재 채널 간의 간섭을 최소화하면서도 구별 가능한 응답을 보장합니다.
  • 임베딩은 특정 채널 코드에 따른 노이즈의 투영만을 수정하여, 직교 성분을 보존함으로써 이미지 품질에 미치는 영향을 최소화합니다.

2. 워터마크 탐지 및 동기화

탐지 파이프라인은 확산 모델의 재학습을 요구하지 않으며 다음 단계로 구성됩니다:

• 잠재 공간 역전 (Latent Inversion): 의심스러운 이미지를 잠재 공간으로 인코딩하고 결정론적 DDIM(텍스트 컨디셔닝 없이)을 사용하여 역전시켜 추정된 초기 잠재 변수($\hat{z}_T$)를 복구합니다.
• 이중 앵커 로컬라이제이션 네트워크: 전용 신경망($F_\theta$)이 역전된 잠재 변수 내에서 두 앵커의 변형된 위치를 예측합니다.
  • 아키텍처: 네트워크는 개별 앵커 응답 맵과 결합된 특징 맵으로부터 특징을 추출하기 위해 3-브랜치 스템(three-branch stem)을 사용합니다. 다양한 공간적 스케일과 글로벌 컨텍스트를 처리하기 위해 멀티 스케일 기하학 블록, 글로벌 어텐션 메커리즘 및 교차 해상도 융합을 활용합니다.
  • 좌표 추정: 비미분 가능한 피크 선택 대신, 네트워크는 앵커 중심을 추정하기 위해 미분 가능한 공간적 기대값(DSNT 기반)을 사용하여 엔드 투 엔드 최적화를 수행합니다.
• 기하학적 정렬 (Geometric Alignment): 예측된 앵커 중심을 기반으로 시스템은 기하학적 변환(회전 또는 크롭 및 신축)을 추정하고, 역전된 잠재 변수를 참조 좌표계로 다시 정렬합니다.
  • 회전: 참조 앵커와 예측된 앵커 벡터 사이의 각도를 통해 계산됩니다.
  • 크롭 및 신축: 앵커 쌍의 중간점과 스케일 인자를 통해 추정됩니다.
  • 크롭 과정에서 손실된 영역을 제외하기 위해 유효성 마스크(validity mask)가 생성됩니다.
• 검증 및 식별: 정렬된 잠재 변수는 마스크된 코사인 유사도를 사용하여 사용자별 참조 노이즈와 매칭됩니다.
  • 검증: 이미지가 보호된 모델로부터 생성되었는지 여부를 결정합니다.
  • 식별: 데이터베이스에서 가장 잘 일치하는 키를 찾아 특정 사용자를 식별합니다.

주요 기여

1. 이중 앵커 프레임워크: 기하학적 공격 하에서도 잠재 공간의 공간적 대응 관계를 복원하기 위해 재현 가능한 사용자별 초기 노이즈와 직교 코딩된 이중 앵커를 사용하는 확산 워터마킹 프레임워크를 도입했습니다.
2. 학습 기반 동기화: 생성기의 가중치를 수정하지 않고도 예측된 앵커 위치로부터 기하학적 변환 파라미터를 도출하는 로컬라이제이션 및 동기화 파이프라인을 개발했습니다.
3. 교차 모델 호환성: 하나의 확산 모델(SD 2.1)에서 학습된 로컬라이제이션 네트워크가 추가 학습 없이 다른 모델들(SD 2.0, 1.5, 1.4)에 적용될 수 있음을 입증했습니다.

실험 결과

저자들은 Stable Diffusion 2.1과 다양한 공격 시나리오를 사용하여 DASMark를 베이스라인(Tree-Ring, RingID, WIND)과 비교 평가했습니다.

• 모델 검증: DASMark는 클린 상태 및 공격 조건 모두에서 평균 검증 AUC 0.999, TPR@1%FPR 0.998을 달성하여, 특히 회전 및 크롭/신축 공격 상황에서 베이스라인보다 뛰어난 성능을 보였습니다.
• 사용자 식별:
  • 200,000개의 후보 정체성이 있는 환경에서 DASMark는 평균 식별 정확도 **99.7%**를 달성했습니다.
  • 회전 공격 시, WIND보다 11.0 퍼센트 포인트 높은 성능을 보였습니다.
  • 크롭 및 신축 공격 시, WIND보다 18.6 퍼센트 포인트 높은 성능을 보였습니다.
  • 키 공간이 확장되어도 성능이 안정적으로 유지된 반와 달리, WIND는 기하학적 공격 하에서 키 공간이 커짐에 따라 정확도가 크게 저하되었습니다.
• 이미지 품질: 이 방법은 CLIP-Score(0.364)와 FID(25.78) 측면에서 워터마크가 없는 베이스라인과 대등하며, 가시적인 원형 아티팩트를 보이는 RingID 및 WIND보다 우수한 품질을 유지했습니다.
• 계산 효율성: DASMark는 WIND와 비교하여 현저히 낮은 엔드 투 엔드 실행 시간과 GPU 메모리 사용량을 보여주었습니다. 200,000개의 키에 대해 DASMark는 0.975초의 시간과 15.96 GB의 메모리를 필요로 한 반면, WIND는 6.721초와 22.84 GB가 필요했습니다. 키 공간을 두 배로 늘렸을 때 DASMark의 실행 시간은 19.3%만 증가한 반면, WIND는 56.6% 증가했습니다.

의의 및 주장

본 논문은 DASMark가 기하학적 왜곡이 발생한 경우에도 신뢰할 수 있는 모델 검증과 확장 가능한 사용자 식별을 가능하게 함으로써 능동적 딥페이크 탐지를 위한 강력한 솔루션을 제공한다고 주장합니다. 생성기의 가중치와 동기화 메커니즘을 분리하고 이중 앵커 접근 방식을 활용함으로써, 이 방법은 기존의 링 기반 또는 검색 집약적 방식의 한계를 극복합니다. 저자들은 이 접근 방식이 이미지 생성을 제어하는 서비스에 대한 출처 추적을 지원하며, 강건성, 확장성, 이미지 품질 및 계산 효율성 사이의 실질적인 균형을 제공한다고 단언합니다.

저자들은 향후 연구에서 공격적인 크롭 및 밝기 조절과 기하학적 왜곡의 결합에 대한 민감도 문제를 다루고, 더 복잡한 변환으로 동기화를 확장할 것임을 언급하며 연구를 마무리했습니다.