논문 개요: TriniMark

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 확산 모델 (Diffusion Models) 기반의 음성 생성 기술은 매우 높은 충실도 (Fidelity) 를 달성하여 실용화되고 있으나, 이로 인해 음성 위조, 무단 재배포, 소유권 분쟁 등의 보안 및 사회적 리스크가 급증하고 있습니다.
• 기존 방법의 한계:
  • GAN 기반 중심: 기존 생성형 워터마킹 연구는 주로 GAN 기반 파이프라인에 집중되어 있으며, 확산 모델 (Diffusion Models) 에 적용된 사례는 드뭅니다.
  • 추적 수준의 부족: 기존 방법들은 대부분 생성된 콘텐츠 자체의 출처 (Content-level) 만 추적하거나, 모델 소유권 (Model-level) 만 식별하는 데 그칩니다. 실제 배포 환경에서 **사용자 (User-level)**까지 추적할 수 있는 통합적인 메커니즘이 부족합니다.
  • 확장성 문제: 기존 사용자 추적 방법들은 워터마크 용량 (Payload) 이 매우 작아 (보통 수십 비트) 대규모 사용자 환경에서 고유한 식별자를 부여하기 어렵습니다.

2. 제안 방법론 (Methodology)
저자들은 TriniMark라는 확산 기반 생성 음성 워터마킹 프레임워크를 제안합니다. 이는 생성된 음성, 생성 모델, 최종 사용자를 모두 추적할 수 있는 **'삼위일체 (Trinity) 추적성'**을 목표로 합니다.

• 핵심 아키텍처:

  • 경량 인코더 (Encoder): 시간 영역 (Time-domain) 음성 특징에 워터마크 비트를 임베딩하고 파형을 재구성하는 경량 구조를 사용합니다.
  • 시간 인식 게이트형 합성곱 디코더 (Temporal-aware Gated Convolutional Decoder): 잡음과 왜곡이 있는 파형에서 신뢰성 있게 비트를 복원하기 위해 설계된 디코더를 사용합니다.

• 두 단계 학습 파이프라인 (Two-Stage Training Pipeline):

  1. 1 단계 (Pre-training): 워터마크 인코더와 디코더를 사전 학습합니다. 이 단계에서는 다양한 워터마크 메시지를 임베딩하고, 노이즈 레이어를 통해 실제 배포 환경의 왜곡에 강인한 워터마킹 사전 지식 (Priors) 을 학습합니다.
  2. 2 단계 (Fine-tuning): 사전 학습된 인코더/디코더를 고정 (Freeze) 하고, 확산 음성 생성기 (Vocoder) 를 파형 유도 미세 조정 (Waveform-Guided Fine-tuning, WGFT) 전략으로 미세 조정합니다.
     • 기존 확산 모델의 노이즈 예측 손실 대신, 생성된 워터마크 음성 ($\hat{s}_{wm}$) 과 원본 음성 ($s_0$) 간의 파형 수준 차이를 최소화하는 방식으로 학습합니다.
     • 이를 통해 워터마크 임베딩 능력을 확산 모델에 전이하면서도 음질 저하를 최소화합니다.

• 가변 워터마크 학습 (Variable-Watermark Training):

  • 학습 및 추론 단계에서 고정된 워터마크가 아닌 변동 가능한 워터마크 메시지를 사용합니다.
  • 이를 통해 단일 학습된 모델이 추론 시마다 다른 사용자에게 고유한 워터마크 시퀀스를 할당할 수 있어, 대규모 사용자 추적 (Scalable User-level Traceability) 이 가능해집니다.

3. 주요 기여 (Key Contributions)

1. 삼위일체 추적성 (Trinity-level Traceability): 콘텐츠 (생성물), 모델 (생성 소스), 사용자 (요청자) 의 세 가지 차원을 통합하여 추적 가능한 최초의 확산 기반 음성 워터마킹 프레임워크를 제안했습니다.
2. 시간 영역 특징 기반 2 단계 학습: 시간 영역 워터마크 인코더/디코더를 확산 생성기로 전이하는 효율적인 학습 파이프라인을 설계하여, 음질, 강인성, 용량 간의 최적 균형을 달성했습니다.
3. 확장 가능한 사용자 추적: 가변 워터마크 학습을 통해 추론 시 사용자별 고유 워터마크를 할당할 수 있게 하여, 대규모 사용자 환경에서의 책임 소재 규명을 가능하게 했습니다.
4. 광범위한 평가: 다양한 데이터셋과 확산 모델 (DiffWave, PriorGrad, WaveGrad) 에서 고충실도, 고용량 (500 bps), 그리고 단일 및 복합 공격에 대한 강인성을 입증했습니다.

4. 실험 결과 (Results)

• 음질 유지 (Fidelity): 워터마크 임베딩으로 인한 음질 저하는 미미했습니다. 특히 확산 모델 자체의 생성 오차가 워터마킹으로 인한 오차보다 훨씬 컸으며, TriniMark 는 기존 생성 음성 대비 음질 저하가 거의 없음을 입증했습니다 (STOI, PESQ, MCD 지표 확인).
• 고용량 지원 (Capacity):
  • 기존 방법들은 보통 16~32 bps 의 낮은 용량을 가지지만, TriniMark 는 500 bps까지 높은 복원 정확도 (ACC > 80%) 를 유지했습니다.
  • 이는 수백만 명의 사용자를 고유하게 식별할 수 있는 충분한 용량을 제공합니다.
• 강인성 (Robustness):
  • 단일 공격: 가우시안 노이즈, 핑크 노이즈, 저/대역 통과 필터링, 에코, 시간 늘리기 (Time-stretching) 등 다양한 공격에서 높은 복원 정확도를 보였습니다.
  • 복합 공격: 노이즈와 필터링, 에코 등을 결합한 복합 공격에서도 기존 SOTA 방법들 (WavMark, AudioSeal, HiFi-GANw 등) 보다 월등히 우수한 성능을 기록했습니다. 특히 PriorGrad 기반 모델에서 가장 높은 강인성을 보였습니다.
• 비교 분석: 기존 방법들은 용량이 커지면 복원률이 급격히 떨어지거나 (TimbreWM 의 경우 500 bps 에서 ACC 0.4999), 음질이 크게 저하되는 반면, TriniMark 는 고용량에서도 안정적인 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: TriniMark 는 생성형 AI 의 남용을 방지하고, 합성 음성의 출처와 책임 소재를 명확히 할 수 있는 강력한 도구를 제공합니다.
• 기술적 혁신: 확산 모델이라는 최신 생성 아키텍처에 워터마킹을 효과적으로 통합하는 방법을 제시했으며, '가변 워터마크'를 통해 대규모 사용자 추적이라는 실용적 과제를 해결했습니다.
• 미래 방향: 음성 생성의 투명성과 책임성을 확보하는 데 필수적인 기술로 자리 잡을 것으로 기대되며, 향후 재합성 (Re-synthesis) 공격에 대한 대응 등 추가 연구의 기초를 마련했습니다.

요약하자면, TriniMark는 확산 기반 음성 생성의 보안 취약점을 해결하기 위해, 고음질을 유지하면서도 고용량의 워터마크를 임베딩하여 콘텐츠, 모델, 사용자까지 추적할 수 있는 혁신적인 프레임워크입니다.