Feature-Aligned Speech Watermarking for Robustness to Reconstruction Distortions

기술 요약: 재구성 왜곡에 대한 강건성을 위한 특징 정렬형 음성 워터마킹

1. 문제 정의

오디오 워터마킹은 콘텐츠 귀속 및 저작권 보호를 위해 필수적이지만, 기존 방식들은 현대적인 음성 애플리케이션에서 결정적인 한계에 직면해 있습니다. 현재의 접근 방식들은 고충실도(high-fidelity), 저에너지 설계를 채택하여 비가시성(imperceptibility)을 우선시합니다. 이러한 방식은 전통적인 신호 처리에는 효과적이지만, 음성 재구성 모델(예: 디노이저, 신경 코덱, 보코더)에는 매우 취약합니다. 사전 학습된 특징 분포를 기반으로 깨끗한 음성을 재구성하는 이러한 모델들은 저에너지 워터마크를 의도치 않게 억제하여 심각한 디코딩 실패를 초래합니다.

핵심 과제는 기존 설계에 내재된 **강건성-충실도 트레이드오프(robustness–fidelity trade-off)**에 있습니다. 강건성을 개선하기 위해 워터마크 에너지를 높이면 일반적으로 지각적 품질이 저하됩니다. 반대로, 임베딩 기반 방식(예: WavMark, AudioSeal)은 충실도를 유지하기 위해 에너지를 제한하며, 이로 인해 재구성에 취약해집니다. 생성적 방법(예: VoiceMark)은 더 나은 강건성을 제공하지만, 생성과 워터마킹 작업을 공동으로 최적화해야 하므로 충실도가 낮고 학습 복잡도가 높은 경우가 많습니다.

2. 방법론

저자들은 단순히 에너지를 제한하는 것이 아니라 워터마크의 특징 분포를 원본 음성과 정렬함으로써 전통적인 트레이드오프를 깨뜨리기 위해 설계된 특징 정렬형 워터마킹 프레임워크인 AlignMark를 제안합니다.

아키텍처 개요:
시스템은 **워터마크 임베더(Embedder)**와 **워터마크 디코더(Decoder)**로 구성되며, 동결된 사전 학습된 음성 코덱(SpeechTokenizer)과 함께 공동 학습됩니다.

• 의사-음성(Pseudo-Speech) 워터마크 생성:
  직접 파형에 노이즈를 추가하는 대신, 임베더는 사전 학습된 코덱의 **잠재 공간(latent space)**에 워터마크 비트를 주입합니다. 6개 층의 2D CNN 어댑터는 원본 잠재 특징과 워터마크 임베딩을 결합하여 수정된 잠재 특징을 변환합니다. 이들은 동결된 코덱에 의해 디코딩되어 "의사-음성" 워터마크($x'$)를 생성합니다. 이를 통해 워터마크가 자연스러운 음성의 통계적 분포를 본질적으로 따르도록 보장합니다.

• 스펙트로그램 퓨전(Spectrogram Fusion):
  의사-음성 워터마크는 스펙트로그램 도메인에서 원본 오디오($x$)와 융합됩니다. 두 신호는 STFT를 통해 복소 스펙트로그램으로 변환됩니다. 학습 가능한 2D CNN 인티그레이터(integrator)는 프레임-주파수 퓨전 가중치($\alpha$)를 예측하여 최종 스펙트로그램 $s_w = s_{x'} \cdot \alpha + s_x \cdot (1 - \alpha)$를 계산합니다. 역 STFT를 통해 워터마크가 삽입된 오디오($\hat{x}$)가 산출됩니다.

• 지각적 가이드(VAD 및 손실 함수):
  비가시성을 보장하면서도 더 높은 에너지를 허용하기 위해, 이 방법은 워터마크를 스펙트로그램의 유성 구간(voiced regions) 내에 집중시킵니다.

  • VAD 손실: 음성 활동 감지(VAD) 손실은 임베더와 디코더가 유성 프레임에 집중하도록 유도하여, 아티팩트가 더 눈에 띄기 쉬운 무음 영역을 피하게 합니다.
  • 지각적 손실: 훈련 목적 함수에는 화자 유사성 손실, 청각 마스킹 손실, 잠재 유사성 손실이 포함되어 화자의 정체성과 심리 음향적 자연스러움을 보존합니다.
  • 충실도 손실: 표준 손실(L1, Mel-spectrogram, Adversarial, SI-SNR)이 사용되지만, 특징 정렬을 통해 품질을 유지하기 위해 전통적인 방식보다 가중치를 완화하여 적용됩니다.

• 워터마크 디코더:
  디코더는 미분 가능한 왜곡 파이프라인(디노이저, 코덱, 보코더 포함)을 거친 워터마크 오디오를 처리하고 특징 인코더를 사용합니다. 다음을 수행합니다:

  • 시간적 가중치 예측: 1D CNN이 유성 구간의 프레임별 가능성을 예측하여 디코딩 과정의 가중치를 결정합니다.
  • 특징 피라미드 추출: 다중 스케일 2D CNN 추출기가 음성 잠재 특징에서 미세한 세부 사항을 포착하여, 복잡한 음성 특징에 융합된 데이터를 복구합니다.

3. 주요 기여

1. 특징 정렬형 설계: 본 논문은 에너지 제한형 임베딩에서 특징 정렬형 생성으로의 패러다임 전환을 도입합니다. 원본 음성의 특징 분포와 일치하는 의사-음성 워터마크를 생성함으로써, 비가시성을 희생하지 않고도 더 높은 워터마크 에너지를 허용할 수 있습니다.
2. 하이브리드 프레임워크: 사전 학습된 코덱 잠재 공간에 워터마크를 삽입하고, VAD 및 지각적 손실의 가이드를 받아 스펙트로그램 도메인에서 융합하는 프레임워크를 개발했습니다.
3. 미학습 모델에 대한 강건성: 제안된 방식은 학습 목적 함수에 재구성 모델을 포함하지 않고도, 학습되지 않은 음성 재구성 모델(디노이저, 코덱, 보코더)에 대해 뛰어난 강건성을 보여줍니다.

4. 실험 결과

방법론은 6개의 음성 재구성 모델을 포함한 21가지 왜곡에 대해 최신 기술(SOTA) 베이스라인(WavMark, AudioSeal, TimbreWM, VoiceMark, WMCodec)과 비교 평가되었습니다.

• 강건성: 음성 재구성 모델(예: ClearerVoice, EnCodec, HiFiGAN) 환경에서, 제안된 방법은 임베딩 기반 방식보다 현저히 높은 비트 정확도(ACC)와 낮은 오탐율(FAR)을 달 기록했습니다. 예를 들어, ClearerVoice에 대해 이 방법은 0.92 ACC를 달성하여 타 방식의 0.51–0.78보다 높은 성능을 보였습니다. 또한 전통적인 왜곡(리샘플링, 노이즈, 피치 시프트)에 대해서도 강력한 성능을 유지했습니다.
• 비가시성:
  • 주관적 평가 (ABX): 이 방법은 임베딩 기반 방식과 유사한 ABX 청취 점수(약 50-51%, 비가시성을 나타냄)를 기록했으며, VoiceMark와 같은 생성적 방식보다 훨씬 우수했습니다.
  • 객관적 지표 (VISQOL MOS): 4.44점을 기록하여 AudioSeal(4.71)에 이어 두 번째로 높은 순위를 차지했으며, 생성적 접근 방식들을 능가했습니다.
  • 충실도 지표: 최대 충실도를 최적화하지는 않았으나, NISQA, PESQ, SI-SNR 측면에서 생성적 베이스라인들보다 우수한 성능을 보였습니다.
• 절제 연구(Ablation Study): 스펙트로그램 퓨전이나 VAD 손실을 제거하면 강건성이 크게 떨어져, 특징 정렬과 유성 구간 타겟팅의 필요성을 확인했습니다. 특징 피라미드를 제거했을 때 디코딩 정확도가 가장 크게 하락하여, 다중 스케일 특징 추출의 중요성을 입증했습니다.

5. 의의 및 주장

본 논문은 워터마크를 원본 음성의 특징 분포와 정렬함으로써, 비가시성을 유지하면서도 음성 재구성 모델의 억제 효과를 완화할 수 있다고 주장합니다.

저자들은 이 연구를 음성 재구성 모델이 어디에나 존재하는 현대적 음성 파이프라인(음성 통화, 온라인 회의, 소셜 미디어 등)에서 현재의 오디오 워터마킹 적용 한계를 해결할 수 있는 솔루션으로 제시합니다. 전통적인 설계의 엄격한 저에너지 제약으로부터 강건성을 분리함으로써, 이 방법은 더 유연한 트레이드오프를 제공하며 음성 재구성이 포함된 실제 시나리오에서 더욱 신뢰할 수 있는 오디오 워터마킹을 가능하게 합니다. 이 연구는 모든 충실도 문제를 해결한다고 주장하는 것이 아니라, 현재의 기술 수준과 비교하여 강건성과 지각적 품질 사이의 우월한 균형을 달성했음을 강조합니다.