DiffAnon: Diffusion-based Prosody Control for Voice Anonymization

"DiffAnon: Diffusion-based Prosody Control for Voice Anonymization" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

음성 익명화는 언어적 내용과 부언어적 정보 (감정 및 강조 등) 를 보존하면서 화자 신원을 숨기는 것을 목표로 합니다. 그러나 근본적인 효용성–개인정보 보호 상충 관계 (utility–privacy trade-off) 가 존재합니다.

• 개인정보 보호: 화자 신원은 운율 패턴 (피치, 리듬, 억양) 과 밀접하게 연결되어 있습니다. 이러한 패턴을 보존하면 표현력이 향상되지만, 화자 인식 시스템에 신원이 유출될 위험이 있습니다.
• 효용성: 개인정보 보호를 보장하기 위해 운율을 제거하면 음성의 자연스러움, 감정적 내용 및 의미가 저하됩니다.

기존 방법들은 일반적으로 고정된 설계 지점 (fixed design points) 에서 작동합니다.

• ASR-TTS 시스템: 모든 소스 운율을 제거하여 개인정보를 우선시하므로, 로봇 같거나 평탄한 음성이 생성됩니다.
• 음성 변환 (VC) 시스템: 운율을 보존하려 시도하지만 불완전한 분리 (disentanglement) 로 인해 잔여 신원 유출이 자주 발생합니다.
• 교란 (Perturbation) 방법: 운율 특징을 무작위로 변경하여 예측 불가능한 효용성 저하를 초래합니다.

간극 (The Gap): 단일 모델 내에서 운율 보존 (효용성) 과 익명화 강도 (개인정보 보호) 간의 상충 관계를 연속적이고 추론 시 제어 가능하게 조절할 수 있는 프레임워크가 부족합니다.

2. 방법론: DiffAnon

저자들은 운율 보존에 대한 명시적 제어를 가능하게 하는 분류기 없는 가이드 (Classifier-Free Guidance, CFG) 를 활용하는 확산 기반 음성 익명화 프레임워크인 DiffAnon을 제안합니다.

핵심 아키텍처

• 기본 모델: NaturalSpeech2 에서 영감을 받은 탈노이즈 확산 확률 모델 (DDPM) 로, 40 개의 WaveNet 스타일 잔여 블록을 사용합니다.
• 의미적 사전 지식 (콘텐츠): 모델은 Residual Vector Quantization (RVQ) 코덱인 SpeechTokenizer를 사용합니다.
  • 첫 번째 수준의 양자화 임베딩 ($Q_1$) 은 언어적 내용을 나타내는 화자 중립적 의미적 사전 지식으로 간주됩니다.
  • 확산 과정은 이러한 의미적 임베딩 위에 나머지 음향 세부 사항 ($Q_{2:8}$) 을 정제합니다.
• 조건:
  1. 콘텐츠 ($c_{sem}$): $Q_1$ 임베딩 (고정, 입력에 직접 추가됨).
  2. 운율 ($c_{pro}$): 마스킹 운율 모델 (MPM) 에서 추출된 프레임 단위 잠재 특징 ($z_{mpm}$) 으로, 화자 신원 없이 피치, 에너지, 유성음을 포착합니다.
  3. 화자 ($c_{spk}$): 사전 훈련된 FreeVC 인코더에서 추출된 발화 단위 임베딩으로, 추론 시 신원을 익명화하기 위해 가짜 화자 (pseudo-speaker) 임베딩 ($\psi$) 으로 대체됩니다.

추론 전략: 분류기 없는 가이드 (CFG)

핵심 혁신은 재훈련 없이 운율 보존 수준 사이를 보간할 수 있도록 CFG 를 사용하는 것입니다.

• 훈련: 무조건적 생성 능력을 가능하게 하기 위해 무작위 조건 드롭 (50% 전체, 30% 운율 드롭, 20% 운율 + 화자 드롭) 으로 모델을 훈련합니다.
• 운율 조정 가이드: 추론 중 출력은 다음 두 가지 예측의 가중 조합입니다.
  1. 콘텐츠와 가짜 화자만 조건으로 한 예측 (소스 운율 없음).
  2. 콘텐츠, 가짜 화자, 그리고 소스 운율을 조건으로 한 예측.
  • 공식: $\hat{x}_{CFG} = \hat{x}_{uncond} + w_{pro}(\hat{x}_{cond} - \hat{x}_{uncond})$
  • 제어: 가중치 $w_{pro}$ 는 연속적인 조절 장치 (knob) 역할을 합니다.
    • $w_{pro} = 1$: 소스 운율 완전 보존 (높은 효용성, 낮은 개인정보 보호).
    • $w_{pro} = 0$: 소스 운율 완전 제거 (높은 개인정보 보호, 낮은 효용성).
• 가짜 화자 가이드: 소스 화자 신원에서 생성을 강력하게 유도하여 익명화를 강화하는 보조 CFG 모드 ($w_{spk}$) 를 사용할 수 있습니다.

3. 주요 기여

1. 최초의 제어 가능 프레임워크: DiffAnon 은 운율 보존에 대해 구조화되고, 보간 가능하며, 추론 시 제어 가능한 음성 익명화 시스템을 최초로 제공합니다.
2. 새로운 공식화: RVQ 공간에서 화자 중립적 의미 임베딩 위에 음향 세부 사항을 정제하는 확산 패러다임을 도입하여, 음성 코덱의 반복적 정제와 자연스럽게 정렬됩니다.
3. 통합된 상충 관계 탐색: 단일 훈련된 모델이 CFG 가이드 가중치만 조정하여 전체 효용성–개인정보 보호 스펙트럼을 탐색할 수 있음을 입증함으로써, 여러 전용 모델의 필요성을 제거했습니다.
4. 오픈 소스: 코드와 사전 훈련된 모델이 공개되었습니다.

4. 실험 결과

LibriTTS 데이터셋을 사용하여 VoicePrivacy Challenge 2024 프로토콜에 따라 실험을 수행했습니다.

• 제어 가능성: $w_{pro}$ 를 1.0 에서 0.0 으로 변화시킴으로써 시스템은 부드럽고 단조로운 전환을 달성했습니다.
  • 운율 충실도: F0 상관관계가 76.67% ($w_{pro}=1$) 에서 64.09% ($w_{pro}=0$) 로 감소했습니다.
  • 감정 인식 (UAR): 52.32% 에서 47.38% 로 감소했습니다.
  • 개인정보 보호 (EER): 화자 검증에 대한 저항력인 동등 오류율 (EER) 이 Libri-test 에 대한 Lazy-informed 공격자 기준 33.09% 에서 42.43% 로 개선 (증가) 되었습니다.
• 효용성 보존:
  • 단어 오류율 (WER): 모든 설정에서 4.62% 에서 5.61% 사이로 안정적이고 경쟁력 있게 유지되어, 운율이 억제될 때도 콘텐츠 보존이 강력함을 입증했습니다.
  • 비교: DiffAnon 은 여러 최상위 성능 베이스라인 (T8, T9, T10) 을 능가하거나 일치하면서도, 상충 관계를 동적으로 조정할 수 있는 고유한 능력을 제공했습니다.
• 개인정보 보호: 가장 강력한 익명화 설정 (null 운율 + 가짜 화자 가이드) 은 48.16% 의 EER 을 달성하여, 가장 강력한 고정 설계 베이스라인과 경쟁 가능한 수준이었습니다.

5. 의의

• 패러다임 전환: DiffAnon 은 음성 익명화를 "고정 설계" 문제에서 "제어 가능한 생성" 문제로 전환합니다. 운율이 효용성–개인정보 보호 상충 관계의 주요 동인이며, 이 상충 관계가 CFG 를 통해 수학적으로 제어될 수 있음을 증명합니다.
• 실용적 적용: 이는 개발자들이 단일 모델을 사용하여 특정 사용 사례 (예: 법적 증언을 위한 높은 개인정보 보호 vs. 오디오북을 위한 높은 표현력) 에 따라 익명화 시스템을 조정할 수 있게 합니다.
• 미래 방향: 이 연구는 지속 시간과 리듬과 같은 다른 운율 요인으로 제어 가능한 익명화를 확장하여 개인정보와 자연스러움 사이의 균형을 더 정교하게 조정하는 기반을 마련했습니다.