DiffAnon: Diffusion-based Prosody Control for Voice Anonymization

1. Declaração do Problema

A anonimização de voz visa ocultar a identidade do falante enquanto preserva o conteúdo linguístico e informações para-linguísticas (como emoção e ênfase). No entanto, existe um compromisso fundamental entre utilidade e privacidade:

• Privacidade: A identidade do falante está intrinsecamente ligada a padrões prosódicos (tom, ritmo, entonação). Preservar esses padrões melhora a expressividade, mas arrisca o vazamento de identidade para sistemas de reconhecimento de falante.
• Utilidade: Descartar a prosódia para garantir privacidade degrada a naturalidade, o conteúdo emocional e o significado da fala.

Os métodos existentes operam tipicamente em pontos de design fixos:

• Sistemas ASR-TTS: Priorizam a privacidade descartando toda a prosódia de origem, resultando em fala robótica ou plana.
• Sistemas de Conversão de Voz (VC): Tentam preservar a prosódia, mas frequentemente sofrem com um desentrelaçamento imperfeito, deixando vazamento residual de identidade.
• Métodos de Perturbação: Alteram aleatoriamente características prosódicas, causando degradação imprevisível na utilidade.

A Lacuna: Há uma falta de frameworks que permitam controle contínuo, no momento da inferência, sobre o compromisso entre preservação de prosódia (utilidade) e força de anonimização (privacidade) dentro de um único modelo.

2. Metodologia: DiffAnon

Os autores propõem o DiffAnon, um framework de anonimização de voz baseado em difusão que utiliza Guia Livre de Classificador (CFG) para permitir controle explícito sobre a preservação da prosódia.

Arquitetura Central

• Modelo Base: Um Modelo Probabilístico de Difusão com Remoção de Ruído (DDPM) inspirado no NaturalSpeech2, utilizando 40 blocos residuais no estilo WaveNet.
• Prévio Semântico (Conteúdo): O modelo utiliza o SpeechTokenizer, um codec de Quantização Vetorial Residual (RVQ).
  • As embeddings de quantização de primeiro nível ($Q_1$) são tratadas como um prévio semântico agnóstico ao falante, representando o conteúdo linguístico.
  • O processo de difusão refina os detalhes acústicos restantes ($Q_{2:8}$) sobre essas embeddings semânticas.
• Condições:
  1. Conteúdo ($c_{sem}$): Embeddings $Q_1$ (fixas, adicionadas diretamente à entrada).
  2. Prosódia ($c_{pro}$): Características latentes em nível de quadro ($z_{mpm}$) extraídas de um Modelo de Prosódia Mascarada (MPM), capturando tom, energia e sonorização sem identidade do falante.
  3. Falante ($c_{spk}$): Uma embedding em nível de enunciado de um encoder FreeVC pré-treinado, substituída por uma embedding de pseudo-falante ($\psi$) durante a inferência para anonimizar a identidade.

Estratégia de Inferência: Guia Livre de Classificador (CFG)

A inovação chave é o uso de CFG para interpolar entre diferentes níveis de preservação de prosódia sem retreinamento.

• Treinamento: O modelo é treinado com abandono aleatório de condições (50% completo, 30% prosódia abandonada, 20% prosódia + falante abandonado) para habilitar capacidades de geração incondicional.
• Guia Ajustado à Prosódia: Durante a inferência, a saída é uma combinação ponderada de:
  1. Uma previsão condicionada apenas ao conteúdo e ao pseudo-falante (sem prosódia de origem).
  2. Uma previsão condicionada ao conteúdo, pseudo-falante, e prosódia de origem.
  • Fórmula: $\hat{x}_{CFG} = \hat{x}_{uncond} + w_{pro}(\hat{x}_{cond} - \hat{x}_{uncond})$
  • Controle: O peso $w_{pro}$ atua como um botão contínuo.
    • $w_{pro} = 1$: Preservação total da prosódia de origem (Alta Utilidade, Menor Privacidade).
    • $w_{pro} = 0$: Remoção completa da prosódia de origem (Alta Privacidade, Menor Utilidade).
• Guia de Pseudo-Falante: Um modo secundário de CFG ($w_{spk}$) pode ser usado para fortalecer a anonimização, guiando agressivamente a geração para longe da identidade do falante de origem.

3. Contribuições Principais

1. Primeiro Framework Controlável: DiffAnon é o primeiro sistema de anonimização de voz a fornecer controle estruturado, interpolável e no momento da inferência sobre a preservação da prosódia.
2. Formulação Novel: Introduz um paradigma de difusão que refina detalhes acústicos sobre embeddings semânticas agnósticas ao falante (espaço RVQ), alinhando-se naturalmente ao refinamento iterativo de codecs de fala.
3. Navegação Unificada do Compromisso: Demonstra que um único modelo treinado pode navegar todo o espectro utilidade–privacidade simplesmente ajustando o peso de guia CFG, eliminando a necessidade de múltiplos modelos especializados.
4. Código Aberto: O código e os modelos pré-treinados foram lançados publicamente.

4. Resultados Experimentais

Os experimentos foram conduzidos seguindo o protocolo do VoicePrivacy Challenge 2024 utilizando o conjunto de dados LibriTTS.

• Controlabilidade: Ao variar $w_{pro}$ de 1,0 a 0,0, o sistema alcançou uma transição suave e monótona:
  • Fidelidade da Prosódia: A correlação F0 caiu de 76,67% ($w_{pro}=1$) para 64,09% ($w_{pro}=0$).
  • Reconhecimento de Emoção (UAR): Caiu de 52,32% para 47,38%.
  • Privacidade (EER): A Taxa de Erro Igual (resistência à verificação de falante) melhorou (aumentou) de 33,09% para 42,43% (atacante Lazy-informed no Libri-test).
• Preservação de Utilidade:
  • Taxa de Erro de Palavra (WER): Permaneceu estável e competitiva (4,62% a 5,61%) em todas as configurações, demonstrando que a preservação de conteúdo é robusta mesmo quando a prosódia é suprimida.
  • Comparação: DiffAnon superou ou igualou várias bases de referência de alto desempenho (T8, T9, T10), enquanto oferecia a capacidade única de ajustar o compromisso dinamicamente.
• Privacidade: A configuração de anonimização mais forte (prosódia nula + guia de pseudo-falante) alcançou um EER de 48,16%, competitivo com as bases de referência de design fixo mais fortes.

5. Significado

• Mudança de Paradigma: DiffAnon move a anonimização de voz de um problema de "design fixo" para um problema de "geração controlável". Prova que a prosódia é o principal motor do compromisso utilidade–privacidade e que esse compromisso pode ser controlado matematicamente via CFG.
• Aplicação Prática: Isso permite que desenvolvedores ajustem sistemas de anonimização com base em casos de uso específicos (por exemplo, alta privacidade para depoimentos legais vs. alta expressividade para audiolivros) usando um único modelo.
• Direção Futura: O trabalho estabelece uma fundação para estender a anonimização controlável a outros fatores prosódicos, como duração e ritmo, refinando ainda mais o equilíbrio entre privacidade e naturalidade.