Feature-Aligned Speech Watermarking for Robustness to Reconstruction Distortions

Resumo Técnico: Marca d'Água de Fala Alinhada a Características para Robustez a Distorções de Reconstrução

1. Definição do Problema

A marca d'água em áudio é essencial para atribuição de conteúdo e proteção de direitos autorais, mas os métodos existentes enfrentam uma limitação crítica nas aplicações modernas de fala. As abordagens atuais priorizam a imperceptibilidade ao empregar designs de alta fidelidade e baixa energia. Embora eficazes contra o processamento de sinais tradicional, essas marcas d'água são altamente vulneráveis a modelos de reconstrução de fala (ex: denoisers, codecs neurais e vocoders). Esses modelos, que reconstroem a fala limpa com base em distribuições de características prévias, inadvertidamente suprimem as marcas d'água de baixa energia, levando a falhas significativas de decodificação.

O desafio central reside no inerente trade-off robustez–fidelidade nos designs existentes. Aumentar a energia da marca d'água para melhorar a robustez normalmente degrada a qualidade perceptual. Inversamente, métodos baseados em incorporação (ex: WavMark, AudioSeal) restringem a energia para manter a fidelidade, tornando-os frágeis contra a reconstrução. Métodos generativos (ex: VoiceMark) oferecem melhor robustez, mas frequentemente sofrem com menor fidelidade e maior complexidade de treinamento devido à necessidade de otimizar conjuntamente as tarefas de geração e marca d'água.

2. Metodologia

Os autores propõem o AlignMark, um framework de marca d'água alinhado a características projetado para quebrar esse trade-off tradicional, alinhando a distribuição de características da marca d'água com a fala original, em vez de apenas restringir sua energia.

Visão Geral da Arquitetura:
O sistema consiste em um Embedder de Marca d'Água (Incorporador) e um Decoder de Marca d'Água (Decodificador), treinados conjuntamente com um codec de fala pré-treinado e congelado (SpeechTokenizer).

• Geração de Marca d'Água de Pseudo-Fala:
  Em vez de adicionar ruído diretamente à forma de onda, o embedder injeta bits da marca d'água no espaço latente de um codec pré-treinado. Um adaptador CNN 2D de 6 camadas transforma as características latentes originais combinadas com os embeddings da marca d'água em latentes modificados. Estes são decodificados pelo codec congelado para gerar uma marca d'água de "pseudo-fala" ($x'$). Isso garante que a marca d'água siga inerentemente a distribuição estatística da fala natural.

• Fusão de Espectrograma:
  A marca d'água de pseudo-fala é fundida com o áudio original ($x$) no domínio do espectrograma. Ambos os sinais são convertidos em espectrogramas complexos via STFT. Um integrador CNN 2D treinável prevê os pesos de fusão de quadro-frequência ($\alpha$) para calcular o espectrograma final: $s_w = s_{x'} \cdot \alpha + s_x \cdot (1 - \alpha)$. A STFT inversa produz o áudio com marca d'água ($\hat{x}$).

• Orientação Perceptual (VAD e Perdas):
  Para garantir a imperceptibilidade enquanto permite uma maior energia, o método concentra a marca d'água dentro das regiões sonorizadas (voiced regions) do espectrograma.

  • Perda de VAD: Uma perda de detecção de atividade de voz (VAD) guia o embedder e o decoder para focar em quadros sonorizados, evitando regiões de silêncio onde artefatos são mais perceptíveis.
  • Perdas Perceptuais: O objetivo de treinamento inclui perda de mascaramento auditivo, perda de similaridade de locutor e perda de similaridade latente para preservar a identidade do locutor e a naturalidade psicoacústica.
  • Perdas de Fidelidade: Perdas padrão (L1, Mel-spectrogram, Adversarial, SI-SNR) são usadas, mas com pesos relaxados em comparação aos métodos tradicionais, confiando no alinhamento de características para manter a qualidade.

• Decoder de Marca d'Água:
  O decoder processa o áudio com marca d'água através de um pipeline de distorção diferenciável (incluindo modelos de reconstrução) e um codificador de características. Ele utiliza:

  • Predição de Peso Temporal: Uma CNN 1D prevê as probabilidades por quadro de segmentos sonorizados para ponderar o processo de decodificação.
  • Extração de Pirâmide de Características: Um extrator CNN 2D multi-escala captura detalhes finos das latentes da fala para recuperar a marca d'água, abordando o desafio de extrair dados fundidos em características de fala complexas.

3. Principais Contribuições

1. Design Alinhado a Características: O artigo introduz uma mudança de paradigma do embedding restrito por energia para a geração alinhada a características. Ao gerar uma marca d'água de pseudo-fala que corresponde à distribuição da fala original, o método permite uma maior energia de marca d'água sem sacrificar a imperceptibilidade.
2. Framework Híbrido: Os autores desenvolvem um framework que incorpora marcas d'água nos latentes de um codec pré-treinado e as funde no domínio do espectrograma, guiado por perdas de VAD e perceptuais para visar especificamente as regiões sonorizadas.
3. Robustez a Modelos Não Vistos: A abordagem demonstra robustez significativa contra modelos de reconstrução de fala vistos e não vistos (denoisers, codecs, vocoders) sem exigir que os modelos de reconstrução façam parte do objetivo de treinamento.

4. Resultados Experimentais

O método foi avaliado contra baselines de estado da arte (WavMark, AudioSeal, TimbreWM, VoiceMark, WMCodec) em 21 distorções, incluindo seis modelos de reconstrução de fala.

• Robustez: Sob modelos de reconstrução de fala (ex: ClearerVoice, EnCodec, HiFiGAN), o método proposto alcançou significativamente maior acurácia de bits (ACC) e menores taxas de falsa atribuição (FAR) em comparação com métodos baseados em embedding. Por exemplo, contra o ClearerVoice, o método alcançou 0.92 ACC comparado a 0.51–0.78 dos outros. Também manteve um desempenho forte contra distorções tradicionais (resampling, ruído, pitch shift).
• Imperceptibilidade:
  • Subjetiva (ABX): O método alcançou uma pontuação de audição ABX comparável aos métodos baseados em embedding (aprox. 50-51%, indicando imperceptibilidade) e significativamente melhor que métodos generativos como o VoiceMark.
  • Objetiva (VISQOL MOS): O método obteve 4.44, ficando em segundo lugar apenas para o AudioSeal (4.71) e superando abordagens generativas.
  • Métricas de Fidelidade: Embora não otimizado para máxima fidelidade, o método superou baselines generativos em NISQA, PESQ e SI-SNR.
• Estudo de Ablação: A remoção da fusão de espectrograma ou da perda de VAD resultou em quedas substanciais na robustez, confirmando a necessidade do alinhamento de características e do direcionamento para regiões sonorizadas. A remoção da pirâmide de características causou a maior queda na acurácia de decodificação, destacando a necessidade de extração de características multi-escala.

5. Significância e Alegações

O artigo afirma que, ao alinhar a marca d'água com a distribuição de características da fala original, é possível mitigar os efeitos de supressão dos modelos de reconstrução de fala mantendo a imperceptibilidade comparável aos métodos de embedding existentes.

Os autores posicionam este trabalho como uma solução para os limites de aplicabilidade dos atuais sistemas de marca d'água de áudio em pipelines modernos de fala (chamadas de voz, reuniões online, redes sociais) onde modelos de reconstrução são onipresentes. Ao desacoplar a robustez das estritas restrições de baixa energia dos designs tradicionais, o método oferece um trade-off mais flexível, tornando a marca d'água de áudio mais confiável em cenários reais envolvendo reconstrução de fala. O trabalho não pretende resolver todos os problemas de fidelidade, mas afirma alcançar um equilíbrio superior entre robustez e qualidade perceptual em comparação com o estado da arte atual.