Feature-Aligned Speech Watermarking for Robustness to Reconstruction Distortions

Resumen Técnico: Marca de Agua de Voz Alineada con Características para la Robustez ante Distorsiones de Reconstrucción

1. Planteamiento del Problema

La marca de agua de audio es esencial para la atribución de contenido y la protección de derechos de autor, sin embargo, los métodos actuales enfrentan una limitación crítica en las aplicaciones modernas de voz. Los enfoques actuales priorizan la imperceptibilidad empleando diseños de alta fidelidad y baja energía. Aunque son efectivos contra el procesamiento de señales tradicional, estos sistemas de marca de agua son altamente vulnerables a los modelos de reconstrucción de voz (por ejemplo, denoisers, códecs neuronales y vocoders). Estos modelos, que reconstruyen voz limpia basándose en distribuciones de características previas, suprimen inadvertidamente las marcas de agua de baja energía, lo que provoca fallos significivos en la decodificación.

El desafío central reside en el intercambio inherente entre robustez y fidelidad en los diseños existentes. Aumentar la energía de la marca de agua para mejorar la robustez suele degradar la calidad perceptual. Por el contrario, los métodos basados en incrustación (por ejemplo, WavMark, AudioSeal) restringen la energía para mantener la fidelidad, lo que los vuelve frágiles frente a la reconstrucción. Los métodos generativos (por ejemplo, VoiceMark) ofrecen una mejor robustez, pero a menudo sufren de una menor fidelidad y una mayor complejidad de entrenamiento debido a la necesidad de optimizar conjuntamente las tareas de generación y de marca de agua.

2. Metodología

Los autores proponen AlignMark, un marco de trabajo de marca de agua alineada con características diseñado para romper el intercambio tradicional mediante la alineación de la distribución de características de la marca de agua con la voz original, en lugar de simplemente restringir su energía.

Descripción General de la Arquitectura:
El sistema consta de un Incrustador de Marca de Agua (Watermark Embedder) y un Decodificador de Marca de Agua (Watermark Decoder), entrenados conjuntamente con un códec de voz preentrenado y congelado (SpeechTokenizer).

• Generación de Marca de Agua de Pseudo-Voz:
  En lugar de añadir ruido directamente a la forma de onda, el incrustador inyecta bits de la marca de agua en el espacio latente de un códec preentrenado. Un adaptador CNN 2D de 6 capas transforma las características latentes originales combinadas con las incrustaciones de la marca de agua en latentes modificados. Estos son decodificados por el códec congelado para generar una marca de agua de "pseudo-voz" ($x'$). Esto asegura que la marca de agua siga intrínsecamente la distribución estadística del habla natural.

• Fusión de Espectrogramas:
  La marca de agua de pseudo-voz se fusiona con el audio original ($x$) en el dominio del espectrograma. Ambos signals se convierten a espectrogramas complejos mediante STFT. Un integrador CNN 2D aprendible predice los pesos de fusión de cuadro-frecuencia ($\alpha$) para calcular el espectrograma final: $s_w = s_{x'} \cdot \alpha + s_x \cdot (1 - \alpha)$. La STFT inversa produce el audio con la marca de agua ($\hat{x}$).

• Guía Perceptual (VAD y Pérdidas):
  Para garantizar la imperceptibilidad permitiendo al mismo tiempo una mayor energía, el método concentra la marca de agua dentro de las regiones sonorizadas (voiced regions) del espectrograma.

  • Pérdida de VAD: Una pérdida de detección de actividad de voz guía al incrustador y al decodificador para centrarse en los cuadros sonorizados, evitando las regiones de silencio donde los artefactos son más notorios.
  • Pérdidas Perceptuales: El objetivo de entrenamiento incluye pérdida de enmascaramiento auditivo, pérdida de similitud de locutor y pérdida de similitud latente para preservar la identidad del locutor y la naturalidad psicoacústica.
  • Pérdidas de Fidelidad: Se utilizan pérdidas estándar (L1, Mel-spectrogram, Adversarial, SI-SNR) pero con pesos relajados en comparación con los métodos tradicionales, apoyándose en la alineación de características para mantener la calidad.

• Decodificador de Marca de Agua:
  El decodificador procesa el audio con la marca de agua a través de un pipeline de distorsión diferenciable (que incluye modelos de reconstrucción) y un codificador de características. Emplea:

  • Predicción de Peso Temporal: Una CNN 1D predice las verosimilitudes por cuadro de los segmentos sonorizados para ponderar el proceso de decodificación.
  • Extracción de Pirámide de Características: Un extractor CNN 2D multiescala captura detalles finos de los latentes del habla para recuperar la marca de agua, abordando el desafío de extraer datos fusionados en características de voz complejas.

3. Contribuciones Clave

1. Diseño Alineado con Características: El artículo introduce un cambio de paradigma de la incrustación restringida por energía hacia la generación alineada con características. Al generar una marca de agua de pseudo-voz que coincida con la distribución del habla original, el método permite una mayor energía de la marca de agua sin sacrificar la imperceptibilidad.
2. Marco Híbrido: Los autores desarrollan un marco que incrusta marcas de agua en los latentes de un códec preentrenado y las fusiona en el dominio del espectrograma, guiado por pérdidas de VAD y perceptuales para dirigirse específicamente a las regiones sonorizadas.
3. Robustez ante Modelos No Vistos: El enfoque demuestra una robustez significativa tanto contra modelos de reconstrucción de voz vistos como no vistos (denoisers, códecs, vocoders) sin requerir que los modelos de reconstrucción formen parte del objetivo de entrenamiento.

4. Resultados Experimentales

El método fue evaluado frente a líneas base de vanguardia (WavMark, AudioSeal, TimbreWM, VoiceMark, WMCodec) a través de 21 distorsiones, incluyendo seis modelos de reconstrucción de voz.

• Robustez: Bajo modelos de reconstrucción de voz (por ejemplo, ClearerVoice, EnCodec, HiFiGAN), el método propuesto logró una precisión de bits (ACC) significativamente mayor y tasas de falsa atribución (FAR) más bajas en comparación con los métodos basados en incrustación. Por ejemplo, contra ClearerVoice, el método alcanzó un 0.92 de ACC frente al 0.51–0.78 de otros. También mantuvo un sólido rendimiento contra distorsiones tradicionales (resampling, ruido, cambio de tono).
• Imperceptibilidad:
  • Subjetiva (ABX): El método logró una puntuación de escucha ABX comparable a los métodos basados en incrustación (aprox. 50-51%, lo que indica imperceptibilidad) y significativamente mejor que los métodos generativos como VoiceMark.
  • Objetiva (VISQOL MOS): El método obtuvo un 4.44, situándose solo por detrás de AudioSeal (4.71) y superando a los enfoques generativos.
  • Métricas de Fidelidad: Aunque no está optimizado para la máxima fidelidad, el método superó a las líneas base generativas en NISQA, PESQ y SI-SNR.
• Estudio de Ablación: Eliminar la fusión de espectrogramas o la pérdida de VAD resultó en caídas sustanciales en la robustez, confirmando la necesidad de la alineación de características y el direccionamiento a las regiones sonorizadas. Eliminar la pirámide de características causó la mayor caída en la precisión de decodificación, resaltando la necesidad de una extracción de características multiescala.

5. Significado y Reivindicaciones

El artículo afirma que, al alinear la marca de agua con la distribución de características de la voz original, es posible mitigar los efectos de supresión de los modelos de reconstrucción de voz manteniendo una imperceptibilidad comparable a los métodos de incrustación existentes.

Los autores posicionan este trabajo como una solución a los límites de aplicabilidad de las marcas de agua de audio actuales en los procesos modernos de voz (llamadas de voz, reuniones en línea, redes sociales) donde los modelos de reconstrucción son ubicuos. Al desacoplar la robustez de las estrictas restricciones de baja energía de los diseños tradicionales, el método ofrece un intercambio más flexible, haciendo que la marca de agua de audio sea más fiable en escenarios del mundo real que involucran reconstrucción de voz. El trabajo no pretende resolver todos los problemas de fidelidad, sino que afirma lograr un equilibrio superior entre robustez y calidad perceptual en comparación con el estado del arte actual.