From A to B to A: Palindromic Zero-Shot Voice Conversion with Non-Parallel Data

Resumen Técnico: De A a B a A: Conversión de Voz Palindrómica Zero-Shot con Datos No Paralelos

Planteamiento del Problema
La conversión de voz (VC) tiene como objetivo transformar el habla de un locutor de origen para que coincida con la identidad de un locutor de destino, preservando al mismo tiempo el contenido lingüístico. Los enfoques tradicionales basados en datos dependen de corpora paralelos (utterances alineadas de diferentes locutores), los cuales son costosos e impracticables de recolectar a escala. Aunque se han desarrollado métodos no paralelos, estos suelen tener dificultades en el escenario "cualquiera-a-cualquiera" (any-to-any) zero-shot (donde tanto el locutor de origen como el de destino son desconocidos durante el entrenamiento). Las soluciones existentes suelen intentar el desentrelazamiento de la información de contenido y de locutor utilizando supervisión lingüística (por ejemplo, fonemas) o aprendizaje auto-supervisado (SSL). Sin embargo, estos métodos enfrentan desafíos: los enfoques lingüísticos dependen del idioma y requieren sistemas ASR/TTS, mientras que los métodos de SSL basados en el desentrelazamiento suelen sufrir de una separación imperfecta, lo que provoca filtraciones de información del locutor o una degradación en la preservación del contenido. Además, la recuperación simple de K-Vecinos Más Cercanos (KNN) sobre características SSL, aunque efectiva, se degrada en escenarios one-shot debido a la escasez de vecinos y a la limitación de los datos del objetivo.

Metodología
Los autores proponen un marco que permite el aprendizaje supervisado para la conversión de voz zero-shot utilizando únicamente datos no paralelos. La innovación central es una estrategia de entrenamiento palindrómica que construye pares de entrenamiento sintéticos sin requerir utterances alineadas de origen y destino.

1. Generación de Datos Sintéticos (La Fase "De A a B"):

   • El sistema utiliza un modelo de aprendizaje auto-supervisado (SSL) pre-entrenado, WavLM, para extraer características a nivel de frame.
   • Para un segmento de habla de un objetivo real dado ($a_1$) y una galería de referencia de locutor ($b_{ref}$), el sistema realiza una recuperación KNN offline. Empareja las características del objetivo con el locutor de referencia para generar un conjunto de características de origen sintético ($\hat{B}_1$).
   • Esto crea un triplete de entrenamiento: un origen sintético ($\hat{B}_1$), un objetivo real ($a_1$) y un segmento de referencia real adicional del locutor de destino ($a_2$).

2. Arquitectura del Modelo:

   • Encoder: Encoder WavLM pre-entrenado.
   • Conversor: Un conversor latente basado en Transformer entrenado para mapear las características de origen sintéticas ($\hat{B}_1$) hacia las características acústicas del locutor de destino, produciendo características latentes ($\tilde{A}_1$).
   • Vocoder: Un vocoder HiFi-GAN entrenado para reconstruir formas de onda a partir de las características latentes.

3. Procedimiento de Entrenamiento (Tres Etapas):

   • Etapa 1 (Pre-entrenamiento del Vocoder): Se entrena un vocoder para reconstruir audio a partir de características crudas de WavLM utilizando pérdidas de reconstrucción (Multi-Resolution STFT) y entrenamiento adversarial (Multi-Period y Multi-Scale Discriminators).
   • Etapa 2 (Entrenamiento del Transformer): El Transformer se entrena para convertir características sintéticas en características de destino. La función de pérdida incluye:
     • Pérdida L1: Entre las características de destino predichas y las reales (ground-truth).
     • Pérdida de Locutor (Speaker Loss): Una pérdida a nivel de forma de onda calculada mediante un modelo de verificación de locutor pre-entrenado. Calcula la similitud de coseno y la distancia L1 entre la forma de onda de referencia ($a_2$) y la forma de onda convertida ($\tilde{a}_1$) para imponer consistencia de identidad.
   • Etapa 3 (Post-entrenamiento del Vocoder): Una nueva instancia del vocoder se entrena sobre las características convertidas producidas por el Transformer para adaptarse a la distribución específica de las características, reduciendo artefactos y mejorando la naturalidad.

4. Inferencia:

   • En el momento de la inferencia, el sistema opera directamente sobre el habla real (no sintética). El modelo generaliza desde el paradigma de entrenamiento sintético para realizar la conversión de voz en el mundo real utilizando solo una breve expresión de referencia del locutor de destino.

Contribuciones Clave

• Marco No Paralelo y Zero-Shot: Un enfoque novedoso que aprovecha la generación controlada de datos sintéticos (vía recuperación KNN en características SSL) para permitir la conversión de locutor supervisada sin datos de habla alineados.
• Pérdida de Verificación de Locutor: La introducción de una pérdida a nivel de forma de onda derivada de un modelo de verificación de locutor, que optimiza directamente la similitud del locutor y asegura una preservación de identidad consistente.
• Generalización Multilingüe: El sistema demuestra un sólido desempeño cross-lingual sin necesidad de ningún ajuste fino (fine-tuning) en datos que no sean inglés, a pesar de haber sido entrenado exclusivamente en inglés.
• Desempeño: El método logra una similitud de locutor y una Tasa de Error Igual (EER) superiores en comparación con sistemas de vanguardia recientes (incluyendo KNN-VC, Seed-VC y Vevo), manteniendo una Tasa de Error de Palabra (WER), una Tasa de Error de Carácter (CER) y una calidad subjetiva (MOS/SMOS) comparables.

Resultados
Los experimentos se realizaron con los conjuntos de datos LibriSpeech (inglés) y Multilingual LibriSpeech.

• Similitud de Locutor: El método propuesto supera a los baselines en todas las duraciones de prompt (de 3s a 60s). Notablemente, en entornos de bajos recursos (prompt de 3s), supera significativamente a KNN-VC, el cual sufre de degradación en inteligibilidad y calidad debido a la escasez de vecinos.
• Inteligibilidad y Calidad: El método mantiene un WER y un CER comparables a los sistemas de vanguardia, lo que indica que las ganancias en similitud de locutor no comprometen la preservación del contenido. Las evaluaciones subjetivas (MOS y SMOS) muestran que el método alcanza una alta naturalidad y similitud de locutor, particularmente en escenarios de prompts cortos.
• Desempeño Cross-Lingual: Al ser probado en holandés, francés, alemán, italiano, polaco, portugués y español, el modelo logró mejoras consistentes en el WER y mantuvo una similitud de locutor y puntuaciones DNS-MOS comparables a sus competidores, a pesar de no haber recibido fine-tuning en idiomas distintos al inglés.
• Estudio de Ablación: La eliminación de la etapa de post-entrenamiento del vocoder resultó en artefactos auditivos notables y puntuaciones DNS-MOS más bajas, confirmando la necesidad de adaptar el vocoder a la distribución de salida del Transformer.

Significancia
El artículo sostiene que la supervisión sintética controlada, combinada con objetivos explícitos a nivel de locutor, ofrece una alternativa efectiva a la tradicional desentrelazación basada en el contenido. Al evitar la necesidad de corpora paralelos o alineación lingüística explícita, el marco proporciona un camino escalable y eficiente en términos de datos para una conversión de voz zero-shot de alta calidad y de cualquier-a-cualquiera. Los resultados sugieren que la estrategia "palindrómica" propuesta cierra eficazmente la brecha entre los datos de entrenamiento sintéticos y la inferencia en el mundo real, logrando un desempeño robusto incluso con datos de referencia limitados y a través de diversos idiomas no vistos.