Resumen Técnico: UniVoice

Planteamiento del Problema

La síntesis de voz de texto a voz (TTS) y la síntesis de voz de canto (SVS) comparten el objetivo de generar audio vocal humano a partir de entradas simbólicas, pero imponen requisitos fundamentalmente contradictorios al proceso de generación. El TTS depende de una prosodia flexible impulsada por el lenguaje e inferida desde el contexto lingüístico, mientras que el SVS requiere un control melódico explícito (por ejemplo, notas MIDI) y una alineación rítmica precisa.

Entrenar un único modelo unificado con datos mixtos es un desafío porque la semántica de las condiciones es incompatible: las condiciones de melodía deben actuar como restricciones fuertes para el canto, pero no deben restringir la prosodia natural y dependiente del contexto del habla. Un entrenamiento conjunto ingenuo obliga al modelo a asignar significados contradictorios a las condiciones relacionadas con la melodía, lo que provoca interferencia de gradientes y una degradación de la calidad de generación para ambas modalidades.

Metodología

UniVoice es un marco unificado para la generación de habla y canto basado en Igualación de Flujo Condicional (CFM) con un núcleo de Transformer de Difusión (DiT). La innovación central reside en la condicionamiento factorizado y un token de melodía nula aprendido.

1. Arquitectura

El modelo utiliza un núcleo DiT compartido (adaptado de Wan-DiT) con 24 capas, 16 cabezales de atención y aproximadamente 0.3 mil millones de parámetros. Opera sobre características latentes extraídas por un VAE de Song Bloom a 25 Hz.

• Núcleo Compartido: Tanto el habla como el canto son tratados como modos condicionales del mismo flujo continuo.
• Modulación Adaptativa: Un Token de Tarea ligero (que indica "habla" o "canto") se inyecta mediante Normalización de Capa Adaptativa (AdaLN) para modular el núcleo compartido sin introducir cabezales específicos de cada tarea.

2. Condicionamiento Factorizado

Para resolver el conflicto de representación, UniVoice descompone la señal de condicionamiento $c$ en cuatro ejes ortogonales:

• Contenido ($c_{cnt}$): Secuencias de fonemas codificadas por un codificador basado en ConvNeXt.
• Melodía ($c_{mel}$):
  • Para el Canto: Codificada como secuencias de notas MIDI utilizando un codificador Conformer.
  • Para el Habla: Reemplazada por un token de melodía nula aprendido ($e_\emptyset$). Este token indica al modelo que infiera la prosodia a partir del contexto lingüístico y acústico en lugar de restricciones melódicas explícitas.
• Timbre ($c_{tmb}$): Derivado de un prompt de audio de referencia de 3 a 10 segundos, codificado mediante el mismo VAE utilizado para el audio objetivo. Esto permite la clonación de voz zero-shot en ambas modalidades.
• Token de Tarea ($c_{tsk}$): Embedding discreto para distinguir los modos de generación.

3. Justificación Teórica

El artículo postula que el token nulo aprendido actúa como una aproximación amortizada eficiente de la marginalización de la melodía. En la generación de habla, el campo vectorial ideal debería marginalizar sobre todas las realizaciones melódicas posibles. El token nulo permite al modelo aprender la representación óptima "ausente de melodía" sin interferencias de los gradientes específicos del canto, realizando efectivamente una guía de clase libre selectiva por eje.

4. Entrenamiento e Inferencia

• Datos: Entrenado en un conjunto de datos mixto de 30,000 horas de habla (del dataset Emilia) y 35,000 horas de canto (grabaciones de estudio y de campo).
• Entrenamiento: Utiliza un tamaño de lote de 32,000 fotogramas en 8 GPUs A800 durante 100 épocas. Las condiciones (texto, melodía, prompt de audio) se descartan aleatoriamente con una probabilidad del 10% para permitir la guía de clase libre (classifier-free guidance).
• Inferencia: Genera audio utilizando un resolvedor de ODE de Euler con 32 pasos. Se aplican escalas de guía específicas por eje (por ejemplo, $w_{txt}=5$ para texto, $w_{mel}=1$ para melodía).

Contribuciones Clave

1. Arquitectura Unificada: Un único modelo de igualación de flujo con un núcleo DiT compartido que genera tanto habla como canto sin cabezales específicos de tarea.
2. Condicionamiento Factorizado: Un esquema que separa el contenido, la melodía y el timbre para eliminar los conflictos de gradiente entre el modelado de la prosodia del habla y el control de la melodía del canto.
3. Token de Melodía Nula Aprendido: Un mecanismo para la generación de habla que reemplaza las entradas de melodía explícitas con un token aprendido, teóricamente fundamentado como una marginalización sobre la variable de la melodía.
4. Benchmark UNISINGING-EVAL: Un nuevo benchmark de evaluación que cubre 12 estilos musicales, diseñado para probar la generación de voz unificada a través de diversos estilos, marcas de tiempo a nivel de frase y consistencia cross-modal.

Resultados Experimentales

Evaluado en una tarea de generación de frase cruzada con clips de 10 segundos:

• Generación de Habla: UniVoice logra una Tasa de Error de Fonema (PER) del 5.26%, comparable a sistemas dedicados de TTS como F5-TTS (5.21%) y CosyVoice3 (5.30%), a pesar de usar significativamente menos datos de habla y una arquitectura unificada. Logra la puntuación de naturalidad de habla más alta (S-MOS 3.76) entre los modelos unificados.
• Generación de Canto: UniVoice logra un PER del 16.22% y una Similitud de Locutor (SIM) de 35.70%. Esto supera sustancialmente al baseline unificado Vevo1.5 (PER 45.07%) y al modelo de canto dedicado Soul-X-Singer (PER 26.22%).
• Eficiencia: Con solo 0.3B de parámetros y 65k horas de entrenamiento, UniVoice supera a modelos unificados más grandes (Vevo1.5, 1B de parámetros) y modelos de canto dedicados, demostando la eficiencia del condicionamiento factorizado.

Los Estudios de Ablación confirman que:

• Eliminar el condicionamiento factorizado causa una degradación severa (el PER de habla sube a 12.31%; el PER de canto a 23.45%).
• El token de melodía nula aprendido es superior a un vector cero fijo.
• Los tokens de tarea son esenciales para la adaptación de la modalidad.
• El condicionamiento melódico explícito es crítico para el canto pero perjudicial si se fuerza en el habla.

Significación y Limitaciones

Significación:
UniVoice demuestra que un solo modelo puede cerrar eficazmente la breancia entre el habla y el canto al desacoplar sus requisitos de condicionamiento conflictivos. Establece un nuevo estándar para la generación de voz unificada, ofreciendo una calidad competitiva con sistemas dedicados al tiempo que permite una identidad de locutor consistente a través de estilos de habla y canto. La introducción de UNISINGING-EVAL aborda la falta de benchmarks exhaustivos para este campo emergente.

Limitaciones:

• Similitud de Locutor: Persiste una brecha en la Similitud de Locutor (SIM) en comparación con los sistemas de solo habla, lo que indica un compromiso entre el intercambio cross-modal y la fidelidad de la clonación de voz.
• Alcance Lingüístico: La evaluación está actualmente limitada al inglés y al chino.
• Latencia: El proceso de muestreo de ODE de 32 pasos introduce una mayor latencia en comparación con los métodos de generación de pocos pasos.
• Cobertura de Estilo: Los estilos vocales mixtos como el rap o el canto hablado no están modelados explícitamente.
• Riesgos Éticos: La capacidad de clonación de voz zero-shot a través de modalidades plantea preocupaciones respecto a los deepfakes y los derechos de autor, lo que requiere medidas de despliegue responsable como el uso de marcas de agua y el registro basado en el consentimiento.