Expressive Prompting: Improving Emotion Intensity and Speaker Consistency in Zero-Shot TTS

1. Problema Identificado

Los sistemas de síntesis de voz basados en Grandes Modelos de Lenguaje (LLM) han avanzado significativamente, permitiendo la clonación de voz y la generación de emociones en configuración zero-shot (sin entrenamiento previo) mediante el uso de "prompts" (ejemplos de audio de referencia). Sin embargo, la calidad de la salida depende críticamente de la selección de estos prompts.

Los métodos actuales de selección presentan limitaciones graves:

• Selección Aleatoria: A menudo falla al proporcionar información emocional rica o capacidades expresivas consistentes.
• Métodos Basados en Texto: Seleccionan prompts basándose únicamente en la similitud semántica entre el texto de entrada y el texto del prompt. Esto es insuficiente porque la conexión entre el texto escrito y la emoción deseada en el audio es a menudo débil, lo que resulta en un rendimiento emocional subóptimo y una inconsistencia en la identidad del hablante.

El objetivo central de la investigación es mejorar la intensidad emocional y la consistencia del hablante en la síntesis de voz zero-shot mediante una mejor selección de prompts, sin requerir entrenamiento adicional del modelo.

2. Metodología: Estrategia ExpPro

Los autores proponen ExpPro, una estrategia innovadora de selección de prompts en dos etapas (estática y dinámica) diseñada para sistemas TTS basados en LLM.

A. Etapa Estática (Selección antes de la síntesis)

En esta fase, se evalúan y filtran los candidatos a prompts basándose en su calidad intrínseca y su rendimiento específico dentro del modelo TTS. Se utilizan tres dimensiones principales:

1. Características Prosódicas (Pitch):

   • Se analizan la media y la varianza de la frecuencia fundamental (pitch).
   • Se utiliza el algoritmo K-Means para agrupar los candidatos en 10 clusters según sus patrones de pitch.
   • Lógica: Emociones como la felicidad y la sorpresa requieren mayor media y varianza (intensidad), mientras que la tristeza y el consuelo requieren valores más bajos y estables. Se seleccionan los clusters que mejor representan la emoción objetivo.

2. Calidad Perceptiva y Coherencia Textual:

   • Calidad Perceptiva: Se utiliza DNSMOS (una herramienta de evaluación de calidad de audio basada en aprendizaje profundo) para asegurar que el audio del prompt sea claro y natural.
   • Coherencia Emocional Texto-Texto: Se emplea la API de ChatGPT como comparador semántico para evaluar qué tan bien el texto del prompt coincide con la etiqueta emocional deseada, asignando una puntuación de coherencia.
   • Se combinan estas métricas para seleccionar el top n% de datos más expresivos.

3. Rendimiento del Modelo (Evaluación In-Context):

   • Se reconoce que un mismo prompt puede comportarse de manera diferente en distintos modelos TTS.
   • Se sintetiza un conjunto de oraciones neutras utilizando los candidatos filtrados.
   • Se evalúan tres métricas objetivas:
     • Tasa de Error de Caracteres (CER): Para medir la fidelidad del contenido.
     • Similitud de Hablante: Utilizando Resemblyzer y WavLM.
     • Similitud Emocional: Utilizando emotion2vec.
   • Se seleccionan los k mejores candidatos basados en una suma ponderada de estas métricas.

B. Etapa Dinámica (Selección durante la síntesis)

Una vez seleccionados los k candidatos en la etapa estática, se realiza una selección final basada en el texto de entrada específico a sintetizar:

• Se utiliza un modelo de similitud textual (stsb-distilroberta-base) para calcular la relevancia semántica entre el texto de entrada y los textos de los k prompts candidatos.
• Se selecciona el prompt con la mayor relevancia semántica para generar la salida final, asegurando que la emoción y el contexto coincidan perfectamente.

3. Contribuciones Clave

1. Estrategia ExpPro: Propuesta de un método de selección de prompts en dos etapas (estática-dinámica) que no requiere entrenamiento adicional del modelo TTS.
2. Análisis Multidimensional: Integración de métricas de audio (pitch, calidad perceptiva), texto (coherencia emocional) y rendimiento del modelo específico (similitud de voz y emoción) para una selección robusta.
3. Generalización: La estrategia es flexible y aplicable a cualquier modelo TTS que utilice el concepto de "speech prompting", demostrando mejoras en expresividad emocional y estabilidad del hablante.

4. Resultados Experimentales

Los experimentos se realizaron utilizando dos modelos TTS de vanguardia (CosyVoice y GPT-SoVITS) y dos conjuntos de datos (HE2D y ESD) que cubren cinco emociones (alegría, tristeza, ira, sorpresa, consuelo).

• Comparación con Baselines: ExpPro superó significativamente a los métodos de selección aleatoria y basados solo en texto (MiniLM).
  • MOS (Mean Opinion Score): Mejoras consistentes en la calidad percibida y la expresión emocional.
  • SP (Strength Perception): Aumento notable en la percepción de la intensidad emocional (ej. en CosyVoice con HE2D, SP subió de ~0.767 a ~0.811 para "Happy").
  • Similitud de Hablante: Se mantuvo o mejoró la consistencia de la voz del hablante original.
• Dependencia del Modelo: Los resultados mostraron que los prompts más efectivos varían según el modelo TTS utilizado, validando la necesidad de la etapa de evaluación de rendimiento del modelo (Etapa Estática 3).
• Estudios de Ablación:
  • La eliminación de la selección de calidad del audio (⊖PSQ) redujo drásticamente la percepción de intensidad emocional.
  • La eliminación de la selección de rendimiento del modelo (⊖PMP) afectó negativamente la experiencia de escucha y la estabilidad.

5. Significado e Impacto

Este trabajo aborda una brecha crítica en la síntesis de voz zero-shot: la falta de control preciso sobre la intensidad emocional y la identidad del hablante sin reentrenar modelos costosos.

• Eficiencia: Ofrece una solución de "plug-and-play" que mejora el rendimiento de modelos existentes sin costo computacional de entrenamiento.
• Calidad Emocional: Permite generar voces con mayor expresividad y matices emocionales, acercándose más a la calidad humana.
• Aplicabilidad: Tiene implicaciones directas para aplicaciones de asistencia virtual, narración de audiolibros, doblaje y entretenimiento, donde la consistencia y la emoción son fundamentales.

En resumen, ExpPro demuestra que una selección inteligente y multidimensional de los datos de referencia (prompts) es tan crucial como la arquitectura del modelo mismo para lograr una síntesis de voz emocionalmente rica y consistente.