Resumen Técnico: TRACE-EVC

Planteamiento del Problema

Los sistemas tradicionales de Conversión de Voz Emocional (EVC) dependen de condiciones de objetivo explícitas —como etiquetas de emoción discretas, locuciones de audio de referencia o descripciones de estilo absolutas— para guiar la generación. Aunque son efectivos, estos paradigmas definen un estado objetivo fijo pero no logran capturar la dirección o la naturaleza de la transición emocional relativa al origen. En muchos escenarios prácticos, los usuarios pueden no tener una emoción objetivo específica en mente, sino que desean modificar la locución de origen de manera relativa (por ejemplo, "haz que el habla sea un poco más calmada" o "que suene notablemente más seguro de sí mismo"). Los métodos existentes carecen de la capacidad para interpretar tales instrucciones relativas condicionadas a la fuente, y existe una brecha de datos significativa respecto a conjuntos de datos que describan transformaciones afectivas en lugar de estilos de locución estáticos.

Metodología

Los autores proponen TRACE-EVC, un marco de trabajo de cero disparos (zero-shot) para la EVC relativa guiada por instrucciones, respaldado por el conjunto de datos TRACE-Instruct. El marco consta de dos componentes principales:

1. Construcción del Conjunto de Datos TRACE-Instruct

Para abordar la falta de datos de entrenamiento para instrucciones relativas, los autores construyeron TRACE-Instruct utilizando pares de habla emocional de los corpus ESD y MEAD.

• Construcción de Pares: Se forman pares origen-objetivo a través de diferentes emociones (inter-emoción) y niveles de intensidad (intra-emoción).
• Cálculo de la Diferencia Afectiva: Un modelo de Reconocimiento de Emoción del Habla (SER) predice las coordenadas de Valencia-Arousal-Dominancia (VAD) para ambas locuciones ($VAD_{src}$) y ($VAD_{tgt}$). El cambio afectivo relativo se calcula como $\Delta VAD = VAD_{tgt} - VAD_{src}$.
• Generación de Instrucciones: Un Modelo de Lenguaje Grande (LLM, Qwen3) es instado con la descripción del estilo de origen, la descripción del estilo objetivo y el $\Delta VAD$ calculado. El LLM genera instrucciones en lenguaje natural que describen la transformación (por ejemplo, "elevar la vivacidad") en lugar del estilo objetivo absoluto.
• Filtrado: El filtrado basado en reglas elimina etiquetas de emoción de objetivo explícitas, valores numéricos de VAD y metadatos para asegurar que las instrucciones permanezcan relativas.

2. Marco de Trabajo TRACE-EVC

El modelo opera de manera zero-shot, sin requerir etiquetas de objetivo ni locuciones de referencia durante la inferencia. Consta de dos módulos en cascada:

• Emo-Compass (Predictor de Emoción):

  • Entrada: Embedding de emoción de la fuente ($z_{src}$) y un embedding de instrucción codificado en texto ($p$).
  • Representación: El embedding de emoción $z$ concatena un embedding de emotion2vec (nivel de categoría), coordenadas VAD (estado afectivo continuo) y características prosódicas medias (F0 y energía).
  • Mecanismo: A diferencia de los modelos de difusión que generan desde el ruido, Emo-Compass modela la conversión como un flujo rectificado anclado en la fuente. Trata la instrucción como un vector de desplazamiento en el espacio afectivo.
  • Entrenamiento: Un Transformer $D_\theta$ predice la velocidad $\hat{v}$ del flujo, entrenado para coincidir con el desplazamiento real $v^* = z_{tgt} - z_{src}$. La función de pérdida incluye un término de regresión de velocidad y términos de guía auxiliares para dirección, categoría, reconstrucción de VAD/prosodia y orden de intensidad.
  • Inferencia: Partiendo de $z_{src}$, el modelo integra la velocidad predicha a lo largo de $K$ pasos de Euler para generar el embedding objetivo $\hat{z}_{tgt}$.

• Módulo de Síntesis:

  • Basado en la arquitectura DurFlex-EVC, este módulo realiza la conversión zero-shot utilizando embeddings continuos.
  • Combina el embedding del hablante de origen con el embedding de emoción objetivo predicho para crear una representación de estilo objetivo ($m_{tgt}$).
  • Un regulador de duración y un decodificador de difusión condicional generan el espectrograma Mel, que se convierte en una forma de onda mediante un vocoder HiFi-GAN. Este proceso preserva la identidad del hablante de origen y el contenido lingüístico mientras aplica el cambio emocional instruido.

Contribuciones Clave

1. Tarea de EVC Relativa Guiada por Instrucciones: La introducción de un nuevo paradigma de tarea donde las instrucciones en lenguaje natural especifican transformaciones afectivas condicionadas a la fuente (cambios categóricos y modificaciones de intensidad) en lugar de estados objetivos fijos.
2. Conjunto de Datos TRACE-Instruct: Un conjunto de datos de 0.54M de instrucciones de emoción relativas que cubren cambios inter-emocionales, modificaciones de intensidad intra-emoción y transiciones abiertas, generadas mediante LLMs guiados por diferencias de VAD.
3. Marco de Trabajo TRACE-EVC: Un sistema zero-shot que presenta Emo-Compass, el cual replantea la EVC basada en prompts al anclar el proceso generativo en el embedding de la fuente y modelar la instrucción como una velocidad de flujo rectificado. Esto permite un control flexible sin necesidad de etiquetas de objetivo o audio de referencia.
4. Validación Empírica: Experimentos exhaustivos que demuestran que el sistema sigue con precisión las instrucciones relativas mientras preserva la identidad del hablante, el contenido lingüístico y la calidad de la voz.

Resultados Experimentales

Conversión Inter-Emoción (Dataset ESD)

• Desempeño: TRACE-EVC logró la mayor Similitud de Emoción (EECS: 0.82), Similitud de Hablante (SECS: 0.68) y Precisión de Clasificación de Emoción (ACCcls: 93.00%) entre los modelos de comparación (incluyendo SGEVC/DurFlex-EVC basados en etiquetas y ZEST/VEVO basados en referencia).
• Calidad: Mantuvo una Tasa de Error de Palabra competitiva (WER: 9.96%) y puntuaciones UTMOS (3.57), indicando alta inteligibilidad y naturalidad.
• Ablación: Eliminar Emo-Compass y simplemente concatenar los embeddings resultó en una caída significativa en EECS (0.65) y ACCcls (43.08%), validando la necesidad de predecir explícitamente el embedding de objetivo mediante flujo.

Conversión de Intensidad Intra-Emoción (Dataset MEAD)

• Capacidad Zero-Shot: Evaluado en hablantes no vistos, TRACE-EVC logró puntuaciones NISQA (3.147) cercanas a la verdad de terreno (3.248), demostrando alta naturalidad.
• Control de Intensidad: El sistema mostró incrementos monotónicos en los cambios de media de arousal correspondientes a la fuerza de la instrucción (por ejemplo, "incremento leve" frente a "incremento fuerte"), confirmando un control fino sobre la intensidad emocional.
• Preservación del Hablante: El SECS se mantuvo estable (0.706 para hablantes no vistos), indicando una robusta preservación de la identidad del hablante.

Seguimiento de Instrucciones

• La evaluación subjetiva por parte de 15 evaluadores arrojó altas puntuaciones de Seguimiento de Instrucciones (IF): 4.135 para configuraciones inter-emoción y 4.296 para intra-emoción (en una escala de 1 a 5).

Análisis de Componentes (Emo-Compass)

• Indicios Afectivos: Los estudios de ablación confirmaron que, si bien emotion2vec proporciona una fuerte precisión a nivel de categoría, la inclusión de las características VAD y prosódicas es crítica para las métricas continuas. Eliminar VAD aumentó la distancia L2 de VAD y el MSE de intensidad; eliminar la prosodia degradó aún más la consistencia de la intensidad.

Significancia y Reivindicaciones

El artículo afirma que TRACE-EVC logra cerrar la brecha entre las instrucciones de lenguaje natural y el control emocional de grano fino. Al cambiar de una generación orientada al objetivo a una transformación relativa condicionada a la fuente, el marco permite un control más intuitivo y flexible (por ejemplo, "más calmado", "más expresivo") sin requerir que los usuarios especifiquen una etiqueta de emoción de objetivo o proporcionen una grabación de referencia. El trabajo demuestra que modelar el cambio emocional como un desplazamiento en un espacio afectivo continuo (vía flujo rectificado) es una estrategia efectiva para la EVC zero-shot, logrando un desempeño competitivo con los sistemas de vanguardia en tareas categóricas estándar, al tiempo que habilita nuevas capacidades de control de intensidad abierta y afectiva relativa.