Causal Prosody Mediation for Text-to-Speech:Counterfactual Training of Duration, Pitch, and Energy in FastSpeech2

Este artículo propone un marco novedoso de mediación causal de prosodia para la síntesis de voz (TTS) que, al integrar un modelo causal estructural y objetivos de entrenamiento contrafactual en la arquitectura FastSpeech2, logra disociar la emoción del contenido lingüístico para mejorar la expresividad, la manipulación controlada de la prosodia y la consistencia del hablante sin comprometer la inteligibilidad.

Lo esencial

Imagina que tienes un actor de doblaje virtual llamado "FastSpeech2". Este actor es increíblemente talentoso: puede leer cualquier texto y sonar como una persona real. Sin embargo, tiene un problema: es como un actor que solo sabe interpretar un papel de "lector de noticias". Si le pides que lea un texto con "rabia" o con "tristeza", a veces lo hace, pero de forma desordenada. A veces cambia la voz, a veces cambia las palabras, o simplemente no logra transmitir la emoción correcta.

El artículo que hemos leído propone una solución brillante basada en una idea llamada "Mediación Causal de la Prosodia". Vamos a explicarlo con analogías sencillas.

1. El Problema: El Actor Confundido

En el mundo normal, cuando un actor está enojado, hace tres cosas principales:

1. Habla más rápido o más lento (Duración).
2. Sube o baja el tono de voz (Pitch).
3. Habla más fuerte o más suave (Energía).

Estas tres cosas son la "prosodia" (el ritmo y la melodía del habla).

El problema de los sistemas antiguos es que, cuando les decías "actúa enojado", el actor a veces cambiaba el tono de voz (su identidad) o incluso cambiaba las palabras, en lugar de solo ajustar el ritmo y la melodía. Era como si, para interpretar el enojo, el actor decidiera cambiar de personaje o de idioma.

2. La Solución: El Director de Cine Causal

Los autores de este paper (Suvendu Sekhar Mohanty) decidieron entrenar a su actor con una regla estricta, como un director de cine muy estricto. Imagina que el actor es un chef y la emoción es un sabor (por ejemplo, "picante").

• La vieja forma: Si le decías "hazlo picante", el chef podía quemar la comida, cambiar los ingredientes o usar un plato diferente. El resultado era un desastre.
• La nueva forma (Causal): El director le dice al chef: "La emoción (enojo/tristeza) solo puede llegar al plato a través de la sal y el pimienta (prosodia). No puedes cambiar el tipo de carne ni quemar el plato. Si quieres que sepa a 'enojo', solo puedes ajustar la intensidad de la sal y el pimienta".

En términos técnicos, esto significa que la emoción debe influir en el sonido únicamente a través de la prosodia (duración, tono y energía). No hay atajos directos.

3. El Truco de Entrenamiento: "¿Qué pasaría si...?" (Contrafactuales)

Para enseñar esta regla al actor, usan un truco mental llamado entrenamiento contrafactual. Es como hacer un ejercicio de imaginación durante el entrenamiento:

Le muestran al actor una frase dicha con "alegría" y le preguntan:

"¿Qué pasaría si esta misma frase, dicha por la misma persona, fuera dicha con 'tristeza'?"

El actor debe responder mentalmente:

1. Mismo texto: Las palabras no cambian.
2. Misma voz: El personaje no cambia.
3. Solo cambia la melodía: La voz debe volverse más lenta y grave.

Si el actor intenta cambiar las palabras o la voz para expresar la tristeza, el sistema le da una "tunda" (una penalización matemática). Si lo hace bien, ajustando solo el ritmo y el tono, recibe una "recompensa".

4. Las Dos Reglas de Oro (Las Pérdidas)

El sistema usa dos reglas principales para asegurar que el actor aprenda:

• Regla 1: El Camino Indirecto (IPC).
  Imagina que la emoción es un mensajero. Este mensajero no puede entrar a la cocina (el sonido final) directamente. Tiene que pasar primero por la despensa de especias (la prosodia). Si el mensajero intenta entrar directo a la cocina, el sistema lo detiene. Esto asegura que la emoción no cambie la identidad de la voz ni las palabras.

• Regla 2: El Cambio de Prosodia (CPC).
  Si cambiamos el mensajero de "alegría" a "enojo", las especias en la despensa deben cambiar. Si el actor dice "estoy enojado" pero suena exactamente igual que cuando está feliz, el sistema le dice: "¡Eso no sirve! Tienes que cambiar el tono o la velocidad para que se note la diferencia".

5. Los Resultados: Un Actor Perfecto

Cuando probaron este nuevo sistema (llamado CPM) contra los sistemas antiguos:

• Se entendía mejor: Las palabras no se borraban ni se inventaban (baja tasa de error).
• Sonaba más natural: La gente lo calificó con notas más altas en pruebas de escucha.
• La emoción era clara: Si decían "enojo", sonaba realmente enojado, no ambiguo.
• La voz se mantenía: Si le pedían que hablara enojado, seguía sonando como la misma persona, no como un robot diferente.

En Resumen

Este paper es como enseñar a un actor de doblaje a ser un maestro de la emoción. En lugar de dejar que la emoción cambie todo el personaje de forma caótica, les enseña que la emoción es solo un ajuste de volumen, velocidad y tono.

Gracias a este método, ahora podemos pedirle a una computadora: "Lee este texto, pero hazlo como si estuvieras muy triste" y obtendremos una voz que suena triste, pero que sigue siendo la misma persona y diciendo exactamente las mismas palabras. Es como tener un control de volumen y velocidad para las emociones, sin romper la magia de la voz.

Resumen técnico

Resumen Técnico: Mediación Causal de Prosodia para TTS

1. Planteamiento del Problema

Aunque los modelos de Texto a Voz (TTS) de extremo a extremo han logrado una naturalidad notable, la generación de habla expresiva (que transmita matices de emoción y prosodia) sigue siendo un desafío.

• El problema de la correspondencia uno-a-muchos: Un mismo texto puede pronunciarse de múltiples formas válidas. Controlar cómo se habla (ej. feliz vs. triste) es complejo.
• Limitaciones de los modelos actuales: Modelos como FastSpeech2 (FS2) introducen predictores de varianza (duración, tono, energía) para manejar la variabilidad, pero no son explícitamente conscientes de la emoción.
• Entrelazamiento (Entanglement): Los métodos existentes que condicionan la síntesis con etiquetas de emoción a menudo fallan en separar la emoción del contenido lingüístico o de la identidad del hablante. Esto puede llevar a que la emoción altere la inteligibilidad, la pronunciación o la voz del hablante de manera no deseada, en lugar de manifestarse únicamente a través de cambios prosódicos (ritmo, entonación, intensidad).

2. Metodología Propuesta

Los autores proponen un marco de Mediación Causal de Prosodia (CPM) basado en un Modelo Causal Estructural (SCM) y entrenamiento con objetivos contrafactuales.

A. Modelo Causal Estructural (SCM)
Se define un grafo causal donde:

• X (Texto): Contenido lingüístico.
• E (Emoción): Estilo o estado de ánimo deseado.
• S (Hablar): Identidad del hablante.
• M (Prosodia): Características intermedias (duración, tono/pitch, energía).
• Y (Voz sintetizada): La salida final.

Hipótesis central: La emoción ($E$) afecta a la voz sintetizada ($Y$) únicamente a través de la mediación de la prosodia ($M$). No debe existir un efecto directo de $E \to Y$ que omita a $M$. Si la emoción afecta directamente a la voz, podría alterar la identidad del hablante o el contenido.

B. Arquitectura: FastSpeech2 Aumentado
Se modifica la arquitectura estándar de FastSpeech2:

• Codificador: Incorpora embeddings aprendidos para el hablante ($S$) y la emoción ($E$).
• Adaptador de Varianza: Los predictores de duración, tono y energía se condicionan explícitamente con el embedding de emoción.
• Decodificador: Recibe la secuencia expandida con las características prosódicas, pero no recibe el embedding de emoción directamente. Esto fuerza a que la influencia de la emoción pase obligatoriamente por las características prosódicas generadas.

C. Objetivos de Entrenamiento Contrafactual
Para imponer la estructura causal, se introducen dos funciones de pérdida novedosas:

1. Restricción de Camino Indirecto (IPC - Indirect Path Constraint):

   • Objetivo: Eliminar el efecto directo de la emoción sobre la voz.
   • Mecanismo: Se entrena al modelo para que, si se mantiene la prosodia ($M$) fija pero se cambia la etiqueta de emoción ($E \to E'$), la salida de voz ($Y$) no cambie.
   • Fórmula conceptual: Minimizar la diferencia entre la salida original y la salida contrafactual donde solo cambia la emoción, manteniendo la prosodia constante. Esto obliga al decodificador a ignorar la señal de emoción si la prosodia no ha cambiado.

2. Restricción de Prosodia Contrafactual (CPC - Counterfactual Prosody Constraint):

   • Objetivo: Asegurar que la emoción se manifieste realmente a través de cambios en la prosodia.
   • Mecanismo: Se genera una salida contrafactual cambiando tanto la emoción como permitiendo que la prosodia ($M$) se ajuste según la nueva emoción.
   • Componentes:
     • Consistencia de Contenido: La salida contrafactual debe tener el mismo contenido lingüístico (baja tasa de error de palabras, WER) que la original.
     • Reconocimiento de Emoción: Se utiliza un clasificador auxiliar para asegurar que la nueva salida sea reconocible como la emoción objetivo ($E'$).
   • Efecto: Obliga al modelo a utilizar los grados de libertad de la prosodia (cambiar el tono, la duración o la energía) para expresar la emoción, en lugar de trucos directos.

D. Función de Pérdida Total
$$L_{total} = L_{TTS-base} + \beta_{IPC} \cdot L_{IPC} + \beta_{CPC} \cdot L_{CPC}$$
Donde $L_{TTS-base}$ incluye la reconstrucción del espectrograma y la predicción de varianza estándar.

3. Contribuciones Clave

1. Modelado Causal de Prosodia: Primera aplicación de un modelo causal estructurado en TTS, tratando la prosodia como un mediador causal necesario entre emoción y voz.
2. Entrenamiento Contrafactual: Introducción de los objetivos IPC y CPC para desentrelazar (disentangle) la emoción del contenido y la identidad del hablante durante el entrenamiento, no solo en la inferencia.
3. Arquitectura General: Una extensión de FastSpeech2 que no requiere codificadores de referencia adicionales ni entrenamiento adversarial complejo.
4. Validación Experimental: Demostración de que este enfoque mejora el control sobre la prosodia y la expresividad emocional sin sacrificar la inteligibilidad ni la consistencia del hablante.

4. Resultados y Evaluación

El modelo se evaluó en corpus multihablante y multiemocional (LibriTTS, VCTK, EmoV-DB) comparado con:

• FS2 Vanilla (sin emoción).
• FS2 + Emoción (Naive) (con embedding de emoción pero sin pérdidas causales).
• FS2 + CAE (Edición de Activación Contrafactual post-hoc).

Métricas Clave:

• Inteligibilidad (WER): El modelo CPM obtuvo el WER más bajo (3.1%), superando a los baselines (4.0% y 4.2%), lo que indica que la manipulación emocional no degrada la pronunciación.
• Consistencia del Hablante (SS): Mantuvo una alta similitud con el hablante objetivo (0.88), superior a la edición post-hoc (0.79), demostrando que la identidad vocal no se ve comprometida al cambiar la emoción.
• Precisión de Emoción (EA): Logró un 94% de precisión en la clasificación de la emoción sintetizada, superando significativamente al modelo naive (80%).
• Puntuación de Opinión Media (MOS): Obtuvo 4.45/5, significativamente superior a los baselines, siendo percibido como más natural y auténtico por los oyentes.
• Consistencia de Contenido (CCS): >0.95, confirmando que cambiar la emoción no altera las palabras pronunciadas.

Estudios de Ablación:

• Sin IPC: La emoción afectaba directamente a la voz (cambios de timbre no deseados) y la consistencia de contenido bajaba.
• Sin CPC: El modelo conservaba el contenido pero la expresión emocional era débil o monótona.

5. Significado e Implicaciones

• Interpretabilidad: El modelo ofrece una mayor transparencia al separar claramente qué parte de la señal se debe a la emoción (vía prosodia) y qué parte al contenido o al hablante.
• Control Finas: Permite la edición contrafactual real: "¿Cómo sonaría esta frase si fuera triste?" sin reentrenar el modelo ni alterar las palabras.
• Desentrelazamiento: Demuestra que es posible aprender representaciones latentes que corresponden a factores causales específicos (prosodia emocional) mediante restricciones de entrenamiento, en lugar de depender de la correlación estadística implícita.
• Limitaciones: El modelo asume que la emoción se captura completamente mediante duración, tono y energía, ignorando matices de calidad de voz (ej. voz ronca, susurros) que no están en estas métricas. Además, el entrenamiento contrafactual duplica aproximadamente el tiempo de cómputo.

En conclusión, este trabajo establece un nuevo paradigma para el TTS expresivo, utilizando principios de inferencia causal para lograr un control robusto, interpretable y de alta calidad sobre la emoción en la síntesis de voz.