Causal Prosody Mediation for Text-to-Speech:Counterfactual Training of Duration, Pitch, and Energy in FastSpeech2

Este artigo propõe um novo framework de mediação causal para síntese de fala (TTS) que, ao integrar condicionamento de emoção e objetivos de treinamento contrafactual na arquitetura FastSpeech2, consegue desentrelaçar o prosódia emocional do conteúdo linguístico, resultando em uma síntese de fala mais expressiva, controlável e com maior precisão na transferência de emoções entre falantes.

O essencial

Imagine que você quer ensinar um robô a contar uma história. O problema é que, se você apenas disser ao robô "conte a história do lobo mau", ele pode contar de mil jeitos diferentes: pode ser assustador, engraçado, triste ou até mesmo entediante. Na tecnologia de voz atual (chamada TTS), o robô muitas vezes não entende como deve contar a história, apenas o que contar.

Este artigo apresenta uma solução inteligente para esse problema, usando uma ideia chamada "Mediação de Prosódia Causal". Vamos explicar como funciona usando uma analogia simples.

A Analogia do Ator e do Roteiro

Imagine que o texto que você quer transformar em voz é o Roteiro (as palavras).
A Emoção (alegria, raiva, tristeza) é a Direção que o diretor dá ao ator.
O Voz do ator é o resultado final.

No passado, os robôs de voz eram como atores que recebiam o roteiro e a direção, mas não sabiam como aplicar a direção. Eles podiam mudar o sotaque, gaguejar ou distorcer a voz para parecer "triste", mas acabavam mudando as palavras ou a identidade do ator. Era como se o ator, ao tentar parecer triste, mudasse o nome do personagem ou esquecesse o texto.

A Grande Ideia: O "Mediador"

Os autores deste trabalho dizem: "Espere! A emoção não deve mudar a voz diretamente. A emoção deve mudar a Prosódia primeiro".

O que é Prosódia? É o ritmo, o tom e a força da voz.

• Raiva: Voz mais alta, tom mais agudo, palavras mais rápidas.
• Tristeza: Voz mais baixa, tom mais grave, palavras mais lentas.

A ideia central do artigo é criar uma regra rígida: A Emoção só pode mexer na Voz através da Prosódia.

É como se o diretor (Emoção) só pudesse falar com o ator (Voz) através de um Mensageiro (Prosódia).

1. O Diretor diz ao Mensageiro: "Fale mais alto e rápido!" (Isso é a Prosódia mudando).
2. O Mensageiro entrega essa instrução ao Ator.
3. O Ator muda a voz.

Se o Diretor tentar falar diretamente com o Ator para mudar a voz sem passar pelo Mensageiro, o sistema bloqueia. Isso garante que a emoção seja expressa apenas mudando o ritmo e o tom, sem estragar as palavras ou a identidade da voz.

Como eles ensinaram o robô? (O Treinamento "E Se...")

Para ensinar isso, eles usaram um método chamado Treinamento Contrafactual. Pense nisso como um exercício de "E se...?" para o robô.

Durante o treinamento, o robô recebe uma frase dita com "Raiva". O sistema então pergunta:

"E se a mesma frase fosse dita com 'Tristeza', mas mantendo exatamente o mesmo ritmo e tom que a raiva teria?"

O robô aprende duas regras importantes com isso:

1. Regra do "Não Mude o Texto": Se você mudar a emoção, o texto (as palavras) não pode mudar. O robô não pode inventar novas palavras para parecer triste.
2. Regra do "Mude o Ritmo": Se você mudar a emoção, o ritmo (prosódia) tem que mudar para refletir essa emoção.

Eles criaram duas "punições" (chamadas de funções de perda) para o robô:

• Punição 1 (IPC): Se o robô tentar mudar a voz diretamente pela emoção (sem passar pelo ritmo), ele leva uma bronca.
• Punição 2 (CPC): Se o robô mudar a emoção mas não mudar o ritmo corretamente (ex: tentar parecer triste mas falar rápido e alto), ele também leva uma bronca.

O Resultado: Um Ator Perfeito

Depois de treinar com essas regras, o robô (baseado na tecnologia FastSpeech2) ficou incrível:

• Inteligibilidade: Ele não esquece as palavras. O texto continua claro, mesmo quando está "gritando" de raiva.
• Identidade: Se você pedir para o mesmo robô falar com a voz de uma mulher e depois com a voz de um homem, a voz do homem continua sendo a do homem, mesmo que ele esteja "triste". A emoção não "contamina" a identidade da voz.
• Controle: Você pode pegar uma frase neutra e, com um clique, transformá-la em "alegre" ou "assustadora", e o robô saberá exatamente como ajustar o tom e a velocidade para parecer real.

Por que isso é importante?

Antes, para mudar a emoção de uma voz gerada por computador, era necessário um trabalho manual enorme ou o resultado ficava artificial e confuso. Com essa nova técnica, conseguimos:

1. Criar assistentes virtuais mais humanos: Que podem expressar empatia ou urgência de forma natural.
2. Ajudar pessoas: Criar vozes personalizadas para quem perdeu a fala, permitindo que elas expressem diferentes emoções.
3. Evitar fraudes: Como o sistema é muito controlado, é mais fácil entender o que está sendo gerado e evitar o uso indevido (como deepfakes maliciosos), pois sabemos exatamente como a emoção foi inserida.

Resumo Final

Em suma, os autores criaram um "sistema de trânsito" para a voz. Eles garantiram que a Emoção só possa entrar na Voz passando pelo Ritmo e Tom. Isso impede que a emoção "atropеле" as palavras ou a identidade do falante, resultando em vozes de computador que soam muito mais naturais, expressivas e controláveis. É como dar ao robô um roteiro de atuação muito bem escrito, onde ele sabe exatamente como usar a voz para emocionar, sem perder o fio da meada.

Resumo técnico

Resumo Técnico: Mediação Causal de Prosódia para TTS

1. O Problema

A síntese de fala de texto (TTS) baseada em redes neurais modernas, como o FastSpeech2, alcançou naturalidade impressionante. No entanto, gerar fala expressiva (com nuances de emoção e prosódia) permanece um desafio significativo devido ao problema de mapeamento "um-para-muitos" (uma mesma sequência de texto pode ser falada de várias maneiras plausíveis).

As abordagens existentes para controle de emoção (como embeddings de emoção ou Global Style Tokens) frequentemente sofrem de entrelaçamento (entanglement). Isso significa que o modelo pode alterar inadvertidamente a identidade do locutor, a inteligibilidade ou o conteúdo linguístico ao tentar mudar a emoção, em vez de modular apenas a prosódia (duração, pitch e energia). Falta uma abordagem principista para garantir que a emoção influencie a fala apenas através de mudanças prosódicas interpretáveis.

2. Metodologia

O artigo propõe um novo framework chamado Mediação Causal de Prosódia (CPM), que integra princípios de aprendizado causal e inferência contrafactual na arquitetura FastSpeech2.

A. Modelo Causal Estrutural (SCM)
Os autores definem um grafo causal onde:

• Texto (X) e Locutor (S) influenciam diretamente a fala sintetizada (Y) e a prosódia (M).
• Emoção (E) influencia a fala apenas através da mediação da prosódia (M), que é composta por duração, pitch e energia.
• O objetivo é eliminar o caminho direto de Emoção para Fala ($E \to Y$), forçando a emoção a atuar exclusivamente via $E \to M \to Y$.

B. Arquitetura Aprimorada (FastSpeech2 + Emoção)
O modelo base é o FastSpeech2, modificado para:

• Incluir embeddings de locutor e emoção no codificador (encoder).
• Condicionar os preditores de variância (duração, pitch, energia) explicitamente ao embedding de emoção.
• Restrição Crítica: O embedding de emoção não é alimentado diretamente no decodificador. A intenção é que o decodificador receba a emoção apenas através das características prosódicas preditas.

C. Objetivos de Treinamento Contrafactual (Novas Funções de Perda)
Para impor a estrutura causal, são introduzidas duas funções de perda complementares:

1. Restrição de Caminho Indireto (IPC - Indirect Path Constraint):

   • Objetivo: Garantir que a emoção não tenha efeito direto na saída de áudio se a prosódia for mantida constante.
   • Mecanismo: Durante o treinamento, gera-se um cenário contrafactual onde a emoção é alterada ($E \to E'$), mas a prosódia real (ou predita) é mantida fixa. O modelo é penalizado se a saída de áudio mudar. Isso força o decodificador a ignorar o sinal de emoção direto, dependendo apenas da prosódia.

2. Restrição de Prosódia Contrafactual (CPC - Counterfactual Prosody Constraint):

   • Objetivo: Garantir que a mudança de emoção resulte em mudanças adequadas na prosódia que reflitam a nova emoção.
   • Mecanismo: Gera-se áudio com a nova emoção ($E'$) e a prosódia correspondente. A perda possui dois componentes:
     • Consistência de Conteúdo: O conteúdo linguístico (transcrição) deve permanecer inalterado (medido por WER).
     • Reconhecimento de Emoção: Um classificador auxiliar deve identificar corretamente a nova emoção no áudio gerado.
   • Isso força o modelo a usar os graus de liberdade da prosódia para expressar a emoção, sem alterar as palavras.

D. Função de Perda Total
A perda total combina a reconstrução espectral padrão do TTS, a perda de predição de variância e os termos causais (IPC e CPC), ponderados por hiperparâmetros.

3. Principais Contribuições

• Modelagem Causal de Prosódia: Primeira aplicação de um modelo causal estrutural em TTS, tratando a prosódia como o mediador causal da emoção.
• Treinamento Contrafactual: Introdução das perdas IPC e CPC para treinar o modelo a responder a cenários "e se" (ex: "mesmo texto, mesma voz, emoção diferente") de forma controlada.
• Desentrelaçamento (Disentanglement): O método separa eficazmente a identidade do locutor, o conteúdo linguístico e o estilo emocional, permitindo edição controlada de prosódia sem degradar a inteligibilidade.
• Validação Experimental: Demonstração de que a abordagem supera modelos baseline (FastSpeech2 padrão e FastSpeech2 com embedding de emoção simples) em métricas objetivas e subjetivas.

4. Resultados

Os experimentos foram conduzidos em corpora multilíngues e multi-falantes (LibriTTS, VCTK, EmoV-DB).

• Métricas Objetivas:

  • Inteligibilidade (WER): O modelo CPM obteve a menor taxa de erro de palavra (3,1%), superando o FastSpeech2 com emoção (4,0%) e o modelo sem emoção (3,5%).
  • Semelhança do Locutor: Mantém alta similaridade com a voz alvo (0,88), superior a métodos de edição post-hoc (0,79), indicando que a identidade do locutor não é corrompida pela mudança de emoção.
  • Precisão de Emoção: Um classificador externo identificou a emoção correta em 94% dos casos gerados pelo CPM, contra 80% no baseline simples.
  • Consistência de Conteúdo (CCS): Quase perfeita (0,96), garantindo que mudar a emoção não altera as palavras faladas.

• Métricas Subjetivas (MOS):

  • O modelo CPM alcançou o maior Mean Opinion Score (MOS) de naturalidade (4,45) e de similaridade emocional (4,3), sendo avaliado como mais natural e expressivo pelos ouvintes humanos.
  • As edições post-hoc (CAE) foram consideradas menos naturais, muitas vezes soando forçadas ou exageradas.

• Análise de Ablação:

  • Remover a perda IPC resultou em efeitos diretos indesejados (mudança de timbre não controlada).
  • Remover a perda CPC resultou em fala monótona, onde o modelo não conseguia expressar a emoção adequadamente, embora o conteúdo fosse preservado.

5. Significado e Implicações

• Controle e Interpretabilidade: O trabalho demonstra que integrar princípios causais ao aprendizado profundo permite criar modelos TTS onde os fatores de controle (emoção) são isolados e interpretáveis. O usuário pode manipular pitch, duração e energia de forma independente para alterar a emoção sem quebrar a fala.
• Edição Contrafactual: O modelo permite a geração de cenários contrafactuais reais (ex: "como soaria esta frase se fosse triste?") com alta fidelidade, algo difícil de alcançar com métodos convencionais.
• Limitações e Futuro: O modelo assume que a prosódia (pitch, duração, energia) captura toda a influência da emoção, ignorando nuances de qualidade vocal (ex: voz rouca ou "creaky"). O custo computacional do treinamento contrafactual é maior (~1,5x), mas considerado aceitável.
• Considerações Éticas: O reconhecimento de que TTS controlável pode ser usado para deepfakes persuasivos, sugerindo a necessidade de marcação d'água e diretrizes éticas.

Em suma, o artigo estabelece um novo paradigma para TTS expressivo, onde a causalidade é usada não apenas como uma ferramenta teórica, mas como um mecanismo de treinamento prático para garantir que a emoção seja expressa de forma controlada, natural e separada de outros fatores de fala.