Expressive Prompting: Improving Emotion Intensity and Speaker Consistency in Zero-Shot TTS

Resumo Técnico: ExpPro – Seleção de Prompts para TTS Zero-Shot Expressivo

1. Problema Identificado

Os sistemas de síntese de fala baseados em Grandes Modelos de Linguagem (LLMs) permitem a clonagem de voz zero-shot (sem treinamento adicional) e o controle de emoções através de prompts de áudio e texto. No entanto, a qualidade da saída depende criticamente da seleção do prompt de referência.

• Limitações Atuais: Métodos existentes de seleção de prompts são geralmente:
  1. Aleatórios: Não garantem consistência na identidade do falante ou intensidade emocional adequada.
  2. Baseados apenas em Texto: Focam na similaridade semântica entre o texto de entrada e o texto do prompt, ignorando que a conexão entre texto e emoção desejada pode ser fraca ou ambígua.
• Consequência: Isso resulta em síntese de fala com baixa intensidade emocional, inconsistência na identidade do falante e instabilidade na geração.
• Objetivo da Pesquisa: Melhorar a intensidade emocional e a consistência do falante na síntese zero-shot através de uma seleção de prompts otimizada, sem a necessidade de re-treinamento do modelo.

2. Metodologia: ExpPro

Os autores propõem o ExpPro, uma estratégia inovadora de seleção de prompts em duas etapas (estática e dinâmica), projetada para ser agnóstica ao modelo (funciona com qualquer TTS baseado em LLM).

A. Etapa Estática (Seleção Pré-síntese)
Nesta fase, candidatos a prompts são filtrados e classificados com base em três dimensões principais:

1. Qualidade Prosódica (Pitch):
   • Análise das características de frequência fundamental (média e variância).
   • Uso do algoritmo K-Means para agrupar prompts em clusters baseados em padrões de pitch associados a emoções específicas (ex.: felicidade e surpresa tendem a ter média e variância mais altas; tristeza e conforto, mais baixas).
   • Seleção de m clusters com as características tonais mais distintas para cada emoção.
2. Qualidade Perceptiva e Coerência Textual:
   • Qualidade Perceptiva: Uso do DNSMOS para avaliar a clareza e naturalidade do áudio do prompt.
   • Coerência Textual-Emocional: Utilização da API do ChatGPT como um comparador semântico para atribuir um score de coerência entre o texto do prompt e a etiqueta emocional alvo.
   • Seleção do top n% dos dados que combinam alta qualidade de áudio e alta coerência emocional.
3. Desempenho Específico do Modelo (Inferência):
   • Os candidatos restantes são testados no modelo TTS alvo (ex: CosyVoice, GPT-SoVITS).
   • Métricas de avaliação:
     • CER (Character Error Rate): Precisão da transcrição.
     • Similaridade do Falante: Medida via Resemblyzer e WavLM.
     • Similaridade Emocional: Medida via emotion2vec.
   • Seleção final de k prompts com base em uma soma ponderada dessas métricas.

B. Etapa Dinâmica (Seleção Durante a Síntese)

• Para cada texto de entrada a ser sintetizado, o sistema seleciona o prompt mais relevante entre os k candidatos filtrados na etapa estática.
• Utiliza um modelo de similaridade textual (stsb-distilroberta-base) para encontrar o prompt cuja semântica e contexto melhor se alinham com o texto de entrada atual.

3. Contribuições Principais

1. Estratégia ExpPro: Proposição de uma estratégia de seleção de prompts em duas etapas (estática-dinâmica) que não requer treinamento adicional do modelo TTS.
2. Análise Multidimensional: Integração de métricas de qualidade de áudio (pitch, DNSMOS), coerência semântica (LLM) e desempenho de inferência específico do modelo (CER, similaridade de voz e emoção).
3. Generalização: A estratégia é flexível e aplicável a qualquer modelo de TTS que utilize o conceito de prompt de fala, demonstrando eficácia em diferentes arquiteturas (CosyVoice e GPT-SoVITS).

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados HE2D (altamente expressivo) e ESD, utilizando os modelos CosyVoice e GPT-SoVITS.

• Comparação com Baselines: O ExpPro superou significativamente os métodos de seleção aleatória e baseados apenas em texto (MiniLM).
  • MOS (Mean Opinion Score): Aumento na qualidade percebida e na intensidade emocional.
  • SP (Strength Perception): Melhoria na percepção da força da emoção (ex: no CosyVoice com HE2D, o SP para "Felicidade" subiu de 0.767 (Random) para 0.811 (ExpPro)).
  • Consistência: Redução na variabilidade e melhoria na similaridade do falante e da emoção.
• Importância dos Módulos (Estudo de Ablação):
  • A seleção baseada na Qualidade do Prompt de Fala (Pitch + DNSMOS + ChatGPT) foi crucial para garantir a expressividade emocional.
  • A seleção baseada no Desempenho do Modelo (CER + Similaridade) foi essencial para garantir que o prompt escolhido funcionasse bem especificamente naquele modelo TTS, já que a eficácia de um prompt varia entre diferentes arquiteturas.
• Parâmetros Ótimos: A configuração ideal encontrada foi $m=3$ (clusters de pitch), $n=15$ (top 15% de qualidade/coerência) e $k=5$ (candidatos finais).

5. Significado e Impacto

O trabalho demonstra que a qualidade da síntese de fala zero-shot não depende apenas da arquitetura do modelo, mas fundamentalmente de como o prompt é selecionado.

• Avanço Técnico: O ExpPro resolve o problema da instabilidade emocional e da inconsistência de identidade do falante sem custos computacionais de treinamento.
• Aplicabilidade Prática: Oferece uma solução robusta para aplicações que exigem síntese de fala altamente expressiva e fiel à voz original, como assistentes virtuais, dublagem e narrativas interativas.
• Reprodutibilidade: O código e as amostras de áudio foram disponibilizados publicamente, facilitando a adoção e o avanço futuro na área de síntese de fala emocional.

Em resumo, o ExpPro estabelece um novo padrão para a seleção de prompts em TTS, provando que uma seleção inteligente e baseada em dados pode extrair o máximo potencial de modelos de linguagem existentes.