Resumo Técnico: TRACE-EVC

Declaração do Problema

Os sistemas tradicionais de Conversão de Voz Emocional (EVC) dependem de condições de alvo explícitas — como rótulos de emoção discretos, enunciados de áudio de referência ou descrições de estilo absolutas — para guiar a geração. Embora eficaz, esses paradigmas definem um estado alvo fixo, mas falham em capturar a direção ou a natureza da transição emocional em relação à fonte. Em muitos cenários práticos, os usuários podem não ter uma emoção alvo específica em mente, mas desejam modificar o enunciado de origem de forma relativa (ex: "tornar a fala levemente mais calma" ou "soar visivelmente mais confiante"). Os métodos existentes carecem da capacidade de interpretar tais instruções relativas condicionadas à fonte, e existe uma lacuna significativa de dados em relação a conjuntos de dados que descrevam transformações afetivas em vez de estilos de enunciados estáticos.

Metodologia

Os autores propõem o TRACE-EVC, um framework zero-shot para EVC relativa guiada por instruções, suportado pelo conjunto de dados TRACE-Instruct. O framework consiste em dois componentes primários:

1. Construção do Conjunto de Dados TRACE-Instruct

Para abordar a falta de dados de treinamento para instruções relativas, os autores construíram o TRACE-Instruct utilizando pares de fala emocional dos corpora ESD e MEAD.

• Construção de Pares: Pares de origem-alvo são formados entre diferentes emoções (inter-emoção) e níveis de intensidade (intra-emoção).
• Cálculo da Diferença Afetiva: Um modelo de Reconhecimento de Emoção na Fala (SER) prevê coordenadas de Valência-Arousal-Dominância (VAD) para ambos os enunciados de origem ($VAD_{src}$) e alvo ($VAD_{tgt}$). A mudança afetiva relativa é calculada como $\Delta VAD = VAD_{tgt} - VAD_{src}$.
• Geração de Instruções: Um Modelo de Linguagem de Grande Escala (LLM, Qwen3) é estimulado com a descrição do estilo de origem, a descrição do estilo alvo e o $\Delta VAD$ calculado. O LLM gera instruções em linguagem natural que descrevem a transformação (ex: "elevar a vivacidade") em vez do estilo absoluto do alvo.
• Filtragem: A filtragem baseada em regras remove rótulos explícitos de emoção, valores numéricos de VAD e metadados para garantir que as instruções permaneçam relativas.

2. Framework TRACE-EVC

O modelo opera de maneira zero-shot, não exigindo rótulos de alvo ou enunciados de referência durante a inferência. Ele compreende dois módulos cascateados:

• Emo-Compass (Preditor de Emoção):

  • Entrada: Embedding de emoção da origem ($z_{src}$) e um embedding de instrução codificado em texto ($p$).
  • Representação: O embedding de emoção $z$ concatena um embedding emotion2vec (nível de categoria), coordenadas VAD (estado afetivo contínuo) e características prosódicas médias (F0 e energia).
  • Mecanismo: Diferente dos modelos de difusão que geram a partir de ruído, o Emo-Compass modela a conversão como um fluxo retificado ancorado na origem. Ele trata a instrução como um vetor de deslocamento no espaço afetivo.
  • Treinamento: Um Transformer $D_\theta$ prevê a velocidade $\hat{v}$ do fluxo, treinado para corresponder ao deslocamento real $v^* = z_{tgt} - z_{src}$. A função de perda inclui um termo de regressão de velocidade e termos de orientação auxiliares para direção, categoria, reconstrução de VAD/prosódia e ordenação de intensidade.
  • Inferência: Partindo de $z_{src}$, o modelo integra a velocidade prevista ao longo de $K$ passos de Euler para gerar o embedding alvo $\hat{z}_{tgt}$.

• Módulo de Síntese:

  • Baseado no backbone DurFlex-EVC, este módulo realiza a conversão zero-shot usando embeddings contínuos.
  • Ele combina o embedding do locutor de origem com o embedding de emoção alvo previsto para criar uma representação de estilo alvo ($m_{tgt}$).
  • Um regulador de duração e um decodificador de difusão condicional geram o espectrograma mel, que é convertido em uma forma de onda por um vocoder HiFi-GAN. Este processo preserva a identidade do locutor de origem e o conteúdo linguístico enquanto aplica o deslocamento emocional instruído.

Principais Contribuições

1. Tarefa de EVC Relativa Guiada por Instrução: A introdução de um novo paradigma de tarefa onde instruções em linguagem natural especificam transformações afetivas condicionadas à fonte (mudanças categóricas e modificações de intensidade) em vez de estados alvo fixos.
2. Conjunto de Dados TRACE-Instruct: Um conjunto de dados de 0,54M de instruções de emoção relativa cobrindo mudanças inter-emoção, modificações de intensidade intra-emoção e transições abertas, geradas via LLMs guiados por diferenças de VAD.
3. Framework TRACE-EVC: Um sistema zero-shot apresentando o Emo-Compass, que repensa a EVC baseada em prompts ao ancorar o processo generativo no embedding da origem e modelar a instrução como uma velocidade de fluxo retificado. Isso permite um controle flexível sem a necessidade de rótulos de alvo ou áudio de referência.
4. Validação Empírica: Experimentos abrangentes demonstrando que o sistema segue instruções relativas com precisão enquanto preserva a identidade do locutor, o conteúdo linguístico e a qualidade da fala.

Resultados Experimentais

Conversão Inter-Emoção (Dataset ESD)

• Desempenho: O TRACE-EVC alcançou os maiores índices de Similaridade de Emoção (EECS: 0,82), Similaridade de Locutor (SECS: 0,68) e Precisão de Classificação de Emoção (ACCcls: 93,00%) entre os baselines comparados (incluindo SGEVC/DurFlex-EVC baseado em rótulos e ZEST/VEVO baseado em referência).
• Qualidade: Manteve taxas competitivas de Erro de Taxa de Palavras (WER: 9,96%) e pontuações UTMOS (3,57), indicando alta inteligibilidade e naturalidade.
• Ablação: A remoção do Emo-Compass e a simples concatenação de embeddings resultou em uma queda significativa no EECS (0,65) e ACCcls (43,08%), validando a necessidade de prever explicitamente o embedding alvo via fluxo.

Conversão de Intensidade Intra-Emoção (Dataset MEAD)

• Capacidade Zero-Shot: Avaliado em locutores não vistos, o TRACE-EVC alcançou pontuações NISQA (3,147) próximas ao valor real (3,248), demonstrando alta naturalidade.
• Controle de Intensidade: O sistema mostrou aumentos monotônicos nos deslocamentos médios de arousal correspondendo à força da instrução (ex: "aumento leve" vs. "aumento forte"), confirmando o controle fino sobre a intensidade emocional.
• Preservação de Locutor: O SECS permaneceu estável (0,706 para locutores não vistos), indicando preservação robusta da identidade do locutor.

Seguimento de Instrução

• Avaliações subjetivas por 15 avaliadores renderam altas pontuações de Seguimento de Instrução (IF): 4,135 para configurações inter-emoção e 4,296 para configurações intra-emoção (em uma escala de 1 a 5).

Análise de Componentes (Emo-Compass)

• Pistas Afetivas: Estudos de ablação confirmaram que, embora o emotion2vec forneça uma forte precisão de nível de categoria, a inclusão de características de VAD e prosódia é crítica para métricas contínuas. A remoção do VAD aumentou a distância L2 de VAD e o MSE de intensidade; a remoção da prosódia degradou ainda mais a consistência de intensidade.

Significância e Alegações

O artigo afirma que o TRACE-EVC consegue preencher a lacuna entre instruções em linguagem natural e controle emocional refinado na conversão de voz. Ao mudar da geração orientada ao alvo para a transformação relativa condicionada à origem, o framework permite um controle mais intuitivo e flexível (ex: "mais calmo", "mais expressivo") sem exigir que os usuários especifiquem um rótulo de emoção alvo ou forneçam uma gravação de referência. O trabalho demonstra que modelar a mudança emocional como um deslocamento em um espaço afetivo contínuo (via fluxo retificado) é uma estratégia eficaz para EVC zero-shot, alcançando desempenho competitivo com sistemas de última geração em tarefas categóricas padrão, ao mesmo tempo em que habilita novas capacidades de controle de intensidade relativa e controle afetivo de código aberto.