Textless and Non-Parallel Speech-to-Speech Emotion Style Transfer

Este artigo apresenta o S2S-ZEST, um novo framework de transferência de estilo emocional fala-para-fala que, operando sem texto e sem dados paralelos, consegue transferir características emocionais de uma referência para uma fala fonte preservando a identidade do falante e o conteúdo semântico, demonstrando desempenho superior a métodos anteriores e aplicabilidade em tarefas de reconhecimento de emoções.

O essencial

Imagine que você tem uma gravação de áudio de alguém contando uma história de forma muito calma e neutra. Agora, imagine que você quer que essa mesma pessoa conte a mesma história, mas agora com a emoção de um filme de terror ou de uma comédia engraçada, sem que a voz mude para parecer outra pessoa.

Fazer isso é como tentar trocar a "roupa" emocional de uma voz, mantendo o corpo (a identidade da pessoa) e o conteúdo (o que está sendo dito) exatamente iguais.

O artigo que você enviou apresenta uma nova tecnologia chamada S2S-ZEST que faz exatamente isso, e faz de uma maneira muito inteligente: sem precisar de textos escritos e sem precisar de gravações paralelas (ou seja, não precisa que a mesma pessoa grave a mesma frase em várias emoções diferentes).

Aqui está uma explicação simples, usando analogias do dia a dia:

1. O Grande Problema: A "Fita Mestra"

Antes, para ensinar um computador a mudar a emoção de uma voz, os cientistas precisavam de "fitas mestras" perfeitas. Eles precisavam que a mesma pessoa gravasse a frase "Hoje está um dia lindo" em 50 emoções diferentes (alegre, triste, com raiva, etc.). Isso é caríssimo e difícil de conseguir.

A nova tecnologia (S2S-ZEST) funciona como um chef de cozinha genial. Ela não precisa de receitas pré-gravadas. Ela apenas precisa:

• O Ingrediente Base (Fonte): A voz original que você quer transformar.
• O Tempero (Referência): Uma gravação curta de alguém (pode ser qualquer pessoa) expressando a emoção que você deseja (ex: uma risada de alegria ou um grito de raiva).

O sistema mistura o ingrediente base com o tempero e cria um prato novo: a voz original falando com a nova emoção.

2. Como a Máquina "Pensa" (O Pipeline de Análise e Síntese)

O sistema funciona em duas etapas principais, como se fosse uma fábrica de desmontagem e remontagem:

Etapa A: A Desmontagem (Análise)

O sistema pega a voz original e a separa em 4 peças de Lego distintas:

1. O Significado (Tokens): O que está sendo dito (as palavras).
2. A Identidade (Voz): Quem está falando (a timbre da voz).
3. A Entonação (Pitch): A melodia da voz (agudo/grave).
4. A Emoção: O sentimento por trás das palavras.

A mágica do "Desemaranhar":
Um dos maiores desafios é que, na nossa voz, a emoção e a identidade da pessoa estão misturadas. É difícil separar "quem é o João" de "que o João está bravo".

• Analogia: Imagine que a voz é um suco de frutas. O S2S-ZEST é capaz de separar o suco de laranja (emoção) do suco de maçã (identidade da pessoa) sem misturar os sabores.
• Para fazer isso, o sistema usa "adversários" (como um treinador de futebol que tenta enganar o jogador). Ele treina o sistema para que a "peça de identidade" não saiba nada sobre a emoção, e vice-versa. Assim, quando você troca a emoção, a identidade da pessoa não muda.

Etapa B: A Remontagem (Síntese)

Agora, o sistema pega as peças:

• Ele pega o Significado e a Identidade da voz original (para manter quem fala e o que é dito).
• Ele pega a Emoção da gravação de referência (o "tempero").
• Ele calcula como a Entonação e a Duração das palavras devem mudar para combinar com essa nova emoção. (Ex: quando estamos com raiva, falamos mais rápido e com a voz mais tensa).

Finalmente, ele usa uma tecnologia chamada BigVGAN (pense nela como uma impressora 3D de áudio de alta qualidade) para juntar tudo isso e criar a nova voz.

3. Por que isso é especial? (O "Zero-Shot")

A palavra-chave aqui é Zero-Shot (Tiro Zero).

• Antes: Se você quisesse que a voz soasse "triste", o sistema precisava ter visto muitas vozes tristes antes.
• Agora (S2S-ZEST): Você pode dar ao sistema uma voz de um ator que ele nunca viu e uma referência de "alegria" de um cantor que ele nunca ouviu. O sistema entende o conceito de "alegria" e aplica na voz do ator, mesmo nunca tendo treinado com eles. É como se você ensinasse a um cozinheiro o que é "salgado" e ele soubesse imediatamente como deixar qualquer prato salgado, sem ter provado aquele prato específico antes.

4. Os Resultados na Prática

Os autores testaram o sistema de várias formas:

• Mudança de Emoção: Funciona muito bem, mesmo trocando de uma voz calma para uma voz de raiva.
• Preservação da Voz: A voz continua soando como a pessoa original (o "corpo" não mudou).
• Preservação do Texto: O que é dito continua sendo entendido (o "significado" não mudou).
• Aplicação Real: Eles usaram essa tecnologia para criar mais dados de treinamento para computadores aprenderem a reconhecer emoções. É como se o sistema criasse "irmãos gêmeos" de vozes com diferentes emoções para ajudar a treinar inteligência artificial.

Resumo Final

Pense no S2S-ZEST como um tradutor de sentimentos.
Se você tem um áudio de alguém falando de forma neutra e quer que ele soe como se estivesse chorando, o sistema pega a "alma" do choro de uma referência e a veste na voz original, mantendo a identidade da pessoa intacta.

É uma tecnologia poderosa porque não precisa de bancos de dados gigantes e caros para funcionar. Ela aprende a "sentir" a emoção e a aplicar em qualquer voz, abrindo portas para assistentes virtuais mais humanos, dublagem de filmes mais realista e ferramentas de acessibilidade.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Textless and Non-Parallel Speech-to-Speech Emotion Style Transfer" (Transferência de Estilo Emocional de Fala para Fala sem Texto e Não Paralela), apresentado em português.

1. O Problema

A Transferência de Estilo Emocional (EST) visa modificar a expressão emocional de um sinal de fala preservando a identidade do falante e o conteúdo linguístico. Embora existam avanços recentes, a EST enfrenta desafios significativos:

• Dependência de Dados Paralelos: Abordagens tradicionais exigem conjuntos de dados onde o mesmo falante diz a mesma frase em múltiplas emoções, o que é caro e difícil de escalar.
• Emaranhamento de Representações: Métodos existentes frequentemente falham em separar (desemaranhar) a identidade do falante do estilo emocional, dificultando a transferência de emoção para falantes não vistos (zero-shot).
• Limitações de Controle: Muitos modelos não conseguem controlar finamente a duração e a entonação (contorno de pitch) sem depender de transcrições de texto (configuração "textless").

O objetivo deste trabalho é propor um framework de transferência de estilo emocional zero-shot (S2S-ZEST) que funcione em um cenário sem texto (textless) e não paralelo, transferindo a emoção de uma fala de referência para uma fala de origem, mantendo a identidade do falante original e o conteúdo semântico.

2. Metodologia (Framework S2S-ZEST)

O sistema proposto segue um pipeline de análise-síntese baseado em autoencoder, composto pelos seguintes módulos principais:

A. Módulo de Análise (Extração de Representações)

O áudio de entrada é decomposto em cinco componentes distintos:

1. Tokens Semânticos: Utiliza embeddings do modelo soft-HuBERT (pré-treinado) que são quantizados em tokens discretos via algoritmo k-means. Isso preserva a inteligibilidade do conteúdo enquanto permite controle sobre a duração.
2. Representação do Falante: Extraída usando um codificador pré-treinado ECAPA-TDNN. Para evitar que a emoção vaze para a representação do falante, aplica-se uma perda adversária de emoção durante o treinamento, forçando o vetor do falante a ser independente da emoção.
3. Embeddings de Emoção: Extraídos por um classificador de emoção baseado em HuBERT-base. O modelo gera embeddings em nível de quadro (frame-level) e um embedding agregado em nível de enunciado (utterance-level). Aplica-se uma perda adversária de falante aqui para garantir que o embedding de emoção não contenha informações de identidade do falante.
4. Preditor de Duração: Um módulo que prevê a duração de cada token semântico (após a remoção de duplicatas) com base no conteúdo, na identidade do falante e na emoção de referência.
5. Reconstrução do Contorno de Pitch (F0): Um módulo baseado em atenção cruzada e CNN 1D. Ele usa os tokens de conteúdo como queries e combina os embeddings de falante e emoção como keys/values para reconstruir o contorno de pitch, permitindo que a emoção da referência modifique a prosódia do conteúdo original.

B. Módulo de Síntese (Reconstrução de Fala)

• Utiliza o modelo BigVGAN como vocoder universal.
• O BigVGAN recebe como entrada: a sequência de tokens, o embedding do falante, o embedding de emoção (nível de enunciado) e o contorno de pitch reconstruído.
• O modelo é treinado com uma perda de reconstrução (autoencoding) para garantir que a fala sintetizada seja fiel ao original quando os mesmos fatores são usados.

C. Processo de Transferência de Estilo (Inferência)

Durante a transferência:

1. Os tokens e o embedding do falante são extraídos da fala de origem.
2. Os embeddings de emoção e o preditor de duração utilizam a fala de referência para determinar o estilo emocional e o ritmo.
3. O contorno de pitch é gerado combinando o conteúdo da origem com a emoção da referência.
4. O BigVGAN sintetiza a fala final combinando todos esses fatores.

3. Principais Contribuições

• Framework Zero-Shot Textless: Propõe o S2S-ZEST, que não requer transcrições de texto nem dados paralelos (mesmo falante, múltiplas emoções) para treinamento.
• Arquitetura Híbrida Avançada: Substitui modelos convencionais (HuBERT padrão + HiFi-GAN) por soft-HuBERT (para tokens) e BigVGAN (para síntese), resultando em melhor qualidade e controle.
• Mecanismos de Desemaranhamento: Introduz perdas adversárias específicas para separar identidade do falante de emoção nos encoders, permitindo generalização para falantes não vistos.
• Controle de Duração e Pitch: Desenvolve preditores de duração e reconstrução de pitch condicionados a múltiplos fatores, melhorando a naturalidade e a expressividade.
• Aplicação em Aumento de Dados: Demonstra a utilidade do modelo para aumentar conjuntos de dados em tarefas de Reconhecimento de Emoção na Fala (SER).

4. Resultados e Avaliação

Os experimentos foram realizados em diversos cenários (falantes/emoções vistos e não vistos) usando os datasets ESD, CREMA-D e TIMIT.

• Transferência de Emoção: O S2S-ZEST superou métodos de base (StarGANv2-EST, VEVO, ZEST anterior) em todas as configurações.
  • Em cenários de falantes e emoções vistos, atingiu similaridade de emoção de 0.71 (SSDT) e 0.69 (SSST).
  • Em cenários de emoção não vista (UTE), atingiu 0.64, demonstrando capacidade de generalização.
  • Em cenários de falante não visto (USS), atingiu 0.59.
• Preservação de Conteúdo: O modelo manteve uma baixa Taxa de Erro de Palavras (WER), com média de 7.79, superando a maioria dos baselines em cenários de falantes não vistos.
• Preservação de Identidade: Embora o VEVO tenha tido desempenho ligeiramente superior na similaridade do falante em geral, a variante S2S-ZEST-diverse (treinada com dados mais diversos) melhorou significativamente a preservação de identidade em falantes não vistos (aumentando de 0.53 para 0.61 no cenário USS).
• Avaliação Subjetiva (MOS): Os participantes avaliaram a similaridade emocional, qualidade e similaridade do falante. O S2S-ZEST-diverse obteve as melhores pontuações em todos os critérios, especialmente na transferência de estilo emocional.
• Robustez: O modelo manteve a similaridade emocional estável mesmo na presença de ruído aditivo (SNR de 10dB), embora a inteligibilidade (WER) tenha diminuído.

5. Significado e Impacto

Este trabalho representa um avanço significativo na área de processamento de fala ao:

1. Eliminar a barreira de dados paralelos: Permite a criação de sistemas de transferência de emoção usando apenas dados de fala disponíveis publicamente, sem necessidade de gravações controladas de múltiplas emoções do mesmo falante.
2. Viabilizar aplicações Zero-Shot: Torna possível transferir emoções para falantes nunca vistos durante o treinamento, crucial para aplicações reais onde o conjunto de falantes é dinâmico.
3. Melhorar a Qualidade e Naturalidade: A combinação de soft-HuBERT e BigVGAN, juntamente com o controle explícito de duração e pitch, resulta em fala sintetizada mais natural e expressiva do que métodos anteriores.
4. Utilidade Prática: A demonstração de aumento de dados para reconhecimento de emoção mostra como a síntese generativa pode resolver problemas de escassez de dados em tarefas de IA.

Em resumo, o S2S-ZEST estabelece um novo estado da arte para transferência de estilo emocional de fala para fala, oferecendo uma solução robusta, escalável e de alta qualidade para cenários do mundo real.