MPEcho: A Melody and Phoneme-Aware Generative Framework for Controllable Cover Song Generation

Imagine um mundo onde você pode pegar sua música favorita e instantaneamente transformá-la em um remix de um estilo completamente novo — talvez transformar uma balada triste em um hino de rock animado — enquanto mantém a melodia e a letra originais perfeitamente intactas. Este é o sonho da "Geração de Versões de Músicas" (Cover Song Generation), um ramo da inteligência artificial que tenta ensinar os computadores a serem camaleões musicais. Para fazer isso, a IA precisa entender duas coisas muito diferentes ao mesmo tempo: a "música" (a melodia, o ritmo, as notas) e as "palavras" (os sons específicos que compõem a linguagem, como a diferença entre um "b" e um "p"). Pense nisso como assar um bolo onde você tem que seguir uma receita rigorosa para o sabor (a letra) enquanto improvisa simultaneamente um novo estilo de decoração (a música). Se a IA acertar a decoração, mas errar o sabor, você pode acabar com um bolo de chocolate com gosto de limão. Por muito tempo, a IA foi ótima na decoração, mas terrível no sabor, muitas vezes deformando as palavras de tal forma que se tornavam um emaranhado de sons sem sentido.

Este artigo apresenta um novo sistema chamado MPEcho que resolve esse problema, ensinando a IA a ouvir os "pequenos blocos de construção" da fala, não apenas as grandes palavras. Os pesquisadores perceberam que, para acertar a letra, o computador precisa saber exatamente quando cada som minúsculo começa e termina, tal como um maestro sabendo exatamente quando um violinista deve tocar uma única nota. Para fazer isso, eles construíram uma ferramenta especial chamada Phonsa, que atua como um transcritor superpreciso, ouvindo um cantor e escrevendo o tempo exato de cada som na música. Ao combinar esse tempo superpreciso com a melodia, o MPEcho pode gerar novas versões de músicas onde as palavras são claras e a melodia é fiel. Os resultados mostram que esta abordagem reduz drasticamente o número de erros que a IA comete ao cantar, baixando a taxa de erro de quase metade de todas as palavras para menos de um quinto, provando que prestar atenção aos pequenos detalhes do som é o seg secreto para fazer a IA cantar melhor.

O Problema: Quando a IA Canta, Ela Murmura

A geração de versões de músicas é um equilíbrio delicado. Você quer que a IA mantenha a melodia central e a letra exata de uma música de referência, mas mude o estilo, os instrumentos e a voz. Tentativas anteriores, como um modelo chamado SongEcho, tentaram resolver isso alimentando a IA com o "pitch" (o quão alto ou baixo são as notas) e uma etiqueta simples que apenas dizia "cantando" ou "não cantando".

Imagine tentar dizer a um amigo para cantar uma música apenas cantarolando a melodia e dizendo "estou cantando agora" ou "não estou cantando agora". Não é muito útil! A IA poderia adivinhar a melodia, mas não tinha ideia de quais palavras cantar ou quando mudar de um som para o próximo. O resultado? A IA frequentemente cantava a melodia certa, mas deformava as letras, transformando "Olá" em "Olá" ou "Alô" (com sons errados). Na verdade, o método antigo cometia erros em cerca de 45,62% das palavras. Isso é como tentar ler um cardápio onde metade dos itens está escrito incorretamente.

A Solução: Uma Nova Maneira de Ouvir e Cantar

Os autores, liderados por Wei-Jaw Lee e Yi-Hsuan Yang, perceberam que, para corrigir a letra, precisavam pegar um truque emprestado de um campo diferente chamado Síntese de Voz de Canto (Singing Voice Synthesis - SVS). A SVS é geralmente usada para fazer um robô cantar uma música específica a partir de uma partitura, e é muito boa nisso porque conhece o tempo exato de cada som minúsculo (fonema).

Eles construíram o MPEcho, um novo framework que adiciona um "codificador de fonemas" e um "regulador de comprimento" ao sistema.

• O Codificador de Fonemas: Em vez de apenas saber que "o canto está acontecendo", a IA agora recebe uma lista de cada som individual (como /h/, /e/, /l/, /o/) e exatamente quanto tempo cada um deve durar.
• O Regulador de Comprimento: Atua como um metrônomo para as palavras, esticando ou encolhendo os sons para que se encaixem perfeitamente na linha do tempo musical.

Mas havia um porém: para ensinar o MPEcho isso, eles precisavam de uma biblioteca massiva de músicas onde cada som já estivesse temporizado perfeitamente. Tal dado não existia. Por isso, eles construíram o Phonsa.

Phonsa é como um tradutor mágico. Ele pega uma gravação de um cantor e escreve automaticamente os tempos exatos de início e término de cada som na música. É baseado em uma ferramenta de fala famosa chamada Whisper, mas foi ajustada especificamente para o canto. Utiliza um sistema especial de "atenção em blocos" (pensando em pedaços pequenos e sobrepostos) e adicionou tokens especiais para "respirações" e "fronteiras" para lidar com a natureza desordenada e emocional do canto.

Os Resultados: De Sons Sem Sentido para Letras Claras

A equipe testou seu novo sistema em um conjunto de dados de mais de 1.427 horas de músicas pop e tradicionais chinesas. Eles compararam o MPEcho com o antigo modelo SongEcho e algumas outras variações.

1. A Magia do Tempo: Quando usaram o Phonsa para dar ao MPEcho a temporização precisa dos fonemas, o número de erros de palavras (chamado de Taxa de Erro de Fonema, ou PER) caiu drasticamente.

   • Modelo Antigo (SongEcho): Cometia erros em 45,62% das palavras.
   • Novo Modelo (MPEcho): Cometia erros em apenas 18,65% das palavras.
   • Isso é uma melhoria massiva, transformando um emaranhado de murmúrios em algo que você realmente consegue entender.

2. O Ponto de Equilíbrio: Eles descobriram que usar apenas a melodia não era suficiente (as palavras ainda estavam bagunçadas), e usar apenas a temporização do fonema também não era bom (a melodia ficava estranha). Mas quando combinaram ambos — dando à IA a melodia e a temporização precisa do som — o resultado foi o melhor dos dois mundos. A música soava musical e as letras eram claras.

3. O Estilo "Jam" vs. "SVS": Eles também testaram uma forma diferente de organizar os sons (chamada de estilo "Jam", que agrupa sons por palavra) versus o seu novo estilo "SVS" (agrupando por som individual). O estilo SVS funcionou muito melhor. O estilo "Jam" era como tentar dar direções dizendo "vá para a próxima rua", enquanto o estilo SVS era como dizer "vire à esquerda na casa vermelha, depois à direita na caixa de correio azul". A precisão extra ajudou a IA a não se perder.

4. Opinião Humana: Finalmente, eles pediram que pessoas reais ouvissem as músicas. Os ouvintes avaliaram as músicas do MPEcho com notas mais altas em consistência melódica, naturalidade vocal e qualidade geral. Curiosamente, os ouvintes humanos pareceram apreciar a clareza das letras ainda mais do que as métricas do computador sugeriam, provando que palavras claras proporcionam uma experiência de audição muito melhor.

O Que Isso Significa

Este artigo sugere que, se você quer gerar músicas completas que soem humanas e cantem claramente, não pode olhar apenas para o panorama geral (a melodia e as palavras). Você precisa dar um zoom e entender os detalhes minúsculos, de frações de segundo, de como os sons são feitos. Ao combinar o melhor da geração de música com a precisão da síntese de fala, o MPEcho mostra que a IA pode finalmente cantar as letras corretamente, mantendo o som de um artista criativo.

Os pesquisadores ressaltam cuidadosamente que este sistema funciona melhor atualmente com cantores solo e chinês mandarim. Eles sugerem que trabalhos futuros poderiam explorar torná-lo funcional com múltiplos cantores, diferentes idiomas e até mais expressões emocionais. Mas, por enquanto, eles decifraram o código para criar versões de músicas por IA que não apenas soam bem, mas que realmente fazem sentido.