Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer

Imagine um mundo onde um computador pode assistir à descrição de uma cena e criar instantaneamente um clipe de vídeo completo com os sons que lhe pertencem. Se você digitar "um cachorro latindo em um parque", a máquina gera o visual do parque e o áudio do latido. Esta tecnologia, conhecida como geração de texto para áudio e vídeo, avançou rapidamente, permitindo que as máquinas sintetizem cenas inteiras apenas a partir de palavras. No entanto, uma limitação significativa tem persistido: embora o computador possa decidir quais sons fazer, ele não consegue decidir quem os faz. A voz que fala ou late no resultado é essencialmente aleatória, extraída de um vasto conjunto de possibilidades que a máquina aprendeu, impedindo que criadores especifiquem que um personagem particular deva soar como uma pessoa específica. Essa falta de controle tornou difícil o uso dessas ferramentas para histórias personalizadas, dublagem de personagens animados ou para trazer a voz de um indivíduo específico para um avatar digital.

Ao mesmo tempo, um ramo diferente da inteligência artificial dominou a arte da clonagem de voz, onde um sistema pode imitar o tom único de uma pessoa após ouvir apenas alguns segundos dela falando. No entanto, esses sistemas de clonagem de voz são estritamente limitados ao áudio; eles não podem gerar o vídeo acompanhante e frequentemente exigem estruturas especializadas e complexas construídas do zero. O desafio para os pesquisadores tem sido combinar esses dois mundos: pegar um poderoso gerador de vídeo e som e ensiná-lo a copiar uma voz específica sem destruir sua capacidade de criar cenas realistas ou exigir uma reconstrução completa do sistema.

Uma equipe de pesquisadores demonstrou agora uma maneira surpreendentemente simples de preencher essa lacuna. Eles mostraram que um modelo pré-existente de grande escala, capaz de gerar tanto vídeo quanto som, pode ser transformado em uma ferramenta de clonagem de voz ao adicionar apenas uma pequena camada vazia de conexões matemáticas sobre sua unidade de processamento de áudio. Esta nova camada começa sem informações aprendidas, o que significa que o modelo se comporta exatamente como antes da mudança. Os pesquisadores então treinaram este sistema modificado por um período relativamente curto usando um método específico. Eles alimentaram o modelo com uma gravação curta de um falante alvo juntamente com a descrição em texto. O sistema aprendeu a ouvir essa gravação e usar suas qualidades sonoras únicas para moldar o novo áudio que gerava, tudo isso enquanto mantinha a geração de vídeo intacta.

A chave para esse sucesso reside em como os pesquisadores introduziram a voz de referência à máquina. Eles utilizaram dois sinais complementares. Primeiro, pegaram a representação digital da curta gravação de referência e a colocaram no início do fluxo de dados de áudio, permitendo que o modelo olhasse para ela constantemente enquanto criava novos sons. Segundo, extraíram um resumo único e compacto da voz do falante e o utilizaram para guiar suavemente o tom de cada som que o modelo produzia. Essa abordagem exigiu apenas uma nova camada linear, uma pequena adição que foi inicializada com zero para que o modelo não fosse interrompido durante os estágios iniciais de aprendizado. Ao treinar o sistema para prestar atenção a esses sinais, os pesquisadores permitiram que ele copiasse o timbre, ou a cor única de uma voz, com alta precisão.

Os resultados desta abordagem foram testados contra outros cinco sistemas líderes de clonagem de voz usando um benchmark de 674 pares únicos de texto e voz envolvendo 30 falantes diferentes. O novo modelo, que contém cinco bilhões de parâmetros, superou todos os outros sistemas em sua capacidade de corresponder à voz do falante alvo. Ele alcançou as pontuações mais altas em três redes de verificação independentes, que são ferramentas especializadas projetadas para medir o quão semelhantes dois sons de voz são entre si. Os pesquisadores descobriram que seu modelo podia capturar as peculiaridades sutis e naturais da voz de um falante, incluindo a textura acústica específica que torna uma voz reconhecível, mesmo que isso significasse que o discurso resultante contivesse erros menores na escolha das palavras. Esse compromisso sugere que o modelo prioriza a reconstrução autêntica do som do falante sobre a precisão textual perfeita, um comportamento que difere de outros sistemas que tendem a produzir vozes mais limpas, porém menos distintas.

Um benefício inesperado desta arquitetura é que as partes de vídeo e áudio do sistema podem ser separadas durante o estágio final de criação. Como o modelo foi projetado com uma estrutura assimétrica, onde os fluxos de áudio e vídeo são processados de forma diferente, mas conectados, os pesquisadores descobriram que podiam executar apenas a parte de áudio do modelo de forma independente. Isso permitiu que eles gerassem o áudio com a voz clonada sem esperar pela criação do vídeo, resultando em um aumento de velocidade de aproximadamente trinta vezes em comparação com a execução do sistema completo. Esta variante, que utiliza apenas uma fração do poder computacional total, ainda preservou a capacidade de clonar vozes de forma eficaz, oferecendo uma maneira prática de audicionar rapidamente diferentes vozes antes de se comprometer com uma geração de vídeo completa.

Crucialmente, os pesquisadores verificaram que adicionar esta capacidade de clonagem de voz não prejudicou as habilidades originais do modelo. Quando testaram o modelo modificado em tarefas onde nenhuma voz de referência era fornecida, ele apresentou um desempenho superior à versão original, produzindo um áudio mais natural e mais alinhado com as descrições de texto. Isso indica que a nova camada, começando de um estado neutro, atuou como uma adição flexível que aprimorou o sistema sem forçá-lo a esquecer o que já sabia. O estudo conclui que é possível equipar geradores avançados de vídeo e som com a capacidade de imitar vozes específicas através de mudanças arquitetônicas mínimas, abrindo as portas para uma criação de conteúdo audiovisual mais personalizada e controlada, sem a necessidade de um retreinamento massivo ou novos designs complexos.