Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer

Stel je een wereld voor waarin een computer een beschrijving van een scène kan bekijken en direct een videoclip kan creëren, compleet met de geluiden die erbij horen. Als je typt "een hond die blaft in een park", genereert de machine het beeld van het park en het geluid van de blaf. Deze technologie, bekend als text-to-audio-video generatie, heeft zich razendsnel ontwikkid, waardoor machines volledige scènes kunnen synthetiseren op basis van alleen woorden. Echter, een significante beperking is blijven bestaan: hoewel de computer kan beslissen welke geluiden hij maakt, kan hij niet beslissen wie ze maakt. De stem die spreekt of blaft in de output is in essentie willekeurig, afkomstig uit een enorme poel van mogelijkheden die de machine heeft geleerd, waardoor makers niet in staat zijn om te specificeren dat een bepaat personage moet klinken als een specifiek persoon. Dit gebrek aan controle heeft het moeilijk gemaakt om deze tools te gebruiken voor gepersonaliseerde verhalen, het nasynchroniseren van geanimeerde personages, of het tot leven wekken van de stem van een specifiek individu in een digitale avatar.

Tegelijkertijd heeft een andere tak van kunstmatige intelligentie de kunst van voice cloning onder de knie, waarbij een systeem de unieke toon van een persoon kan imiteren na het horen van slechts enkele seconden van diens stem. Toch zijn deze voice-cloning systemen strikt beperkt tot audio; ze kunnen de bijbehorende video niet genereren, en ze vereisen vaak gespecialiseerde, complexe structuren die vanaf de grond af aan zijn opgebouwd. De uitdaging voor onderzoekers is geweest om deze twee werelden te combineren: het nemen van een krachtige video-en-geluid generator en deze leren om een specifieke stem te kopiëren zonder het vermogen te vernietigen om realistische scènes te creëren of een volledige herbouw van het systeem te vereisen.

Een team van onderzoekers heeft nu een verrassend eenvoudige manier gedemonstreerd om deze kloof te overbruggen. Ze toonden aan dat een groot, bestaand model dat zowel video als geluid kan genereren, kan worden getransformeerd tot een voice-cloning tool door slechts één klein, leeg laagje van wiskundige verbindingen toe te voegen aan de audioverwerkingseenheid. Dit nieuwe laagje begint zonder geleerde informatie, wat betekent dat het model zich exact hetzelfde gedraagt als vóór de verandering. De onderzoekers trainden dit aangepaste systeem voor een relatief korte periode met een specifieke methode. Ze voerden het model een korte opname van een doelspreker samen met de tekstuele beschrijving. Het systeem leerde naar die opname te luisteren en de unieke klankeigenschappen van die opname te gebruiken om de nieuw gegenereerde audio vorm te geven, terwijl de videogeneratie intact bleef.

De sleutel tot dit succes ligt in de manier waarop de onderzoekers de referentiestem aan de machine hebben geïntroduceerd. Ze gebruikten twee complementaire signalen. Eerst namen ze de digitale representatie van de korte referentieopname en plaatsten deze aan het begin van de audiodatastroom, waardoor het model er voortdurend naar kon kijken terwijl het nieuwe geluiden creëerde. Ten tweede extraheerden ze een enkele, compacte samenvatting van de stem van de spreker en gebruikten deze om de toon van elk geluid dat het model produceerde, zachtjes te sturen. Deze aanpak vereiste slechts één nieuwe lineaire laag, een kleine toevoeging die op nul werd geïnitialiseerd zodat het model niet verstoord zou worden tijdens de initiële stadia van het leren. Door het systeem te trainen om op deze signalen te letten, stelden de onderzoekers het in staat om de timbre, of de unieke kleur van een stem, met hoge precisie te kopiëren.

De resultaten van deze aanpak werden getest tegen vijf andere toonaangevende voice-cloning systemen met behulp van een benchmark van 674 unieke tekst-en-stem paren bestaande uit 30 verschillende sprekers. Het nieuwe model, dat vijf miljard parameters bevat, presteerde beter dan elk ander systeem in zijn vermogen om de stem van de doelspreker te matchen. Het behaalde de hoogste scores over drie verschillende onafhankelijke verificatienetwerken, wat gespecialiseerde tools zijn die meten hoe vergelijkbaar twee stemmen klinken. De onderzoekers ontdekten dat hun model de subtiele, natuurlijke eigenaardigheden van de stem van een spreker kon vangen, inclusclusief de specifieke akoestische textuur die een stem herkenbaar maakt, zelfs als dit betekende dat de resulterende spraak incidenteel kleine fouten in woordkeuze bevatte. Deze afruil suggereert dat het model prioriteit geeft aan de authentieke reconstructie van het geluid van de spreker boven perfecte tekstuele nauwkeurigheid, een gedrag dat verschilt van andere systemen die de neiging hebben om schonere maar minder onderscheidende stemmen te produceren.

Een onverwacht voordeel van deze architectuur is dat de video- en audiodelen van het systeem gescheiden kunnen worden tijdens de laatste fase van creatie. Omdat het model werd ontworpen met een asymmetrische structuur, waarbij de audio- en videostromen verschillend worden verwerkt maar verbonden zijn, ontdekten de onderzoekers dat ze alleen het audio-gedeelte van het model onafhankelijk konden draaien. Dit stelde hen in staat om de voice-cloned audio te genereren zonder te wachten tot de video werd gecreëerd, wat resulteerde in een snelheidstoename van ongeveer dertig keer vergeleken met het draaien van het volledige systeem. Deze variant, die slechts een fractie van de totale rekenkracht gebruikt, behield nog steeds het vermogen om stemmen effectief te klonen, wat een praktische manier biedt om snel verschillende stemmen te auditioneren voordat men zich vastlegt op een volledige videogeneratie.

Cruciaal is dat de onderzoekers hebben geverifieerd dat het toevoegen van deze voice-cloning capaciteit de oorspronkelijke vermogens van het model niet heeft geschaad. Wanneer ze het aangepaste model testten op taken waarbij geen referentiestem werd meegegeven, presteerde het beter dan de originele versie, waarbij het audio produceerde die natuurlijker was en nauwer aansloot bij de tekstuele beschrijvingen. Dit geeft aan dat de nieuwe laag, startend vanuit een neutrale staat, fungeerde als een flexibele toevoeging die het systeem verbeterde zonder dat het moest vergeten wat het al wist. De studie concludeert dat het mogelijk is om geavanceerde video-en-geluid generators uit te rusten met het vermogen om specifieke stemmen te imiteren door middel van minimale architecturale wijzigingen, wat de deur opent naar meer gepersonaliseerde en gecontroleerde audio-visuele contentcreatie zonder de noodzaak voor massale hertraining of complexe nieuwe ontwerpen.