Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer

Stellen Sie sich eine Welt vor, in der ein Computer eine Beschreibung einer Szene beobachten und sofort einen Videoclip erstellen kann, der die dazugehörigen Klänge enthält. Wenn Sie „ein Hund bellt in einem Park“ eingeben, generiert die Maschine das Bild des Parks und das Audio des Bellen. Diese Technologie, bekannt als Text-zu-Audio-Video-Generierung, hat sich rasant entwickelt und ermöglicht es Maschinen, ganze Szenen allein aus Worten zu synthetisieren. Eine bedeutende Einschränkung blieb jedoch bestehen: Während der Computer entscheiden kann, welche Geräusche er machen soll, kann er nicht entscheiden, wer sie macht. Die Stimme, die spricht oder bellt, ist im Output im Wesentlichen zufällig und wird aus einem riesigen Pool von Möglichkeiten gezogen, die die Maschine gelernt hat, was es Schöpfern unmöglich macht, festzulegen, dass ein bestimmter Charakter wie eine bestimmte Person klingen soll. Dieser Mangel an Kontrolle hat es schwierig gemacht, diese Werkzeuge für personalisierte Geschichten, die Vertonung animierter Charaktere oder das Bringen einer spezifischen Person mit einem digitalen Avatar zu nutzen.

Gleichzeitig hat ein anderer Zweig der künstlichen Intelligenz die Kunst des Voice-Cloning gemeistert, bei dem ein System den einzigartigen Tonfall einer Person imitieren kann, nachdem es nur wenige Sekunden lang ihr Sprechen gehört hat. Doch diese Voice-Cloning-Systeme sind streng auf Audio beschränkt; sie können nicht das begleitende Video generieren, und sie erfordern oft spezialisierte, komplexe Strukturen, die von Grund auf neu aufgebaut werden müssen. Die Herausforderung für Forscher bestand darin, diese beiden Welten zu kombinieren: einen leistungsstarken Video-und-Sound-Generator zu nehmen und ihn zu lehren, eine spezifische Stimme zu kopieren, ohne seine Fähigkeit zu zerstören, realistische Szenen zu erstellen, oder einen kompletten Neuaufbau des Systems zu erfordern.

Ein Team von Forschern hat nun einen überraschend einfachen Weg demonstriert, um diese Lücke zu schließen. Sie zeigten, dass ein großer, bereits existierender Modell, das sowohl Video als auch Sound generieren kann, durch das Hinzufügen nur einer einzigen, winzigen, leeren Schicht mathematischer Verbindungen über seiner Audioverarbeitungseinheit in ein Voice-Cloning-Werkzeug verwandelt werden kann. Diese neue Schicht beginnt ohne gelernte Informationen, was bedeutet, dass sich das Modell exakt so verhält wie vor der Änderung. Die Forscher trainierten dieses modifizierte System für einen relativ kurzen Zeitraum mit einer spezifischen Methode. Sie speisten das Modell mit einer kurzen Aufnahme eines Zielsprechers zusammen mit der Textbeschreibung. Das System lernte, auf diese Aufnahme zu hören und ihre einzigartigen Klangeigenschaften zu nutzen, um das neu generierte Audio zu formen, während es die Videogenerierung intakt hielt.

Der Schlüssel zu diesem Erfolg liegt darin, wie die Forscher die Referenzstimme in die Maschine eingeführt haben. Sie verwendeten zwei komplementäre Signale. Zuerst nahmen sie die digitale Repräsentation der kurzen Referenzaufnahme und platzierten sie am sehr Anfang des Audio-Datenstroms, sodass das Modell ständig auf sie zurückblicken konnte, während es neue Klänge erzeugte. Zweitens extrahierten sie eine einzige, kompakte Zusammenfassung der Stimme des Sprechers und nutzten sie, um den Tonfall jedes vom Modell produzierten Klangs sanft zu beeinflussen. Dieser Ansatz erforderte nur eine einzige neue lineare Schicht, eine kleine Ergänzung, die auf Null initialisiert wurde, damit das Modell während der ersten Lernphasen nicht gestört wurde. Durch das Training des Systems, auf diese Signale zu achten, gelang es den Forschern, die Timbre, also die einzigartige Färbung einer Stimme, mit hoher Präzision zu kopieren.

Die Ergebnisse dieses Ansatzes wurden gegen fünf andere führende Voice-Cloning-Systeme anhand eines Benchmarks von 674 einzigartigen Text-und-Stimm-Paaren mit 30 verschiedenen Sprechern getestet. Das neue Modell, das fünf Milliarden Parameter enthält, übertraf jedes andere System in seiner Fähigkeit, die Stimme des Zielsprechers zu treffen. Es erreichte die höchsten Werte in drei verschiedenen unabhängigen Verifikationsnetzwerken, bei denen es sich um spezialisierte Werkzeuge handelt, die messen, wie ähnlich zwei Stimmen klingen. Die Forscher fanden heraus, dass ihr Modell die subtilen, natürlichen Eigenheiten der Stimme eines Sprechers erfassen konnte, einschließlich der spezifischen akustischen Textur, die eine Stimme erkennbar macht, selbst wenn dies bedeutete, dass die resultierende Sprache gelegentlich geringfügige Fehler in der Wortwahl enthielt. Dieser Kompromiss deutet darauf, dass das Modell die authentische Rekonstruktion des Klangs des Sprechers gegenüber der perfekten textuellen Genauigkeit priorisiert, ein Verhalten, das sich von anderen Systemen unterscheidet, die eher sauberere, aber weniger markante Stimmen erzeugen.

Ein unerwarteter Vorteil dieser Architektur ist, dass die Video- und Audioteile des Systems während der finalen Erstellungsphase getrennt werden können. Da das Modell mit einer asymmetrischen Struktur entworfen wurde, bei der die Audio- und Videoströme unterschiedlich verarbeitet, aber miteinander verbunden sind, fanden die Forscher heraus, dass sie nur den Audio-Teil des Modells eigenständig laufen lassen konnten. Dies ermöglichte es ihnen, das stimmgeklonte Audio zu generieren, ohne auf die Erstellung des Videos warten zu müssen, was zu einer Geschwindigkeitssteigerung von etwa dreißigmal im Vergleich zum Betrieb des vollen Systems führte. Diese Variante, die nur einen Bruchteil der gesamten Rechenleistung nutzt, bewahrte dennoch die Fähigkeit, Stimmen effektiv zu klonen, was einen praktischen Weg bietet, um schnell verschiedene Stimmen zu testen, bevor man sich zur vollständigen Videogenerierung verpflichtet.

Entscheidend ist, dass die Forscher verifizierten, dass das Hinzufügen dieser Voice-Cloning-Fähigkeit die ursprünglichen Fähigkeiten des Modells nicht beeinträchtigt hat. Als sie das modifizierte Modell bei Aufgaben testeten, für die keine Referenzstimme bereitgestellt wurde, schnitt es besser als die Originalversion ab und produzierte Audio, das natürlicher war und enger mit den Textbeschreibungen übereinstimmte. Dies deutet darauf hin, dass die neue Schicht, die von einem neutralen Zustand aus startete, als flexible Ergänzung fungierte, die das System verbesserte, ohne es dazu zu zwingen, das zu vergessen, was es bereits wusste. Die Studie kommt zu dem Schluss, dass es möglich ist, fortschrittliche Video-und-Sound-Generatoren durch minimale architektonische Änderungen mit der Fähigkeit auszustatten, spezifische Stimmen zu imitieren, was die Tür für mehr personalisierte und kontrollierte audiovisuelle Inhaltserstellung öffnet, ohne dass massives Retraining oder komplexe neue Designs erforderlich sind.