Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer

Imaginez un monde où un ordinateur peut regarder la description d'une scène et créer instantanément un clip vidéo complet, avec les sons qui lui appartiennent. Si vous tapez « un chien qui aboie dans un parc », la machine génère le visuel du parc et l'audio de l'aboiement. Cette technologie, connue sous le nom de génération texte-vers-audio-vidéo, a progressé rapidement, permettant aux machines de synthétiser des scènes entières à partir de mots seuls. Cependant, une limitation significative a persisté : si l'ordinateur peut décider quels sons produire, il ne peut pas décider qui les produit. La voix qui parle ou aboie dans le résultat est essentiellement aléatoire, tirée d'un vaste réservoir de possibilités que la machine a apprises, laissant les créateurs incapables de spécifier qu'un personnage particulier doit avoir une voix spécifique. Ce manque de contrôle a rendu difficile l'utilisation de ces outils pour des histoires personnalisées, le doublage de personnages animés ou l'attribution de la voix d'un individu spécifique à un avatar numérique.

Parallèlement, une branche différente de l'intelligence artificielle a maîtrisé l'art du clonage de voix, où un système peut imiter le ton unique d'une personne après avoir entendu seulement quelques secondes de sa parole. Pourtant, ces systèmes de clonage de voix sont strictement limités à l'audio ; ils ne peuvent pas générer la vidéo d'accompagnement, et nécessitent souvent des structures spécialisées et complexes construites de toutes pièces. Le défi pour les chercheurs a été de combiner ces deux mondes : prendre un puissant générateur de vidéo et de son et lui apprendre à copier une voix spécifique sans détruire sa capacité à créer des scènes réalistes ou sans exiger une reconstruction complète du système.

Une équipe de chercheurs a maintenant démontré une manière étonnamment simple de combler ce fossé. Ils ont montré qu'un modèle préexistant de grande taille, capable de générer à la fois de la vidéo et du son, peut être transformé en un outil de clonage de voix en ajoutant simplement une toute petite couche de connexions mathématiques vides au sommet de son unité de traitement audio. Cette nouvelle couche commence sans aucune information apprise, ce qui signifie que le modèle se comporte exactement comme avant le changement. Les chercheurs ont ensuite entraîné ce système modifié pendant une période relativement courte en utilisant une méthode spécifique. Ils ont alimenté le modèle avec un court enregistrement de l'interlocuteur cible accompagné de la description textuelle. Le système a appris à écouter cet enregistrement et à utiliser ses qualités sonores uniques pour façonner le nouvel audio qu'il générait, tout en préservant la génération de la vidéo.

La clé de ce succès réside dans la manière dont les chercheurs ont introduit la voix de référence à la machine. Ils ont utilisé deux signaux complémentaires. Premièrement, ils ont pris la représentation numérique du court enregistrement de référence et l'ont placée au tout début du flux de données audio, permettant au modèle de s'y référer constamment lors de la création de nouveaux sons. Deuxièmement, ils ont extrait un résumé unique et compact de la voix du locuteur et l'ont utilisé pour influencer délicatement le ton de chaque son produit par le modèle. Cette approche n'a nécessité qu'une seule nouvelle couche linéaire, un petit ajout qui a été initialisé à zéro afin de ne pas perturber le modèle durant les premières étapes de l'apprentissage. En entraînant le système à prêter attention à ces signaux, les chercheurs lui ont permis de copier le timbre, ou la couleur unique d'une voix, avec une grande précision.

Les résultats de cette approche ont été testés par rapport à cinq autres systèmes de clonage de voix de pointe en utilisant un test de référence comprenant 674 paires texte-et-voix uniques impliquant 30 locuteurs différents. Le nouveau modèle, qui contient cinq milliards de paramètres, a surpassé tous les autres systèmes dans sa capacité à correspondre à la voix de l'interlocuteur cible. Il a obtenu les scores les plus élevés sur trois réseaux de vérification indépendants différents, qui sont des outils spécialisés conçus pour mesurer à quel point deux voix se ressemblent. Les chercheurs ont constaté que leur modèle pouvait capturer les nuances subtiles et naturelles de la voix d'un locuteur, y compris la texture acoustique spécifique qui rend une voix reconnaissable, même si cela signifiait que le discours résultant contenait occasionnellement des erreurs mineures dans le choix des mots. Ce compromis suggère que le modèle privilégie la reconstruction authentique du son de l'interlocuteur plutôt que l'exactitude textuelle parfaite, un comportement qui diffère des autres systèmes qui ont tendance à produire des voix plus propres mais moins distinctives.

Un avantage inattendu de cette architecture est que les parties vidéo et audio du système peuvent être séparées lors de l'étape finale de création. Parce que le modèle a été conçu avec une structure asymétrique, où les flux audio et vidéo sont traités différemment mais sont connectés, les chercheurs ont découvert qu'ils pouvaient faire fonctionner uniquement la partie audio du modèle de manière autonome. Cela leur a permis de générer l'audio cloné sans attendre la création de la vidéo, ce qui a entraîné une augmentation de la vitesse d'environ trente fois par rapport à l'exécution du système complet. Cette variante, qui n'utilise qu'une fraction de la puissance de calcul totale, conserve néanmoins la capacité de cloner les voix efficacement, offrant un moyen pratique d'auditionner rapidement différentes voix avant de s'engager dans une génération vidéo complète.

Crucialement, les chercheurs ont vérifié que l'ajout de cette capacité de clonage de voix n'altérait pas les capacités originales du modèle. Lorsqu'ils ont testé le modèle modifié sur des tâches pour lesquelles aucune voix de référence n'était fournie, celui-ci a obtenu de meilleurs résultats que la version originale, produisant un audio plus naturel et plus étroitement aligné avec les descriptions textuelles. Cela indique que la nouvelle couche, partant d'un état neutre, a agi comme un ajout flexible qui a amélioré le système sans l'obliger à oublier ce qu'il savait déjà. L'étude conclut qu'il est possible d'équiper les générateurs vidéo et son avancés de la capacité de mimer des voix spécifiques grâce à des changements architecturaux minimaux, ouvrant la voie à une création de contenu audiovisuel plus personnalisée et contrôlée sans nécessir de réentraînement massif ou de conceptions nouvelles et complexes.