Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer

Immaginate un mondo in cui un computer può guardare la descrizione di una scena e creare istantaneamente un clip video completo dei suoni che la compongono. Se scrivete "un cane che abbaia in un parco", la macchina genera il visivo del parco e l'audio dell'abbaio. Questa tecnologia, nota come generazione da testo a audio-video, è progredita rapidamente, permettendo alle macchine di sintetizzare intere scene partendo dalle sole parole. Tuttavia, è persistita un limite significativo: sebbene il computer possa decidere quali suoni produrre, non può decidere chi li produca. La voce che parla o abbaia nell'output è essenzialmente casuale, tratta da un vasto pool di possibilità che la macchina ha appreso, lasciando i creatori impossibilitati a specificare che un particolare personaggio debba avere la voce di una persona specifica. Questa mancanza di controllo ha reso difficile l'uso di questi strumenti per storie personalizzate, doppiaggio di personaggi animati o per dare la voce di un individuo specifico a un avatar digitale.

Allo stesso tempo, un ramo diverso dell'intelligenza artificiale ha padroneggiato l'arte del voice cloning, dove un sistema può imitare il tono unico di una persona dopo averla ascoltata parlare per pochi secondi. Eppure, questi sistemi di voice cloning sono strettamente limitati all'audio; non possono generare il video d'accompagnamento e spesso richiedono strutture specializzate e complesse costruite da zero. La sfida per i ricercatori è stata quella di combinare questi due mondi: prendere un potente generatore di video e suoni e insegnargli a copiare una voce specifica senza distruggere la sua capacità di creare scene realistiche o richiedere una ricostruzione completa del sistema.

Un team di ricercatori ha ora dimostrato un modo sorprendentemente semplice per colmare questo divario. Hanno dimostrato che un modello preesistente di grandi dimensioni, capace di generare sia video che suono, può essere trasformato in uno strumento di voice cloning aggiungendo un solo piccolo, vuoto strato di connessioni matematiche sopra la sua unità di elaborazione audio. Questo nuovo strato parte senza informazioni apprese, il che significa che il modello si comporta esattamente come prima della modifica. I ricercatori hanno poi addestrato questo sistema modificato per un periodo relativamente breve utilizzando un metodo specifico. Hanno fornito al modello una breve registrazione del parlatore target insieme alla descrizione testuale. Il sistema ha imparato ad ascoltare quella registrazione e a usare le sue qualità sonore uniche per dare forma al nuovo audio generato, mantenendo intatta la generazione del video.

La chiave di questo successo risiede nel modo in cui i ricercatori hanno introdotto la voce di riferimento alla macchina. Hanno utilizzato due segnali complementari. Primo, hanno preso la rappresentazione digitale della breve registrazione di riferimento e l'hanno posizionata all'inizio del flusso di dati audio, permettendo al modello di guardare costantemente indietro ad essa mentre creava nuovi suoni. Secondo, hanno estratto un riassunto singolo e compatto della voce del parlatore e lo hanno usato per influenzare delicatamente il tono di ogni suono prodotto dal modello. Questo approccio richiedeva solo un nuovo strato lineare, un piccolo'aggiunta che è stata inizializzata a zero affinché il modello non venisse disturbato durante le fasi iniziali dell'apprendimento. Addestrando il sistema a prestare attenzione a questi segnali, i ricercatori gli hanno permesso di copiare il timbro, ovvero il colore unico di una voce, con alta precisione.

I risultati di questo approccio sono stati testati contro altri cinque sistemi leader di voice cloning utilizzando un benchmark di 674 coppie uniche testo-voce che coinvolgevano 30 diversi parlatore. Il nuovo modello, che contiene cinque miliardi di parametri, ha superato tutti gli altri sistemi nella sua capacità di abbinarsi alla voce del parlatore target. Ha ottenuto i punteggi più alti in tre diverse reti di verifica indipendenti, ovvero strumenti specializzati progettati per misurare quanto due voci suonino simili tra loro. I ricercatori hanno scoperto che il loro modello poteva catturare le sottili, naturali peculiarità della voce di un parlatore, inclusa la specifica tessitura acustica che rende una voce riconoscibile, anche se ciò significava che il parlato risultante conteneva occasionalmente errori minori nella scelta delle parole. Questo compromesso suggerisce che il modello dia priorità alla ricostruzione autentica del suono del parlatore rispetto alla perfetta accuratezza testuale, un comportamento che differisce da altri sistemi che tendono a produrre voci più pulite ma meno distintive.

Un beneficio inaspettato di questa architettura è che le parti video e audio del sistema possono essere separate durante la fase finale di creazione. Poiché il modello è stato progettato con una struttura asimmetrica, dove i flussi audio e video vengono elaborati in modo diverso ma sono connessi, i ricercatori hanno scoperto di poter eseguire solo la parte audio del modello autonomamente. Ciò ha permesso di generare l'audio con voice cloning senza attendere la creazione del video, con un aumento della velocità di circa trenta volte rispetto all'esecuzione dell'intero sistema. Questa variante, che utilizza solo una frazione della potenza di calcolo totale, ha comunque preservato la capacità di clonare le voci efficacemente, offrendo un modo pratico per audizioni rapide di diverse voci prima di impegnarsi in una generazione video completa.

Fondamentalmente, i ricercatori hanno verificato che l'aggiunta di questa capacità di voice cloning non ha danneggiato le abilità originali del modello. Quando hanno testato il modello modificato su compiti in cui non veniva fornita alcuna voce di riferimento, esso ha performato meglio della versione originale, producendo un audio più naturale e più allineato alle descrizioni testuali. Ciò indica che il nuovo strato, partendo da uno stato neutro, ha agito come un'aggiunta flessibile che ha potenziato il sistema senza costringerlo a dimenticare ciò che già sapeva. Lo studio conclude che è possibile equipaggiare avanzati generatori di video e suoni con la capacità di imitare voci specifiche attraverso cambiamenti architettonici minimi, aprendo la porta a una creazione di contenuti audio-visivi più personalizzata e controllata senza la necessità di un massiccio riaddestramento o di nuovi design complessi.