⚡ electrical engineering

OmniVoice: Towards Omnilingual Zero-Shot Text-to-Speech with Diffusion Language Models

OmniVoice è un modello di sintesi vocale zero-shot multilingue che, grazie a un'architettura innovativa basata su modelli linguistici a diffusione e un dataset aperto di 581.000 ore, supporta oltre 600 lingue con prestazioni all'avanguardia.

Autori originali: Han Zhu, Lingxuan Ye, Wei Kang, Zengwei Yao, Liyong Guo, Fangjun Kuang, Zhifeng Han, Weiji Zhuang, Long Lin, Daniel Povey

Pubblicato 2026-04-02

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Han Zhu, Lingxuan Ye, Wei Kang, Zengwei Yao, Liyong Guo, Fangjun Kuang, Zhifeng Han, Weiji Zhuang, Long Lin, Daniel Povey

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler creare un assistente vocale che possa parlare 600 lingue diverse, dal cinese allo swahili, fino a lingue di piccole tribù che nessuno ha mai insegnato a un computer prima d'ora. Inoltre, vorresti che questo assistente potesse imitare la tua voce dopo aver ascoltato solo pochi secondi della tua registrazione, anche se la registrazione è piena di rumori di fondo.

Fino a oggi, questo sembrava un sogno impossibile. Ma i ricercatori di Xiaomi hanno creato OmniVoice, e funziona come un "super-cuoco" linguistico.

1. Il Problema: La Catena di Montaggio Rott

Prima di OmniVoice, i computer per parlare (TTS) funzionavano come una catena di montaggio con due passaggi separati:

Passo 1: Il computer legge il testo e lo trasforma in un "concetto astratto" (come se scrivesse una ricetta).
Passo 2: Un altro computer prende quella ricetta e la trasforma in suoni.

Il problema? Se il primo passo sbaglia anche solo una virgola nella ricetta, il secondo passo cucina un disastro. Inoltre, per fare questo, i computer dovevano essere molto lenti e complessi.

La soluzione di OmniVoice:
OmniVoice salta la catena di montaggio. Immagina un cuciniere magico che prende gli ingredienti (il testo) e li trasforma direttamente nel piatto finito (la voce), senza passare per la ricetta intermedia. È più veloce, più preciso e commette meno errori.

2. La Magia: Come Impara a Parlare 600 Lingue?

Per imparare così tante lingue, OmniVoice ha fatto due cose geniali:

La "Pasta" Pre-confezionata (LLM Initialization):
Invece di insegnare a OmniVoice l'alfabeto da zero (come se dovessimo insegnare a un bambino a leggere partendo da zero), i ricercatori hanno preso un cervello già molto intelligente (un modello linguistico gigante, come un "Google" che sa già tutto il mondo) e lo hanno usato come base. È come se dessimo a un nuovo studente un libro di testo già scritto da un genio: lui non deve imparare a leggere, ma solo a cantare quello che sa già. Questo rende la voce molto più naturale e comprensibile.
Il Gioco del "Cosa Manca?" (Full-Codebook Random Masking):
Per allenarsi, OmniVoice gioca a un gioco di memoria. Prende una frase, cancella a caso tutti i pezzi (non solo uno alla volta, ma un po' di tutto ovunque) e deve indovinare cosa c'era prima.
- Metafora: Immagina di guardare un mosaico dove mancano centinaia di tessere sparse ovunque. OmniVoice deve indovinare quali tessere mancavano basandosi su quelle rimaste. Questo addestramento "caotico" lo rende fortissimo nel ricostruire qualsiasi suono, in qualsiasi lingua, molto più velocemente dei metodi vecchi.

3. Il Tesoro di Dati: 581.000 Ore di Audio

Per imparare, OmniVoice ha "mangiato" un'enorme quantità di dati: 581.000 ore di audio raccolte da internet (tutto materiale gratuito e aperto).
È come se avesse ascoltato la radio di tutto il mondo per 66 anni senza mai dormire. Questo gli permette di parlare non solo inglese e cinese, ma anche lingue rare come lo yoruba, il tibetano o il basco, con una qualità che prima era impensabile.

4. I Superpoteri Extra

OmniVoice non si limita a parlare; ha anche dei superpoteri per controllare come parla:

Il Filtro Anti-Rumore (Prompt Denoising):
Se gli dai una registrazione della tua voce fatta in una stanza rumorosa (con il traffico sotto), OmniVoice non copierà il rumore. Immagina un filtro magico che pulisce la tua voce, rimuovendo il frastuono di fondo, così che il risultato sia una voce cristallina anche partendo da una registrazione pessima.
Il Designer di Voci (Speaker-Attribute-Based Voice Design):
Se non hai una registrazione della tua voce, puoi dirgli: "Voglio una voce femminile, giovane, con accento italiano e un tono allegro". OmniVoice crea una voce da zero basandosi su queste descrizioni, come se fosse un sarto che cuce un vestito su misura per la tua richiesta.
Il Controllo della Pronuncia:
A volte i computer sbagliano a pronunciare parole strane (come nomi propri o termini tecnici). OmniVoice ti permette di correggerlo: puoi dirgli "questa parola si legge così" e lui lo farà esattamente come vuoi, senza esitare.

In Sintesi

OmniVoice è come un poliglotta universale che ha studiato in una biblioteca infinita, ha preso in prestito l'intelligenza di un genio per non fare errori grammaticali, e sa pulire la sua voce dai rumori di fondo.

Il risultato? Per la prima volta, abbiamo un sistema che può dare una voce a quasi tutte le lingue del mondo, rendendo la tecnologia accessibile a miliardi di persone che prima erano ignorate, e tutto questo con una qualità che suona quasi umana. È un passo enorme verso un mondo in cui la barriera linguistica, almeno per le macchine, è finalmente crollata.

Panoramica del Problema

I modelli attuali di Text-to-Speech (TTS) zero-shot, sebbene capaci di generare audio di alta qualità basandosi su pochi secondi di riferimento, soffrono di due limitazioni principali:

Copertura linguistica limitata: La maggior parte dei modelli supporta solo un numero ristretto di lingue ad alta risorsa, trascurando centinaia di lingue a bassa risorsa.
Architetture complesse e inefficienti: I sistemi State-of-the-Art (SOTA) basati su token discreti utilizzano spesso pipeline a due stadi (testo $\to$ $\to$ semantico $\to$ $\to$ acustico). Questo approccio introduce:
- Propagazione degli errori: Gli errori nella previsione semantica degradano la qualità audio finale.
- Colli di bottiglia dell'informazione: Le rappresentazioni semantiche a basso bitrate sacrificano i dettagli acustici fini.
- Scarsa intelligibilità: Le alternative a stadio singolo (single-stage) hanno storicamente mostrato prestazioni inferiori in termini di intelligibilità rispetto alle pipeline a due stadi.

Metodologia: OmniVoice

OmniVoice è un modello TTS zero-shot multilingue massivo (che supporta oltre 600 lingue) basato su un'architettura innovativa che combina i vantaggi dei modelli di linguaggio diffusion con l'efficienza dei modelli non autoregressivi (NAR).

1. Architettura a Stadio Singolo (Single-Stage)

A differenza delle pipeline cascata tradizionali, OmniVoice mappa direttamente i token del testo ai token acustici multi-codebook.

Modello: Utilizza un Transformer bidirezionale con un obiettivo di diffusione discreta (discrete diffusion objective).
Input: Una sequenza di token di testo (composta da istruzioni e trascrizione) e una matrice di token acustici.
Output: Previsione diretta dei token acustici mancanti in una matrice multi-codebook, eliminando la necessità di un modello intermedio semantico.

2. Innovazioni Chiave

Per sbloccare il potenziale di questa architettura minimalista, gli autori introducono due tecniche fondamentali:

Mascheramento Casuale su Tutto il Codebook (Full-Codebook Random Masking):
- Problema: I metodi precedenti usano un mascheramento "per-layer" (una sola codebook per campione), che porta a una convergenza inefficiente.
- Soluzione: OmniVoice applica una strategia di mascheramento stocastico completo su tutte le codebook contemporaneamente. Per ogni entry nella matrice $T \times C$ (tempo $\times$ codebook), si campiona una maschera binaria.
- Vantaggio: Questo permette di calcolare la perdita su una densità di token molto maggiore (in media il 50% dei token) rispetto alle strategie sparse, accelerando significativamente la convergenza e migliorando la qualità generativa.
Inizializzazione da LLM (Large Language Models):
- Problema: I modelli NAR a stadio singolo spesso faticano con l'intelligibilità del testo.
- Soluzione: Il backbone del modello viene inizializzato con i pesi pre-addestrati di un LLM autoregressivo (specificamente Qwen3-0.6B).
- Vantaggio: Questo trasferisce la conoscenza linguistica preesistente del LLM al modello TTS, risolvendo il problema dell'intelligibilità e rendendo OmniVoice il primo modello NAR TTS a beneficiare con successo di tale inizializzazione.

3. Dati e Scalabilità

Dataset: Il modello è stato addestrato su un corpus curato di 581.000 ore di audio, derivato esclusivamente da dati open-source.
Copertura: Il dataset copre 646 lingue, includendo centinaia di lingue a bassa risorsa precedentemente non supportate.
Bilanciamento: Per gestire lo squilibrio dei dati (poche ore per le lingue a bassa risorsa), viene utilizzata una strategia di resampling con un fattore di ripetizione controllato da un iperparametro $\beta$ , che mantiene le prestazioni delle lingue ad alta risorsa garantendo l'esposizione a quelle a bassa risorsa.

4. Controllo Multidimensionale

OmniVoice offre funzionalità avanzate per il controllo:

Denoising del Prompt: Addestrato per rimuovere rumore e riverbero dai prompt audio di riferimento, generando voce pulita anche da input degradati.
Design della Voce: Supporto per la sintesi basata su attributi del parlante (genere, età, accento) senza bisogno di prompt audio.
Controllo Linguistico: Capacità di gestire casi complessi (es. caratteri polifonici in cinese o terminologia specialistica) tramite input ibridi testo-fonetici (Pinyin o fonemi CMU).

Risultati Sperimentali

OmniVoice è stato valutato su benchmark in lingua cinese, inglese e multilingue (fino a 102 lingue).

Performance in Inglese e Cinese:
- Supera tutti i modelli NAR baselines (come F5-TTS, ZipVoice, MaskGCT) addestrati sullo stesso corpus Emilia.
- Compete favorevolmente con modelli AR SOTA (come CosyVoice, Qwen3-TTS) addestrati su dataset più grandi, mostrando vantaggi significativi in similarità del parlante (SIM-o) e intelligibilità (WER/CER).
Performance Multilingue:
- Su un benchmark di 24 lingue, supera sistemi commerciali come ElevenLabs e MiniMax-Speech in termini di similarità del parlante e tasso di errore (WER).
- Su un benchmark di 102 lingue (FLEURS), ottiene un tasso di errore medio (CER) del 4.00%, paragonabile alla trascrizione ground-truth, dimostrando un'eccellente capacità di generalizzazione anche su lingue con meno di 10 ore di dati di addestramento.
Efficienza:
- Il tempo di inferenza (RTF) è estremamente basso (0.0319 per un batch di 1 con 16 step), superando i modelli NAR concorrenti.

Contributi Chiave

Architettura Unificata: Dimostrazione che un'architettura NAR a stadio singolo basata su diffusion può superare i limiti delle pipeline a due stadi, eliminando la propagazione degli errori.
Scalabilità Linguistica: Creazione del modello TTS zero-shot con la più ampia copertura linguistica a oggi (600+ lingue), colmando il divario per le lingue a bassa risorsa.
Innovazioni Tecniche: Validazione della strategia di "Full-Codebook Random Masking" per l'efficienza e dell'"LLM Initialization" per l'intelligibilità nei modelli NAR.
Accessibilità Open Source: Il codice e i modelli pre-addestrati sono resi pubblici, promuovendo la ricerca su TTS inclusivo e multilingue.

Significato e Impatto

OmniVoice rappresenta un passo avanti fondamentale verso la democratizzazione delle tecnologie vocali. Risolvendo il problema della copertura linguistica e mantenendo un'alta qualità audio e intelligibilità, il modello permette di estendere i servizi TTS a miliardi di persone che parlano lingue a bassa risorsa. L'approccio architetturale proposto offre una nuova direzione per la ricerca, dimostrando che la combinazione di modelli di linguaggio su larga scala e tecniche di diffusione discreta può superare i compromessi tradizionali tra velocità, qualità e copertura linguistica.