GRAFT: Grafted Reference Audio for Fine-grained Pronunciation in Zero-shot Text-to-Speech

Sintesi Tecnica: GRAFT – Audio di Riferimento Innestato per la Pronuncia Fine-grained nel Text-to-Speech Zero-shot

1. Definizione del Problema

I sistemi esistenti di Text-to-Speech (TTS) zero-shot, in particolare quelli basati su modelli linguistici a codec neurale, raggiungono un'elevata intelligibilità e naturalezza per il vocabolario comune. Tuttavia, essi ereditano l'ambiguità del testo ortografico, che spesso non riesce a specificare la corretta pronuncia per nomi propri rari, prestiti linguistici e termini tecnici. Sebbene i modelli condizionati ai fonemi offrano un maggiore controllo, essi si affidano a lessici grafema-fonema (G2P) fissi o a riconoscitori fonetici neurali che scartano le sfumature prosodiche e tonali (diacritici). Inoltre, questi approcci simbolici non possono gestire facilmente parole con molteplici realizzazioni valide o parole mai viste dove non esiste una trascrizione fonetica canonica. La sfida centrale è fornire un controllo acustico diretto sulla pronuncia per parola senza alterare la voce del parlatore target o richiedere una notazione fonetica esperta.

2. Metodologia

Gli autori propongono GRAFT, un meccanismo che condiziona la pronuncia di specifiche parole su brevi campioni audio parlati (hint/indizi) anziché su testo o fonemi.

• Architettura e Inferenza: GRAFT opera sopra un modello linguistico a codec neurale pre-addestrato (specificamente Qwen3-TTS-12Hz-0.6B-Base). Introduce uno slot di condizionamento per parola nel prompt. Invece dei token testuali per una parola target, il sistema inserisce una sequenza di token codec derivati da una registrazione audio isolata di quella parola. Questi token vengono posizionati tra delimitatori speciali (<B> e </B>) nella posizione corrispondente nel prompt testuale. Il modello genera quindi autoregressivamente l'intera frase nella voce del parlatore target (definita da un riferimento di stile separato) pur aderendo alla pronuncia della parola innestata.
• Costruzione dei Dati di Addestramento (Disentanglement): Una componente critica della costruzione dei dati di addentry di GRAFT è il processo che assicura che il modello impari a separare la pronuncia dall'identità del parlatore.
  • Per ogni occorrenza di addestramento, viene applicato un passaggio di conversione della voce (voice-conversion) utilizzando Seed-VC per generare una versione della frase parlata da un diverso parlatore.
  • Questa frase convertita viene allineata forzatamente alla trascrizione e le singole parole vengono ritagliate per creare clip "hint".
  • Durante l'addestramento, il modello riceve il testo originale e le clip hint convertite tramite voice-conversion (innestate nel prompt), ma viene addestrato a predire i token codec dell'occorrenza originale (del parlatore target).
  • Ciò costringe il modello a copiare la pronuncia e la prosodia dal hint ignorando l'identità del parlatore del hint, insegnandogli efficacementamente a riprodurre l'hint nella voce target.
• Augmentation: Per garantire la robustezza alle condizioni di registrazione del mondo reale, le clip hint subiscono un'augmentation offline (rumore, variazioni di pitch/velocità, filtraggio, riverbero) e un padding di silenzio variabile prima della codifica.
• Nessuna Modifica Architetturale: Il metodo non richiede nuovi parametri o modifiche all'architettura; semplicemente riutilizza il tokenizer a codec esistente e aggiunge alcuni token al prompt di inferenza.

3. Contributi Chiave

1. Meccanismo GRAFT: Un metodo di controllo della pronuncia per parola, privo di parametri, per modelli linguistici a codec neurale che accetta un esempio parlato da qualsiasi parlatore e lo rende nella voce target.
2. Strategia di Addestramento tramite Voice-Conversion: La dimostrazione che l'addestramento su coppie con voice-conversion è essenziale per disaccoppiare (disentangle) il parlatore dell'hint dal parlatore target, evitando che il modello si limiti a "echeggiare" la voce dell'hint.
3. Benchmark Multilingue: Il rilascio di un nuovo benchmark composto da 2.500 parole difficili in cinque lingue (inglese, tedesco, francese, spagnolo, italiano), insieme a checkpoint open-source, codice e strumenti di valutazione.

4. Risultati Sperimentali

Gli autori hanno valutato GRAFT rispetto a un backbone basato solo su testo e sette sistemi zero-shot open-source competitivi (inclusi modelli condizionati ai fonemi come StyleTTS2, MaskGCT e modelli a input testuale come XTTS-v2, F5-TTS).

• Accuratezza della Pronuncia: Sul benchmark delle parole difficili, GRAFT ha ridotto il tasso di errore fonetico della parola target (D-PER) del 22–39% rispetto all'identico backbone basato solo sul testo in tutte e cinque le lingue. Ha superato costantemente tutti i baseline in fedeltà di pronuncia.
• Valutazione Umana: In uno studio di ascolto cieco in inglese coinvolgente 20 valutatori e 600 confronti, GRAFT è stato classificato al primo posto con un ampio margine (150 punti Bradley-Terry in vantaggio rispetto al sistema successivo). I valutatori hanno giudicato la resa delle parole difficili di GRAFT come la più vicina alla registrazione di riferimento.
• Similitudine del Parlatore e Naturalità: Nonostante il forte controllo della pronuncia, GRAFT preserva la similitudine del parlatore (SSIM) e la naturalità (UTMOS) in modo comparabile al modello base e ad altri sistemi di alto livello.
• Studi di Ablazione: Rimuovere l'addestramento con voice-conversion (GRAFT no VC) ha portato il modello a copiare la voce del parlatore dell'hint (facendo crollare la similitudine del parlatore a 0.20), confermando che l'addestramento con voice-conversion è necessario per il disaccoppiamento. Rimuovere le augmentation ha degradato leggermente le prestazioni ma non ha fatto collassare il sistema.
• Capacità Multi-Hint: Il sistema può gestire fino a cinque parole innestate in una singola frase portante, con una degradazione della precisione della pronuncia solo lieve all'aumentare del numero di hint.

5. Significato e Rivendicazioni

Il paper sostiene che GRAFT affronti un limite specifico degli attuali sistemi TTS: l'incapacità di rendere fedelmente parole rare o ambigue senza un input fonetico esperto. Utilizzando un esempio parlato come segnale di condizionamento, GRAFT consente a non esperti di prescrivere la pronuncia semplicemente pronunciando la parola. Gli autori sottolineano che il loro approccio non si basa sulla correttezza canonica (lessici) ma sul trasferimento fedele di una pronuncia fornita.

Il significato risiede nel disaccoppiamento tra pronuncia e identità del parlatore ottenuto attraverso l'addestramento con voice-conversion, che permette a un hint proveniente da qualsiasi voce di essere reso in una specifica voce target. Il paper posiziona GRAFT come una soluzione pratica per domini che coinvolgono nomi propri, marchi e termini tecnici dove i front-end basati sul testo falliscono. Gli autori osservano che, sebbene l'attuale benchmark si concentri su lingue non tonali e parole singole, la dipendenza del metodo da token acustici piuttosto che da fonemi simbolici suggerisce potenziali sviluppi futuri per le lingue tonali e per intervalli di più parole, aree in cui i front-end simbolici solitamente faticano.