Sintesi Tecnica: TTS con Neural-Codec Affidabile tramite Autoverifica ASR e Distillazione

1. Definizione del Problema

I modelli di Text-to-Speech (TTS) con neural-codec, che utilizzano modelli linguistici autoregressivi su token acustici discreti decodificati da neural-codec, sono diventati un paradigma dominante. Tuttavia, soffrono di fallimenti catastrofici stocastici. Sebbene questi modelli rendano la maggior parte delle frasi in modo pulito, falliscono in modo imprevedibile su una frazione significativa di utterance:

• Dropout: Emissione di silenzio o terminazione anticipata (conteggio dei token di parlato < 25).
• Collasso: Generazione di loop ripetitivi o contenuti allucinati.

Queste modalità di fallimento rendono i modelli inadatti alla distribuzione. Lavori precedenti hanno caratterizzato queste modalità, ma una soluzione generale e a basso costo applicabile a diversi modelli e codec è rimasta elusiva. Il documento identifica che lo standard Word Error Rate (WER) non è sufficiente per misurare la robustezza in questo contesto, in particolare per numeri e date, a causa del rumore di canonicalizzazione tra cifre e parole.

2. Metodologia

A. Metrica: Verifica Round-Trip ASR

Gli autori propongono una metrica robusta al formato basata su un processo ASR round-trip. Una generazione $g$ per il testo di riferimento $x$ è segnalata come fallimento catastrofico se:

1. Dropout: Il conteggio dei token di parlato decodificati $n(g) < 25$ OPPURE il conteggio delle parole della trascrizione ASR $|h(g)| \le 1$.
2. Collasso/Contenuto Errato: Il Word Error Rate $WER(h(g), x) > 0.5$.

Questa metrica evita gli artefatti confondenti della formattazione di numeri/date che affliggono lo standard WER.

B. Soluzione al Tempo di Test: Best-of-N Self-Verification

L'intervento primario è una procedura al tempo di test in cui $N$ candidati vengono campionati per un singolo prompt. Ogni candidato viene trascritto tramite ASR, e quello con il WER più basso (che non sia un dropout) viene selezionato.

• Un prompt è considerato un "fallimento" solo se tutti i $N$ candidati falliscono.
• Questo funge da meccanismo di selezione oracle, riducendo il tasso di fallimento catastrofico (CFR) all'aumentare di $N$.

C. Soluzione al Tempo di Inferenza: Distillazione

Per eliminare il costo di inferenza $N \times$ del Best-of-N, gli autori distillano il comportamento verificato nel modello:

• Supervised Fine-Tuning (SFT): Il modello viene perfezionato (utilizzando LoRA) sul singolo miglior campione auto-verificato per ogni prompt di addestramento.
• Ottimizzazione delle Preferenze: Gli autori confrontano l'SFT con l'offline Direct Preference Optimization (DPO), l'Iterative Preference Optimization (IPO) e un Failure-Targeted Pairing (FTPO) in cui i campioni rifiutati sono specificamente dropout o collassi.
• Variante Iterativa Online: Un approccio on-policy in cui il modello ricampiona, riconsidera il punteggio e riaddestra in round.

3. Setup Sperimentale

• Modelli: Sono stati testati quattro sistemi open: Llasa-1B, Llasa-3B, Orpheus-3B e CSM-1B.
• Codec: Sono stati utilizzati tre distinti neural-codec: XCodec2, SNAC e Mimi.
• Dataset:
  • Hard Set: 26 prompt scritti a mano (normali, lunghi, scioglilingua) progettati per stressare la robustezza (156 generazioni).
  • Standard Corpus: 120 trascrizioni LibriSpeech test-clean tenute fuori dal training (360 generazioni).
• Baseline: I tassi di fallimento catastrofico single-shot (Best-of-1) variavano da circa ~0.008 a ~0.36 a seconda del modello e della difficoltà dell'input.

4. Risultati Chiave

A. Il Best-of-N Porta i Fallimenti Vicino allo Zero

Il meccanismo di auto-verifica elimina efficacementamente i fallimenti catastrofici attraverso diverse architetture:

• LibriSpeech (Standard): Per Llasa-1B, Orpheus-3B e CSM-1B, il tasso di fallimento è sceso a 0 fallimenti osservati (limite superiore al 95% $\approx 0.008$) con $N=2$.
• Hard Set: Per Llasa-1B, il tasso è sceso da 0.269 (single-shot) a 0 fallimenti osservati con $N=4$.
• Generalizzazione: Questa riduzione si è replicata attraverso tre diversi codec (XCodec2, SNAC, Mimi) e quattro modelli, suggerendo che la correzione è una proprietà generale del codec-TTS piuttosto che un artefatto specifico del modello.
• Limitazione: Llasa-3B non ha raggiunto il pavimento dello zero (stabilizzandosi a 0.033), e gli autori lo attribuiscono a un budget di generazione più stretto utilizzato durante la run 3B piuttosto che a un limite fondamentale di scala.

B. La Distillazione Rende la Correzione "Gratuita"

Distillare il comportamento auto-verificato nel modello recupera la robustezza nella decodifica single-shot:

• Input Hard: Sul hard set, i tassi di fallimento single-shot sono diminuiti da 0.199 (base) a 0.083–0.096 (distillato), chiudendo circa il 52–58% della massa di fallimento.
• Input Easy: Su prosa standard di LibriSpeech, dove il modello base era già affidabile (0.058), la distillazione non ha mostrato alcuna variazione rilevabile, confermando che il guadagno è concentrato dove è necessario.
• Costo: Il modello distillato ottiene questi guadagni con nessun costo al tempo di test (inferenza single-shot).

C. Preference Optimization vs. Supervised Distillation

• Metodi Offline: DPO, IPO e FTPO offline non hanno superato la semplice distillazione supervisionata (SFT). Le differenze erano statisticamente indistinguibili (gli intervalli si sovrappongono pesantemente).
• Iterativo Online: Una variante on-policy iterativa online ha mostrato i tassi di fallimento più bassi (0.013–0.026), ma è stata valutata su un sottoinsieme più piccolo. Gli autori notano che questa è una direzione promettente, ma non è statisticamente separabile dalla distillazione a singolo passaggio alla loro attuale scala di valutazione.

D. Limiti di Capacità

Lo studio identifica due limiti che l'auto-distillazione non può superare:

1. Parole Rare: Per prompt contenenti parole rare (es. otorinolaringoiatra), il modello base spesso manca della capacità di generare un campione fedele anche con $N=3$. La distillazione non può fabbricare la capacità che il modello base non possiede.
2. Robustezza di Numeri/Date: La metrica per questi input è dominata da artefatti di tokenizzazione/canonicalizzazione piuttosto che da fallimenti acustici, rendendoli un limite di misurazione piuttosto che un problema di robustezza risolvibile tramite questo metodo.

5. Significato e Rivendicazioni

Il documento sostiene che i fallimenti catastrofici nei TTS con neural-codec non sono un prezzo intrinseco del paradigma, ma un problema di affidabilità risolvibile.

• Correzione Generale: La combinazione di verifica Best-of-N e distillazione è una soluzione generale che funziona su molteplici modelli e codec, non solo su un sistema specifico.
• Efficienza dei Costi: La "correzione" è economica da implementare al tempo di test (campionamento) e può essere resa gratuita al tempo di inferenza (distillazione).
• Miglioramento Mirato: Il metodo mira specificamente al "budget di fallimento" (input difficili) senza degradare le prestazioni sugli input già affidabili.
• Limiti Onesti: Gli autori dichiarano esplicitamente che il loro metodo non risolve i gap di capacità per le parole rare e che la variante iterativa online, sebbene promettente, richiede un'ulteriore validazione su scala maggiore. Riconoscono inoltre che il guadagno della distillazione è attualmente inferito da un confronto tra regimi (hard vs. easy) e richiede uno sweep di difficoltà all'interno del corpus per isolare completamente il meccanismo.

In conclusione, il documento dimostra che un semplice ciclo di verifica consapevole del riferimento può portare i tassi di fallimento catastrofico vicino allo zero, e che questa robustezza può essere trasferita con successo all'inferenza single-shot, rendendo il neural-codec TTS significativamente più vitale per la distribuzione.