Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean

Sintesi Tecnica: Colmare il divario qualitativo nel Text-to-Speech a basse risorse tramite il fine-tuning LoRA di VoxCPM2

Problematica
Sebbene i grandi modelli pre-addestrati di Text-to-Speech (TTS) raggiungano una qualità quasi umana per le lingue con abbondanti risorse (es. inglese, mandarino), essi mostrano un significativo divario qualitativo per le lingue a basse risorse. Questo divario è caratterizzato da errori di pronuncia, accenti e intonazioni goffi e da una qualità sintetica evidente. Il problema è particolarmente acuto per lingue come il khmer, che sono sottorappresentate nei dati di pre-addestramento e possiedono caratteristiche ortografiche uniche (es. mancanza di spazi tra le parole). Il fine-tuning completo convenzionale è computazionalmente costoso, richiede checkpoint separati per ogni lingua e rischia il "catastrophic forgetting" (oblio catastrofico). Il Parameter-Efficient Fine-Tuning (PEFT), specificamente il Low-Rank Adaptation (LoRA), offre una potenziale soluzione, ma la sua efficacia nel colmare il divario qualitativo per il TTS a basse risorse e la sua capacità di servire più lingue tipologicamente distinte tramite un singolo adapter condiviso rimangono questioni aperte.

Metodologia
Gli autori indagano queste questioni utilizzando VoxCPM2, un modello TTS da 2,4 miliardi di parametri, privo di tokenizer, che combina un backbone linguistico MiniCPM-4 con un decoder di diffusione flow-matching.

• Costruzione del Corpus: È stato creato un corpus condiviso e marcato per lingua che comprende circa 26 ore di audio in khmer (3,96 ore) e coreano (22,21 ore). I dati in khmer sono stati estratti dall'Istituto di Ricerca e Innovazione Digitale (Cambogia), mentre i dati in coreano provengono dal corpus KSS e da Common Voice/FLEURS. Per affrontare la scarsità di dati, i clip di addestramento in khmer sono stati sottoposti a upsampling per costituire il 40% del mix di addestramento.
• Adattamento del Modello: Invece del fine-tuning completo, un singolo adapter LoRA condiviso è stato applicato al backbone congelato di VoxCPM2. Questo adapter è stato applicato alle proiezioni di query, key, value e output dei meccanismi di attenzione sia nel modello linguistico MiniCPM-4 (strati base e residui) che nel decoder di diffusione flow-matching.
• Configurazione dell'Addestramento: L'adapter è stato inizializzato a zero ($\Delta W = 0$), garantendo che l'addestramento iniziasse esattamente dal baseline zero-shot. Lo studio ha testato cinque configurazioni di rank ($r \in \{8, 16, 32, 64, 128\}$), che rappresentano lo 0,19% - 3,03% dei parametri totali. L'addestramento ha utilizzato l'ottimizzatore AdamW con precisione mista su una singola GPU NVIDIA H200.
• Valutazione: Le prestazioni sono state misurate tramite:
  1. Metriche Automatiche: Loss di flow-matching di validazione e loss del token di stop.
  2. Valutazione Umana: Mean Opinion Scores (MOS) su una scala di 5 punti da parte di madrelingua su tre assi: naturalezza, prosodia e pronuncia. La significatività statistica è stata valutata tramite test Wilcoxon signed-rank accoppiati.

Risultati Chiave
Lo studio ha prodotto risultati divergenti per le due lingue, evidenziando la dipendenza dell'efficacia dell'adattamento dalla competenza iniziale del modello base:

• Khmer (Basse Risorse): L'adapter ha prodotto un miglioramento altamente significativo della qualità. Il MOS complessivo è aumentato da 3,85 (zero-shot) a 4,23 con rank 64 ($p < 0,001$). Il guadagno più sostanziale è stato osservato nella prosodia (passando da 3,76 a 4,36), indicando che la debolezza primaria del modello base risiede nel ritmo e nell'intonazione. Notevolmente, anche il più piccolo adapter (rank 8) ha recuperato la maggior parte del guadagno, raggiungendo un MOS di 3,91.
• Coreano (Alte Risorse): Il modello base gestiva già bene il coreano e l'adapter non ha fornito alcun miglioramento significativo complessivo. Di fatto, i rank più elevati (specificamente il rank 64) hanno degradato significativamente la qualità (il MOS è sceso a 3,48, $p = 0,02$), principalmente a causa di una perdita di naturalezza. Ciò suggerisce che per le lingue che il modello conosce già bene, la capacità aggiuntiva porta all'overfitting sul piccolo dataset di fine-tuning.
• Discrepanza tra Loss e Percezione: Un risultato critico è il disallineamento tra la loss automatica e la percezione umana. La loss di validazione era minima al rank 128 (0,7094), ma il MOS più alto per il khmer si è verificato al rank 64. La loss continuava a diminuire al rank 128, ma la qualità percettiva è calata, suggerendo che la loss di validazione sovrastima il valore della capacità aggiuntiva.

Contributi Chiave

1. Adapter Multilingue Condiviso: Gli autori presentano il primo adattamento efficiente dei parametri di un modello TTS fondazionale per il khmer. Dimostrano che un singolo, piccolo adapter LoRA (0,19–3,03% dei parametri) può servire efficacemente due lingue tipologicamente distinte (khmer e coreano) simultaneamente senza richiedere modelli separati.
2. Efficacia dell'Adattamento Mirato: Lo studio valida empiricamente che l'adattamento produce guadagni significativi solo dove il modello base è realmente debole. La dimensione "utile" dell'adapter scala con la distanza tra la lingua e la conoscenza esistente del modello; i grandi divari (khmer) assorbono più capacità, mentre i piccoli divari (coreano) soffrono di overfitting.
3. Insight sulla Selezione del Rank: Il lavoro mette in discussione l'affidamento alla loss di validazione per la selezione degli iperparametri nel TTS. Dimostra che il rank ottimale per la qualità percettiva (rank 64 per il khmer) non coincide necessariamente con la loss di validazione più bassa (rank 128), raccomandando i test di ascolto come metrica primaria per la selezione del rank.
4. Utilità Diagnostica: Gli autori propongono che l'entità del miglioramento fornito da un adapter inizializzato a zero serva come sonda per la conoscenza esistente della lingua da parte del modello base.

Significatività e Rivendicazioni
Il documento sostiene che i piccoli adapter LoRA siano un meccanismo altamente efficace e a basso consumo di risorse per colmare il divario qualitativo nel TTS a basse risorse, a condizione che il modello base manchi di sufficiente conoscenza pregressa della lingua target. Lo studio sottolinea che un rank globale "taglia unica" non è appropriato; invece, la selezione del rank deve essere specifica per la lingua e guidata dalla valutazione percettiva piuttosto che dalla loss automatica.

Gli autori segnalano con modestia alcuni limiti, tra cui la mancanza di un limite superiore del fine-tuning completo, i potenziali fattori di confondimento tra la copertura linguistica e la qualità della fonte dei dati (corpus privati vs pubblici) e i panel di valutatori relativamente piccoli utilizzati per la valutazione MOS. Concludono che il lavoro futuro dovrebbe concentrarsi sull'instaurazione di baseline di fine-tuning completo ed espandere la valutazione includendo più lingue a basse risorse e metriche oggettive.