CN-NewsTTS Bench: a target-level automatic benchmark for raw-input Chinese news TTS pronunciation

Sintesi Tecnica: CN-NEWSTTS BENCH

Problematica
I testi di notizie in cinese contengono spesso forme scritte dense e non standard — come punteggi sportivi (es. 96-91), nomi di modelli con trattini (es. 苏 -27), intervalli, simboli di unità, percentuali e nomi misti tra cinese, latino e cifre. Sebbene questi elementi siano univoci per gli editori umani, rappresentano sfide significative per i sistemi di Text-to-Speech (TTS). Un modello TTS può preservare la stringa scritta alterando però il significato parlato (ad esempio, leggendo un punteggio come un intervallo o un modello militare come un numero negativo). I metodi di valutazione esistenti, come i test soggettivi del Mean Opinion Score (MOS) o i confronti generici round-trip tramite ASR, sono troppo grossolani per tracciare queste specifiche decisioni di lettura ad alto impatto. Inoltre, i benchmark attuali spesso si affidano alla normalizzazione lato utente, alla riscrittura tramite Large Language Model (LLM) o a suggerimenti SSML, fallendo nel valutare il comportamento "raw-input" (input grezzo) delle API TTS distribuite.

Metodologia
Il documento introduce CN-NewsTTS Bench v0.1, un benchmark automatico aperto a livello di target, progettato per valutare la pronuncia del TTS per notizie in cinese partendo da testo grezzo senza regole esterne o modifiche manuali.

• Costruzione dei Dati: Il dataset consiste in 1.000 frasi deterministiche e sintetiche in stile giornalistico, generate da template e lessici specifici per categoria (coprendo sport, modelli militari, unità tecniche, ecc.). Include un set di sviluppo di 200 record e un set di test pubblico di 800 record, contenente 992 target auto-valutabili.

• Protocollo di Valutazione (Raw Input Product Track): I sistemi vengono valutati sulla loro capacità di elaborare direttamente il testo originale delle notizie in cinese. La normalizzazione interna al provider è consentita, ma sono rigorosamente esclusi frontend di regole esterne, riscritture LLM, suggerimenti SSML e modifiche manuali del testo. Viene utilizzata una voce fissa per tutti i campioni per isolare le prestazioni di pronuncia.

• Protocollo di Scoring a Tre ASR: Per evitare la soggettività dell'ascolto umano e i limiti dei singoli modelli ASR, il benchmark impiega un ensemble eterogeneo di tre rotte ASR:

  1. MiMo API ASR (basato su API)
  2. SenseVoiceSmall (open-source locale)
  3. Paraformer-zh (open-source locale)

  Lo scorer normalizza le trascrizioni (Unicode, maiuscole, punteggiatura) e le confronta con pattern di lettura predefiniti "positivi" (corretti) e "negativi" (errati). Un target è marcato come corretto se viene trovato un pattern positivo, errato se viene trovato un pattern negativo, e sconosciuto altrimenti. I risultati finali utilizzano il voto di maggioranza (almeno due rotte devono concordare).

• Metriche: La metrica primaria è la Strict Auto Accuracy (target corretti divisi per totali target auto-valutabili). Gli autori riportano anche la Coverage (target risolti come corretti o errati) e la Resolved Accuracy (target corretti divisi per target risolti) per evitare che i sistemi appaiano accurati semplicemente fallendo la risoluzione di target difficili.

Contributi Chiave

1. Split Deterministico Aperto: Una divisione fissa dev/public per i target di pronuncia delle notizie in cinese, garantendo la riproducibilità.
2. Raw Input Product Track: Un percorso di valutazione specifico che esclude la normalizzazione lato utente, testando il comportamento end-to-end delle API TTS distribuite.
3. Schema a Livello di Target: Uno schema di valutazione granulare che distingue tra letture positive e negative per target specifici.
4. Scoring Automatico a Tre ASR: Un protocollo robusto che utilizza un ensemble di modelli ASR con diagnostica di rotta e studi di ablazione per gestire l'ambiguità.
5. Leaderboard Riproducibile: Risultati iniziali per sette sistemi TTS di prodotto, fornendo una base per futuri confronti.

Risultati
Il benchmark ha valutato sette principali sistemi TTS: Volcano/Doubao, Azure, Google, MiniMax, Aliyun, MiMo e AWS Polly.

• Varianza delle Prestazioni: Esiste una sostanziale variazione nelle prestazioni. Il miglior sistema (Volcano) ha raggiunto una precisione rigorosa di 0,879, mentre diversi sistemi ampiamente utilizzati hanno ottenuto punteggi inferiori a 0,60.
• Difficoltà per Categoria: Le prestazioni variano significativamente per categoria. I sistemi risolvono ampiamente percentuali, modelli di veicoli e abbreviazioni. Tuttavia, i punteggi sportivi sono stati la categoria più difficile (precisione rigorosa fino a 0,000 per alcuni sistemi), spesso letti erroneamente come intervalli o sottrazioni. I simboli di unità hanno presentato il tasso più alto di "sconosciuti" a causa dei limiti dell'ASR nell'esporre le letture a livello di simbolo.
• Diagnostica ASR: L'ensemble a tre rotte ha mostrato che, sebbene le singole rotte avessero una precisione rigorosa simile, la loro copertura differiva. Il MiMo API ASR è conservativo (alta precisione risolta ma molti sconosciuti), mentre i modelli locali risolvono più target. Il voto di maggioranza ha ridotto l'impatto degli errori delle singole rotte.
• Modalità di Fallimento: Per i sistemi con punteggio zero sui punteggi sportivi, il fallimento dominante è stato la lettura dei trattini dei punteggi come intervalli (ad esempio, interpretare "96-91" come "96 a 91" invece di "96 contro 91").

Significatività e Rivendicazioni
Il documento sostiene che CN-NewsTTS Bench v0.1 rende un comune errore di produzione — la pronuncia errata di forme compatte delle notizie in cinese — misurabile e riproducibile. Fissando la divisione dei dati, le trascrizioni ASR, lo scorer e le diagnostiche di categoria, il benchmark fornisce un modo standardizzato per valutare il comportamento del TTS su input grezzi. I risultati indicano che, nonostante i progressi del TTS, la lettura corretta di queste forme non standard rimane una sfida pratica per gli attuali prodotti commerciali. Gli autori sottolineano che il benchmark è uno strumento automatico inteso a integrare, non a sostituire, i test di ascolto umano, in particolare per rilevare errori di tono che il testo ASR potrebbe nascondere.