CN-NewsTTS Bench: a target-level automatic benchmark for raw-input Chinese news TTS pronunciation

Résumé Technique : CN-NEWSTTS BENCH

Énoncé du Problème
Les textes d'actualité chinois contiennent fréquemment des formes écrites denses et non standard — telles que des scores sportifs (ex. : 96-91), des noms de modèles avec traits d'union (ex. : 苏 -27), des plages de valeurs, des symboles d'unités, des pourcentages et des noms mixtes (chinois-latin-chiffres). Bien que ces chaînes soient sans ambiguïté pour les éditeurs humains, elles présentent des défis importants pour les systèmes de synthèse vocale (TTS). Un modèle TTS peut préserver la chaîne écrite tout en altérant le sens parlé (par exemple, lire un score comme une plage de valeurs, ou un modèle militaire comme un nombre négatif). Les méthodes d'évaluation existantes, telles que les tests subjectifs de score moyen d'opinion (MOS) ou les comparaisons de va-et-vient ASR génériques, sont trop imprécises pour suivre ces décisions de lecture spécifiques à fort impact. De plus, les benchmarks actuels reposent souvent sur la normalisation par l'utilisateur, la réécriture par des modèles de langage (LLM) ou des indices SSML, échouant ainsi à évaluer le comportement en « entrée brute » (raw-input) des API TTS déployées.

Méthodologie
Le document présente le CN-NewsTTS Bench v0.1, un benchmark automatique ouvert au niveau de la cible, conçu pour évaluer la prononciation du TTS d'actualités chinoises à partir de texte brut, sans règles externes ni éditions manuelles.

• Construction des Données : Le jeu de données se compose de 1 000 phrases de style actualités synthétiques et déterministes, générées à partir de modèles et de lexiques spécifiques aux catégories (couvrant le sport, les modèles militaires, les unités techniques, etc.). Il comprend un ensemble de développement de 200 enregistrements et un ensemble de test public de 800 enregistrements, contenant 992 cibles évaluables automatiquement.

• Protocole d'Évaluation (Piste Produit d'Entrée Brute) : Les systèmes sont évalués sur leur capacité à traiter directement le texte d'actualité chinois original. La normalisation interne au fournisseur est autorisée, mais les frontends de règles externes, les réécritures par LLM, les indices SSMM et les éditions manuelles de texte sont strictement exclus. Une voix fixe est utilisée pour tous les échantillons afin d'isoler la performance de prononciation.

• Protocole de Notation par Trois-ASR : Pour éviter la subjectivité de l'écoute humaine et les limites des modèles ASR uniques, le benchmark utilise un ensemble hétérogène de trois routes ASR :

  1. ASR via API MiMo (basé sur API)
  2. SenseVoiceSmall (Open-source local)
  3. Paraformer-zh (Open-source local)

  Le score normalise les transcriptions (Unicode, casse, ponctuation) et les compare à des modèles de lecture prédéfinis « positifs » (corrects) et « négatifs » (incorrects). Une cible est marquée comme correcte si un modèle positif est trouvé, incorrecte si un modèle négatif est trouvé, et inconnue autrement. Les résultats finaux utilisent un vote majoritaire (au moins deux routes doivent être d'accord).

• Métriques : La métrique principale est la Précision Automatique Stricte (cibles correctes divisées par le total des cibles évaluables automatiquement). Les auteurs rapportent également la Couverture (cibles résolues comme correctes ou incorrectes) et la Précision Résolue (cibles correctes divisées par les cibles résolues) pour éviter que les systèmes ne paraissent précis simplement en échouant à résoudre les cibles difficiles.

Contributions Clés

1. Séparation Déterministe Ouverte : Une séparation fixe dev/public pour les cibles de prononciation de l'actualité chinoise, garantissant la reproductibilité.
2. Piste Produit d'Entrée Brute : Une piste d'évaluation spécifique qui exclut la normalisation côté utilisateur, testant le comportement de bout en bout des API TTS déployées.
3. Schéma au Niveau de la Cible : Un schéma d'évaluation granulaire distinguant les lectures positives et négatives pour des cibles spécifiques.
4. Notation Automatique par Trois-ASR : Un protocole robuste utilisant un ensemble de modèles ASR avec des diagnostics de route et des études d'ablation pour gérer l'ambiguïté.
5. Classement Reproductible : Résultats initiaux pour sept systèmes TTS de produits, fournissant une base de comparaison pour le futur.

Résultats
Le benchmark a évalué sept systèmes TTS majeurs : Volcano/Doubao, Azure, Google, MiniMax, Aliyun, MiMo et AWS Polly.

• Variance de Performance : Il existe une variation substantielle de performance. Le meilleur système (Volcano) a atteint une précision stricte de 0,879, tandis que plusieurs systèmes largement utilisés ont obtenu des scores inférieurs à 0,60.
• Difficulté par Catégorie : La performance varie considérablement selon la catégorie. Les systèmes résolvent largement les pourcentages, les modèles de véhicules et les abréviations. Cependant, les scores sportifs étaient la catégorie la plus difficile (précision stricte tombant à 0,000 pour certains systèmes), souvent lus comme des plages ou des soustractions. Les symboles d'unités présentaient le taux de « inconnus » le plus élevé en raison des limitations de l'ASR pour exposer les lectures au niveau du symbole.
• Diagnostics ASR : L'ensemble des trois routes a montré que, bien que les routes individuelles aient des précisions strictes similaires, leur couverture différait. L'ASR de l'API MiMo était conservateur (haute précision résolue mais beaucoup d'inconnus), tandis que les modèles locaux résolvaient plus de cibles. Le vote majoritaire a réduit l'impact des erreurs de routes individuelles.
• Modes d'Échec : Pour les systèmes affichant un score de zéro sur les scores sportifs, le mode de défaillance dominant était la lecture des traits d'union des scores comme des plages (ex. : interpréter « 96-91 » comme « 96 à 91 » plutôt que « 96 contre 91 »).

Signification et Revendications
L'article affirme que le CN-NewsTTS Bench v0.1 rend un mode de défaillance de production courant — la prononciation incorrecte de formes chinoises compactes — mesurable et reproductible. En fixant la séparation des données, les transcriptions ASR, le scoreur et les diagnostics de catégorie, le benchmark fournit un moyen standardisé d'évaluer le comportement de saisie brute du TTS. Les résultats indiquent qu'en dépit des avancées du TTS, la lecture correcte de ces formes non standard spécifiques reste un défi pratique pour les produits commerciaux actuels. Les auteurs soulignent que ce benchmark est un outil automatique destiné à compléter, et non à remplacer, les tests d'écoute humaine, particulièrement pour détecter les erreurs de ton que le texte ASR peut masquer.