Evaluating Speech Articulation Synthesis with Articulatory Phoneme Recognition

Résumé Technique : Évaluation de la Synthèse de l'Articulation de la Parole par Reconnaissance Articulaire des Phonèmes

Énoncé du Problème
L'évaluation de la synthèse de l'articulation de la parole — spécifiquement la génération de formes du conduit vocal conditionnées par des séquences phonétiques — manque d'une métrique de qualité robuste et objective. Les métriques traditionnelles, telles que les distances point-à-point-le-plus-proche, sont limitées par une variabilité substantielle inter et intra-locuteur et échouent souvent à capturer les nuances de la production des phonèmes, comme les lieux d'articulation corrects. De plus, ces métriques peinent à différencier les modèles génératifs avancés (par exemple, les systèmes sans modèle par rapport aux systèmes basés sur des autoencodeurs) qui peuvent apparaître indiscernables par la distance géométrique mais diffèrent par leur stabilité temporelle et leur précision articulatoire. L'analyse subjective est difficile en raison de la nécessité d'une connaissance spécialisée en anatomie du conduit vocal et en acoustique. Par conséquent, il existe un besoin d'une métrique qui capture mieux l'information phonétique et l'intelligibilité sans se fier uniquement à la reconstruction acoustique.

Méthodologie
Les auteurs proposent d'utiliser la reconnaissance des phonèmes comme métrique proxy pour évaluer la qualité des caractéristiques articulatoires synthétisées. L'hypothèse centrale est qu'un reconnaissant de phonèmes entraîné sur des données articulatoires peut mieux capturer les nuances de production (par exemple, le lieu d'articulation) que les métriques de distance traditionnelles.

1. Jeu de données : L'étude utilise un corpus de 2,5 heures de parole provenant d'une seule locutrice native française, comprenant des images IRM en temps réel (RT-IRM) (50 Hz), de l'audio débruité et des annotations phonétiques manuelles. Le jeu de données est divisé en ensembles d'entraînement (1 399 énoncés), de validation (116) et de test (114).
2. Extraction de caractéristiques :
   • Caractéristiques articulatoires : Les contours de dix articulateurs du conduit vocal (cartilage aryténoïde, épiglotte, incisive inférieure, lèvre inférieure, pharynx, voile du palais, cartilage thyroïde, langue, lèvre supérieure et plis vocaux) sont extraits. Ceux-ci sont concaténés en un vecteur de 500 dimensions à 2 canaux.
   • Encodage de la voisement : Puisque l'IRM médiane sagittale en temps réel manque de données d'excitation des plis vocaux, un encodage catégoriel représentant l'information de voisement est ajouté à l'ensemble des caractéristiques.
   • Caractéristiques synthétiques : L'étude évalue trois synthétiseurs issus de la littérature existante :
     • Moyenne de contour par phonème : Une ligne de base moyennant les contours par phonème.
     • Système sans modèle : Génère des formes directement à partir de séquences de phonèmes sans modèle articulatoire explicite.
     • Système basé sur un autoencodeur : Génère des paramètres articulatoires basés sur une architecture d'autoencodeur.
3. Architecture du modèle : Un reconnaissant de phonèmes basé sur l'architecture Deep Speech 2 est employé. Il se compose d'un bloc adaptateur (pour mapper les entrées articulatoires de 500D vers 80D), suivi de cinq blocs de convolution résiduels et de trois blocs récurrents (GRU), se terminant par un classifieur linéaire.
4. Entraînement et Évaluation :
   • Le reconnaissant est entraîné sur des caractéristiques acoustiques (spectrogrammes Mel) et des caractéristiques articulatoires réelles (avec et sans encodage de voisement) pour établir des lignes de base.
   • Le reconnaissant entraîné est ensuite testé sur les caractéristiques articulatoires synthétiques générées par les trois synthétiseurs.
   • Métriques : La métrique d'évaluation principale est le Taux d'Erreur de Phonèmes (TEP) calculé via la distance de Levenshtein. De plus, l'incorporation stochastique de voisinage distribuée en t (t-SNE) est utilisée pour visualiser les représentations de caractéristiques apprises par les modèles.

Résultats Clés

• Performance de la ligne de base : Le reconnaissant entraîné sur des caractéristiques articulatoires réelles (avec encodage de voisement) a atteint un TEP de 21,66 %, comparable au TEP de 23,30 % atteint en utilisant le signal acoustique. Cela suggère que les contours articulatoires seuls retiennent suffisamment d'informations phonétiques pour rivaliser avec les signaux acoustiques, malgré l'absence d'information source.
• Comparaison des synthétiseurs :
  • Système sans modèle : Étonnamment, ce système a atteint le TEP le plus bas (20,59 %) parmi tous les ensembles testés, surpassant même les caractéristiques articulatoires réelles. Les auteurs suggèrent que cela peut être dû au fait que le synthétiseur filtre le bruit présent dans les données IRM brutes, générant des articulations plus propres.
  • Système basé sur un autoencodeur : Ce système a produit un TEP plus élevé (31,69 %) que l'approche sans modèle, indiquant qu'il reproduit moins d'informations phonétiques, malgré des affirmations antérieures concernant un meilleur apprentissage du lieu d'articulation.
  • Ligne de base de la moyenne de contour : Comme prévu, l'approche simpliste de la moyenne de contour a été la moins performante (TEP de 43,18 %).
• Analyse des confusions : Les matrices de confusion ont révélé des faiblesses spécifiques. Le système sans modèle a présenté des taux d'omission élevés pour les voyelles labiales, postérieures et arrondies, probablement en raison d'un manque de données sur l'arrondissement des lèvres ou de difficultés à approximer la fermeture labiale. Le système autoencodeur a montré des taux d'omission élevés dans toutes les classes, rendant difficile l'isolement de défaillances articulatoires spécifiques.
• Incorporations de caractéristiques : Les graphiques t-SNE ont démontré que l'ajout d'un encodage de voisement créait des groupes distincts et séparables dans l'espace d'incorporation pour les caractéristiques articulatoires, une structure moins apparente dans les caractéristiques acoustiques.

Signification et Revendications
L'article affirme que la Reconnaissance Automatique de la Parole (RAS) sert de métrique objective viable et efficace pour évaluer la synthèse de l'articulation de la parole. Les auteurs soutiennent que :

1. Richeesse phonétique : Les caractéristiques articulatoires extraites de l'IRM en temps réel sont phonétiquement riches et, lorsqu'elles sont combinées avec un encodage de voisement, contiennent des informations comparables ou supérieures à celles du signal acoustique en termes de reconnaissance de phonèmes.
2. Capacité de différenciation : Contrairement aux métriques de distance géométrique, la reconnaissance de phonèmes peut discriminer de manière significative différents modèles génératifs (par exemple, distinguer la stabilité temporelle du système sans modèle de celle du système basé sur un autoencodeur).
3. Alignement avec la perception : L'erreur de reconnaissance corrèle avec les perceptions qualitatives de la parole synthétisée (par exemple, stabilité et intelligibilité), fournissant une mesure objective pour ce qui était auparavant une évaluation subjective.

Les auteurs adoptent une position modeste, notant que leurs résultats sont spécifiques à un seul locuteur en raison du coût élevé et des contraintes logistiques de la collecte de données IRM en temps réel. Ils ne prétendent pas que la méthode est une solution universelle pour tous les locuteurs pour l'instant, mais proposent que la reconnaissance de phonèmes indépendante du locuteur offre une direction prometteuse pour l'évaluation multi-locuteurs future et la normalisation implicite du locuteur dans les pipelines d'entraînement de synthèse.