Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment

Ce papier présente Harf-Speech, un cadre modulaire aligné cliniquement qui évalue la prononciation arabe au niveau phonémique avec une précision comparable à celle des experts, comblant ainsi le manque d'outils validés pour la thérapie de la parole et l'apprentissage des langues en arabe.

L'essentiel

🗣️ Harf-Speech : Le "Coach de Prononciation" Intelligent pour l'Arabe

Imaginez que vous essayez d'apprendre à jouer du violon. Si vous jouez une fausse note, un ami musicien peut vous dire : « Attention, ton doigt est mal placé sur la corde ! ». C'est ce que font les orthophonistes (les experts de la parole) pour les gens qui ont du mal à prononcer les mots.

Mais il y a un problème : il n'y a pas assez de musiciens pour tout le monde, et c'est cher. De plus, les applications existantes (comme celles de Microsoft ou Google) sont comme des ensembles de vêtements "taille unique". Elles sont faites pour tout le monde, mais elles ne comprennent pas les spécificités de l'arabe, comme les sons profonds de la gorge ou les voyelles courtes qui changent tout le sens d'un mot.

C'est là qu'intervient Harf-Speech. C'est un nouveau système créé par des chercheurs pour aider les arabophones à corriger leur prononciation, mot par mot, son par son.

---

🔍 Comment ça marche ? (L'analogie du Détective Musical)

Le système fonctionne comme un détective très méticuleux qui compare ce que vous avez dit avec ce que vous deviez dire. Voici les 4 étapes, expliquées simplement :

1. La Partition de Référence (Le Phonetizer) :
   D'abord, le système lit le mot correct (par exemple, "Prépare-toi"). Il ne le regarde pas comme un texte, mais comme une partition de musique. Il le transforme en une liste précise de sons (phonèmes). C'est la "vraie" note à jouer.

2. L'Enregistrement (Le Micro) :
   Vous parlez dans le micro. Le système enregistre votre voix.

3. Le Traducteur de Sons (Le Modèle ASR) :
   C'est le cœur du système. Les chercheurs ont entraîné une intelligence artificielle (un modèle appelé OmniASR) spécifiquement pour l'arabe. Au lieu de vous dire "Tu as dit 'Prépare-toi'", elle vous dit : "Tu as émis les sons : k, u, m, m, a...".
   L'analogie : Imaginez un traducteur qui ne traduit pas les mots, mais qui écoute la musique de votre voix et écrit les notes exactes que vous avez jouées.

4. Le Juge de Concours (L'Algorithme de Score) :
   Le système compare votre liste de notes avec la partition de référence. Il utilise deux règles :

   • La règle du "C'est bien rangé" (LCS) : Est-ce que l'ordre des sons est bon ?
   • La règle du "C'est exact" (Distance d'édition) : Avez-vous oublié un son ? En avez-vous ajouté un ? Avez-vous confondu deux sons ?

   Il calcule ensuite un score sur une échelle de 0 à 5, comme un juge de concours de chant.

---

🏆 Pourquoi c'est spécial ? (La Preuve par l'Expert)

Pour savoir si leur "coach" était bon, les chercheurs ont fait un test très sérieux. Ils ont pris 40 enregistrements de personnes parlant et les ont donnés à trois orthophonistes experts (des humains avec 8 à 10 ans d'expérience) pour qu'ils les notent.

Ensuite, ils ont comparé les notes des humains avec celles de Harf-Speech.

• Le résultat : Harf-Speech a obtenu une corrélation de 0,79 avec les experts humains.
  • En langage simple : Si les experts disent "C'est un 4/5", Harf-Speech dit presque toujours "C'est un 4/5" aussi. C'est très proche de l'accord entre deux humains !
• La comparaison : Ils ont aussi testé le système de Microsoft (Azure). Là, le système de Microsoft était moins d'accord avec les experts (comme si un juge amateur notait le concert).

💡 Les grandes idées à retenir

1. Pas de "Taille Unique" : Les systèmes commerciaux sont comme des manteaux trop grands pour l'arabe. Harf-Speech est un costume sur mesure, conçu spécifiquement pour les sons complexes de la langue arabe.
2. Apprentissage par la pratique : Au lieu d'utiliser un modèle générique, les chercheurs ont "entraîné" leur IA avec des milliers d'exemples d'arabe (y compris des erreurs volontaires) pour qu'elle devienne une experte.
3. Pour qui ? Ce système peut aider les enfants avec des troubles de la parole, les personnes apprenant l'arabe, ou simplement ceux qui veulent améliorer leur élocution, le tout de manière automatisée et peu coûteuse.

En résumé : Harf-Speech est comme un coach de prononciation personnel, infatigable et ultra-spécialisé, capable de vous dire exactement quel son vous ratez, avec la même précision qu'un expert humain, mais disponible 24h/24 sur votre téléphone.

Résumé technique

1. Problématique

L'évaluation automatisée de la prononciation au niveau des phonèmes est cruciale pour la thérapie de la parole et l'apprentissage des langues, mais les outils validés cliniquement pour l'arabe font cruellement défaut.

• Défis spécifiques à l'arabe : La langue arabe (notamment l'Arabe Standard Moderne - ASM) présente une grande complexité phonologique, avec un inventaire consonantique riche, des phonèmes emphatiques et pharyngaux, et un rôle fonctionnel des voyelles courtes et des diacritiques.
• Limites des solutions existantes : Les systèmes commerciaux (comme Microsoft Azure) fonctionnent souvent comme des "boîtes noires" propriétaires, non adaptés aux spécificités phonologiques de l'arabe et sans validation par des experts cliniciens (orthophonistes).
• Besoin : Il existe un besoin urgent d'un système ouvert, modulaire et validé cliniquement capable de fournir un feedback interprétable au niveau du phonème pour le diagnostic des déficits d'articulation.

2. Méthodologie : Architecture de Harf-Speech

Harf-Speech est un cadre modulaire conçu pour évaluer la prononciation arabe selon une échelle clinique (0 à 5). L'architecture se compose de quatre étapes principales :

1. Génération de phonèmes de référence :

   • Utilisation d'un phonétiseur basé sur l'ASM pour convertir le texte de référence en séquence de phonèmes canoniques.
   • Normalisation des phonèmes (suppression des suffixes de position, résolution des géminées) selon l'alphabet "Harf".

2. Prédiction Phonème-à-Parole (Speech-to-Phoneme) :

   • Conversion directe de l'audio du participant en étiquettes de phonèmes.
   • Modélisation : Au lieu d'utiliser des modèles "zero-shot" multimodaux (qui sous-performent), les auteurs ont affiné (fine-tuned) plusieurs architectures ASR de pointe sur des données de phonèmes arabes. Le modèle retenu comme meilleur est OmniASR-CTC-1B-v2.

3. Segmentation et Alignement :

   • Segmentation : Un Grand Modèle de Langage (LLM) est utilisé pour aligner les séquences de phonèmes de référence et prédites au niveau des mots.
   • Alignement : L'algorithme de distance de Levenshtein est appliqué pour identifier les substitutions, insertions et suppressions de phonèmes.

4. Algorithme de Notation (Scoring) :

   • Le score final est une combinaison pondérée de deux métriques :
     • Ratio LCS (Longest Common Subsequence) : Mesure la fidélité séquentielle (préservation de l'ordre).
     • Score de Prononciation (PronScore) : Calculé à partir de la précision (Accuracy) et de l'exhaustivité (Completeness) basées sur les erreurs d'édition.
   • Formule : $Score_{Harf} = w_{lcs} \times Ratio_{LCS} + w_{pron} \times PronScore$.
   • Le résultat est ensuite mappé linéairement sur une échelle clinique de 0 à 5.

3. Contributions Clés

• Cadre Cliniquement Validé : Présentation d'un système complet pour l'évaluation de la prononciation arabe au niveau des phonèmes, validé par des orthophonistes certifiés, comblant le vide laissé par les solutions propriétaires génériques.
• Optimisation des Modèles ASR : Affinement et comparaison de multiples architectures ASR (Wav2Vec2, Qwen3, OmniASR) sur des données de phonèmes arabes, démontrant une amélioration significative par rapport aux modèles multimodaux zero-shot.
• Alignement Expert : Établissement d'une référence de vérité terrain via l'évaluation indépendante de 40 énoncés par trois orthophonistes certifiés, permettant une analyse d'alignement système-expert et d'accord inter-évaluateurs.

4. Résultats Expérimentaux

A. Reconnaissance de Phonèmes (PER - Phoneme Error Rate)

• Le modèle OmniASR-CTC-1B-v2 (affiné) a atteint le meilleur taux d'erreur de phonèmes (8,92 %) avec un facteur temps réel (RTF) extrêmement faible de 0,004.
• Les modèles zero-shot (Gemini-3-pro, Qwen) ont montré des performances nettement inférieures (PER > 15 %) et des temps d'inférence prohibitifs.
• Cela confirme que l'affinage spécifique à la tâche est essentiel pour l'arabe.

B. Validation Clinique et Accord

• Accord Inter-Experts : Les trois orthophonistes ont montré un accord fort (PCC entre 0,858 et 0,927, ICC ≥ 0,846), validant la fiabilité de la référence humaine.
• Performance de Harf-Speech vs Experts :
  • Corrélation de Pearson (PCC) : 0,791 avec la moyenne des scores experts.
  • ICC(2,1) : 0,659.
  • Accord ±1 point : 76,9 %.
• Comparaison avec Azure Pronunciation Assessment :
  • Harf-Speech surpasse nettement la solution commerciale Azure.
  • Gain de +0,156 en PCC et réduction de 16 % de l'erreur absolue moyenne (MAE) par rapport à la moyenne des experts.
  • Les graphiques de dispersion montrent que Harf-Speech suit la ligne d'identité beaucoup plus étroitement qu'Azure, avec moins de déviations importantes.

5. Signification et Impact

• Validité Clinique : Harf-Speech démontre qu'un système ouvert et localisé peut atteindre un niveau de fiabilité comparable à l'accord entre experts humains, surpassant les solutions génériques propriétaires.
• Évolutivité et Accessibilité : En fournissant un cadre modulaire et open-source, ce travail permet un déploiement scalable pour la thérapie de la parole et l'apprentissage de l'arabe, réduisant la dépendance aux spécialistes humains pour le dépistage initial.
• Réplicabilité : La méthodologie offre un modèle reproductible pour l'adaptation à d'autres langues et dialectes, en mettant l'accent sur l'alignement avec les critères cliniques plutôt que sur la simple reconnaissance de la parole.

En conclusion, Harf-Speech représente une avancée majeure vers des technologies d'évaluation de la prononciation qui sont à la fois techniquement robustes et cliniquement pertinentes pour la communauté arabophone.