⚡ electrical engineering

Phoneme-Level Mispronunciation Screening in Polish-Speaking Children with an Explainable Assistant

Cet article présente un pipeline de dépistage léger et explicable pour les enfants de langue polonaise qui combine un reconnaisseur basé sur wav2vec2 avec un assistant pour les soignants afin de détecter les erreurs de prononciation des sibilantes, atteignant une précision de séquence de 88,7 % et une précision de 72,9 % dans le signalement des erreurs tout en mettant l'accent sur les limites de sécurité et la validation par un clinicien.

Auteurs originaux : Milosz Dudek, Daria Hemmerling, Kamil Kwarciak, Maciej Stroinski, Maria Pensko, Mateusz Kowalewski, Leonid Pavlovskyi, Sebastian Jurczak, Anna-Mariia Vitkovska, Zuzanna Miodonska, Natalia Mocko, Micha

Publié 2026-06-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Milosz Dudek, Daria Hemmerling, Kamil Kwarciak, Maciej Stroinski, Maria Pensko, Mateusz Kowalewski, Leonid Pavlovskyi, Sebastian Jurczak, Anna-Mariia Vitkovska, Zuzanna Miodonska, Natalia Mocko, Michal Krecichwost

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Un détecteur de « sons rigolos » pour les enfants

Imaginez un parent essayant d'aider son enfant à prononcer des mots difficiles comme « écureuil » ou « ciseaux ». En polonais, il existe de nombreux sons « sifflants » (comme s, sz, cz) qui sont très similaires mais distincts. Parfois, un enfant peut les confondre (par exemple, en disant « s » quand il veut dire « sz »).

Cet article décrit un outil numérique conçu pour agir comme une trousse de premiers soins utile pour les parents. Il écoute un enfant prononcer des mots spécifiques, vérifie s'il a bien réussi les sons « sifflants » et fournit un rapport simple. Crucialement, les auteurs soulignent que cet outil n'est pas un médecin. Il ne diagnostique pas de maladies ; il signale simplement les points de difficulté potentiels afin que le parent sache quand appeler un véritable orthophoniste.

Comment l'outil fonctionne (Le processus en trois étapes)

Considérez le système comme une équipe de trois personnes travaillant ensemble :

1. La « Super-Oreille » (Le modèle acoustique)

D'abord, le système écoute l'enfant. Il utilise un cerveau IA puissant (basé sur un modèle appelé wav2vec2) qui a été entraîné spécifiquement sur les sons polonais.

La particularité : L'IA standard essaie de deviner le mot que l'enfant prononce. Mais cet outil est différent. Il est entraîné pour deviner les sons spécifiques (les phonèmes) que l'enfant a produits, même s'ils semblaient un peu étranges.
L'astuce des « crochets » : Pour détecter les erreurs, l'IA possède une liste spéciale de « sons suspects ». Si un enfant essaie de dire un son « ch » mais qu'il ressort comme un « s », l'IA ne dit pas simplement « s ». Elle place un crochet mental autour : [s]. Cela indique au système : « Hé, il voulait dire 'ch', mais cela a sonné comme 's' ».

2. Le « Matchmaker » (L'alignement)

Ensuite, le système compare ce que l'enfant a réellement dit par rapport à la version parfaite du mot.

L'analogie : Imaginez que vous alignez deux rangées de briques Lego. Une rangée est le « Mot Parfait » (la cible) et l'autre est le « Mot de l'Enfant » (la réalité).
Le système les fait glisser l'un sur l'autre pour voir où ils ne correspondent pas. Si l'enfant a dit [s] là où le mot parfait nécessite ch, le système marque cet endroit précis comme un « décalage ». Il ignore le reste de la phrase pour se concentrer entièrement sur ce son délicat.

3. Le « Traducteur » (L'assistant explicable)

Enfin, le système doit parler au parent. Il ne peut pas se contenter d'afficher des codes techniques comme « Type d'erreur : Déplacement de lieu ».

Le Modèle : Le système utilise un modèle de type « texte à trous » (style Mad Libs). Il prend les données techniques et remplit les blancs pour créer un message amical et sûr.
Le filet de sécurité : Si le système n'est pas sûr (faible indice de confiance), il ne devine pas. Au lieu de cela, il agit comme un bibliothécaire prudent et dit : « Je ne suis pas sûr de ce que j'ai entendu. Pourriez-vous répéter ce mot encore une fois ? ». Il refuse de faire des affirmations médicales, garantissant que les parents ne paniquent pas face à une fausse alerte.

Qu'ont-ils trouvé ? (Les résultats)

Les chercheurs ont testé cela sur 10 enfants qu'ils n'avaient jamais vus auparavant (pour s'assurer que l'outil fonctionne sur de nouvelles personnes, et pas seulement sur ceux pour lesquels il a été entraîné).

Précision de l'écoute : La « Super-Oreille » a obtenu la séquence de sons exactement juste 88,7 % du temps. C'est comme un élève qui obtient un A à un test d'orthographe.
Détection des erreurs : Lorsque le système a examiné spécifiquement les erreurs de sons « sifflants » :
- Il a détecté environ 61 % des erreurs réelles (Rappel/Recall).
- Lorsqu'il signalait une erreur, il avait raison 73 % du temps (Précision).
- Le meilleur aspect : Il criait rarement « au loup ». Il n'a signalé une erreur que lorsque l'enfant était réellement correct seulement 2,7 % du temps. Ce faible taux de « fausse alerte » est crucial pour que les parents ne soient pas frustrés par un outil qui les harcelerait pour des mots parfaitement prononcés.

Pourquoi est-ce important ? (Le « Pourquoi »)

Le polonais est difficile : Le polonais possède beaucoup de groupes de sons complexes. Les applications de parole standard échouent souvent ici car elles essaient de deviner le mot entier. Cet outil se concentre sur les infimes différences de sons qui comptent pour l'orthophonie.
Pas de « boîte noire » : Beaucoup d'outils d'IA sont mystérieux. Celui-ci est « explicable ». S'il signale une erreur, il peut montrer à un expert humain précisément pourquoi (par exemple : « L'enfant a placé sa langue au mauvais endroit pour ce son »).
Dépistage, pas diagnostic : Les auteurs sont très clairs : il s'agit d'un outil de dépistage. C'est comme un détecteur de fumée. Si le détecteur de fumée se déclenche, vous ne supposez pas que votre maison est en feu ; vous vérifiez. Si l'outil signale une erreur, le parent sait qu'il doit consulter un professionnel.

Résumé

Le papier présente un assistant IA spécialisé qui aide les parents de langue polonaise à repérer les erreurs de sons spécifiques dans le langage de leurs enfants. Il utilise une « Super-Oreille » pour entendre les sons, un « Matchmaker » pour trouver les différences et un « Traducteur » pour donner des conseils simples et sûrs. Il est conçu pour être précis, éviter les fausses alertes et toujours rappeler à l'utilisateur qu'un véritable médecin est nécessaire pour un diagnostic final.

Résumé Technique : Dépistage des erreurs de prononciation au niveau des phonèmes chez les enfants de langue polonaise avec un assistant explicable

Énoncé du Problème

Les troubles des sons de la parole (TSP) sont fréquents au début de l'enfance, mais l'accès rapide à une évaluation spécialisée est souvent limité par des capacités restreintes et des temps d'attente prolongés. Ce fossé motive le développement d'outils de dépistage légers utilisables hors du cadre clinique. Cependant, l'application de la reconnaissance automatique de la parole (RAS) standard à la parole enfantine est problématique en raison des différences acoustiques (tractus vocal plus court, formants plus élevés), de la haute variabilité intra-locuteur et de la présence de réalisations non canoniques systématiques qui font partie du développement normal. De plus, les systèmes de RAS de bout en bout reposent souvent sur de forts a priori de modèles de langage qui peuvent « normaliser » les réalisations inhabituelles vers des mots probables, masquant ainsi les erreurs de contraste minimal essentielles à la détection des erreurs de prononciation.

Le polonais présente un défi spécifique pour le dépistage automatique en raison de son inventaire consonantique dense et de ses fréquents groupes de consonnes, particulièrement concernant les sibilantes. Dans la pratique clinique polonaise, les sibilantes sont classées en trois séries (syczący, ciszący et szumiący), où les substitutions (ex: /ù/ → [s]) et les distorsions nécessitent une gestion clinique distincte. L'objectif de ce travail n'est pas de construire un système de transcription général, mais de créer un mécanisme sensible et interprétable pour signaler les erreurs probables et les localiser au niveau du jeton (token) pour une pratique guidée par les parents.

Méthodologie

Les auteurs proposent un pipeline de dépistage composé de trois composants principaux : un reconnaisseur acoustique, un module de dépistage basé sur l'alignement et un assistant fondé sur des modèles (templates).

1. Modèle Acoustique et Représentation des Jetons
Le système utilise un encodeur basé sur wav2vec2, initialisé à partir d'un checkpoint polonais (jonatasgrosman/wav2vec2-large-xlsler-53-polish). Pour améliorer la stabilité dans les segments riches en sibilantes et fournir un contexte spécifique à la tâche, un post-encodeur Transformer à 6 couches est ajouté. Le modèle est entraîné en utilisant la classification temporelle connexionniste (CTC).

Inventaire de jetons : Les prononciations sont représentées par des jetons de type IPA séparés par des espaces. Crucialement, le vocabulaire est étendu avec des jetons IPA entre crochets (ex: [s], [ù]) pour représenter les résultats de substitution jugés par des experts. Ces jetons entre crochets servent de preuve explicite de la déviation.
Adaptation : Le modèle est adapté à la parole enfantine et au vocabulaire étendu via le réglage fin efficace en paramètres (PEFT). Plus précisément, des modules LoRA (rang $r=32$ , $\alpha=64$ ) sont injectés dans les projections d'attention et les sous-couches de propagation directe (feed-forward), et les 6 dernières couches de l'encodeur sont dégelées. Cela résulte en 33,3 % de paramètres entraînables.

2. Dépistage Basé sur l'Alignement
Le système effectue un alignement de distance de Levenshtein minimale entre la séquence canonique induite ( $y_{ref}$ ) et la séquence produite reconnue ( $\hat{y}$ ).

Typage d'Erreur : Les opérations d'alignement (Correspondance, Substitution, Insertion, Suppression) sont interprétées. Pour les cibles sibilantes/affriquées, les substitutions sont mappées vers des catégories interprétables (ex: décalage du lieu d'articulation, alternance de voisement ou inadéquation de mode).
Confiance : Un score de confiance ( $c_i$ ) est calculé comme la probabilité postérieure moyenne du jeton reconnu sur les trames qui lui sont assignées par l'effondrement (collapse) greedy de la CTC. Ce score est utilisé strictement comme un signal de suppression (ex: demander un nouvel enregistrement si la confiance est faible) plutôt que comme une probabilité calibrée.

3. Assistant Explicable
Le vecteur de dépistage (cible, réalisation, type, position, confiance) est transmis à un assistant destiné aux parents.

Ancrage sur Modèles (Template Grounding) : Le feedback est généré à partir d'un inventaire fixe et révisable de modèles rédigés par des cliniciens.
Limites de Sécurité : Le système évite explicitement le diagnostic clinique. Il inclut des règles de refus en cas d'incertitude et ne fait aucune déclaration médicale. Si la confiance est faible ou si les preuves sont incohérentes, le système demande un nouvel enregistrement plutôt que de fournir des conseils détaillés.

Contributions Clés

Reconnaisseur de Jetons Sensible aux Substitutions : Un modèle basé sur wav2vec2 avec un post-encodeur Transformer compact de 6 couches, ajusté pour la parole enfantine polonaise avec un inventaire de jetons étendu incluant des marqueurs de substitution entre crochets.
Évaluation Orientée Dépistage : Une évaluation sur un ensemble de 10 enfants inédits qui rapporte à la fois la qualité de la reconnaissance et la performance d'un proxy de dépistage conservateur pour les décalages de sibilantes cibles.
Conception d'Assistant Ancré sur Modèles : Une architecture de système qui traduit les dépistages au niveau du jeton en un feedback convivial pour les parents, avec des limites de sécurité explicites et un plan de validation avec le clinicien dans la boucle.

Résultats

Le système a été évalué sur un ensemble de test de 10 enfants inédits (559 énoncés) en utilisant un inventaire fixe de prompts diagnostiques.

Performance de Reconnaissance : Le reconnaisseur a atteint un taux de correspondance exacte de séquence de 88,7 % (496/559 énoncés) et une précision de jeton de 95,0 %. Le taux d'erreur de mots (WER) était de 5,95 % et le taux d'erreur de caractères (CER) de 4,09 %.
Études d'Ablation : La suppression du post-encodeur a réduit la correspondance exacte de séquence à 84,5 %. L'utilisation d'une base WavLM-Base au lieu de wav2vec2 a entraîné un taux de correspondance exacte inférieur de 78,6 %.
Performance du Proxy de Dépistage : En utilisant la présence d'un jeton entre crochets à la position cible comme indicateur de décalage, le système a obtenu :
- Précision : 72,9 %
- Rappel : 61,4 %
- Score F1 : 0,67
- Taux de Fausses Alertes (FPR) : 2,7 % sur les éléments corrects cibles.
Analyse d'Erreur : Parmi les énoncés non exacts, 92,1 % contenaient exactement une substitution au niveau de l'unité. Parmi ceux-ci, 60,3 % étaient des confusions entre le canonique et le jeton entre crochets, indiquant que le système détecte souvent la déviation mais peine avec la catégorisation précise entre les étiquettes canoniques et entre crochets.

Signification et Revendications

L'article affirme que la reconnaissance de jetons basée sur l'apprentissage auto-supervisé (SSL) peut servir de base pratique pour le dépistage orienté vers les parents en polonais. En se concentrant sur les contrastes induits et en s'alignant sur les cibles canoniques, le système évite les pièges des a priori de modèles de langage qui masquent les erreurs de contraste minimal. Le taux élevé de correspondance exacte soutient un alignement et un typage d'erreur stables en aval.

Les auteurs soulignent que le système est un outil de dépistage, et non de diagnostic. La signification réside dans la conception d'un « proxy de dépistage conservateur » qui privilégie la sensibilité phonétique et l'explicabilité plutôt que la qualité de la transcription générale. Le système signale avec succès les erreurs probables avec un faible taux de fausses alertes (2,7 %), ce qui le rend adapté à une utilisation domestique où minimiser les faux positifs est crucial pour éviter l'anxiété inutile.

L'article conclut que bien que les résultats actuels soient prometteurs, une évaluation plus large à travers différents âges, sévérités et conditions d'enregistrement est nécessaire avant le déploiement. Les travaux futurs incluent l'extension de la couverture au-delà des substitutions, la validation de l'utilité diagnostique par rapport aux résultats cliniques, et la conduite d'études utilisateur pour évaluer la clarté et la sécurité du feedback de l'assistant.