Building an ASR Solution for Training and Assessing Children's Reading

Imaginez que vous essayez d'apprendre à un enfant à lire en bambara, une langue majeure du Mali. Dans un monde parfait, un enseignant pourrait écouter chaque enfant lire à haute voix, repérer instantanément les erreurs et donner des conseils utiles. Mais en réalité, il n'y a pas assez d'enseignants pour faire cela pour chaque élève, et les outils disponibles pour le bambara sont souvent trop simples ou ne comprennent pas comment les voix des enfants diffèrent de celles des adultes.

Ce document présente une solution appelée « An bɛ kalan » (ce qui signifie approximativement « Nous apprenons » ou « Lisons »). Il s'agit d'un système open-source gratuit conçu pour agir comme un tuteur de lecture numérique pour les enfants du Mali. Voici comment les chercheurs l'ont construit et ce qu'ils ont découvert, expliqués à travers des analogies simples.

1. La collecte des matières premières : Le « Camp de lecture »

Pour apprendre à un ordinateur à comprendre les enfants qui lisent, il faut d'abord une immense bibliothèque d'enregistrements. L'équipe a organisé un « camp de lecture » à Bamako, au Mali.

• L'installation : Ils ont utilisé une application mobile pour enregistrer 60 enfants (principalement âgés de 13 à 17 ans) lisant à haute voix à partir de 22 manuels scolaires différents.
• Le résultat : Ils ont collecté 55 heures d'audio brut. Après avoir éliminé les mauvais enregistrements (comme les enfants qui se coupent la parole ou qui s'arrêtent au milieu), ils ont conservé 47 heures de données de haute qualité.
• Le rebondissement : Ils n'ont pas seulement enregistré chaque livre une seule fois. Ils ont fait lire les mêmes livres par de nombreux enfants différents, encore et encore. Cela a créé un ensemble de données « dupliqué » où les mots étaient les mêmes, mais les voix étaient différentes.

2. Les prétendants : Deux « cerveaux » différents

Les chercheurs voulaient voir quel type de « cerveau » informatique (modèle d'IA) était le meilleur pour écouter ces enfants. Ils ont opposé deux architectures différentes :

• QuartzNet : Considérez cela comme un vélo compact et léger. C'est petit, rapide, et conçu pour fonctionner sur des smartphones bon marché et anciens sans avoir besoin d'internet. Il possède moins de « vitesses » (paramètres) pour apprendre.
• Soloni : Considérez cela comme une voiture de sport haute performance. Elle est plus grande, plus complexe, et a été pré-entraînée sur beaucoup de discours généraux en bambara avant d'être spécialisée pour les enfants. Elle possède beaucoup plus de « vitesses » pour gérer des sons complexes.

3. L'entraînement : « Exercices » et « Obstacles »

Les chercheurs ont testé ces modèles en utilisant quatre stratégies d'entraînement différentes pour voir ce qui fonctionnait le mieux :

1. Les bases : Entraînement uniquement sur les livres uniques (1,6 heure de texte unique).
2. Le parcours d'obstacles (SpecAugment) : Ils ont artificiellement ajouté du « bruit » à l'audio pendant l'entraînement (comme si l'on couvrait une partie de la voix avec un bandeau numérique) pour forcer l'IA à apprendre plus durement.
3. L'exercice de répétition : Ils ont ajouté les données « dupliquées » (les mêmes livres lus par différentes voix) pour voir si entendre les mêmes mots provenant de nombreuses voix aidait.
4. Le combo : Exercice de répétition + parcours d'obstacles.

4. Les résultats de la course

Lorsqu'ils ont testé les modèles sur un nouvel ensemble d'enfants qu'ils n'avaient jamais vus auparavant, voici ce qui s'est passé :

• Le vainqueur : Le modèle Soloni (la voiture de sport) a gagné haut la main.
  • Avant l'entraînement, il faisait des erreurs sur environ 42 % des mots.
  • Après l'entraînement, il a réduit ses erreurs à seulement 22 %.
  • Il était nettement meilleur que QuartzNet, qui peinait encore avec un taux d'erreur de 40 % même après l'entraînement.
• La leçon surprenante sur la répétition :
  • Donner au QuartzNet (le vélo) plus de données où le même texte était lu par différentes voix a été comme lui donner un boost de turbo. Il s'est massivement amélioré car il avait besoin de cette répétition supplémentaire pour comprendre les schémas.
  • Donner au Soloni (la voiture de sport) la même répétition supplémentaire n'a pas beaucoup aidé. Il était déjà si bon pour comprendre les schémas qu'entendre les mêmes mots à nouveau ne lui apprenait rien de nouveau.
• La leçon sur les « obstacles » (SpecAugment) :
  • Ajouter du bruit artificiel (le bandeau) a aidé l'entraînement à se dérouler plus sereinement et a empêché les modèles de s'embrouiller, mais cela n'a pas réellement rendu les modèles plus intelligents qu'ils ne l'étaient sans le bruit.

5. Le point faible : Les plus jeunes

Les chercheurs ont analysé les résultats par âge et ont trouvé un problème spécifique.

• Les plus de 10 ans : Le système fonctionnait très bien pour eux.
• Les moins de 10 ans : Le système éprouvait encore des difficultés significatives avec les enfants de moins de 10 ans.
• Pourquoi ? Les jeunes enfants ont des voix plus aiguës, une prononciation moins stable et parlent à des vitesses irrégulières. Pour l'IA, c'est comme s'ils parlaient une langue légèrement différente de celle des plus grands. Le système faisait beaucoup plus d'erreurs avec eux, ce qui suggère que nous devons enregistrer plus d'enfants jeunes spécifiquement pour corriger cela.

6. Test en conditions réelles : La classe

Enfin, ils ont emmené l'application dans 10 classes réelles à Bamako.

• Le verdict : Les enseignants et les élèves ont aimé. L'application donnait un retour immédiat (indiquant à l'enfant s'il avait lu un mot correctement), ce qui maintenait leur engagement.
• Le résultat : Dans 9 essais sur 10, les enseignants ont dit : « Oui, nous voulons continuer à utiliser cela. » Cela a prouvé que la technologie fonctionne dans un cadre scolaire réel, même sur des téléphones basiques.

L'essentiel

L'article conclut que pour construire un excellent assistant de lecture pour les enfants bambara, il ne suffit pas d'avoir plus d'heures d'enregistrement ; il faut une meilleure variété.

• Ne vous contentez pas d'enregistrer le même livre 100 fois (à moins d'utiliser un modèle très simple comme QuartzNet).
• Enregistrez plutôt des voix plus diverses et, surtout, plus d'enfants de moins de 10 ans, car c'est là que le système échoue actuellement.

Le système « An bɛ kalan » est désormais disponible pour toute personne souhaitant l'utiliser, offrant un outil puissant, capable de fonctionner hors ligne, pour aider à évaluer et améliorer les compétences de lecture.