Automatic Identification of Maxaatiri and Maay Somali Dialects from Speech Using Mel-Spectrogram-Based Convolutional Neural Networks

Imaginez que vous possédez une immense bibliothèque d'enregistrements audio, mais au lieu de livres, ce sont des voix parlant différentes versions de la langue somalienne. Le but de cette étude était de construire une « oreille » numérique capable d'écouter un court extrait de parole et de vous dire instantanément : « Est-ce le dialecte Maxaatiri (souvent appelé somali standard) ou le dialecte Maay ? »

Voici comment le chercheur, Mohamed Mohamud Ali, a construit ce système, expliqué en termes simples :

1. Le Problème : Un traducteur manquant

Le somali est parlé par des millions de personnes, mais il ne s'agit pas d'une seule et unique voix. Il possède des dialectes majeurs, comme le Maxaatiri et le Maay. Voyez cela comme la différence entre un accent britannique et un accent américain, mais avec des différences plus importantes dans la construction et la prononciation des mots.

Actuellement, la plupart des programmes informatiques qui comprennent la parole sont entraînés sur des langues « standards ». Ils se confondent souvent lorsqu'ils entendent un dialecte différent, tout comme une personne qui n'aurait appris qu'à lire des manuels formels pourrait avoir du mal à comprendre l'argot local d'un ami. Cette étude voulait voir si un ordinateur pouvait apprendre à distinguer ces deux dialectes somalis rien qu'en écoutant.

2. La Recette : Comment les données ont été rassemblées

Comme il n'existait pas de « Jeu de données de dialectes somalis » pré-fabriqué disponible en boîte, le chercheur a dû préparer ses propres ingrédients.

• La Source : Il est allé sur YouTube et a téléchargé des vidéos de diffusions publiques.
  • Pour le Maxaatiri, il a utilisé des extraits de Somali National Television.
  • Pour le Maay, il a utilisé des extraits d' Arlaadi TV.
• La Planche à découper : Il a découpé ces longues vidéos en petites tranches de 10 secondes de parole pure.
• Le Nettoyage : Il a supprimé le silence et le bruit de fond, transformant tout en un format audio standard propre (comme convertir tous les fichiers au même format de qualité MP3).

Au final, il disposait d'un « repas d'entraînement » de 180 clips audio : 90 de chaque dialecte. C'était un petit repas équilibré, mais suffisant pour commencer à en goûter la saveur.

3. Les Lunettes Magiques : Transformer le son en images

Les ordinateurs sont très doués pour regarder des images, mais ils sont mauvais pour écouter des ondes sonores brutes. Pour corriger cela, le chercheur a utilisé une astuce appelée Spectrogramme de Mel.

Imaginez prendre une onde sonore et la faire passer à travers un prisme. Au lieu de voir un arc-en-ciel de couleurs, vous obtenez une carte thermique ou une empreinte digitale sonore.

• L'axe X est le temps (combien de temps dure le son).
• L'axe Y est la hauteur (si le son est grave ou aigu).
• Les couleurs montrent à quel point différentes hauteurs de son sont fortes.

Désormais, au lieu d'un fichier sonore, l'ordinateur dispose d'une petite image du son. Cela rend beaucoup plus facile pour l'ordinateur de « voir » les différences entre les deux dialectes.

4. Le Détective : Le Réseau de Neurones

Le chercheur a construit un Réseau de Neurones Convolutifs (CNN). Considérez cela comme un détective numérique entraîné à examiner ces « images sonores ».

• Entraînement : Le détective s'est vu montrer 18es images. Certaines étaient étiquetées « Maxaatiri » et d'autres « Maay ».
• Apprentissage : Le détective a cherché des motifs. Peut-être que les sons Maxaatiri ont plus de « rouge » dans la zone des hautes fréquences, tandis que les sons Maay ont plus de « bleu » dans la zone des basses fréquences.
• Le Test : Après avoir étudié, le détective a reçu un nouvel ensemble d'images qu'il n'avait jamais vues auparavant (l'ensemble de test) et on lui a demandé de deviner le dialecte.

5. Les Résultats : À quel point le détective était-il bon ?

Le détective a fait un travail plutôt satisfaisant, mais il n'était pas parfait.

• Précision : Il a donné la bonne réponse environ 81,5 % du temps.
• Les Erreurs : Sur les clips de test, il a correctement identifié 12 clips sur 14 pour le Maxaatiri et 10 sur 13 pour le Maay.
• La Confusion : Parfois, il les mélangeait. Il pensait que quelques clips Maxaatiri étaient du Maay, et quelques clips Maay étaient du Maxaatiri.

6. Le Grand « Mais » : Pourquoi nous devons être prudents

L'article est très honnête quant à ses limites. Il est important de comprendre pourquoi le détective peut être bon pour ce test spécifique, mais n'est pas encore prêt pour le monde réel.

• Le Biais de la « Station de TV » : C'est le plus gros piège. Le chercheur a utilisé une station de télévision pour le Maxaatiri et une autre station différente pour le Maay.

  • Analogie : Imaginez que vous essayez d'apprendre à un enfant à faire la différence entre des « Pommes » et des « Oranges ». Mais vous ne lui montrez que des Pommes Delicious rouges provenant d'un supermarché spécifique et des Oranges vertes provenant d'un autre supermarché.
  • L'enfant pourrait ne pas apprendre la différence entre les fruits ; il pourrait simplement apprendre la différence entre les logos des supermarchés ou l'éclairage dans le magasin.
  • De même, l'ordinateur pourrait avoir appris à reconnaître la qualité sonore de Somali National TV par rapport à celle d'Arlaadi TV, plutôt que le dialecte réel. Si vous jouiez un locuteur Maay sur Somali National TV, l'ordinateur pourrait se tromper.

• Petit échantillon : Le jeu de données était minuscule (seulement 180 clips). C'est comme essayer d'apprendre toute une langue en lisant seulement deux courtes histoires.

• Manque de détails : Le chercheur ne connaissait pas l'identité des locuteurs (leur âge, leur sexe ou leur région). Si les locuteurs de Maxaatiri étaient tous des hommes et les locuteurs de Maay tous des femmes, l'ordinateur pourrait simplement deviner « Homme vs Femme » au lieu de « Dialecte A vs Dialecte B ».

En conclusion

Ce document est une première étape. Il prouve qu'il est possible d'utiliser l'apprentissage profond pour distinguer ces deux dialectes somalis à l'aide d'images sonores. C'est comme construire un prototype de moteur de voiture qui tourne sur une piste d'essai.

Cependant, l'article ne prétend pas que ce moteur est prêt pour l'autoroute. Parce que les données provenaient de sources de télévision limitées et étaient peu nombreuses, les résultats ne sont qu'une « base de référence préliminaire ». Pour rendre cette technologie utile pour les vraies personnes, nous aurions besoin d'une bibliothèque beaucoup plus grande de voix provenant de nombreux locuteurs différents, enregistrées dans de nombreux endroits différents, afin que l'ordinateur apprenne le dialecte et non pas seulement la station de TV.