Automatic Identification of Maxaatiri and Maay Somali Dialects from Speech Using Mel-Spectrogram-Based Convolutional Neural Networks

Stellen Sie sich vor, Sie besitzen eine riesige Bibliothek mit Audioaufnahmen, aber statt Büchern sind es Stimmen, die verschiedene Versionen der somalischen Sprache sprechen. Das Ziel dieser Studie war es, ein digitales „Ohr“ zu bauen, das einen kurzen Sprachclip hören und sofort sagen kann: „Ist das der Maxaatiri-Dialekt (oft als Standard-Somali bezeichnet) oder der Maay-Dialekt?“

So hat der Forscher Mohamed Mohamud Ali dieses System aufgebaut, einfach erklärt:

1. Das Problem: Ein fehlender Übersetzer

Somali wird von Millionen Menschen gesprochen, aber es ist nicht nur eine einzige Stimme. Es gibt bedeutende Dialekte wie Maxaatiri und Maay. Denken Sie an den Unterschied zwischen einem britischen und einem amerikanischen Akzent, aber mit größeren Unterschieden darin, wie Wörter aufgebaut und ausgesprochen werden.

Derzeit sind die meisten Computerprogramme, die Sprache verstehen, auf „Standardsprachen“ trainiert. Sie werden oft verwirrt, wenn sie einen anderen Dialekt hören, ganz ähnlich wie eine Person, die nur formale Lehrbücher lesen kann und Schwierigkeiten hat, den lokalen Slang eines Freundes zu verstehen. Diese Studie wollte untersuchen, ob ein Computer lernen kann, diese beiden somalischen Dialekte allein durch das Zuhören voneinander zu unterscheiden.

2. Das Rezept: Wie die Daten gesammelt wurden

Da es keinen vorgefertigten „Somali-Dialekt-Datensatz“ fertig in einer Box gab, musste der Forscher seine eigenen Zutaten selbst zubereiten.

• Die Quelle: Er ging auf YouTube und lud öffentliche Sendevideos herunter.
  • Für Maxaatiri verwendete er Clips vom Somali National Television.
  • Für Maay verwendete er Clips von Arlaadi TV.
• Das Schneidebrett: Er hackte diese langen Videos in winzige, 10-sekündige Stücke reiner Sprache.
• Die Reinigung: Er entfernte Stille und Hintergrundgeräusche und wandelte alles in ein sauberes, Standard-Audioformat um (wie das Konvertieren aller Dateien in die gleiche MP3-Qualität).

Am Ende hatte er eine „Trainingsmahlzeit“ von 180 Audioclips: 90 von jedem Dialekt. Es war eine kleine, ausgewogene Mahlzeit, aber genug, um schon einmal zu probieren.

3. Die magische Brille: Den Klang in Bilder verwandeln

Computer sind gut darin, sich Bilder anzusehen, aber sie sind schlecht darin, rohe Schallwellen zu hören. Um dies zu beheben, verwendete der Forscher einen Trick namens Mel-Spektrogramm.

Stellen Sie sich vor, Sie nehmen eine Schallwelle und jagen sie durch ein Prisma. Anstatt ein Regenbogen aus Farben zu erhalten, bekommen Sie eine Heatmap oder einen sonischen Fingerabdruck.

• Die X-Achse ist die Zeit (wie lange der Klang dauert).
• Die Y-Achse ist die Tonhöhe (wie hoch oder tief der Klang ist).
• Die Farben zeigen an, wie laut bestimmte Tonhöhen sind.

Jetzt hat der Computer statt einer Audiodatei ein kleines Bild des Klangs. Dies macht es dem Computer viel einfacher, die Unterschiede zwischen den beiden Dialekten zu „sehen“.

4. Der Detektiv: Das Neuronale Netz

Der Forscher baute ein Convolutional Neural Network (CNN). Denken Sie an diesen digitalen Detektiven, der darauf trainiert wurde, nach diesen „Klangbildern“ zu suchen.

• Training: Der Detektiv wurde 180 Bildern gezeigt. Einige waren als „Maxaatiri“ und einige als „Maay“ beschriftet.
• Lernen: Der Detektiv suchte nach Mustern. Vielleicht haben Maxaatiri-Klänge mehr „Rot“ im Hochtonbereich, während Maay-Klänge mehr „Blau“ im Tieftonbereich haben.
• Der Test: Nach dem Studium wurde dem Detektiv ein neuer Satz von Bildern gezeigt, die er noch nie gesehen hatte (der Testdatensatz), und er wurde gefragt, welchen Dialekt er erkennt.

5. Die Ergebnisse: Wie gut war der Detektiv?

Der Detektiv hat einen ziemlich guten Job gemacht, aber er war nicht perfekt.

• Genauigkeit: Er hatte in etwa 81,5 % der Fälle die richtige Antwort.
• Die Fehler: Von den Testclips identifizierte er 12 von 14 Maxaatiri-Clips korrekt und 10 von 13 Maay-Clips.
• Die Verwechslung: Manchmal hat er sie verwechselt. Er dachte, einige Maxaatiri-Clips seien Maay, und einige Maay-Clips seien Maxaatiri.

6. Das große „Aber“: Warum wir vorsichtig sein sollten

Die Arbeit ist sehr ehrlich über ihre Einschränkungen. Es ist wichtig zu verstehen, warum der Detektiv bei diesem speziellen Test gut sein mag, aber noch nicht bereit für die reale Welt ist.

• Der „Fernsehsender“-Bias: Das ist der größte Haken. Der Forscher verwendete einen Fernsehsender für Maxaatiri und einen anderen für Maay.

  • Analogie: Stellen Sie sich vor, Sie versuchen einem Kind beizubringen, den Unterschied zwischen „Äpfeln“ und „Orangen“ zu erkennen. Aber Sie zeigen ihm nur Red Delicious Äpfel aus einem bestimmten Supermarkt und grüne Orangen aus einem anderen Supermarkt.
  • Das Kind lernt vielleicht nicht den Unterschied zwischen den Früchten, sondern lernt vielleicht nur den Unterschied zwischen den Logos der Supermärkte oder der Beleuchtung im Geschäft.
  • Ähnlich könnte der Computer gelernt haben, die Tonqualität von Somali National TV gegenüber Arlaadi TV zu erkennen, anstatt den eigentlichen Dialekt. Wenn man einen Maay-Sprecher auf dem Somali National TV abspielen würde, könnte der Computer verwirrt sein.

• Kleine Stichprobengröße: Der Datensatz war winzig (nur 180 Clips). Es ist, als würde man versuchen, eine ganze Sprache zu lernen, indem man nur zwei kurze Geschichten liest.

• Fehlende Details: Der Forscher wusste nicht, wer die Sprecher waren (Alter, Geschlecht oder Region). Wenn die Maxaatiri-Sprecher alle Männer und die Maay-Sprecher alle Frauen waren, könnte der Computer einfach nur „Männlich vs. Weiblich“ erraten, anstatt „Dialekt A vs. Dialekt B“.

Das Fazit

Diese Arbeit ist ein erster Schritt. Sie beweist, dass es möglich ist, Deep Learning einzusetzen, um diese beiden somalischen Dialekte anhand von Klangbildern zu unterscheiden. Es ist wie der Bau eines Prototyp-Automotorleistung, der auf einer Teststrecke läuft.

Die Arbeit behauptet jedoch nicht, dass dieser Motor schon bereit für die Autobahn ist. Da die Daten aus begrenzten Fernsehquellen stammten und klein waren, sind die Ergebnisse lediglich eine „vorläufige Baseline“. Um diese Technologie für echte Menschen nützlich zu machen, bräuchten wir eine viel größere Bibliothek von Stimmen aus vielen verschiedenen Sprechern, die an vielen verschiedenen Orten aufgenommen wurden, damit der Computer den Dialekt lernt und nicht nur den Fernsehsender.