Automatic Identification of Maxaatiri and Maay Somali Dialects from Speech Using Mel-Spectrogram-Based Convolutional Neural Networks

Stel je voor dat je een gigantische bibliotheek hebt met audio-opnames, maar in plaats van boeken zijn het stemmen die verschillende versies van de Somalische taal spreken. Het doel van dit onderzoek was om een digitale "oor" te bouwen dat een kort fragment van spraak kan beluisteren en je direct kan vertellen: "Is dit het Maxaatiri dialect (vaak de Standaard Somalische taal genoemd) of het Maay dialect?"

Hier is hoe de onderzoeker, Mohamed Mohamud Ali, dit systeem heeft gebouwd, uitgelegd in eenvoudige termen:

1. Het Probleen: Een ontbrekende vertaler

Somali wordt door miljoenen mensen gesproken, maar het is niet één enkele stem. Het heeft belangrijke dialecten, zoals Maxaatiri en Maay. Denk aan het verschil tussen een Brits accent en een Amerikaans accent, maar dan met grotere verschillen in hoe woorden worden opgebouwd en uitgesproken.

Momenteel zijn de meeste computerprogramma's die spraak begrijpen, getraind op "standaardtaal". Ze raken vaak in de war wanneer ze een ander dialect horen, vergelijkbaar met iemand die alleen formele tekstboeken kan lezen en moeite heeft met het begrijpen van de lokale straattaal van een vriend. Deze studie wilde kijken of een computer kon leren om deze twee Somalische dialecten van elkaar te onderscheiden door simpelweg te luisteren.

2. Het Recept: Hoe de data werd verzameld

Omdat er geen kant-en-klare "Somalische Dialect Dataset" beschikbaar was in een doos, moest de onderzoeker zijn eigen ingrediënten bereiden.

• De Bron: Ze gingen naar YouTube en downloadden openbare uitzendvideo's.
  • Voor Maxaatiri gebruikten ze fragmenten van Somali National Television.
  • Voor Maay gebruikten ze fragmenten van Arlaadi TV.
• De Snijplank: Ze hakten deze lange video's in kleine stukjes van 10 seconden pure spraak.
• De Opruiming: Ze verwijderden stilte en achtergrondruis, en zetten alles om naar een schoon, standaard audioformaat (zoals alle bestanden converteren naar dezelfde MP3-kwaliteit).

Uiteindelijk hadden ze een "trainingsmaaltijd" van 180 audiofragmenten: 90 van elk dialect. Het was een kleine, evenwichtige maaltijd, maar genoeg om een eerste smaak te krijgen.

3. De Magische Bril: Geluid omzetten in plaatjes

Computers zijn erg goed in het bekijken van plaatjes, maar slecht in het luisteren naar ruwe geluidsgolven. Om dit op te lossen, gebruikte de onderzoeker een truc genaamd een Mel-spectrogram.

Stel je voor dat je een geluidsgolf neemt en deze door een prisma haalt. In plaats van een regenboog aan kleuren, krijg je een warmtekaart of een sonische vingerafdruk.

• De X-as is tijd (hoe lang het geluid duurt).
• De Y-as is toonhoogte (hoe hoog of laag het geluid is).
• De kleuren laten zien hoe hard verschillende toonhoogtes zijn.

Nu heeft de computer in plaats van een geluidsbestand een klein plaatje van het geluid. Dit maakt het voor de computer veel gemakkelijker om de verschillen tussen de twee dialecten te "zien".

4. De Detective: Het Neurale Netwerk

De onderzoeker bouwde een Convolutional Neural Network (CNN). Zie dit als een digitale detective die getraind is om naar die "geluidplaatjes" te kijken.

• Training: De detective kreeg 180 plaatjes te zien. Sommige waren gelabeld als "Maxaatiri" en andere als "Maay".
• Leren: De detective zocht naar patronen. Misschien hebben Maxaatiri-geluiden meer "rood" in het hoge toonhoogtegebied, terwijl Maay-geluiden meer "blauw" hebben in het lage toonhoogtegebied.
• De Test: Na het studeren kreeg de detective een nieuwe set plaatjes die hij nog nooit eerder had gezien (de testset) en moest hij raden welk dialect het was.

5. De Resultaten: Hoe goed was de detective?

De detective deed het best goed, maar was niet perfect.

• Nauwkeurigheid: Hij had het ongeveer 81,5% van de tijd bij het rechte eind.
• De Fouten: Van de testfragmenten identificeerde hij 12 van de 14 Maxaatiri-fragmenten correct en 10 van de 13 Maay-fragmenten.
• De Verwarring: Soms haalde hij ze door elkaar. Hij dacht dat een paar Maxaatiri-fragmenten Maay waren, en een paar Maay-fragmenten waren Maxaatiri.

6. De Grote "Maar": Waarom we voorzichtig moeten zijn

Het artikel is zeer eerlijk over de beperkingen. Het is belangrijk om te begrijpen waarom de detective misschien goed is in deze specifieke test, maar nog niet klaar is voor de echte wereld.

• De "TV-zender" Bias: Dit is de grootste adder onder het gras. De onderzoeker gebruikte één tv-zender voor Maxaatiri en een andere tv-zender voor Maay.

  • Analogie: Stel je voor dat je een kind probeert te leren het verschil te zien tussen "Appels" en "Oranjes". Maar je laat het kind alleen Red Delicious appels zien van een specifieke supermarkt en Groene Oranjes van een andere supermarkt.
  • Het kind leert misschien niet het verschil tussen de vruchten; het leert misschien gewoon het verschil tussen de logo's van de supermarkten of de verlichting in de winkel.
  • Op dezelfde manier kan de computer geleerd hebben om de geluidskwaliteit van Somali National TV versus Arlaadi TV te herkennen, in plaats van het eigenlijke dialect. Als je een Maay-spreker op Somali National TV zou afspelen, zou de computer in de war kunnen raken.

• Kleine Steekproef: De dataset was piepklein (slechts 180 fragmenten). Het is alsoals proberen een hele taal te leren door slechts twee korte verhalen te lezen.

• Ontbrekende Details: De onderzoeker wist niet wie de sprekers waren (hun leeftijd, geslacht of regio). Als de Maxaatiri-sprekers allemaal mannen waren en de Maay-sprekers allemaal vrouwen, dan zou de computer misschien gewoon "Man vs. Vrouw" raadt in plaats van "Dialect A vs. Dialect B".

De Kern van het Verhaal

Dit paper is een eerste stap. Het bewijst dat het mogelijk is om deep learning te gebruiken om deze twee Somalische dialecten van elkaar te onderscheiden met behulp van geluidplaatjes. Het is alsof je een prototype van een automotor bouwt die op een testbaan rijdt.

Echter, het paper beweert niet dat deze motor al klaar is voor de snelweg. Omdat de data afkomstig was van beperkte tv-bronnen en klein van omvang was, zijn de resultaten slechts een "voorlopige baseline". Om deze technologie bruikbaar te maken voor echte mensen, zouden we een veel grotere bibliotheek van stemmen nodig hebben van veel verschillende sprekers, opgenomen op veel verschillende plaatsen, zodat de computer het dialect leert en niet alleen de tv-zender.