BanglaVowelDataset: True AC and Synthetic BC Bangla Vowel Datasets in Speech Information System

In der Welt der Sprachtechnologie lernen Computer ständig, zuzuhören. Sie werden mit riesigen Bibliotheken von aufgenommenen Stimmen trainiert, um Wörter zu erkennen, Sprecher zu identifizieren oder Befehle zu verstehen. Die meisten dieser Bibliotheken basieren jedoch auf Klängen, die in der Luft eingefangen wurden. Wenn wir sprechen, bewegen sich Schallwellen durch die Luft, treffen auf ein Mikrofon und werden in digitale Daten umgewandelt. Diese Methode, bekannt als Luftleitung (Air-Conduction), ist der Standard für fast alle Sprachassistenten und Transkriptionsdienste. Aber es gibt noch einen anderen Weg, wie Schall unsere Ohren und Aufnahmegeräte erreicht: durch die Knochen unseres Schädels. Wenn wir sprechen, versetzen unsere Stimmbänder unsere Schädelknochen in Schwingung, und diese Vibrationen wandern direkt zum Innenohr und können von Sensoren, die auf der Haut platziert sind, erfasst werden. Dies ist die Knochenleitung (Bone-Conduction). Während durch die Luft übertragener Schall leicht vom Summen des Verkehrs oder dem Gemurmel einer Menge übertönt werden kann, bleibt der durch die Knochen geleitete Schall bemerkenswert klar, da er die laute Luft umgeht. Jahrzehntelang hatten Forscher damit zu kämpfen, Computer zu bauen, die diese knochenbasierte Sprache verstehen können, hauptsächlich weil die notwendigen Daten für viele Sprachen schlichtweg nicht existierten.

Ein Team von Forschern aus Universitäten in Bangladesch und Japan hat nun eine bedeutende Lücke in diesem Bereich geschlossen, indem sie die erste dedizierte Sammlung von Vokallauten der Bangla-Sprache erstellt haben, die sowohl über die Luft als auch über die Knochen aufgenommen wurden. Das Bangla-Alphabet enthält zwölf verschiedene Vokallaut, eine Komplexität, die die Sprache reich, aber für Maschinen schwierig zu analysieren macht, insbesondere wenn Hintergrundgeräusche interferieren. Bis zu dieser Arbeit existierte kein Datensatz, der sowohl die traditionellen, über die Luft aufgenommenen Versionen dieser Laute als auch deren knochengeleitete Gegenstücke zum Vergleich anbot. Die Forscher gingen vor, indem sie diese Laute von zehn Muttersprachlern – fünf Männern und fünf Frauen – in einem ruhigen, schallisolierten Raum aufnahmen. Sie verwendeten hochwertige Mikrofone, um die luftgeleiteten Vokale aufzunehmen, wobei sie sicherstellten, dass jede Aufnahme lang genug für eine Analyse war, im Bereich von 600 bis 780 Millisekunden. Um sicherzustellen, dass die Daten sauber waren, schnitten sie die stillen Anfänge und Enden jeder Aufnahme sorgfältig weg, sodass nur der reine, stimmhafte Teil des Klangs übrig blieb.

Die Herausforderung bestand dann darin, wie man die knochengeleiteten Daten erhält, ohne dass jeder Teilnehmer spezielle, seltene Knochenleitungs-Mikrofone tragen muss, die schwer zu finden und in Standard-Forschungsumgebungen schwierig zu verwenden sind. Anstatt die Knochenvibrationen direkt aufzunehmen, nutzte das Team ein hochentwickeltes Computermodell, um sie zu simulieren. Sie nahmen die sauberen, über die Luft aufgenommenen Vokale und leiteten sie durch einen digitalen Filter, der simuliert, wie der menschliche Schädel den Klang verändert. Dieser Prozess entfernte effektiv die hochfrequenten Details, die die Luft trägt, aber die Knochen herausfiltern, wodurch eine synthetische Version dessen entstand, wie der Klang ausgesecht hätte, wenn er durch den Schädel aufgenommen worden wäre. Das Ergebnis war ein gepaarter Datensatz: 120 reale luftgeleitete Vokale und 120 synthetische knochengeleitete Vokale, die perfekt auf dieselben Sprecher und dieselben zwölf Vokallaut abgestimmt waren.

Die Forscher organisierten diese massive Sammlung anschließend in eine strukturierte Bibliothek, indem sie die Daten in verschiedene Verarbeitungsstadien unterteilten, um anderen Wissenschaftlern zu helfen, ihre eigenen Theorien zu testen. Sie stellten die Rohaufnahmen, die getrimmten Versionen und die computergenerierten Knochenklänge zur Verfügung, alle beschriftet mit präzisen Details über das Geschlecht des Sprechers und den spezifischen gesprochenen Vokal. Um zu beweisen, dass ihre Simulation genau war, verglichen sie die mathematischen Eigenschaften der realen Luftklänge mit den synthetischen Knochenklängen. Sie fanden heraus, dass sich die synthetischen Knochenklänge genau wie erwartet verhielten: Sie zeigten einen breiteren Frequenzbereich und eine spezifische mathematische Signatur, die sie von Luftklängen unterscheidet. Dies bestätigte, dass ihr Computermodell das einzigartige akustische Profil der knochengeleiteten Sprache erfolgreich rekonstruiert hatte.

Dieser Datensatz steht nun der globalen Forschungsgemeinschaft zur Verfügung. Er bietet eine einzigartige Gelegenheit, zu testen, wie gut Spracherkennungssysteme mit Geräuschen umgehen können. Da die über die Luft geleitete Sprache leicht durch Hintergrundgeräusche korrumpiert werden kann, während die knochengeleitete Sprache dies nicht ist, können Forscher diesen gepaarten Datensatz nutzen, um Systeme zu bauen, die zwischen beiden wechseln oder sie kombinieren, um Sprache in chaotischen Umgebungen wie belebten Straßen oder überfüllten Räumen zu verstehen. Das Team hat auch den verwendeten Computercode öffentlich zugänglich gemacht, sodass andere ihre Methoden überprüfen oder dieselben Techniken auf andere Sprachen anwenden können. Durch die Bereitstellung des ersten umfassenden Einblicks in die Bangla-Vokale durch Luft und Knochen eröffnet diese Arbeit die Tür zu einer robusteren, geräuschresistenten Sprachtechnologie, die überall zuverlässig funktionieren kann, nicht nur in einem ruhigen Studio.