BanglaVowelDataset: True AC and Synthetic BC Bangla Vowel Datasets in Speech Information System

في عالم تكنولوجيا الكلام، تتعلم الحواسيب باستمرار كيفية الاستماع؛ فهي تُدرب على مكتبات ضخمة من الأصوات المسجلة للتعرف على الكلمات، أو تحديد هوية المتحدثين، أو فهم الأوامر. ومع ذلك، فإن معظم هذه المكتبات مبنية من أصوات تم التقاطها عبر الهواء. فعندما نتحدث، تنتقل الموجات الصوتية عبر الهواء، وتصطدم بالميكروفون، ثم تتحول إلى بيانات رقمية. وتُعرف هذه الطريقة، المعروفة بالتوصيل الهوائي، بأنها المعيار المتبع في جميع المساعدات الصوتية وخدمات النسخ النصي تقريبًا. ولكن هناك طريقة أخرى يصل بها الصوت إلى آذاننا وأجهزة التسجيل: عبر عظام جمجمتنا. فعندما نتحدث، تجعل أوتارنا الصوتية عظام جمجمتنا تهتز، وتنتقل هذه الاهتزازات مباشرة إلى الأذن الداخلية ويمكن التقاطها بواسطة مستشعرات توضع على الجلد، وهذا ما يُعرف بالتوصيل العظمي. وبينما يسهل طمس الصوت المنقول عبر الهواء بفعل ضجيج حركة المرال أو ثرثرة الحشود، يظل الصوت المنقول عبر العظام واضحًا بشكل ملحو de لأن العظام تتجاوز الهواء الصاخب. ولعقود من الزمن، كافح الباحثون لبناء حواسيب يمكنها فهم هذا الكلام القائم على العظام، ويرجع ذلك أساسًا إلى أن البيانات اللازمة لم تكن موجودة للعديد من اللغات.

لقد نجح فريق من الباحثين من جامعات في بنغلاديش واليابان الآن في سد فجوة كبيرة في هذا المجال من خلال إنشاء أول مجموعة مخصصة لأصوات الحروف المتحركة (vowels) في لغة البنغالية، والتي تم التقاطها عبر كل من الهواء والعظم. تحتوي الأبجدية البنغالية على اثني عشر صوتًا متميزًا للحروف المتحركة، وهو تعقيد يجعل اللغة غنية ولكن يصعب على الآلات تحليلها، خاصة عندما يتداخل الضجيج في الخلفية. وحتى هذا العمل، لم تكن هناك أي مجموعة بيانات تقدم النسخ التقليدية المسجلة عبر الهواء لهذه الأصوات ونظيراتها المنقولة عبر العظم للمقارنة بينهما. وقد سعى الباحثون لتسجيل هذه الأصوات من عشرة متحدثين أصليين — خمسة رجال وخمس نساء — في غرفة هادئة ومعزولة صوتيًا. واستخدموا ميكروفونات عالية الجودة لالتقاط الحروف المتحركة المنقولة عبر الهواء، مع ضمان أن يكون كل تسجيل طويل بما يكفي لتحليله، حيث تراوح طولها بين 600 و780 مللي ثانية. ولضمان نظافة البيانات، قاموا بعناية بقص البدايات والنهايات الصامتة لكل تسجيل، تاركين فقط الجزء الصوتي النقي.

أصبح التحدي بعد ذلك هو كيفية الحصول على البيانات المنقولة عبر العظام دون اشتراط ارتداء كل مشارك لميكروفونات متخصصة ونادرة تعمل بالتوصيل العظمي، وهي ميكروفونات يصعب العثور عليها واستخدامها في بيئات البحث القياسية. وبدلاً من تسجيل اهتزازات العظام مباشرة، استخدم الفريق نموذجًا حاسوبيًا متطورًا لمحاكاتها. فقد أخذوا الحروف المتحركة المسجلة عبر الهواء والنقية، ومرروها عبر مرشح رقمي يحاكي كيفية تغيير الجمجمة البشرية للصوت. هذه العملية أدت فعليًا إلى تجريد الأصوات من التفاصيل عالية التردد التي ينقلها الهواء ولكن تقوم العظام بفلترتها، مما خلق نسخة اصطناعية لما سيكون عليه شكل الصوت لو تم تسجيله عبر الجمجمة. وكانت النتيجة مجموعة بيانات مزدوجة: 120 حرفًا متحركًا حقيقيًا منقولًا عبر الهواء و120 حرفًا متحركًا اصطناعيًا منقولًا عبر العظم، متطابقة تمامًا مع نفس المتحدثين ونفس الحروف المتحركة الاثني عشر.

قام الباحثون بعد ذلك بتنظيم هذه المجموعة الضخمة في مكتبة مهيكلة، وفصلوا البيانات إلى مراحل معالجة مختلفة لمساعدة العلماء الآخرين على اختبار نظرياتهم الخاصة. لقد قدموا التسجيلات الخام، والنسخ المقصوصة، وأصوات العظام المحاكة حاسوبيًا، وكلها مصنفة بتفاصيل دقيقة حول جنس المتحدث والحرف المتحرك المحدد الذي نطق به. ولإثبات دقة محاكاتهم، قارنوا الخصائص الرياضية لأصوات الهواء الحقيقية مقابل أصوات العظم الاصطناعية. ووجدوا أن أصوات العظم الاصطناعية كانت تسلك السلوك المتوقع تمامًا: فقد أظهرت نطاقًا أوسع من الترددات وبصمة رياضية محددة تميزها عن أصوات الهواء. وقد أكد هذا أن نموذجهم الحاسوبي نجح في إعادة إنشاء الملف الصوتي الفريد للكلام المنقول عبر العظام.

هذه مجموعة البيانات متاحة الآن للمجتمع البحثي العالمي. وهي توفر فرصة فريدة لاختبار مدى قدرة أنظمة التعرف على الكلام على التعامل مع الضوضاء. ولأن الكلام المنقول عبر الهواء يسهل إفساده بالضوضاء في الخلفية بينما لا يحدث ذلك مع الكلام المنقول عبر العظم، يمكن للباحثين استخدام هذه البيانات المزدوجة لبناء أنظمة يمكنها التبديل بين الاثنين أو الجمع بينهما لفهم الكلام في البيئات الفوضوية مثل الشوارع المزدحمة أو الغرف المكتظة. كما جعل الفريق الكود البرمجي الذي استخدموه لتوليد هذه الأصوات متاحًا للعامة، مما يسمح للآخرين بالتحقق من أساليبهم أو تطبيق التقنيات نفسها على لغات أخرى. ومن خلال تقديم أول نظرة شاملة للحروف المتحركة في اللغة البنغالية عبر كل من الهواء والعظم، يفتح هذا العمل الباب أمام تكنولوجيا كلام أكثر قوة ومقاومة للضوضاء، يمكنها العمل بموثوقية في أي مكان، وليس فقط في استوديو هادئ.