Bridging communication between hearing and visually impaired individuals via speech recognition and synthesis
تقدم هذه الورقة أداة برمجية فقط ومنخفضة التكلفة للتعرف على الكلام وتخليقه (SRST) تم تطويرها في بيئة MATLAB، والتي تسهل التواصل ثنائي الاتجاه بين الأفراد من ذوي الإعاقة السمعية والبصرية عن طريق تحويل الكلام إلى نص عالي التباين والنص إلى كلام مُخلق، محققةً كفاءة تشغيلية تبلغ حوالي 90% دون الحاجة إلى أجهزة متخصصة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالم التواصل كأنه حفلة صاخبة ومزدحمة حيث يحاول الجميع التحدث مع بعضهم البعض. بالنسبة لمعظم الناس، هذا أمر سهل: أنت تتحدث، صديقك يسمعك، ثم يتحدث هو، وأنت ترى حركة شفتيه. لكن بالنسبة لبعض الضيوف، تبدو الحفلة معطلة نوعاً ما. إذا لم تستطع سماع الموسيقى (ضعف السمع)، فستبدو المحادثة وكأنك تشاهد فيلماً صامتاً حيث تفوتك النكات. وإذا لم تستطع رؤية الشاشة (ضعف البصر)، فقد تسمع الموسيقى ولكن ليس لديك أدنى فكرة عما يدور حوله الفيلم لأنك لا تستطيع قراءة الترجمة النصية.
تعيش هذه الورقة البحثية في زاوية من العلوم تسمى "التكنولوجيا المساعدة"، وهي في الأساس مجال بناء الأدوات لمساعدة الأشخاص ذوي الإعاقة على الانضمام إلى الحفلة. لفهم ما قام به هؤلاء الباحثون، عليك أن تعرف حيلتين رئيسيتين تستخدمهما الحواسيب للتحدث مع البشر. الأولى هي التعرف على الكلام، وهي تشبه المترجم فائق السرعة الذي يستمع إلى صوتك ويحوله إلى كلمات مكتوبة على الشاشة. والثانية هي توليد الكلام، وهي عكس ذلك تماماً: فهي تأخذ الكلمات المكتوبة وتستخدم صوتاً حاسوبياً لقراءتها بصوت عالٍ. عادةً، تُصمم هذه الأدوات للأشخاص الذين يستطيعون السمع ولكن لا يستطيعون الرؤية، أو العكس. ولكن ماذا يحدث عندما يحاول شخص لا يستطيع السمع التحدث مع شخص لا يستطيع الرؤية؟ يجدون أنفسهم عالقين في حلقة مفرغة حيث لا يستطيع أحدهم سماع الإجابة، ولا يستطيع الآخر قراءة السؤال. تحاول هذه الورقة البحثية إصلاح هذه الحلقة المعطلة تحديداً.
قام الباحثون، وهم فريق من جامعة أكسوم في إثيوبيا، ببناء جسر رقمي يسمى أداة التعرف على الكلام وتوليده (SRST). فكر في الأمر كجهاز لاسلكي ثنائي الاتجاه لا ينقل الصوت فحسب، بل يترجم الصوت فوراً إلى نص، والنص إلى صوت. كان هدفهم هو إنشاء نظام يمكن من خلاله لشخص يعاني من ضعف السمع أن يتحدث في الميكروفون، لتظهر كلماته فوراً كنص كبير وواضح على الشاشة ليتمكن الشخص الكفيف من "سماعها" عبر صوت حاسوبي، ومن ثم يتحدث ذلك الشخص الكفيف رداً عليه، ليتحول صوته إلى نص يمكن للشخص ضعيف السمع قراءته.
الجزء المثير في هذا المشروع هو أنهم لم يبنوا أي روبوتات فاخرة أو أجهزة باهظة الثمن. بدلاً من ذلك، كتبوا برنامجاً ذكياً يعمل على حاسوب عادي باستخدام ميكروفون وسماعة عادية. إنه يشبه تحويل جهاز كمبيوتر محمول عادي إلى جهاز تواصل سحري. يعمل النظام في اتجاهين رئيسيين. في جانب، يستمع لصوت الشخص الكفيف؛ حيث يقوم بتقسيم الصوت إلى قطع صغيرة، ويحلل الأنماط الفريدة للكلام (مثل بصمة الإصبع للصوت)، ويطابق تلك الأنماط مع قائمة الكلمات التي تعلمها. وبمجرد أن يحدد ما قيل، يقوم بطباعة الكلمات على الشاشة بنص عالي التباين ليتمكن الشخص ضعيف السمع من قراءتها. وعلى الجانب الآخر، يقوم الشخص ضعيف السمع بكتابة رسالة، فيقوم الحاسوب بأخذ هذه الحروف ودمج قطع صغيرة من الكلام البشوي المسجل مسبقاً (تسمى "الدي فونات" أو diphones) لإنشاء صوت جديد يقرأ الرسالة بصوت عالٍ للشخص الكفيف.
اختبر الفريق ابتكارهم من خلال جعل الناس يتحدثون إلى النظام في مختبر جامعي صاخب. ووجدوا أن النظام يعمل بشكل جيد جداً، حيث ينجح في إيصال الرسالة بنسبة 90% من المرات. وكان أفضل قليلاً في التعرف على الكلمات المنفردة (حوالي 91.2%) مما كان عليه في فهم الجمل في غرفة هادئة (89.5%)، وانخفضت النسبة قليلاً عند وجود ضوضاء في الخلفية (84.1%). يشير المؤلفون إلى أن الأخطاء القليلة حدثت لأن بعض الكلمات تبدو متشابهة جداً لأذن الحاسوب، مثل التوائم في حشد من الناس.
اكتشفوا أيضاً أن النظام مرن. ولأنهم لم يبرمجوا قواعد لغوية معقدة، استطاع النظام التعامل مع مزيج من اللغات، حيث نجح في التعرف على كلمات من الإنجليزية والتغرينية والأمهرية في نفس المحادثة. ومع ذلك، يعترفون بأن النظام ليس مثالياً بعد؛ فهو يرتبك أحياناً بسبب الأصوات المفاجئة العالية (مثل سحب كرسي) التي ليست كلاماً، ويمكن أن يكون بطيئاً قليلاً إذا اضطر الحاسوب للتحقق من الكثير من الكلمات في وقت واحد.
يخلص الباحثون إلى أنه بينما يعد هذا نموذجاً أولياً يعمل وليس منتجاً تجارياً نهائياً، إلا أنه يثبت أن حلاً برمجياً منخفض التكلفة يمكن أن ينجح في سد الفجوة بين هذين المجتمعين. ويقترحون أنه في المستقبل، يمكن لإضافة طبقة ترجمة أن تسمح للناس بالتحدث بلغات مختلفة وفهم بعضهم البعض، كما أن استخدام ميكروفونات أفضل قد يساعد النظام على تجاهل ضوضاء الخلفية. ولكن في الوقت الحالي، لقد بنوا أساساً متيناً — مصافحة رقمية — تظهر كيف يمكن للتكنولوجيا أن تساعد شخصين يختبران العالم بشكل مختلف على إجراء محادثة أخيراً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.