The First Character-Level Visual Speech Recognition for Bangla: Task, Protocol and Results

تخيل أنك تحاول فهم ما يقوله شخص ما دون سماع كلمة واحدة. أنت تراقب حركة شفتيه، وتغير فكه، والأشكال الدقيقة التي يتخذها فمه، ومن خلال تلك الحركات الصامتة، تحاول إعادة بناء الكلمات الدقيقة التي نطق بها. هذا هو تحدي التعرف البصري على الكلام، والذي يُطلق عليه غالباً قراءة الشفاه. لعقود من الزمن، بنى الباحثون أنظمة حاسوبية للقيام بذلك، لكنهم تعاملوا مع المشكلة في الغالب كأنها اختبار اختيار من متعدد. يُعرض على الحاسوب مقطع فيديو ويُطلب منه اختيار الإجابة الصحيحة من قائمة قصيرة مكتوبة مسبقاً، مثل "تفاحة"، أو "موز"، أو "كرسي". إذا قال الشخص شيئاً ليس في تلك القائمة، فإن النظام يفشل؛ إذ لا يمكنه ابتكار كلمة جديدة أو تهجئة جملة لم يسبق له رؤيتها. هذا القصور هو ما منع هذه التكنولوجيا من أن تكون مفيدة حقاً للتواصل في العالم الحقيقي، حيث اللغة مرنة وغير متوقعة.

لقد سلك فريق من الباحثين في جامعة خولنا في بنغلاديش الآن مساراً مختلفاً، حيث يتصدى لهذه المشكلة للغة البنغالية. فبدلاً من إجبار الحاسوب على الاختيار من قائمة ثابتة، علموه كيفية توليد الحروف المكتوبة لما قيل، واحداً تلو الآخر، تماماً كما يكتب الإنسان جملة من الصفر. هذه مهمة أصعب بكثير؛ فهي تتطلب من النظام فهم اللبنات الأساسية للغة وتجميعها في سلسلة متماسكة دون أي شبكة أمان من الإجابات المعتمدة مسبقاً. لم يكتفِ الباحثون باقتراح هذه الفكرة فحسب، بل بنوا نظاماً لاختبارها، ووضعوا مجموعة صارمة من القواعد لقياس مدى نجاحها، ونشروا النتائج لتكون بمثابة نقطة انطلاق للأعمال المستقبلية. وتظهر نتائجهم أنه على الرغم من أن المهمة قابلة للتعلم، إلا أن النظام لا يزال يرتكب الكثير من الأخطاء، وأن العمل لا يزال بعيداً عن الاكتمال.

بدأ الباحثون بالبحث في كل ما نُشر حول قراءة الشفاه باللغة البنغالية حتى ذلك الوقت. ووجدوا أن كل نظام موجود كان يعمل مثل اختبار الاختيار من متعدد الموصوف سابقاً. وسواء كان الحاسوب يحدد كلمة واحدة، أو صوتاً متحركاً، أو منطقة محددة من الوجه، فإنه كان دائماً يختار إجابة من مجموعة مغلقة من الخيارات. لم يكن بإمكان أي من هذه الأنظمة توليد تسلسل من الحروف لم يكن موجوداً بالفعل في قائمة التدريب الخاصة به. أدرك المؤلفون أنه لكي يدفعوا المجال إلى الأمام، يحتاجون إلى تغيير السؤال الجوهري المطروح. فبدلاً من سؤال "أي كلمة هذه؟"، سألوا "ما هي الحروف التي تشكل هذا النطق؟". هذا التحول يسمح للحاسوب بأن يكون صحيحاً جزئياً؛ فإذا خمن النظام الحروف الثلاثة الأولى من الكلمة بشكل صحيح ولكنه أخطأ في الحرف الأخير، يمكن لنظام مستوى الحروف أن يتعرف على هذا النجاح الجزئي، بينما سيصنف نظام الاختيار من متعدد المحاولة بأكملها على أنها فشل.

لاختبار هذا النهج الجديد، استخدم الفريق مجموعة بيانات تسمى (LipBengal)، والتي تحتوي على آلاف المقاطع المرئية لأشخاص ينطقون كلمات بنغالية. لقد قسموا البيانات بعناية بحيث يكون الأشخاص الذين يظهرون في فيديوهات الاختبار مختلفين تماماً عن أولئك الموجودين في فيديوهات التدريب. وهذا يضمن أن النظام يتعلم قراءة الشفاه بشكل عام، وليس مجرد حفظ وجوه متحدثين محددين. النظام الذي بنوه ينظر إلى فيديو صامت للفم، ويعالج الحركة إطاراً تلو الآخر، ويخرج سلسلة من الحروف البنغالية. إنه لا يستخدم الصوت، ولا يعتمد على قاموس مكتوب مسبقاً لتخمين الكلمة التالية؛ بل يحاول ببساطة تحويل الحركة المرئية إلى نص.

كانت نتائج هذه المحاولة الأولى مختلطة، كما أكد المؤلفون بحرص. فقد تمكن النظام من الحصول على سلسلة الحروف كاملة وبشكل صحيح في حوالي 22 بالمائة من فيديوهات الاختبار. وفي الحالات المتبقية، ارتكب أخطاءً. وعند قياس إجمالي عدد الأخطاء في الحروف، أخطأ النظام بنسبة 22 بالمائة تقريباً عند عد الرموز الحاسوبية الفردية لكل حرف، وحوالي 72 بالمائ % عند عد مجموعات الحروف المرئية كما يراها القارئ البشري. ولوضع هذه الأرقام في سياقها، أشار الباحثون إلى أن برنامجاً حاسوبياً يكتفي بتخمين الكلمة الأكثر شيوعاً في القائمة لكل فيديو سيكون مخطئاً بنسبة تقترب من 100 بالمائة في كل مرة. إن النظام الجديد أفضل بوضوح من التخمين العشوائي، مما يثبت أن المهمة قابلة للتعلم من البيانات. ومع ذلك، فإن معدل الخطأ المرتفع يظهر أيضاً أن هذه التكنولوجيا لا تزال في مراحلها الأولى، وأمامها طريق طويل لتصبح قادرة على قراءة الشفاه بموثوقية في مواقف العالم الحقيقي.

إن أهمية هذا التقرير لا تكمن في كمال النتائج، بل في وضوح التعريف. لقد وضع المؤلفون مهمة محددة، وطريقة ثابتة لقياس النجاح، ونتيجة مرجعية يمكن للباحثين الآخرين الآن محاولة تحسينها. لقد جعلوا جميع بياناتهم، وأكوادهم، وتنبؤات نظامهم المحددة متاحة للجمهور، مما يسمح لأي شخص بالتحقق من الأرقاء أو البناء على هذا العمل. ومن خلال تعريف المشكلة كعملية توليد حروف بدلاً من اختيار الكلمات، فقد فتحوا باباً جديداً للتعرف البصري على الكلام باللغة البنغالية. إن النظام الذي بنوه ليس منتجاً نهائياً، ولكنه المرة الأولى التي يُطرح فيها هذا السؤال المحدد، الأكثر صعوبة، ويُجاب عليه لهذه اللغة، مما يوفر أساساً صلباً للجيل القادم من الباحثين ليقفوا عليه.