The First Character-Level Visual Speech Recognition for Bangla: Task, Protocol and Results

कल्पना कीजिए कि आप बिना एक भी शब्द सुने यह समझने की कोशिश कर रहे हैं कि कोई क्या कह रहा है। आप उनके होंठों की हरकत, उनके जबड़े का हिलना और उनके मुंह के सूक्ष्म आकार को देखते हैं, और उन मौन गतिविधियों से, आप उन सटीक शब्दों को पुनर्गठित करने का प्रयास करते हैं जो उन्होंने बोले थे। यह विजुअल स्पीच रिकग्निशन (दृश्य भाषण पहचान) की चुनौती है, जिसे अक्सर लिप रीडिंग (होंठ पढ़ना) कहा जाता है। दशकों से, शोधकर्ताओं ने इस कार्य को करने के लिए कंप्यूटर सिस्टम बनाए हैं, लेकिन उन्होंने ज्यादातर इस समस्या को एक बहुविकल्पीय प्रश्नोत्तरी (मल्टीपल चॉइस क्विज़) की तरह लिया है। कंप्यूटर को एक वीडियो दिखाया जाता है और उसे पहले से लिखी गई संभावनाओं की एक छोटी सूची में से सही उत्तर चुनने के लिए कहा जाता है, जैसे कि "सेब," "केला," या "कुर्सी।" यदि व्यक्ति ऐसी कोई बात कहता है जो उस सूची में नहीं है, तो सिस्टम विफल हो जाता है। यह नया शब्द नहीं बना सकता और न ही उस वाक्य को लिख सकता है जिसे उसने पहले नहीं देखा है। इस सीमा ने तकनीक को वास्तविक दुनिया के संचार के लिए वास्तव में उपयोगी होने से रोक रखा है, जहाँ भाषा तरल और अप्रत्याशित होती है।

बांग्लादेश के खुलना विश्वविद्यालय के शोधकर्ताओं की एक टीम ने अब एक अलग रास्ता अपनाया है, जो बांग्ला भाषा के लिए इस समस्या से निपट रही है। कंप्यूटर को एक निश्चित सूची में से चुनने के लिए मजबूर करने के बजाय, उन्होंने इसे बोले गए शब्दों के लिखित अक्षरों को एक-एक करके उत्पन्न करना सिखाया, ठीक वैसे ही जैसे एक इंसान शून्य से एक वाक्य लिखता है। यह एक बहुत कठिन कार्य है। इसके लिए सिस्टम को भाषा के निर्माण खंडों (बिल्डिंग ब्लॉक्स) को समझने और बिना किसी पूर्व-अनुमोदित उत्तरों के सुरक्षा जाल के उन्हें एक सुसंगत स्ट्रिंग में जोड़ने की आवश्यकता होती है। शोधकर्ताओं ने केवल यह विचार प्रस्तावित नहीं किया; उन्होंने इसे परीक्षण करने के लिए एक सिस्टम बनाया, यह मापने के लिए कि यह कितनी अच्छी तरह काम करता है इसके लिए नियमों का एक सख्त सेट बनाया, और भविष्य के कार्य के लिए एक शुरुआती बिंदु के रूप में परिणाम प्रकाशित किए। उनके निष्कर्ष बताते हैं कि हालांकि यह कार्य सीखने योग्य है, फिर भी सिस्टम कई गलतियाँ करता है, और यह काम अभी बहुत दूर है।

शोधकर्ताओं ने शुरू में उस समय तक बांग्ला लिप रीडिंग के बारे में प्रकाशित की गई हर चीज़ को देखा। उन्होंने पाया कि प्रत्येक मौजूदा सिस्टम ऊपर वर्णित बहुविकल्पीय प्रश्नोत्तरी की तरह ही काम करता था। चाहे कंप्यूटर एक एकल शब्द, एक स्वर ध्वनि, या चेहरे के एक विशिष्ट क्षेत्र की पहचान कर रहा हो, वह हमेशा विकल्पों के एक बंद सेट में से एक उत्तर चुन रहा था। इनमें से कोई भी सिस्टम अक्षरों का ऐसा क्रम उत्पन्न नहीं कर सका जो उनकी प्रशिक्षण सूची में पहले से मौजूद न हो। लेखकों ने महसूस किया कि क्षेत्र को आगे बढ़ाने के लिए, उन्हें पूछे जा रहे मौलिक प्रश्न को बदलने की आवश्यकता है। "यह कौन सा शब्द है?" पूछने के बजाय, उन्होंने पूछा "इस उच्चारण में कौन से अक्षर शामिल हैं?" यह बदलाव कंप्यूटर को आंशिक रूप से सही होने की अनुमति देता है। यदि एक सिस्टम शब्द के पहले तीन अक्षरों को सही पहचान लेता है लेकिन आखिरी एक को गलत कर देता है, तो एक कैरेक्टर-लेवल सिस्टम उस आंशिक सफलता को पहचान सकता है, जबकि एक बहुविकल्पीय सिस्टम पूरे प्रयास को विफल मान लेगा।

इस नए दृष्टिकोण का परीक्षण करने के लिए, टीम ने 'लिपबेंग्ल' (LipBengal) नामक एक डेटासेट का उपयोग किया, जिसमें लोग बांग्ला शब्द बोलते हुए हजारों वीडियो क्लिप शामिल हैं। उन्होंने डेटा को सावधानीपूर्वक विभाजित किया ताकि परीक्षण वीडियो में दिखने वाले लोग प्रशिक्षण वीडियो में दिखने वाले लोगों से पूरी तरह से अलग हों। यह सुनिश्चित करता है कि सिस्टम सामान्य रूप से होंठ पढ़ने सीख रहा है, न कि केवल विशिष्ट वक्ताओं के चेहरों को याद कर रहा है। उनके द्वारा बनाया गया सिस्टम एक मुंह के मूक वीडियो को देखता है, फ्रेम-दर-फ्रेम गति को प्रोसेस करता है, और बांग्ला अक्षरों की एक स्ट्रिंग आउटपुट करता है। यह ऑडियो का उपयोग नहीं करता है, न ही यह अगले शब्द का अनुमान लगाने के लिए किसी पूर्व-लिखित शब्दकोश पर निर्भर करता है। यह बस दृश्य गति को टेक्स्ट में बदलने का प्रयास करता है।

इन परिणामों के पहले प्रयास के परिणाम मिले-जुले थे, जैसा कि लेखकों ने सावधानीपूर्वक स्पष्ट किया। सिस्टम लगभग 22 प्रतिशत टेस्ट वीडियो के लिए अक्षरों की पूरी स्ट्रिंग को बिल्कुल सही बताने में सफल रहा। शेष मामलों में, इसने त्रुटियां कीं। अक्षरों की गलतियों की कुल संख्या को मापने पर, सिस्टम प्रत्येक व्यक्तिगत कंप्यूटर कोड के लिए लगभग 63 प्रतिशत और मानव पाठक के रूप में देखे जाने वाले दृश्य अक्षर समूहों के लिए लगभग 72 प्रतिशत गलत था। इन संख्याओं को संदर्भ में रखने के लिए, शोधकर्ताओं ने नोट किया कि एक कंप्यूटर प्रोग्राम जो हर वीडियो के लिए सूची के सबसे सामान्य शब्द का अनुमान लगाता है, वह लगभग 100 प्रतिशत समय गलत होगा। नया सिस्टम रैंडम गेसिंग (यादृच्छिक अनुमान) से स्पष्ट रूप से बेहतर है, जो यह सिद्ध करता है कि यह कार्य डेटा से सीखा जा सकता है। हालांकि, उच्च त्रुटि दर यह भी दर्शाती है कि तकनीक अभी अपने शुरुआती चरणों में है और वास्तविक दुनिया की स्थितियों में विश्वसनीय रूप से होंठ पढ़ने से पहले इसे लंबा रास्ता तय करना है।

इस रिपोर्ट का महत्व परिणामों की पूर्णता में नहीं, बल्कि परिभाषा की स्पष्टता में निहित है। लेखकों ने एक विशिष्ट कार्य, सफलता को मापने का एक निश्चित तरीका और एक बेसलाइन परिणाम स्थापित किया है जिस पर अन्य शोधकर्ता अब सुधार करने का प्रयास कर सकते हैं। उन्होंने अपना सारा डेटा, कोड और उनके सिस्टम द्वारा किए गए विशिष्ट अनुमानों को सार्वजनिक रूप से उपलब्ध कराया है, जिससे कोई भी इन नंबरों को सत्यापित कर सकता है या इस कार्य को आगे बढ़ा सकता है। समस्या को शब्द चयन के बजाय कैरेक्टर जनरेशन (अक्षर निर्माण) के रूप में परिभाषित करके, उन्होंने बांग्ला विजुअल स्पीच रिकग्निशन के लिए एक नया द्वार खोल दिया है। उनके द्वारा बनाया गया सिस्टम एक तैयार उत्पाद नहीं है, बल्कि यह पहली बार है जब इस विशिष्ट, अधिक कठिन प्रश्न को पूछा और उत्तर दिया गया है, जो अगली पीढ़ी के शोधकर्ताओं के लिए एक ठोस आधार प्रदान करता है।