Multimodal Surface EMG Hand Gesture Recognition Using Query-Based Transformers for Prosthetic Control

कल्पना कीजिए कि आप एक रोबोटिक हाथ को ठीक वही करने के लिए सिखाने की कोशिश कर रहे हैं जो आपका अपना हाथ करता है, और वह भी केवल उन सूक्ष्म विद्युत फुसफुसाहटों (electrical whispers) को सुनकर जो आपकी मांसपेशियों द्वारा भेजी जाती हैं। यह प्रोस्थेटिक नियंत्रण (prosthetic control) की दुनिया है, जहाँ वैज्ञानिक "सरफेस इलेक्ट्रोमायोग्राफी" (sEMG) संकेतों—यानी जब आपकी मांसपेशियां सिकुड़ती हैं तो उत्पन्न होने वाले विद्युत शोर—को पढ़ने के लिए सेंसर का उपयोग करते हैं। इन संकेतों को एक ऐसे अराजक रेडियो स्टेशन की तरह समझें जो स्टैटिक और संगीत का मिश्रण बजा रहा है; लक्ष्य यह पता लगाना है कि वास्तव में कौन सा गाना (या हाथ का इशारा) बज रहा है। दशकों से, शोधकर्ताओं ने ऐसे "अनुवादक" बनाने की कोशिश की है जो इन विद्युत फुसफुसाहटों को कृत्रिम अंगों के सुचारू, प्राकृतिक आंदोलनों में बदल सकें। लेकिन यहाँ एक पेंच है: जैसे-जैसे संभावित हाथ के इशारों की संख्या बढ़ती है और जटिल होती जाती है, पुराने अनुवादक भ्रमित होने लगते हैं और बार-बार चूक जाते हैं। वे एक ऐसे छात्र की तरह हैं जो केवल व्यक्तिगत अक्षरों को देखकर शब्दकोश याद करने की कोशिश कर रहा है, और इस बात को समझने में विफल है कि शब्द एक साथ कैसे फिट होते हैं।

अब, कल्पना कीजिए कि यदि वह छात्र उस वस्तु को देखने के लिए व्यक्ति की आँखों को भी देख सके जिसे वह पकड़ना चाहता है, या उनके हाथ के झूलने की गति को महसूस कर सके। यहीं पर नया शोध काम आता है, जो अधिक स्मार्ट तरीके से सुनने का प्रस्ताव देता है। केवल मांसपेशियों के संकेतों को देखने के बजाय, यह नया सिस्टम एक सुपर-संगठित जासूस की तरह कार्य करता है जो कई स्रोतों से सुराग इकट्ठा करता है—मांसपेशियों की बिजली, हाथ की गति के सेंसर, और यहाँ तक कि आँखें कहाँ देख रही हैं—ताकि इस रहस्य को सुलझा सके कि "यह हाथ का इशारा क्या है?" यह शोध एक नए प्रकार के बुद्धिमान सॉफ्टवेयर को पेश करता है जिसे EMG-CrossFormer कहा जाता है। इसे एक मल्टीटास्किंग मास्टर बनने के लिए डिज़ाइन किया गया है, जो हाथ की गतिविधियों को पहले से कहीं बेहतर ढंग से समझने के लिए विभिन्न प्रकार के डेटा को जोड़ता है, विशेष रूप से उन लोगों के लिए जिन्होंने अपना हाथ खो दिया है और जिन्हें एक ऐसे प्रोस्थेटिक की आवश्यकता है जो उनके शरीर का वास्तविक हिस्सा महसूस हो।

जासूस का नया टूलकिट: EMG-CrossFormer

इस शोध के लेखक, फेडेरिको डेल चुप, एलिसा टेंटोरी और मैनफ्रेडो अत्ज़ोरी ने महसूस किया कि हाथ के इशारों को डिकोड करने का पुराना तरीका एक दीवार से टकरा रहा था। पारंपरिक डीप लर्निंग मॉडल, जो शक्तिशाली लेकिन संकीखी कंप्यूटरों की तरह हैं, छोटे, स्थानीय विवरणों (जैसे एक एकल मांसपेशी की थरथराहट) को देखने में बहुत अच्छे होते हैं, लेकिन समय के साथ या विभिन्न प्रकार के संकेतों के बीच संबंध जोड़ने में संघर्ष करते हैं। वे एक ऐसे शेफ की तरह हैं जो प्याज को तो पूरी तरह काट सकता है लेकिन यह नहीं जानता कि सूप बनाने के लिए उसे नमक और काली मिर्च के साथ कैसे मिलाया जाए। जब हाथ के इशारों की सूची लंबी हो जाती है (जैसे 40 अलग-अलग गतिविधियाँ), तो ये पुराने मॉडल विफल होने लगते हैं, और अक्सर सरल, पुराने तरीकों की तुलना में खराब प्रदर्शन करते हैं।

इसे ठीक करने के लिए, टीम ने EMG-CrossFormer बनाया, जो एक हाइब्रिड मॉडल है और एक उच्च-तकनीकी ऑर्केस्ट्रा कंडक्टर की तरह कार्य करता है। केवल एक संगीतकार के एक ही वाद्य यंत्र बजाने के बजाय, यह सिस्टम विभिन्न "सेक्शन" को एक साथ लाता है।

1. संगीतकार (Encoders): सबसे पहले, यह कच्चे डेटा को सुनता है। इसके पास विशेष "बैकबोन" (संगीतकार) हैं जो मांसपेशियों के संकेतों (sEMG) को पढ़ते हैं। यह अतिरिक्त सुराग भी पढ़ सकता है जैसे एक्सेलेरोमीटर डेटा (जो ट्रैक करता है कि हाथ अंतरिक्ष में कैसे घूम रहा है) और आई-ट्रैकिंग डेटा (जो दिखाता है कि व्यक्ति कहाँ देख रहा है)।
2. कंडक्टर (Cross-Attention): यही जादुई हिस्सा है। अतीत में, सिस्टम इन सभी सुरागों को बस एक ढेर में डाल देते थे और उम्मीद करते थे कि सब ठीक हो जाएगा। EMG-CrossFormer "क्रॉस-अटेंशन" नामक तकनीक का उपयोग करता है। कल्पना कीजिए कि कंडक्टर मांसपेशी सेक्शन से पूछता है, "हे, तुम क्या महसूस कर रहे हो?" और फिर आई-ट्रैकिंग सेक्शन की ओर मुड़कर कहता है, "और तुम, वे कहाँ देख रहे हैं?" यह सिस्टम विभिन्न संकेतों को एक-दूसरे से बात करने के लिए मजबूर करता है, और उनकी कहानियों को एक पूर्ण समझ में मिला देता है।
3. सोलोइस्ट (Query-Based Decoder): अंत में, सिस्टम "लर्नेबल जेस्चर क्वेरीज़" का उपयोग करता है। इन्हें विशिष्ट हाथ के इशारों (जैसे "कप पकड़ना" या "नमस्ते कहना") का प्रतिनिधित्व करने वाले जादुई कार्डों के रूप में समझें। सिस्टम इन कार्डों से पूछता है, "क्या यह इशारा उस कहानी से मेल खाता है जो हमने अभी सुनी है?" और विजेता का चयन करता है।

उन्होंने क्या पाया: टीम वर्क की शक्ति

शोधकर्ताओं ने इस नए सिस्टम का परीक्षण चार अलग-अलग डेटासेट्स (वास्तविक लोगों, जिनमें हाथ वाले और बिना हाथ वाले दोनों शामिल हैं, से प्राप्त डेटा का संग्रह) पर किया जिन्हें NinaPro DB2, DB3, DB7 और DB10 कहा जाता है। उन्होंने यह देखने के लिए EMG-CrossFormer को छह अन्य शीर्ष-स्तरीय मॉडलों के खिलाफ खड़ा किया कि कौन हाथ के इशारों का सबसे अच्छी तरह से अनुमान लगा सकता है।

केवल मांसपेशियों के संकेतों के साथ परिणाम:
जब उन्होंने केवल मांसपेशियों के संकेतों (sEMG) का उपयोग किया, तो नया मॉडल पहले से ही चैंपियन था, लेकिन यह जीत मामूली थी।

• DB2 डेटासेट पर, इसने 72.33% सटीकता प्राप्त की।
• DB3 (जिसमें एम्पुटी भी शामिल हैं) पर, इसने 52.48% हासिल किया।
• DB7 पर, इसने 79.16% तक पहुँच बनाई।
• DB10 पर, इसने 73.49% का स्कोर किया।
  हालांकि यह सर्वश्रेष्ठ था, शोध पत्र नोट करता है कि इस नए मॉडल और दूसरे सर्वश्रेष्ठ मॉडल के बीच का अंतर कम था। यह सुझाव देता है कि भले ही सबसे स्मार्ट मांसपेशी-मात्र अनुवादक भी संघर्ष करता है जब संकेत शोर भरे हों या इशारे बहुत समान हों।

अधिक सुराग जोड़ने का जादू:
फिर, उन्होंने अतिरिक्त सेंसर चालू किए। जब उन्होंने एक्सेलेरोमीटर डेटा (हाथ की गति को ट्रैक करना) जोड़ा, तो परिणाम आसमान छू गए।

• DB2 पर, सटीकता बढ़कर 90.66% हो गई।
• DB3 (एम्पुटी) पर, यह उछलकर 80.40% हो गई।
• DB7 पर, इसने 92.79% छुआ।
• DB10 पर, यह 92.06% तक पहुँच गया।

यह भारी सुधार बताता है कि केवल मांसपेशी संकेत पूरी कहानी बताने के लिए पर्याप्त नहीं हैं। एक्सेलेरोमीटर से "गति" के सुराग जोड़ने से, सिस्टम अंततः उन इशारों के बीच अंतर करने में सक्षम हुआ जो मांसपेशियों में समान दिखते हैं लेकिन हाथ में अलग महसूस होते हैं।

आई-ट्रैकिंग ट्विस्ट:
उन्होंने मिश्रण में आई-ट्रैकिंग डेटा (व्यक्ति कहाँ देख रहा है) को भी जोड़ने का प्रयास किया। दिलचस्प बात यह है कि इससे हमेशा चीजें बेहतर नहीं हुईं। कुछ डेटासेट्स पर, आई-ट्रैकिंग डेटा जोड़ने से केवल मांसपेशियों और हाथ की गति के मुकाबले स्कोर में अधिक सुधार नहीं हुआ। लेखक सुझाव देते हैं कि ऐसा इसलिए हो सकता है क्योंकि आई-ट्रैकिंग यह अनुमान लगाने में बेहतर है कि आप आगे क्या करना चाहते हैं, बजाय इसके कि आप वर्तमान में क्या कर रहे हैं। यह कुछ ऐसा है जैसे किसी की आँखों को देखकर यह अनुमान लगाने की कोशिश करना कि वह क्या खा रहा है; यह मदद तो करता है, लेकिन यह भोजन को सीधे महसूस करने जितना सीधा नहीं है।

यह क्यों मायने रखता है (और यह क्या नहीं है)

शोध पत्र निष्कर्ष निकालता है कि स्थानीय विवरणों (मांसपेशियां अभी क्या कर रही हैं) को वैश्विक संदर्भ (हाथ कैसे हिल रहा है और आँखें कहाँ देख रही हैं) के साथ जोड़ना जटिल हाथ के इशारों को अनलॉक करने की कुंजी है। नया मॉडल, EMG-CrossFormer, लचीला होने के लिए डिज़ाइन किया गया है। यह किसी भी संख्या में संकेतों को संभाल सकता है, जिससे यह प्रोस्थेटिक्स के लिए एक भविष्य के अनुकूल उपकरण बन जाता है।

हालाँकि, लेखक परिणामों को बहुत अधिक बढ़ा-चढ़ाकर बताने से बचते हैं। वे बताते हैं कि भले ही आंकड़े शानदार दिखते हैं, लेकिन यह सिस्टम अभी भी एक "ब्लैक बॉक्स" है—हम जानते हैं कि यह काम करता है, लेकिन हम पूरी तरह से नहीं समझते कि यह अपने न्यूरल लेयर्स के भीतर इतने अच्छे से क्यों काम करता है। वे यह भी नोट करते हैं कि परीक्षण विशिष्ट डेटासेट्स पर किया गया था, और वास्तविक दुनिया के प्रोस्थेटिक्स को पसीने या हलचल से होने वाले सिग्नल शोर जैसी कई अधिक चुनौतियों का सामना करना पड़ता है।

यह शोध स्पष्ट रूप से इस विचार को खारिज करता है कि जटिल कार्यों के लिए पुराने, सरल मॉडल पर्याप्त हैं; वे बस बड़े पैमाने पर काम नहीं कर सकते। यह यह भी सुझाव देता है कि केवल एक खराब सिस्टम में अधिक डेटा डालने से मदद नहीं मिलती; डेटा को जोड़ने का तरीका ("फ्यूजन स्ट्रैटेजी") ही मायने रखता है। लेखक प्रस्तावित करते हैं कि उनका "क्रॉस-अटेंशन" तरीका केवल डेटा को आपस में चिपकाने की तुलना में बेहतर है, क्योंकि यह सिस्टम को विभिन्न संकेतों के बीच के संबंध को वास्तव में समझने के लिए मजबूर करता है।

अंत में, यह शोध यह दावा नहीं करता है कि इसने पूर्ण प्रोस्थेटिक्स की समस्या को हमेशा के लिए हल कर दिया है। इसके बजाय, यह एक शक्तिशाली नया ब्लूप्रिंट प्रदान करता है। यह दिखाता है कि यदि हम चाहते हैं कि रोबोट मनुष्यों की तरह चलें, तो हमें केवल एक आवाज को सुनना बंद करना होगा और संकेतों के एक पूर्ण ऑर्केस्ट्रा का संचालन करना शुरू करना होगा। आगे का रास्ता ऐसे सिस्टम बनाने का है जो न केवल स्मार्ट हों बल्कि अनुकूल भी हों, जो मांसपेशियों, गति और यहाँ तक कि उन्हें पहनने वाले व्यक्ति की दृष्टि से सीखने के लिए तैयार हों।