सांकेतिक भाषा एक समृद्ध, दृश्य संवाद है जो हाथों की सटीक गति, उंगलियों के आकार और शरीर के ओरिएंटेशन पर निर्भर करती है। कंप्यूटरों के लिए इस भाषा को समझने हेतु, उन्हें एक दूसरी जोड़ी आँखों के रूप में कार्य करना चाहिए, जो व्यक्ति के संकेतों को देखते हुए उन्हें शब्दों में अनुवादित कर सके। वर्षों से, शोधकर्ता मानक वीडियो कैमरों का उपयोग करके मशीनों को यह कौशल सिखाने का प्रयास कर रहे हैं। ये कैमरे दृश्य को कैप्चर करते हैं, लेकिन यदि दृश्य दोषपूर्ण हो तो वे संघर्ष करते हैं। यदि हाथ बहुत तेज़ी से हिलता है, तो वह धुंधला हो जाता है; यदि वह किसी अन्य वस्तु के सामने से गुजरता है, तो वह गायब हो जाता है; यदि प्रकाश बदलता है या पृष्ठभूमि व्यस्त (busy) होती है, तो कंप्यूटर महत्वपूर्ण विवरणों को खो देता है। यह मशीन के लिए उन दो संकेतों के बीच अंतर करना कठिन बना देता है जो दिखने में समान हैं लेकिन जिनका अर्थ अलग है।

इसे हल करने के लिए, वैज्ञानिकों ने पहनने योग्य सेंसर (wearable sensors) की ओर भी रुख किया, जो शरीर पर पहने जाने वाले छोटे उपकरण हैं जो गति को सीधे मापते हैं। ये सेंसर उंगली के मुड़ने या कलाई के घूमने को महसूस कर सकते हैं, जिससे गति का एक स्पष्ट रिकॉर्ड मिलता है, भले ही कैमरा उसे स्पष्ट रूप से न देख पाए। हालाँकि, सेंसर अकेले दृश्य संदर्भ (visual context) को नहीं पकड़ पाते, जैसे कि साइनर के शरीर के सापेक्ष हाथ किस दिशा में इशारा कर रहा है। चुनौती इन दोनों तरीकों को देखने—कैमरे की दृश्य आँख और सेंसर की भौतिक संवेदना—को एक एकल प्रणाली में संयोजित करने की थी, जो अकेले किसी एक से अधिक विश्वसनीय हो। तियानजिन यूनिवर्सिटी ऑफ टेक्नोलॉजी और हेबेई यूनिवर्सिटी ऑफ टेक्नोलॉजी के शोधकर्ताओं की एक टीम ने अब ऐसी प्रणाली बनाई है, जिसने वीडियो और पहनने योग्य डेटा को जोड़ने वाला एक तरीका विकसित किया है, जो उल्लेखनीय सटीकता के साथ पृथक सांकेतिक शब्दों को पहचानता है, यहाँ तक कि जब वीडियो की गुणवत्ता खराब हो।

शोधकर्ताओं ने एक नया डेटासेट बनाने से शुरुआत की जिसे विशेष रूप से यह परीक्षण करने के लिए डिज़ाइन किया गया था कि कठिन दृश्य परिस्थितियों में कंप्यूटर संकेतों को कितनी अच्छी तरह पहचान सकता है। उन्होंने पाँच स्वयंसेवकों को भर्ती किया और उन्हें एक सौ अलग-अलग पृथक संकेत करने के लिए कहा, जैसे कि एकल शब्द या छोटे वाक्यांश। प्रत्येक स्वयंसेवक ने प्रत्येक संकेत को दस बार दोहराया, जिससे कुल पाँच हजार नमूने तैयार हुए। रिकॉर्डिंग के दौरान, स्वयंसेवकों ने एक विशेष सेटअप पहना जिसमें ऊपरी बांह, अग्रबाहु (forearm) और हाथ पर छोटे सेंसर शामिल थे। इन सेंसरों ने अंगों की जड़त्वीय गति (inertial motion) और उंगलियों के मुड़ने को मापा। साथ ही, एक मानक USB कैमरा वीडियो रिकॉर्ड कर रहा था। टीम ने सुनिश्चित किया कि वीडियो और सेंसर डेटा पूरी तरह से सिंक्रोनाइज़्ड (तुल्यकालिक) हों, जिसका अर्थ है कि वीडियो का प्रत्येक फ्रेम सेंसर डेटा के ठीक संबंधित क्षण से मेल खाता था। रिकॉर्डिंग वातावरण को सामान्य दृश्य समस्याओं, जैसे कि बदलता प्रकाश, मोशन ब्लर और हाथ के कुछ हिस्सों के छिप जाने को शामिल करने के लिए सेट किया गया था, ताकि वास्तविक दुनिया की चुनौतियों का अनुकरण किया जा सके।

कंप्यूटर को इस डेटा को समझने के लिए प्रशिक्षित करने हेतु, शोधकर्ताओं ने एक ऐसी प्रणाली विकसित की जिसमें दो अलग-अलग "मस्तिष्क" थे जो मिलकर काम करते थे। पहला मस्तिष्क पूरी तरह से वीडियो पर केंद्रित था। इसने प्रत्येक संकेत के लिए वीडियो के बत्तीस फ्रेमों का उपयोग किया, यह विश्लेषण करते हुए कि हाथ स्थान में कैसे चलते हैं और शरीर की मुद्रा कैसे बदलती है। यह मॉडल संकेत की दृश्य कहानी निकालने के लिए डिज़ाइन किया गया था, जो गति और आकार में पैटर्न की तलाश करता था। दूसरा मस्तिष्क पूरी तरह से पहनने योग्य सेंसरों पर केंद्रित था। इसने फ्लेक्स सेंसर और मोशन ट्रैकर्स से प्राप्त कच्चे डेटा (raw data) को संसाधित किया, जिसने सटीक रूप से रिकॉर्ड किया कि उंगलियां कैसे मुड़ीं और भुजाएं कैसे हिलीं। इस मस्तिष्क को समय के प्रवाह को समझने में मदद करने के लिए, सिस्टम ने एक गति के क्षण और अगले क्षण के बीच के अंतर की गणना की, जिससे यह संकेत मिल सका कि इशारा किस गति और दिशा में है। यह सेंसर शाखा हल्की और कुशल बनाई गई थी, जो कच्चे नंबरों से मानव गति के जटिल पैटर्न को सीखने में सक्षम थी।

एक बार जब दोनों मस्तिष्कों ने संकेत किए गए संकेत के बारे में अपनी अलग धारणा बना ली, तो सिस्टम को यह तय करना था कि किस अनुमान पर भरोसा किया जाए। शोधकर्ताओं ने पाया कि सूचना के दो स्रोत अक्सर असहमत होते थे। कभी-कभी कैमरा संकेत को स्पष्ट रूप से देखता था, लेकिन सेंसर समान गति के कारण भ्रमित हो जाते थे। अन्य समय में, सेंसर जानते थे कि वास्तव में क्या हो रहा है क्योंकि गति विशिष्ट थी, भले ही वीडियो धुंधला हो या हाथ आंशिक रूप से छिपा हुआ हो। इसे संभालने के लिए, टीम ने दोनों अनुमानों को मिलाने का एक तरीका बनाया। उन्होंने केवल दोनों उत्तरों का औसत नहीं निकाला। इसके बजाय, उन्होंने प्रत्येक अनुमान की विश्वसनीयता को इस आधार पर समायोजित किया कि सिस्टम उस विशिष्ट प्रकार के डेटा के बारे में कितना आश्वस्त था। फिर उन्होंने सर्वोत्तम परिणाम देने के लिए चुने गए एक विशिष्ट भार (weight) का उपयोग करके समायोजित संभावनाओं को संयोजित किया। इस प्रक्रिया ने सिस्टम को स्पष्ट वीडियो होने पर वीडियो पर अधिक निर्भर रहने और मोशन डेटा अस्पष्ट होने पर सेंसर डेटा पर अधिक निर्भर रहने की अनुमति दी।

इस दृष्टिकोण के परिणाम आश्चर्यजनक थे। जब शोधकर्ताओं ने नए लोगों पर इस प्रणाली का परीक्षण किया जो प्रशिक्षण समूह का हिस्सा नहीं थे, तो केवल वीडियो वाले सिस्टम ने लगभग साठ प्रतिशत (68%) समय सही उत्तर दिया। केवल सेंसर वाले सिस्टम ने बहुत बेहतर प्रदर्शन किया, जिसने लगभग पचानवे प्रतिशत (95%) बार सही उत्तर दिया। इसने पुष्टि की कि पहनने योग्य सेंसर इन विशिष्ट संकेतों को पहचानने के लिए वीडियो की तुलना में बहुत अधिक स्थिर संकेत प्रदान करते हैं, विशेष रूप से उन कठिन दृश्य परिस्थितियों में जिन्हें टीम ने बनाया था। हालाँकि, फ्यूज्ड (संयोजित) प्रणाली, जिसने दोनों स्रोतों को मिलाया था, और भी बेहतर प्रदर्शन करती है। इसने संतानता (accuracy) का ९७ प्रतिशत प्राप्त किया, जो लगभग हर मामले में संकेत की सही पहचान करता है। इस सुधार का अर्थ था कि फ्यूज्ड सिस्टम ने केवल सेंसर वाले संस्करण की तुलना में बहुत कम गलतियाँ कीं, और उन त्रुटियों को सुधारा जिन्हें अकेले सेंसर हल नहीं कर सकते थे।

टीम ने उन गलतियों पर भी बारीकी से नज़र डाली जो फ्यूज्ड सिस्टम अभी भी करता था। उन्होंने पाया कि शेष त्रुटियाँ मुख्य रूप से उन संकेतों के जोड़ों के बीच होती हैं जो स्वाभाविक रूप से बहुत समान होते हैं, जैसे कि वे संकेत जो एक ही हाथ के आकार का उपयोग करते हैं लेकिन थोड़ा अलग दिशा में इशारा करते हैं, या वे संकेत जो उंगलियों के मुड़ने के सूक्ष्म अंतर पर निर्भर करते हैं। ये वे भेद हैं जिन्हें बिना सावधानीपूर्वक ध्यान दिए किसी भी मनुष्य के लिए समझना कठिन है, मशीन के लिए तो बिल्कुल भी नहीं। विश्लेषण ने दिखाया कि जब वीडियो और सेंसर सहमत थे, तो सिस्टम लगभग हमेशा सही था। जब वे असहमत थे, तो फ्यूजेशन पद्धति ने गलती को सुधारने के लिए अधिक विश्वसनीय स्रोत का सफलतापूर्वक उपयोग किया। इसने प्रदर्शित किया कि दोनों प्रकार के डेटा वास्तव में पूरक थे: सेंसरों ने गति का एक मजबूत आधार प्रदान किया, जबकि वीडियो ने सबसे समान संकेतों के बीच अंतर करने के लिए आवश्यक दृश्य विवरण जोड़े।

यह कार्य सुझाव देता है कि सांकेतिक भाषा की पहचान का भविष्य केवल एक प्रकार की तकनीक पर निर्भर नहीं हो सकता है। इसके बजाय, कैमरे के दृश्य परिप्रेक्ष्य को पहनने योग्य सेंसरों के प्रत्यक्ष भौतिक माप के साथ जोड़ना एक ऐसी प्रणाली बनाता है जो वास्तविक दुनिया की रिकॉर्डिंग की खामियों के प्रति लचीली है। जबकि वर्तमान अध्ययन स्वयंसेवकों के एक छोटे समूह और संकेतों के एक विशिष्ट सेट तक सीमित था, इस पद्धति ने सिद्ध किया कि एक ऐसा पहचान उपकरण बनाना संभव है जो तब भी अच्छा काम करता है जब वीडियो फीड खराब हो। शोधकर्ताओं ने उल्लेख किया कि इस तकनीक को सभी के लिए उपयोगी बनाने के लिए, भविष्य के कार्यों में विभिन्न साइनिंग शैलियों वाले अधिक लोगों को शामिल करने और सिस्टम का विविध वातावरण में परीक्षण करने की आवश्यकता होगी। फिलहाल, यह अध्ययन एक स्पष्ट मार्ग प्रदान करता है, जो दिखाता है कि जब मशीनों को आँखें और स्पर्श की संवेदना दोनों दी जाती हैं, तो वे उस स्तर की सटीकता के साथ मानव संचार को समझ सकती हैं जो अकेले किसी भी एक संवेदना से प्राप्त करना संभव नहीं है।