Toward Signing Activity Projection in Sign Language Interaction
यह शोध पत्र पब्लिक डीजीएस कॉर्पस का उपयोग करते हुए साइन लैंग्वेज इंटरेक्शन में वॉइस एक्टिविटी प्रोजेक्शन (VAP) के हस्तांतरण की जांच करता है, जिसमें यह पाया गया है कि हालांकि हैंड-क्यू-आधारित मॉडल साइनिंग निरंतरता की भविष्यवाणी करने के लिए आशाजनक दिखते हैं, फिर भी सटीक टर्न-टेकिंग भविष्यवाणी चुनौतीपूर्ण बनी हुई है और इसके लिए स्पीच-व्युत्पन्न श्रेणियों से परे साइन-लैंग्वेज-विशिष्ट इवेंट परिभाषाओं की आवश्यकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक सामाजिक रोबोट की कल्पना एक नए डांस पार्टनर के रूप में करें। एक सामान्य बातचीत में, लोग बारी-बारी से बोलते हैं। यदि आप बोलना बंद कर देते हैं, तो आपका साथी जानता है कि कब बीच में बोलना है या कब प्रतीक्षा करनी है। कंप्यूटर इस "नृत्य" (डान्स) का पूर्वानुमान लगाने में काफी कुशल होते जा रहे हैं, जब लोग बोलते हैं, जिसे वॉयस एक्टिविटी प्रोजेक्शन (VAP) कहा जाता है। यह एक रडार की तरह है जो सन्नाटे को सुनता है और अनुमान लगाता है, "क्या व्यक्ति फिर से बोलने वाला है, या अब मेरी बारी है?"
लेकिन क्या होगा जब "नृत्य" बोले गए शब्द नहीं, बल्कि सांकेतिक भाषा (Sign Language) हो?
यह शोध पत्र एक रोबोट को सांकेतिक भाषा में टर्न-टेकिंग (बारी लेने) का पूर्वानुमान लगाना सिखाने का पहला प्रयास है, जिसमें उसी "रडार" तकनीक का उपयोग किया गया है, लेकिन ध्वनि सुनने के बजाय, यह वीडियो देख रहा है।
बड़ी चुनौती: आँखों से सुनना
बोलने वाली भाषा में, रोबोट आवाज की ध्वनि सुनता है। सांकेतिक भाषा में, कोई आवाज सुनाई नहीं देती। यहाँ "आवाज" हाथों की गति, आँखों की दृष्टि और मुँह की आकृति है।
शोधकर्ता यह देखना चाहते थे कि क्या वे केवल रोबोट के "कानों" को "आँखों" से बदल सकते हैं। उन्होंने एक ऐसा सिस्टम लिया जो भाषण (speech) के लिए बनाया गया था और उसे सांकेतिक भाषा के डेटा के साथ काम करने के लिए तैयार करने की कोशिश की।
उन्होंने प्रयोग कैसे किया
चूँकि रोबोट वास्तव में साइनिंग को "सुन" नहीं सकता था, इसलिए शोधकर्ताओं को इस खेल का एक सरल संस्करण बनाना पड़ा:
- "ऑन/ऑफ" स्विच: जटिल वाक्यों को समझने के बजाय, उन्होंने वीडियो को एक साधारण "ऑन/ऑफ" लाइट में बदल दिया। यदि कोई व्यक्ति संकेत (sign) बना रहा था, तो लाइट ON थी। यदि वे स्थिर थे, तो लाइट OFF थी।
- दो प्रश्न: उन्होंने रोबोट से भविष्य के बारे में दो विशिष्ट प्रश्न पूछे:
- प्रश्न A ("अगला कौन?" टेस्ट): उस क्षण के बाद, जब दोनों लोग शांत होते हैं, तो कौन फिर से शुरू करता है? क्या यह वही व्यक्ति है (HOLD), या बारी दूसरे व्यक्ति को मिल जाती है (SHIFT)?
- प्रश्न B ("क्या वे समाप्त हो गए?" टेस्ट): यदि कोई व्यक्ति वर्तमान में साइनिंग कर रहा है, तो क्या वे बहुत जल्द रुकने वाले हैं और दूसरी ओर बारी देने वाले हैं?
उपकरण: रोबोट क्या देख रहा था?
रोबोट ने केवल पूरा वीडियो नहीं देखा; उसने सुराग खोजने वाले एक जासूस की तरह विशिष्ट शरीर के अंगों पर ध्यान केंद्रित किया:
- हाथ: सांकेतिक भाषा के मुख्य पात्र।
- आँखें: व्यक्ति कहाँ देख रहा है।
- मुँह: मुँह की आकृति (जो अक्सर मदद करती है)।
उन्होंने इन दृश्य सुरागों का उपयोग करके भविष्य की "ऑन/ऑफ" लाइटों का पूर्वानुमान लगाने के लिए रोबोट को प्रशिक्षित किया।
परिणाम: एक मिला-जुला अनुभव
निष्कर्ष कुछ हद तक एक ऐसे छात्र की तरह थे जो एक विषय में बहुत अच्छा है लेकिन दूसरे में संघर्ष कर रहा है:
- अच्छी खबर ( "अगला कौन?" टेस्ट): रोबलेट वास्तव में यह अनुमान लगाने में काफी अच्छा था कि सन्नाटे के बाद अगला कौन बोलेगा, विशेष रूप से तब जब उसने हाथों को देखा। यह स्पष्ट है कि हाथ की हरकतें यह जानने के लिए एक बहुत मजबूत सुराग हैं कि किसके पास "फ्लोर" (बातचीत का अधिकार) है।
- बुरी खबर ("क्या वे समाप्त हो गए?" टेस्ट): रोबोट यह अनुमान लगाने में संघर्ष कर रहा था कि कोई साइन करने वाला व्यक्ति कब रुकने वाला है और बारी सौंपने वाला है। भले ही रोबोट ने आँखों या मुँह को देखा, वह बारी के समाप्त होने के सटीक क्षण का विश्वसनीय रूप से पूर्वानुमान नहीं लगा सका।
यह कठिन क्यों था?
लेखक बताते हैं कि उन्होंने रोबोट को जो "नियम" सिखाए थे, वे बोले गए शब्दों से उधार लिए गए थे, और वे सांकेतिक भाषा के लिए पूरी तरह फिट नहीं बैठ सकते हैं।
- गलत मानचित्र: उन्होंने "आवाज" के लिए डिज़ाइन किए गए मानचित्र का उपयोग "संकेतों" के माध्यम से नेविगेट करने के लिए किया। सांकेतिक भाषा में, एक बारी का अंत केवल ध्वनि रोकने के बारे में नहीं है; इसमें जटिल दृश्य संकेत शामिल होते हैं जैसे कि किसी मुद्रा (pose) को थामे रखना, दूसरे व्यक्ति की ओर देखना, या विशिष्ट हाथ की आकृतियाँ, जिन्हें सरल "ऑन/ऑफ" लाइट ठीक से नहीं पकड़ सकी।
- विवरण की कमी: रोबोट शरीर के 2D स्टिक-फिगर आउटलाइन (कीपॉइंट्स) देख रहा था। वह हाथ की गतिविधियों की गहराई और चेहरे के भावों की सूक्ष्म बारीकियों को मिस कर गया, जो यह जानने के लिए महत्वपूर्ण हैं कि एक बारी वास्तव में कब समाप्त होती है।
निष्कर्ष
यह शोध पत्र एक "प्रूफ ऑफ कॉन्सेप्ट" (अवधारणा का प्रमाण) है। यह दिखाता है कि:
- हम बोलने की तरह सांकेतिक भाषा के लिए भी उसी भविष्यवाणात्मक तकनीक का उपयोग करने का प्रयास कर सकते है।
- हाथों की हरकतें यह जानने के लिए एक शक्तिशाली सुराग हैं कि कौन बात कर रहा है।
- हालाँकि, केवल बोलने के नियमों की नकल करना पूरी तरह से काम नहीं करता है। रोबोट को वास्तव में साइनिंग बातचीत में कुशल बनाने के लिए, हमें सांकेतिक भाषा के लिए विशिष्ट नए नियम और परिभाषाएँ बनानी होंगी, न कि केवल बोलने के नियमों को उस पर थोपना होगा।
संक्षेप में, रोबोट नृत्य करना सीख रहा है, लेकिन वह अभी भी सांकेतिक भाषा के नृत्य के विशिष्ट कदमों में लड़खड़ा रहा है, क्योंकि वह इसे एक अलग प्रकार के नृत्य के लिए बने मानचित्र का उपयोग करके सीखने की कोशिश कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।