Recognizing Co-Speech Gestures in-the-Wild
यह शोध पत्र GRW को प्रस्तुत करता है, जो 156,688 हस्तचालित रूप से एनोटेट किए गए वीडियो क्लिप्स का पहला बड़े पैमाने का डेटासेट है जो अनकन्स्ट्रेंड को-स्पीच जेस्चर (co-speech gestures) को विशिष्ट शब्दों के साथ मैप करता है, ताकि डेटा की कमी को दूर किया जा सके और सिमेंटिक जेस्चर क्लासिफिकेशन, रिकग्निशन और टेम्पोरल लोकलाइजेशन के लिए मल्टीमॉडल मॉडल्स के प्रशिक्षण और बेंचमार्किंग को सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने एक दोस्त को कहानी सुनाते हुए देख रहे हैं। वह केवल शब्दों का ही उपयोग नहीं कर रहा है; उसके हाथ नाच रहे हैं, हवा में काट रहे हैं, या जोर देने के लिए घेरे बना रहे हैं। कभी-कभी, हाथ की एक हरकत किसी विशिष्ट शब्द से पूरी तरह मेल खाती है (जैसे "विशाल" कहते समय हाथों को फैलाना)। अन्य समय में, वे बस अपनी आवाज़ की लय के साथ अपनी उंगलियों को थपथपा रहे होते हैं, जिसका कोई विशेष अर्थ नहीं होता।
यह शोध पत्र कंप्यूटर को इन दो प्रकार के हाथों के आंदोलनों के बीच अंतर करना सिखाने के बारे में है और, अधिक महत्वपूर्ण रूप से, यह पता लगाने के बारे में है कि हाथ की गति ठीक किस शब्द का वर्णन कर रही है।
यहाँ इस शोध पत्र के कार्य का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "भूसे के ढेर में सुई"
वर्तमान में, कंप्यूटर बड़े, स्पष्ट कार्यों (जैसे "नमस्ते कहना" या "ताली बजाना") को पहचानने में अच्छे हैं। लेकिन वे उन सूक्ष्म, विशिष्ट इशारों को पकड़ने में बहुत खराब हैं जो बातचीत के दौरान होते हैं।
- भूसे का ढेर: घंटों के वीडियो जहाँ लोग बस बात कर रहे हैं और अपने हाथों को बेतरतीब ढंग से हिला रहे हैं (जैसे बेचैनी करना या ताल पर उंगलियां थपथपाना)।
- सुई: वे दुर्लभ क्षण जहाँ हाथ की गति वास्तव में कुछ विशिष्ट अर्थ रखती है, जैसे "बॉक्स" कहते समय हवा में एक वर्ग बनाना।
- मुद्दा: कंप्यूटर को इन सुइयों को खोजने के लिए सिखाने के लिए, आपको वीडियो के एक विशाल संग्रह की आवश्यकता है जहाँ मनुष्यों ने पहले ही उन्हें चिह्नित किया हो। अब तक, किसी ने भी इन सुइयों का एक बड़ा "मानचित्र" नहीं बनाया था।
2. समाधान: "GRW" डेटासेट
लेखकों ने GRW (Gesture Recognition in the Wild) नामक एक नया डेटाबेस बनाया है। इसे एक विशाल, सावधानीपूर्वक व्यवस्थित वीडियो क्लिप्स के पुस्तकालय के रूप में समझें।
- आकार: इसमें 1,56,000 से अधिक वीडियो क्लिप्स शामिल हैं।
- सामग्री: यह 150 विशिष्ट शब्दों (जैसे "बड़ा," "वृत्त," "धक्का," "बाय") को कवर करता है।
- जादू: प्रत्येक क्लिप के लिए, मनुष्यों ने सावधानीपूर्वक चिह्नित किया है:
- क्या वहां एक सार्थक इशारा (gesture) है? (हाँ/नहीं)
- यह किस शब्द के लिए है? (जैसे, "स्पाइरल")
- यह ठीक कब होता है? (सटीक फ्रेम तक, भले ही हाथ शब्द बोलने से पहले हिलना शुरू हो जाए)।
यह विशेष क्यों है?
पिछले अधिकांश डेटासेट एक डांस क्लास की तरह थे जहाँ लोग स्टूडियो में विशिष्ट स्टेप्स का अभ्यास करते थे। GRW एक व्यस्त पार्टी में लोगों को रिकॉर्ड करने जैसा है। लाइटिंग अजीब है, कैमरा एंगल अव्यवस्थित हैं, और लोग स्वाभाविक रूप से हिल रहे हैं। यह डेटा को सीखने के लिए बहुत कठिन बनाता है, लेकिन वास्तविक जीवन के लिए बहुत अधिक उपयोगी बनाता है।
3. उन्होंने क्या खोजा (बोलते हाथों के "रहस्य")
इस पूरे डेटा को देखकर, लेखकों ने कुछ आश्चर्यजनक पैटर्न पाए:
- सभी शब्दों को "नृत्य" नहीं मिलता: कुछ शब्द, जैसे "बाय," लगभग हमेशा हाथ हिलाने (66% बार) के साथ आते हैं। अन्य शब्द, जैसे "देखो," शायद ही कभी इशारे के साथ आते हैं (1% से भी कम समय)।
- "लिफाफा" प्रभाव (The "Envelope" Effect): हाथ की गति आमतौर पर शब्द बोले जाने के ठीक समय पर शुरू नहीं होती है। यह शब्द के चारों ओर एक सुरक्षात्मक बुलबुले की तरह है। हाथ अक्सर शब्द बोलने से पहले हिलना शुरू कर देता है और शब्द खत्म होने के बाद भी हिलता रहता है।
- एक ही चीज़ को कहने के कई तरीके: एक व्यक्ति एक हाथ से स्पाइरल बना सकता है, जबकि दूसरा दोनों हाथों का उपयोग कर सकता है। कंप्यूटर को यह सीखना होगा कि ये अलग-अलग नृत्य "स्पाइरल" का ही अर्थ हैं।
4. नया "मस्तिष्क" (मॉडल)
लेखकों ने इस नए पुस्तकालय का उपयोग करने के लिए दो AI मॉडल बनाए:
मॉडल A: "जासूस" (The Detective)
- काम: यह एक छोटा वीडियो देखता है और पूछता है, "क्या यहाँ कोई सार्थक इशारा है, या व्यक्ति बस हाथ हिला रहा है?"
- चाल: यह केवल इशारे के 4 सेकंड को नहीं देखता; यह उसके आसपास के 10 सेकंड को भी देखता है। इससे इसे व्यक्ति की "सामान्य" लय को समझने में मदद मिलती है ताकि यह पहचान सके कि वह व्यक्ति कब उस लय को तोड़कर कोई विशिष्ट बात कहता है।
मॉडल B: "अनुवादक" (The Translator)
- काम: यदि जासूस कहता है "हाँ, यहाँ एक इशारा है," तो यह मॉडल अनुमान लगाने की कोशिश करता है कि कौन सा शब्द है और वह ठीक कब होता है।
- चाल: उन्होंने इस मॉडल को दो चरणों में प्रशिक्षित किया। पहले, उन्होंने इसे "रफ ड्राफ्ट" (ऐसे वीडियो जहाँ इसने अनुमान लगाया कि इशारा मौजूद है लेकिन 100% निश्चित नहीं था) के एक बड़े ढेर पर अभ्यास करने दिया। फिर, उन्होंने इसे उन "परफेक्ट" वीडियो पर फाइन-ट्यून किया जहाँ मनुष्यों ने उत्तरों की दोबारा जाँच की थी। इसने मॉडल को बहुत स्मार्ट बना दिया।
5. परिणाम
जब उन्होंने अपने नए मॉडलों का मौजूदा मॉडलों (और यहाँ तक कि जेमिनी जैसे एक बहुत स्मार्ट AI) के मुकाबले परीक्षण किया, तो उनके मॉडल जीत गए।
- वे सार्थक इशारों को पहचानने में बेहतर थे।
- वे शब्द का अनुमान लगाने में बेहतर थे।
- वे गति के सटीक प्रारंभ और समाप्ति समय को बताने में बेहतर थे।
सारांश
यह शोध पत्र मूल रूप से कह रहा है: "हमने बोलने वाले हाथों के वीडियो का सबसे बड़ा, सबसे अव्यवस्थित और सबसे वास्तविक पुस्तकालय बनाया है। हमने कंप्यूटर को यह समझने के लिए प्रशिक्षित किया है कि जब कोई 'बड़ा' कहते हुए अपने हाथ फैलाता है, तो वे केवल बेतरतीब ढंग से नहीं हिल रहे होते हैं—वे दृश्य रूप से 'बड़ा' शब्द को परिभाषित कर रहे होते हैं। और हमने दिखाया कि आंदोलन के आसपास के संदर्भ को देखने से कंप्यूटर को बहुत बेहतर समझ मिलती है।"
नोट: यह शोध पत्र विशेष रूप से इन इशारों को पहचानने के लिए इस डेटासेट और मॉडलों के निर्माण पर केंद्रित है। यह दावा नहीं करता है कि इन मॉडलों का वर्तमान में चिकित्सा, शिक्षा या अन्य वास्तविक दुनिया के अनुप्रयोगों में उपयोग किया जा रहा है; यह पूरी तरह से उनके द्वारा बनाए गए अनुसंधान और उपकरणों के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।