Learning to Understand Body Language from Flight through Robust 3D Avatar Placing
यह शोध पत्र Drones2BodyLanguage प्रस्तुत करता है, जो एक नवीन डेटासेट है जिसे एक हल्के ज्यामितीय विश्व मॉडल (geometric world model) का उपयोग करके संचारत्मक इरादों वाले 3D अवतारों को वास्तविक ड्रोन फुटेज में मजबूती से रखकर बनाया गया है, जो लंबी दूरी के UAV वीडियो से मानव शरीर की भाषा और इरादे को सीखने और समझने की हवाई रोबोटों की क्षमता में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ड्रोन हैं जो किसी व्यस्त शहर या शांत ग्रामीण इलाके के ऊपर ऊँचाई पर उड़ रहे हैं। आप एक "सामाजिक रूप से बुद्धिमान" रोबोट हैं, जिसका अर्थ है कि आप नीचे मौजूद नन्हे इंसानों की बातों को समझने की कोशिश करना चाहते हैं। शायद कोई हाइकर मदद के लिए हाथ हिला रहा है, या लोगों का एक समूह किसी विशिष्ट दिशा में संकेत दे रहा है। विज्ञान की दुनिया में, इसे "बॉडी लैंग्वेज" या "संवादात्मक इरादा" (communicative intent) समझना कहा जाता है। आमतौर पर, कंप्यूटर तब इन संकेतों को पढ़ने में माहिर होते हैं जब वे बहुत करीब हों, जैसे कि एक सेल्फी में। लेकिन जब आप ज़ूम आउट करके 50 से 100 मीटर की दूरी पर जाते हैं, तो वह व्यक्ति स्क्रीन पर केवल कुछ पिक्सेल के बराबर रह जाता है। उनकी गतिविधियाँ धुंधली हो जाती हैं, और कंप्यूटर भ्रमित हो जाता है। यह बिल्कुल वैसा ही है जैसे फुटबॉल के मैदान के दूसरी ओर से कोई किताब पढ़ने की कोशिश करना; अक्षर वहाँ तो हैं, लेकिन वे इतने छोटे हैं कि समझ में नहीं आ रहे।
इन छोटे, दूर के संकेतों को पढ़ना सिखाने के लिए, वैज्ञानिकों को आमतौर पर हजारों उदाहरणों की आवश्यकता होती है। लेकिन यहाँ एक समस्या है: किसी ने भी 100 मीटर की दूरी से ड्रोन की ओर हाथ हिलाते हुए लोगों के हजारों वीडियो नहीं बनाए हैं। इसे फिल्माना बहुत कठिन है, और लोग स्पष्ट रूप से देखने के लिए बहुत दूर हो सकते हैं। इसलिए, वैज्ञानिकों के पास दो बुरे विकल्प हैं: या तो वास्तविक लोगों के पर्याप्त वीडियो फिल्माने की कोशिश करें (जो लगभग असंभव है) या पूरी तरह से काल्पनिक दुनिया में कंप्यूटर द्वारा बनाए गए नकली लोगों का उपयोग करें (जो बहुत अधिक सटीक दिखता है और वास्तविक वीडियो की अव्यवस्थित वास्तविकता से मेल नहीं खाता)। यह शोध पत्र एक चतुर बीच का रास्ता खोजने की कोशिश करता है। यह पूछता है: "क्या होगा यदि हम वास्तविक दुनिया के वीडियो को रखें, लेकिन उसमें वास्तविक दिखने वाले लोगों को जादुई रूप से चिपका दें, ताकि कंप्यूटर दूर से उनके संकेतों को पढ़ सके?"
इस अध्ययन के पीछे के शोधकर्ताओं, ड्रेगोश कोस्टिया (Dragoş Costea) और उनकी टीम ने Drones2BodyLanguage नामक एक नया टूल बनाया है। इसे एक हाई-टेक "कट-एंड-पेस्ट" मशीन के रूप में समझें, लेकिन इसमें एक बहुत ही विशेष मोड़ है। आमतौर पर, यदि आप किसी वीडियो में किसी व्यक्ति की तस्वीर चिपकाते हैं, तो वे एक सपाट स्टिकर की तरह दिखते हैं जो अजीब तरह से इधर-उधर फिसलता है। यदि कैमरा हिलता है, तो व्यक्ति जमीन के साथ नहीं चलता; वे बस तैरते रहते हैं। यह सीखने के लिए सही नहीं है। टीम की बड़ी सफलता इन डिजिटल लोगों को इस तरह रखने की विधि है जिससे वे जमीन पर मजबूती से खड़े रहें, ड्रोन के उड़ने पर भी सही स्थान पर रहें, और यहाँ तक कि सही दिशा में मुड़ें, ठीक वैसे ही जैसे एक वास्तविक व्यक्ति करेगा।
उनका यह "जादू" कैसे काम करता है, यहाँ देखें। सबसे पहले, वे ड्रोन से एक वास्तविक 4K वीडियो लेते हैं। फिर, वे एक स्मार्ट सिस्टम का उपयोग करके "एंकर" (anchors) ढूंढते हैं—जैसे किसी इमारत का कोना या पेड़, जो जमीन पर स्थिर बिंदु हों। भले ही जमीन साधारण, बिना किसी पैटर्न वाली डामर की सड़क जैसी दिखे, उनका सिस्टम एक विशेष डेप्थ सेंसर का उपयोग करके यह अनुमान लगाता है कि ये बिंदु 3D स्पेस में कितनी ऊंचाई पर हैं। इसके बाद, वे एक डिजिटल अवतार रखने के लिए एक "स्वीट स्पॉट" (सही स्थान) की गणना करते हैं। उनका गुप्त मंत्र एक गणितीय चाल है: वे सीधे व्यक्ति के पैरों को ट्रैक नहीं करते (क्योंकि पैर चिकनी सड़क पर गायब हो सकते हैं), बल्कि वे व्यक्ति के आसपास के स्थिर एंकर्स को ट्रैक करते हैं और एक फॉर्मूले का उपयोग करके यह भविष्यवाणी करते हैं कि व्यक्ति के पैर बिल्कुल कहाँ होने चाहिए, चाहे ड्रोन कैसे भी चले। वे यह भी पता लगाते हैं कि जमीन किस ओर "झुकी" हुई है ताकि व्यक्ति तिरछा खड़ा न लगे।
एक बार जब व्यक्ति को सही ढंग से रख दिया जाता है, तो टीम उन्हें तीन अलग-अलग तरीकों से वीडियो में जोड़ती है ताकि प्रशिक्षण डेटा का एक विशाल पुस्तकालय बनाया जा सके:
- रियल (Real): वे अभिनेताओं के वास्तविक वीडियो लेते हैं, उन्हें काटते हैं, और उनमें चिपका देते हैं।
- रिटारगेटेड (Retargeted): वे वास्तविक अभिनेताओं की गतिविधियों को लेते हैं और उन्हें वास्तविक दिखने वाले 3D कंप्यूटर पात्रों पर लागू करते हैं।
- जेनरेटेड (Generated): वे AI का उपयोग करके ऐसी नई गतिविधियाँ आविष्कार करते हैं जो पहले कभी फिल्माई नहीं गई हैं।
उन्होंने 3,500 से अधिक ऐसे "प्लेस किए गए" वीडियो क्लिप्स का एक डेटासेट बनाया, जिसमें लोग दस अलग-अलग संवादात्मक संकेत (जैसे हाथ हिलाना, इशारा करना, या रुकने का संकेत देना) 33 से 98 मीटर की दूरी से कर रहे हैं।
टीम ने फिर यह परीक्षण किया कि क्या यह "नकली" डेटा वास्तव में कंप्यूटर को वास्तविक लोगों को समझने के लिए सिखा सकता है। उन्होंने बारह अलग-अलग कंप्यूटर मस्तिष्क मॉडल (आर्किटेक्चर) लिए और उन्हें इस नए डेटासेट पर प्रशिक्षित किया। परिणाम उत्साहजनक थे। जब उन्होंने कंप्यूटर को इन रखे गए वीडियो पर प्रशिक्षित किया, तो मॉडल यह अनुमान लगाने में बहुत बेहतर हो गए कि दूर खड़े लोग क्या कहना चाह रहे हैं। वास्तव में, इस तरह के डेटा को न देखने वाले मॉडलों की तुलना में उनकी सटीकता में काफी उछाल आया।
दिलचस्प बात यह है कि उन्होंने पाया कि व्यक्ति के "दिखने" से ज्यादा उसकी "गति" का प्रकार मायने रखता था। "जेनरेटेड" (पूरी तरह से नकली) गतिविधियों पर प्रशिक्षित मॉडल सबसे अधिक संघर्ष करते थे, जबकि "रिटारगेटेड" (नकली शरीर पर वास्तविक मानव चाल) पर प्रशिक्षित मॉडल बहुत अच्छा प्रदर्शन करते थे। इससे पता चलता है कि कंप्यूटर को केवल एक 3D चरित्र के रूप, बल्कि वास्तविक मानवीय गति की लय और आकार को सीखने की आवश्यकता है।
उन्होंने अपने सिस्टम का परीक्षण दो बिल्कुल नए, वास्तविक दुनिया के वीडियो पर भी किया जिन्हें उन्होंने पहले कभी नहीं देखा था—एक ग्रामीण इलाके में और एक रिसॉर्ट में। भले ही कंप्यूटर ने इन विशिष्ट दृश्यों को पहले कभी नहीं देखा था, लेकिन उनके मिश्रित डेटासेट (जिसमें वास्तविक और रिटारगेटेड दोनों डेटा शामिल थे) पर प्रशिक्षित मॉडल ने सबसे अच्छा प्रदर्शन किया। यह सुझाव देता है कि लोगों को वास्तविक वीडियो में "रखने" की उनकी विधि, रोबोट को आकाश से मानवीय संकेतों को समझने के लिए सिखाने का एक ठोस तरीका है।
हालाँकि, लेखक सावधानी बरतते हुए यह भी बताते हैं कि यह अभी भी हर स्थिति के लिए एक आदर्श समाधान नहीं है। उनकी विधि समतल, ठोस जमीन पर सबसे अच्छा काम करती है और यह इस बात पर निर्भर करती है कि जमीन कुछ हद तक स्थिर हो। साथ ही, वास्तविक लोगों जिन्हें वे वीडियो से काटते हैं, उन्हें पूरा प्रोसेस दोबारा किए बिना आसानी से बदला या पुनर्जीवित नहीं किया जा सकता। लेकिन कुल मिलाकर, यह शोध पत्र यह दिखाने के लिए एक शक्तिशाली नया तरीका पेश करता है कि ड्रोन को हमारी बॉडी लैंग्वेज समझने में बेहतर बनाने के लिए, वास्तविक वीडियो और चतुर डिजिटल प्लेसमेंट के मिश्रण का उपयोग कैसे किया जा सकता है, जो हमारे फिल्माने की क्षमता और कंप्यूटर की सीखने की आवश्यकता के बीच के अंतर को पाटता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।