PAWS: Perception of Articulation in the Wild at Scale from Egocentric Videos
PAWS एक नवीन विधि है जो हाथ-वस्तु अंतःक्रियाओं के माध्यम से बड़े पैमाने पर, इन-द-वाइल्ड (in-the-wild) एगोसेंट्रिक वीडियो से सीधे वस्तु की गति और संरचना को निकालकर मौजूदा आर्टिकुलेशन धारणा तकनीकों की स्केलेबिलिटी सीमाओं को संबोधित करती है, जो सार्वजनिक डेटासेट पर महत्वपूर्ण सुधार और डाउनस्ट्रीम रोबोटिक्स एवं 3D भविष्यवाणी कार्यों के लिए लाभ प्रदर्शित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने सिर पर एक स्मार्ट कैमरा पहना हुआ है, जो आपके जीवन की गतिविधियों को रिकॉर्ड कर रहा है। आप फ्रिज खोलते हैं, एक दराज बाहर निकालते हैं, और कैबिनेट का दरवाज़ा बंद करते हैं। एक इंसान के लिए ये क्रियाएं स्पष्ट हैं: "यह एक दरवाज़ा है जो झूलता (swing) है," या "यह एक दराज है जो सरकता (slide) है।"
लेकिन एक कंप्यूटर के लिए, एक वीडियो केवल पिक्सेल की एक अराजक धारा है। उसे नहीं पता कि आप जिसे छू रहे हैं वह एक "अलमारी" है या वह "कब्जे (hinge)" पर चलती है। वह बस एक धुंधली आकृति को हिलते हुए देखता है।
PAWS (Perception of Articularity in the Wild at Scale) एक नया AI सिस्टम है जिसे इसी समस्या को हल करने के लिए डिज़ाइन किया गया है। यह कंप्यूटर को आपके "वाइल्ड" (अनस्क्रिप्टेड, अव्यवस्थित, वास्तविक जीवन के) वीडियो देखने और यह समझने के लिए प्रशिक्षित करता है कि आपके घर का फर्नीचर वास्तव में कैसे चलता है, और इसके लिए उसे किसी लैब या हर फ्रेम को लेबल करने वाली इंसानी टीम की आवश्यकता नहीं होती।
यह कैसे काम करता है, यहाँ कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:
1. समस्या: "अंधा" रोबोट
वर्तमान में, यदि आप चाहते हैं कि एक रोबोट आपका फ्रिज खोले, तो आपको आमतौर पर फ्रिज का एक सटीक 3D मैप देना होगा और उसे बताना होगा कि हैंडल कहाँ है। यह एक रोबोट को घर बनने से पहले ही उसका ब्लूप्रिंट देने जैसा है। यह महंगा है, धीमा है, और वास्तविक दुनिया में काम नहीं करता जहाँ चीजें अस्त-व्यस्त, अंधेरी या आंशिक रूप से छिपी हुई होती हैं।
मौजूदा AI तरीके स्थिर चित्रों को देखकर अनुमान लगाने की कोशिश करते हैं, लेकिन वे अक्सर संदर्भ की कमी के कारण गलत हो जाते हैं। वे उस व्यक्ति की तरह हैं जो बंद दरवाजे की एक अकेली फोटो देखकर यह अनुमान लगाने की कोशिश कर रहा है कि दरवाजा कैसे खुलता है—वे शायद अनुमान लगा लेंगे कि यह सरकता है, जबकि वास्तव में यह झूलता है।
2. समाधान: PAWS (गति का "शरलॉक होम्स")
PAWS एक अलग दृष्टिकोण अपनाता है। स्थिर फोटो देखने के बजाय, यह देखता है कि आप वस्तु के साथ कैसे बातचीत (interact) कर रहे हैं। यह दो मुख्य सुरागों का उपयोग करता है:
- जासूस के रूप में हाथ: जब आप एक दराज खोलते हैं, तो आपका हाथ एक सीधी रेखा में चलता है। जब आप एक दरवाजा खोलते हैं, तो आपका हाथ एक घेरे (circle) में चलता है। PAWS आपके हाथ को ब्रेडक्रंब्स (रोटी के टुकड़ों) का पीछा करने वाले एक जासूस की तरह ट्रैक करता है। यह बिखरे हुए बैकग्राउंड को अनदेखा करता है और पूरी तरह से इस बात पर ध्यान केंद्रित करता है कि वस्तु के सापेक्ष आपकी उंगलियां कैसे चलती हैं।
- "दिमाग" (VLM): PAWS एक "विज़न-लैंग्वेज मॉडल" (एक सुपर-स्मार्ट AI जो छवियों और टेक्स्ट दोनों को समझता है) का उपयोग करता है। इसे एक जानकार लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में सोचें। यदि वीडियो में एक हाथ हैंडल खींचते हुए दिखता है और टेक्स्ट कहता है "अलमारी खोलें", तो लाइब्रेरियन कहेगा, "आह! अलमारियाँ आमतौर पर कब्जों पर झूलती हैं, वे सरकती नहीं हैं!" यह AI को सही अनुमान लगाने में मदद करता है, भले ही वीडियो धुंधला हो।
3. यह कैसे काम करता है: तीन-चरणीय नृत्य
चरण 1: "हाथ का नृत्य" (डायनेमिक इंटरैक्शन)
PAWS वीडियो को देखता है और उन हिस्सों को ढूंढता है जहाँ आप किसी चीज़ को छू रहे हैं। यह आपके हाथ को 3D स्पेस में पुनर्गठित (reconstruct) करता है।
- उपमा: कल्पना कीजिए कि आपका हाथ एक डांसर है। यदि डांसर एक सीधी रेखा में चलता है, तो PAWS जानता है कि वस्तु एक सरकने वाली दराज (sliding drawer) है। यदि डांसर एक वक्र (curve) में चलता है, तो वह एक झूलता हुआ दरवाजा (swinging door) है।
चरण 2: "कमरे का स्कैन" (स्टैटिक ज्योमेट्री)
जब आपका हाथ नृत्य कर रहा होता है, तब PAWS आपके आस-पास के कमरे को भी देखता है ताकि फर्नीचर का 3D मैप बनाया जा सके। यह सीधी रेखाओं और कोनों (जैसे कैबिनेट के किनारे) को खोजता है।
- उपमा: यह एक बढ़ई की तरह है जो मेज की लकड़ी के रेशों और कोणों को देखता है ताकि यह समझ सके कि उसे कैसे बनाया गया था। यह PAWS को यह जानने में मदद करता है, "ठीक है, यह वस्तु दीवार के साथ संरेखित (aligned) है, इसलिए यह संभवतः उस दीवार के साथ सरकेगी।"
चरण 3: "परामर्श" (VLM रीजनिंग)
कभी-कभी, हाथ की गति भ्रमित करने वाली होती है (शायद आप फिसल गए, या वीडियो अंधेरा है)। यहीं पर "लाइब्रेरियन" (VLM) की भूमिका आती है।
- उपमा: PAWS AI से पूछता है: "मैं एक सफेद बॉक्स के पास एक हाथ देख रहा हूँ। हाथ एक घेरे में चला। क्या यह माइक्रोवेव है या कैबिनेट?" AI उत्तर देता है: "माइक्रोवेव के दरवाजे आमतौर पर झूलते हैं, लेकिन वे छोटे होते हैं। यह एक बड़ी कैबिनेट जैसा दिखता है। चलिए मान लेते हैं कि यह एक झूलता हुआ दरवाजा है।"
4. यह क्यों महत्वपूर्ण है: "देखने" से "करने" तक
सबसे दिलचस्प हिस्सा वह है जो PAWS द्वारा यह समझने के बाद होता है।
- रोबोट को सिखाना: एक बार जब PAWS समझ जाता है कि एक विशिष्ट रसोई में एक विशिष्ट कैबिनेट कैसे काम करती है, तो यह एक वास्तविक रोबोट (जैसे पेपर में उल्लेखित बोस्टन डायनेमिक्स स्पॉट रोबोट) को इसे खोलने का तरीका सिखा सकता है। रोबोट फिर एक नए घर में जा सकता है और बिना किसी मैनुअल के दरवाजे खोल सकता है।
- बेहतर सिमुलेशन: यह वीडियो गेम डेवलपर्स और मूवी एनिमेटरों को वास्तविक 3D दुनिया बनाने में मदद करता है जहाँ वस्तुएं बिल्कुल वैसे ही चलती हैं जैसे वे वास्तविक जीवन में चलती हैं।
व्यापक परिदृश्य (The Big Picture)
PAWS से पहले, कंप्यूटर को यह सिखाने के लिए कि दुनिया कैसे चलती है, महंगे 3D स्कैनर और सटीक रोशनी की आवश्यकता होती थी। PAWS कंप्यूटर को एक जोड़ी आंखें और एक ऐसा दिमाग देने जैसा है जो अरबों घंटों के वास्तविक लोगों के घरेलू वीडियो से सीख सकता है।
यह "इन-द-वाइल्ड" वीडियो (जहाँ लोग अव्यवस्थित होते हैं, रोशनी खराब होती है, और कैमरे हिलते हैं) की अराजकता को एक साफ, गणितीय समझ में बदल देता है कि हमारी दुनिया कैसे बनी है। यह एक ऐसे रोबोट के बीच का अंतर है जिसे हर दरवाजे के लिए मैनुअल की आवश्यकता होती है, और एक ऐसे रोबोट के बीच जो बस आपको एक बार दरवाजा खोलते हुए देखता है और फिर उसे हमेशा के लिए करने का तरीका जान जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।