ObjectForesight: Predicting Future 3D Object Trajectories from Human Videos
ObjectForesight एक स्केलेबल 3D ऑब्जेक्ट-सेंट्रिक डायनेमिक्स मॉडल है जो दुनिया की ज्यामिति को ऑब्जेक्ट स्तर पर स्पष्ट रूप से दर्शाते हुए, लघु एगोसेंट्रिक वीडियो से भविष्य के 6-DoF ऑब्जेक्ट प्रक्षेप पथों (ट्रैजेक्टरीज) की भविष्यवाणी करता है, जिसे पारंपरिक पिक्सेल-आधारित दृष्टिकोणों की तुलना में बेहतर सटीकता और सामान्यीकरण प्राप्त करने के लिए 2 मिलियन छद्म-ग्राउंड-ट्रुथ क्लिप्स के एक बड़े पैमाने के डेटासेट पर प्रशिक्षित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दोस्त को कॉफी बनाते हुए देख रहे हैं। आप देखते हैं कि वे मग उठाते हैं, उसे ऊपर उठाते हैं, और पानी डालने के लिए उसे झुकाते हैं। पानी कप में गिरने से पहले ही, आपका मस्तिष्क पहले से ही अगले कुछ सेकंडों का "अनुकरण" (simulation) कर चुका होता है: आप जानते हैं कि मग झुकेगा, पानी बहेगा, और मग वापस अपनी जगह पर स्थिर हो जाएगा। आप बिना भौतिक विज्ञानी (physicist) बने उस वस्तु के भौतिक विज्ञान (physics) को समझ जाते हैं।
यह पेपर ObjectForesight पेश करता है, जो एक कंप्यूटर सिस्टम है जिसे AI को वास्तविक दुनिया में वस्तुओं के हिलने-डुलने के बारे में ऐसा ही "अंतर्ज्ञान" (gut feeling) देने के लिए डिज़ाइन किया गया है।
यह कैसे काम करता है, इसका विवरण यहाँ सरल उपमाओं (analogies) के माध्यम से दिया गया है:
1. समस्या: AI देखने में अच्छा है, लेकिन "महसूस करने" में बुरा है
आज के अधिकांश AI मॉडल फोटोग्राफरों की तरह हैं। वे किसी दृश्य की तस्वीर लेने और उसमें जो दिख रहा है उसका वर्णन करने में माहिर हैं ("मेज पर एक कप है")। लेकिन यदि आप उनसे पूछें, "अगर कोई उस कप को पकड़े तो क्या होगा?" तो वे अक्सर तुक्का लगाते हैं या बस पिछले फ्रेम को दोहरा देते हैं। उनमें भौतिकी (physics) और कारण-और-प्रभाव (cause-and-effect) की आंतरिक समझ की कमी है।
वर्तमान विधियाँ भविष्य का अनुमान लगाने के लिए यह अनुमान लगाने की कोशिश करती हैं कि अगली तस्वीर पिक्सेल-दर-पिक्सेल कैसी दिखेगी। यह स्क्रीन पर अगले पिक्सेल के रंग का अनुमान लगाकर एक फिल्म की भविष्यवाणी करने जैसा है। यह अव्यवsted है और अक्सर धुंधले, बेतुके वीडियो का परिणाम देता है।
2. समाधान: ObjectForesight (द "मेंटल सिम्युलेटर")
लेखकों ने एक ऐसा सिस्टम बनाया है जो केवल पिक्सेल का अनुमान नहीं लगाता; बल्कि यह 3D गति का अनुमान लगाता है।
ObjectForesight को एक कैमरे के रूप में नहीं, बल्कि एक 3D कठपुतली संचालक (puppet master) के रूप में सोचें।
- इनपुट: यह एक इंसान को किसी वस्तु के साथ बातचीत करते हुए (जैसे हाथ से चाकू पकड़ना) एक छोटा वीडियो क्लिप देखता है।
- जादू: पूरे वीडियो को देखने के बजाय, यह पूरी तरह से वस्तु पर ध्यान केंद्रित करता है। यह पूछता है: "यदि मैं यह चाकू होता, तो अगर एक हाथ मुझे छूता तो मैं कैसे हिलता?"
- आउटपुट: यह अगले कुछ सेकंड के लिए वस्तु द्वारा लिए जाने वाले सटीक पथ (trajectory) की भविष्यवाणी करता है। यह आपको बताता है कि वस्तु कहाँ होगी, कैसे घूमेगी, और कैसे झुकेगी।
3. उन्होंने इसे कैसे प्रशिक्षित किया: "2 मिलियन क्लिप" का पुस्तकालय
कंप्यूटर को इस तरह के अंतर्ज्ञान को सिखाने के लिए, आपको बहुत अधिक अभ्यास डेटा की आवश्यकता होती है। लेकिन एक समस्या है: किसी के पास "लोगों को वस्तुएं हिलाते हुए दिखाने वाले परफेक्ट 3D वीडियो" का डेटाबेस नहीं है।
इसलिए, टीम ने एक रोबोटिक डेटा फैक्ट्री बनाई:
- स्रोत: उन्होंने लोगों के अपने घरों में खाना पकाने के 76,000 घंटों के "एपिक-किचन" (Epic-Kitchens) वीडियो लिए।
- फ़िल्टर: उन्होंने उन अच्छे क्लिप्स को स्वचालित रूप से खोजने के लिए उन्नत AI टूल्स का उपयोग किया जहाँ एक हाथ वास्तव में किसी वस्तु को छूता है।
- पुनर्गठन (Reconstruction): उन्होंने उन सपाट 2D वीडियो को 3D मॉडल में बदलने के लिए अन्य AI टूल्स का उपयोग किया। उन्होंने चम्मच का आकार, मेज की गहराई और हाथ का सटीक कोण पता लगाया।
- परिणाम: उन्होंने 20 लाख छोटे 3D क्लिप्स का एक पुस्तकालय बनाया जिसमें वस्तुओं को हिलाया जा रहा है। यह AI को लाखों "क्या होगा अगर" (what-if) परिदृश्यों का अध्ययन करने के लिए एक लाइब्रेरी देने जैसा है।
4. इंजन: "डिफ्यूजन" क्रिस्टल बॉल
इस सिस्टम का मुख्य हिस्सा एक डिफ्यूजन ट्रांसफॉर्मर (Diffusion Transformer) है।
- उपमा: कल्पना कीजिए कि आपके पास एक स्पष्ट क्रिस्टल बॉल है, लेकिन किसी ने उस पर स्टैटिक शोर (static noise) की परत चढ़ा दी है।
- प्रक्रिया: AI शुद्ध शोर (random static) से शुरू होता है और वीडियो जो उसने अभी देखा है, उससे निर्देशित होकर, धीरे-धीरे कदम-दर-कदम "शोर को कम" (denoise) करता है।
- यह क्यों शानदार है: वास्तविक दुनिया में, भविष्य केवल एक एकल पथ नहीं है। यदि आप एक कप को धक्का देते हैं, तो वह बाईं ओर फिसल सकता है, या वह पलट सकता है। यह संभाव्यता (probabilistic) पर आधारित है।
- पुराने AI मॉडल (जैसे ऑटोरेग्रेसिव मॉडल) एक पथ चुनने की कोशिश करते हैं और यदि वे शुरुआत में एक छोटी सी गलती करते हैं, तो वे वहीं फंस जाते हैं।
- ObjectForesight (डिफ्यूजन का उपयोग करके) कई संभावित भविष्य उत्पन्न कर सकता है। यह कह सकता है, "50% संभावना है कि कप बाईं ओर फिसलेगा, और 30% संभावना है कि वह पलट जाएगा।" यह इसे बहुत अधिक मजबूत और यथार्थवादी बनाता है।
5. यह क्यों मायने रखता है
यह केवल यह भविष्यवाणी करने के बारे में नहीं है कि एक कप कहाँ जाता है। यह रोबोटिक्स के लिए एक बड़ी छलांग है।
- वर्तमान रोबोट: यदि आप एक रोबोट को मग उठाने के लिए कहते हैं, तो वह संघर्ष करता है यदि मग फिसलन भरा हो या हाथ फिसल जाए। उसे यह "पता नहीं होता" कि आगे क्या होने वाला है।
- भविष्य के रोबोट: ObjectForesight के साथ, एक रोबोट आपको देख सकता है, यह अनुमान लगा सकता है कि "ओह, अगर मैं इस जार को बहुत ज़ोर से पकड़ता हूँ, तो यह टूट जाएगा," या "यदि मैं इस बॉक्स को धकेलता हूँ, तो यह मेज से नीचे फिसल जाएगा।" वह भविष्य के मानसिक सिमुलेशन (mental simulation) के आधार पर अपने कार्यों की योजना बना सकता है।
सारांश
ObjectForesight कंप्यूटर को भौतिकी के लिए एक "छठी इंद्री" देने जैसा है। लाखों घरेलू वीडियो को 3D मोशन डेटा में बदलकर और एक स्मार्ट "डिनोइजिंग" इंजन का उपयोग करके, यह मशीनों को किसी वस्तु को देखने और सहजता से यह जानने के लिए प्रशिक्षित करता है कि वह कैसे हिलेगी, घूमेगी और अपने आस-पास की दुनिया के साथ कैसे क्रिया करेगी। यह AI को केवल दुनिया को देखने से लेकर दुनिया के काम करने के तरीके को समझने तक ले जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।