Video Generation Models are General-Purpose Vision Learners
यह शोध पत्र GenCeption का प्रस्ताव करता है, जो एक प्री-ट्रेंड टेक्स्ट-टू-वीडियो डिफ्यूजन बैकबोन पर निर्मित एक फीड-फॉरवर्ड परसेप्शन मॉडल है, जो यह प्रदर्शित करता है कि बड़े पैमाने पर वीडियो जनरेशन, विविध कंप्यूटर विज़न कार्यों में अत्याधुनिक, डेटा-कुशल और सामान्य-उद्देश्य वाली दृश्य बुद्धिमत्ता प्राप्त करने के लिए एक श्रेष्ठ प्री-ट्रेनिंग प्रतिमान के रूप में कार्य करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने वर्षों तक एक सुपर-स्मार्ट रोबोट शेफ बनाने में बिताए हैं। यह शेफ एक परफेक्ट स्टेक, एक फ्लफी ऑमलेट या एक स्पाइसी करी बनाने की रेसिपी का पालन करने में अविश्वसनीय है। लेकिन यहाँ एक पेंच है: यदि आप शेफ से "मुझे रसोई का तापमान बताओ" या "फ्रिज में कितने अंडे हैं, उनकी गिनती बताओ" पूछेंगे, तो वह खाली निगाहों से आपको देखता रह जाएगा। वह चीजें बनाने में उस्ताद है, लेकिन उस दुनिया को समझने में नहीं जिसे वह बना रहा है।
लंबे समय तक, कंप्यूटर विजन (कंप्यूटर को देखने के बारे में सिखाने का क्षेत्र) बिल्कुल उसी रोबोट शेफ की तरह रहा है। हमने हर एक काम के लिए अलग-अलग, विशिष्ट रोबोट बनाए: एक रोबोट गहराई मापने के लिए, दूसरा चेहरे ट्रैक करने के लिए, और तीसरा किनारों (edges) को खोजने के लिए। वे अपने विशिष्ट कार्यों में बहुत अच्छे थे, लेकिन वे एक-दूसरे से बात नहीं कर सकते थे और बिना पूरी तरह से दोबारा बनाए (rebuilt) नए करतब नहीं सीख सकते थे।
फिर, गूगल डीपमाइंड और अन्य विश्वविद्यालयों के शोधकर्ताओं ने एक अजीब सवाल पूछा: क्या होगा अगर हम उस रोबोट शेफ को, जो परफेक्ट वीडियो जेनरेट करके सीखना सीखता है, एक जनरल-पर्पस डिटेक्टिव (सर्वव्यापी जासूस) बनने के लिए कहें?
उनका पेपर, जिसका शीर्षक "Video Generation Models are General-Purpose Vision Learners" है, यह सुझाव देता है कि इसका उत्तर एक जोरदार "हाँ" है। वे एक नया मॉडल पेश करते हैं जिसे GenCeption कहा जाता है।
जादू का खेल: "बनाने" से "जानने" तक
विज़न मॉडल्स को प्रशिक्षित करने के पुराने तरीके को ऐसे सोचें जैसे किसी छात्र को फ्लैशकार्ड दिखाकर सिखाना। आप एक कार्ड दिखाते हैं जिसमें एक पेड़ है और कहते हैं "पेड़", फिर एक कार वाला कार्ड दिखाते हैं और कहते हैं "कार"। यह काम करता है, लेकिन यह धीमा और कठोर है।
नया तरीका, जिसे लेखक GenCeption कहते हैं, उस छात्र को दुनिया के बारे में लाखों अलग-अलग कहानियाँ लिखने के माध्यम से सिखाने जैसा है। एक गोरिल्ला के कैमरे की ओर हाथ हिलाते हुए वीडियो के बारे में कहानी लिखने के लिए, छात्र को यह समझना ही होगा कि एक गोरिल्ला कैसा दिखता है, एक हाथ कैसे हिलता है, रोशनी बालों पर कैसे पड़ती है, और समय के साथ कैमरा एंगल कैसे बदलता है। उन्हें कहानी को सार्थक बनाने के लिए दुनिया के भौतिक विज्ञान (physics) को आत्मसात करना होगा।
पेपर तर्क देता है कि टेक्स्ट-टू-वीडियो जनरेशन की यह प्रक्रिया वास्तव में विजन के लिए अंतिम प्रशिक्षण मैदान (ultimate training ground) है। एक मॉडल को टेक्स्ट प्रॉम्प्ट (जैसे "एक गोरिल्ला कैमरे की ओर हाथ हिलाते हुए पास आता है") से उच्च गुणवत्ता वाले वीडियो बनाने के लिए प्रशिक्षित करके, मॉडल अनजाने में "विश्व ज्ञान" (world knowledge) का एक विशाल हिस्सा सीख लेता है—कि 3D स्पेस कैसे काम करता है, वस्तुएं कैसे चलती हैं, और प्रकाश कैसे व्यवहार करता है।
एक बड़ा बदलाव: एक मॉडल जो सब पर राज करे
शोधकर्ताओं ने एक विशाल वीडियो-जनरेशन मॉडल (जो "डिफ्यूजन मॉडल" नामक तकनीक पर आधारित है, जो शोर हटाने वाले (noise-remover) की तरह है जो धीरे-धीरे स्टैटिक को एक स्पष्ट तस्वीर में बदल देता है) को लिया और उसे एक मेकओवर दिया।
इसे धीरे-धीरे फ्रेम-दर-फ्रेम वीडियो "सपना" देखने देने के बजाय (जिसमें बहुत समय लगता है), उन्होंने इसे एक फीड-फॉरवर्ड (feed-forward) मॉडल बनाने के लिए इसमें बदलाव किया। इसे ऐसे समझें: मॉडल को 50 स्टेप्स लेकर धीरे-धीरे उत्तर का अनुमान लगाने के बजाय, उन्होंने इसे इनपुट को देखने और एक ही, बिजली की गति वाले स्टेप में उत्तर देने के लिए प्रशिक्षित किया।
फिर उन्होंने इस एकल मॉडल को केवल टेक्स्ट प्रॉम्प्ट बदलकर सब कुछ करने के लिए सिखाया।
- प्रॉम्प्ट: "डेप्थ" (Depth) → मॉडल एक डेप्थ मैप आउटपुट करता है (चीजें कितनी दूर हैं)।
- प्रॉम्प्ट: "सरफेस नॉर्मल" (Surface Normal) → मॉडल सतहों के किस दिशा में होने का पता लगाता है।
- प्रॉम्प्ट: "सेगमेंटेशन" (Segmentation) → यह वस्तुओं की रूपरेखा बनाता है।
- प्रॉम्प्ट: "3D कीपॉइंट्स" (3D Keypoints) → यह इंसान के शरीर के जोड़ों को ढूंढता है।
यह एक स्विस आर्मी नाइफ की तरह है जहाँ जिस टूल की आपको आवश्यकता होती है वह आपके द्वारा पूछे जाने पर स्वतः ही प्रकट हो जाता है, बजाय इसके कि आपको अलग-अलग चाकू, पेचकस और कैंची अपनी जेब में लेकर घूमना पड़े।
परिणाम: विशेषज्ञों को पछाड़ना
टीम ने डेप्थ मापने से लेकर स्कीइंग करते हुए व्यक्ति के पोज़ को ट्रैक करने तक, कार्यों की एक लंबी सूची पर GenCeption का परीक्षण किया। परिणाम आश्चर्यजनक थे।
- यह विशेषज्ञों को हरा देता है: कई मामलों में, यह एकल "जनरलिस्ट" मॉडल उन विशिष्ट मॉडल्स के बराबर या उनसे बेहतर प्रदर्शन करता है जिन्हें विशेष रूप से उन कार्यों के लिए बनाया गया था। उदाहरण के लिए, इसने DepthAnything3 (एक डेप्थ एक्सपर्ट) और SAM3 (एक सेगमेंटेशन एक्सपर्ट) जैसे मॉडल्स की बराबरी की या उन्हें पीछे छोड़ दिया।
- यह डेटा का जादूगर है: सबसे चौंकाने वाले हिस्सों में से एक यह है कि इसे कितने कम डेटा की आवश्यकता थी। लेखकों ने पाया कि GenCeption, D4RT और VGGT-Ω जैसे शीर्ष स्तर के मॉडल्स के समान प्रदर्शन प्राप्त करने के लिए 7 से 500 गुना कम ट्रेनिंग डेटा का उपयोग कर सकता है। ऐसा लगता है जैसे मॉडल ने खेल के नियमों को अपने वीडियो-जनरेशन प्रशिक्षण से इतनी अच्छी तरह सीख लिया कि उसे हर एक चाल को रटने की आवश्यकता नहीं पड़ी।
- यह एक जनरलिस्ट है: मॉडल को लगभग पूरी तरह से सिंथेटिक डेटा (इंसानों के कंप्यूटर-जनरेटेड वीडियो) पर प्रशिक्षित किया गया था। फिर भी, जब उन्होंने इसे जानवरों, रोबोट या लोगों के वास्तविक दुनिया के वीडियो दिखाए जिन्हें उसने पहले कभी नहीं देखा था, तब भी यह काम करता रहा। यह एक बिल्ली की मूंछों को ट्रैक कर सका या कभी न देखे गए वीडियो में बालों को सेगमेंट कर सका। यह बताता है कि मॉडल ने केवल विशिष्ट चित्रों को याद करने के बजाय "फर" या "बालों" की अवधारणा (concept) को सीखा।
यह पेपर क्या दावा नहीं करता है
यह जानना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं करता है। लेखक सावधानी बरतते हुए कहते हैं कि यह कोई जादुई छड़ी नहीं है जो दुनिया की हर समस्या को हल कर देगी।
- वे स्पष्ट रूप से इस विचार के खिलाफ तर्क देते हैं कि हमें हर एक विजन टास्क के लिए एक नया, कस्टम आर्किटेक्चर बनाने की आवश्यकता है। वे दिखाते हैं कि "विशेषज्ञ मॉडल्स" का पुराना तरीका इस एकीकृत दृष्टिकोण की तुलना में कम कुशल है।
- वे यह भी नोट करते हैं कि हालांकि मॉडल अद्भुत है, लेकिन यह पूर्ण नहीं है। जब उन्होंने सभी कार्यों को एक ही ट्रेनिंग सेशन में मिलाने की कोशिश की, तो मॉडल 3D ह्यूमन कीपॉइंट एस्टीमेशन (शरीर के जोड़ों को ट्रैक करना) में थोड़ा भ्रमित हो गया। इसका प्रदर्शन उस कार्य के लिए विशेष रूप से प्रशिक्षित होने की तुलना में थोड़ा गिर गया। यह सुझाव देता है कि जबकि "जनरलिस्ट" दृष्टिकोण शक्तिशाली है, बहुत अलग प्रकार के कार्यों को मिलाने में अभी भी कुछ सुधार की आवश्यकता है।
- वे यह भी स्पष्ट करते हैं कि नकली डेटा पर प्रशिक्षित होने के बाद वास्तविक दुनिया के वीडियो को संभालने की मॉडल की क्षमता एक इमर्जेंट बिहेवियर (उभरता हुआ व्यवहार) है—जो कि ट्रेनिंग मेथड का एक सुखद संयोग है, न कि कुछ जिसे उन्होंने स्पष्ट रूप से प्रोग्राम किया था।
निचोड़ (The Bottom Line)
पेपर सुझाव देता है कि कंप्यूटर विजन का भविष्य अधिक विशिष्ट रोबोट बनाने के बारे में नहीं होगा, बल्कि एक सुपर-रोबोट को दुनिया की इतनी जीवंत कल्पना करने के लिए सिखाने के बारे में होगा कि वह इसे पूरी तरह से समझ सके।
वीडियो जनरेशन को एक प्री-ट्रेनिंग टूल के रूप में उपयोग करके, GenCeption दिखाता है कि एक मॉडल दुनिया को बनाने की कोशिश करके ही उसे देख, माप और समझ सकता है। यह "हर समस्या के लिए एक समाधान इंजीनियर करने" से "एक स्मार्ट फाउंडेशन बनाने" की ओर एक बदलाव है जो उन सभी को हल कर सके।
लेखक सुझाव देते हैं कि यह मार्ग—परसेप्शन (अनुभूति) के लिए जेनेरेटिव मॉडल्स को आधार के रूप में उपयोग करना—वास्तविक सामान्य-उद्देश्य वाले विजन इंटेलिजेंस बनाने की कुंजी हो सकता है, जैसा कि लार्ज लैंग्वेज मॉडल्स (LLMs) ने टेक्स्ट के क्षेत्र में क्रांति ला दी थी। यह एक आशाजनक कदम है, लेकिन जैसा कि पेपर में उल्लेख किया गया है, हम अभी भी इस बात को समझने के शुरुआती चरणों में हैं कि इस जनरलिस्ट दिमाग को हर एक कार्य के लिए परफेक्ट कैसे बनाया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।