Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model
Mage-VL एक कुशल, कोडेक-नेटिव स्ट्रीमिंग फाउंडेशन मॉडल है जो मोशन-अवेयर टोकेनाइज़र और एक डुअल-सिस्टम आर्किटेक्चर का लाभ उठाता है ताकि स्थिर और गतिशील रीजनिंग कार्यों पर बड़े स्टेट-ऑफ-द-आर्ट मॉडलों के बराबर या उनसे बेहतर प्रदर्शन करते हुए, काफी कम टोकन खपत और तेज़ इन्फरेंस के साथ रियल-टाइम मल्टीमॉडल समझ प्राप्त की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने फोन पर एक लाइव फुटबॉल मैच देख रहे हैं। कैमरा मैदान के चारों ओर घूम रहा है, भीड़ शोर मचा रही है, और खिलाड़ी आगे-पीछे दौड़ रहे हैं। अब, एक सुपर-स्मार्ट रोबोट की कल्पना करें जो उस खेल को वास्तविक समय (real-time) में समझने की कोशिश कर रहा है। अधिकांश वर्तमान रोबट एक ऐसे छात्र की तरह हैं जो 500 पन्नों की पाठ्यपुस्तक का हर एक शब्द पढ़ने पर अड़े रहते हैं, यहाँ तक कि उन हिस्सों को भी जो सौ बार सिर्फ यह कहते हैं कि "घास हरी है"। वे वीडियो के उबाऊ, स्थिर हिस्सों पर अटक जाते हैं, अपनी पूरी मानसिक शक्ति और समय बर्बाद करते हैं, जबकि वे असल में गोल होने वाले क्षण को मिस कर देते हैं। यह एक विरोधाभास है: वे जटिल पहेलियों को सुलझाने में जीनियस हैं लेकिन एक चलते हुए दृश्य को कुशलतापूर्वक देखने में बहुत खराब हैं।
यह शोध पत्र, जिसे माइक्रोसॉफ्ट मेज टीम (Microsoft Mage Team) द्वारा लिखा गया है, एक नए प्रकार के रोबोटिक मस्तिष्क Mage-VL का परिचय देता है। इसे इस नियम को तोड़ने के लिए डिज़ाइन किया गया है और यह एक मानव आँख की तरह काम करता है। वीडियो के हर एक फ्रेम को देखने के बजाय, Mage-VL केवल उन्हीं हिस्सों पर ध्यान देता है जो वास्तव में बदल रहे हैं या हिल रहे हैं। इसे एक सुरक्षा गार्ड की तरह समझें जो केवल मोशन सेंसर पर नज़र रखता है; यदि कुछ भी हिल नहीं रहा है, तो वे खाली गलियारे को देखने में अपनी ऊर्जा बर्बाद नहीं करते। ऐसा करके, रोबोट वीडियो को बहुत तेज़ी से और कम कंप्यूटिंग पावर के साथ समझ सकता है, जिससे यह आपको लाइव गेम के दौरान ही उसके बारे में बात करने में सक्षम बनाता है, न कि गेम खत्म होने के बाद सारांश देने के लिए इंतज़ार करता है।
"कोडेक-नेटिव" (Codec-Native) देखने का जादू
Mage-VL का असली राज़ एक ऐसी चीज़ है जिसे लेखक कोडेक-नेटिव दृष्टिकोण कहते हैं। वीडियो स्ट्रीमिंग की दुनिया में (जैसे जब आप नेटफ्लिक्स या यूट्यूब देखते हैं), कंप्यूटर स्पेस बचाने के लिए "कंप्रेशन" नामक एक ट्रिक का उपयोग करते हैं। वे वीडियो का हर एक फ्रेम नहीं भेजते; वे एक पूर्ण चित्र (एक "I-frame") भेजते हैं और फिर अगले कुछ सेकंड के लिए केवल उन छोटे हिस्सों को भेजते हैं जो बदलते हैं ( "P-frames")। इसी वजह से आपका फोन सारा डेटा खाए बिना मूवी स्ट्रीम कर पाता है।
Mage-VL को इसी भाषा को मूल रूप से बोलने के लिए बनाया गया था। वीडियो को स्थिर छवियों के एक कठोर ग्रिड में बदलने के बजाय, यह उसी मोशन सिग्नल का उपयोग करता है जिसका उपयोग वीडियो कंप्रेशन यह तय करने के लिए करता है कि क्या महत्वपूर्ण है। यदि कोई खिलाड़ी दौड़ रहा है, तो रोबोट खिलाड़ी पर ज़ूम करता है। यदि बैकग्राउंड की भीड़ बस खड़ी है, तो रोबोट उसे पूरी तरह से अनदेखा कर देता है। यह एक फोटोग्राफर की तरह है जो किसी स्थिर वस्तु की 30 फोटो प्रति सेकंड लेने के बजाय केवल तभी फोटो खींचता है जब कुछ दिलचस्प होता है।
इसका परिणाम दक्षता में भारी उछाल है। पेपर दिखाता है कि Mage-VL "विजुअल टोकन" (छवि के वे छोटे टुकड़े जिन्हें कंप्यूटर को प्रोसेस करना होता है) की संख्या को 75% से अधिक कम कर सकता है। यह एक ऐसी किताब पढ़ने जैसा है जहाँ आपको केवल रोमांचक अध्याय पढ़ने होते हैं, उबाऊ हिस्सों को छोड़कर, फिर भी आप पूरी कहानी को पूरी तरह समझते हैं।
दो प्रणालियों वाला एक मस्तिष्क
इस स्ट्रीमिंग वीडियो को संभालने के लिए, Mage-VL मानव सोच से प्रेरित एक चतुर दो-भाग वाले मस्तिष्क का उपयोग करता है।
- सिस्टम 1 (प्रतिवर्त/Reflex): यह एक सुपर-फास्ट, हल्का गेटकीपर है। यह वीडियो स्ट्रीम को देखता है और पूछता है, "क्या अभी कुछ दिलचस्प हो रहा है?" यदि उत्तर 'नहीं' है, तो यह शांत रहता है। यदि उत्तर 'हाँ' है (जैसे कि गोल हो रहा है), तो यह तुरंत मस्तिष्क के दूसरे भाग को जगा देता है।
- सिस्टम 2 (तर्क करने वाला/Reasoner): यह भारी-भरकम सोचने वाला हिस्सा है। एक बार जब गेट खुल जाता है, तो यह ठीक-ठीक समझने के लिए गहराई में उतर जाता है कि वास्तव में क्या हुआ और प्रतिक्रिया उत्पन्न करता है।
इसका मतलब है कि रोबोट वीडियो के उबाऊ हिस्सों के बारे में सोचने में समय बर्बाद नहीं करता है। यह हाफ-टाइम शो या जब कैमरा केवल स्टेडियम के ऊपर से गुजर रहा हो, तब शांत रहता है, और जैसे ही खिलाड़ी गेंद को किक मारता है, यह टिप्पणी के साथ कूद पड़ता है।
उन्होंने क्या पाया (और क्या नहीं)
टीम ने लगभग 560 मिलियन अनलेबल छवियों और 100 मिलियन अनलेबल वीडियो फ्रेम का उपयोग करके इस मॉडल को शुरू से प्रशिक्षित किया। यह सुनने में बहुत अधिक लग सकता है, लेकिन अन्य विशाल मॉडलों की तुलना में जिन्हें अरबों इमेज-टेक्स्ट पेयर्स की आवश्यकता होती है, यह वास्तव में काफी छोटा है। आश्चर्यजनक रूप से, उन्होंने पाया कि एक बेहतरीन विजुअल ब्रेन बनाने के लिए आपको विशाल, वेब-स्केल डेटासेट की आवश्यकता नहीं है। Mage-VL के कस्टम ट्रेनिंग मेथड ने इसे वीडियो समझने के कार्यों में बहुत बड़े मॉडलों के बराबर या उनसे बेहतर प्रदर्शन करने की अनुमति दी।
यहाँ उनकी कुछ प्रमुख खोजें दी गई हैं:
- गति: Mage-VL अविश्वसनीय रूप से तेज़ है। यह मानक मॉडलों की तुलना में वास्तविक समय में 3.5 गुना तेज़ वीडियो प्रोसेस कर सकता है, जबकि सही उत्तर भी देता है।
- "लॉन्ग वीडियो" ट्रेनिंग की आवश्यकता नहीं: उन्होंने पाया कि उन्हें लंबे वीडियो के बारे में प्रश्न पूछने में कुशल बनाने के लिए विशेष रूप से मॉडल को लंबे वीडियो पर प्रशिक्षित करने की आवश्यकता नहीं थी। छोटे क्लिप्स के विस्तृत विवरण पर इसे प्रशिक्षित करके और उनके स्मार्ट "कोडेक" मेथड का उपयोग करके, मॉडल ने खुद ही लंबे वीडियो को समझना सीख लिया।
- मोशन स्थानिक तर्क (Spatial Reasoning) में मदद करता है: उन्होंने पाया कि चलते हुए वीडियो पर मॉडल को प्रशिक्षित करने से यह स्थिर 3D आकृतियों और स्थानिक संबंधों को समझने में वास्तव में बेहतर हो गया। ऐसा लगता है कि चीजें कैसे चलती हैं, यह देखने से रोबोट को यह समझने में मदद मिलती है कि वे स्थान में एक-दूसरे के साथ कैसे फिट होती हैं।
- AI द्वारा AI की मदद: टीम ने बेहतर ट्रेनिंग डेटा लिखने में मदद करने के लिए एक AI सिस्टम का उपयोग किया। उन्होंने एक AI से अपने द्वारा जनरेट किए गए कैप्शन की जांच करवाई, गलतियों को सुधारा और प्रॉम्प्ट्स में सुधार किया, जिससे एक ऐसा लूप बना जिसने डेटा की गुणवत्ता को बहुत उच्च स्तर पर पहुँचा दिया।
निष्कर्ष
Mage-VL वास्तविक समय में दुनिया को "देखने" और "सुनने" में सक्षम AI बनाने की दिशा में एक महत्वपूर्ण कदम है। यह साबित करता है कि वीडियो को समझने के लिए आपको हर एक पिक्सेल के माध्यम से जबरदस्ती जाने की आवश्यकता नहीं है। यह जानकर कि कहाँ देखना है—वीडियो कंप्रेशन और मानव आँखों के मोशन पर ध्यान केंद्रित करने के तरीके की नकल करके—मॉडल तेज़, सस्ता और अधिक रिस्पॉन्सिव बन जाता है।
हालाँकि पेपर नोट करता है कि जटिल तर्क (reasoning) और गणितीय समस्याओं पर मॉडल को अभी भी काम करने की आवश्यकता है, यह सफलतापूर्वक प्रदर्शित करता है कि एक छोटा, अधिक कुशल मॉडल हमारे आसपास की गतिशील, चलती हुई दुनिया को समझने के मामले में बड़े और धीमे दिग्गजों से बेहतर प्रदर्शन कर सकता है। यह "सब कुछ पढ़ने" से "जो मायने रखता है उसे देखने" की ओर एक बदलाव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।