Beyond Language Modeling: An Exploration of Multimodal Pretraining
यह शोध पत्र यह प्रदर्शित करने के लिए ट्रांसफ्यूजन (Transfusion) फ्रेमवर्क का उपयोग करके नियंत्रित फ्रॉम-स्क्रैच (from-scratch) प्रीट्रेनिंग प्रयोग प्रस्तुत करता है कि एक मिक्सचर-ऑफ-एक्सपर्ट्स (Mixture-of-Experts) आर्किटेक्चर विजन और लैंग्वेज के बीच डेटा-स्केलिंग विषमता को प्रभावी ढंग से सामंजस्यपूर्ण बनाता है, जिससे बेहतर वर्ल्ड मॉडलिंग और पूरक क्षमताओं वाले एकीकृत मल्टीमॉडल मॉडल सक्षम होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपना पूरा जीवन एक शहर के मानचित्र का अध्ययन करने में बिताया है, हर सड़क के संकेत और इमारतों के विवरण को पढ़ा है। आप चीजों के नाम पूरी तरह से जानते हैं, लेकिन आपने वास्तव में उस शहर को कभी देखा नहीं, न ही हवा को महसूस किया है, या किसी कार को चलते हुए देखा है। आज का सबसे उन्नत AI (लार्ज लैंग्वेज मॉडल्स) इसी स्थिति में खड़ा है: वे मानचित्र (भाषा) के उस्ताद हैं, लेकिन उन्होंने कभी वास्तविक क्षेत्र (भौतिक दुनिया) का अनुभव नहीं किया है।
यह शोध पत्र, जिसका शीर्षक "बियॉन्ड लैंग्वेज मॉडलिंग" (Beyond Language Modeling) है, एक ऐसे AI को बनाने का ब्लूप्रिंट है जो टेक्स्ट की गुफा से बाहर निकलकर वास्तविक, दृश्य दुनिया में जीना शुरू कर सके। मेटा (Meta) और NYU के शोधकर्ताओं ने एक नया प्रकार का "मस्तिष्क" बनाया है जो जमीन से ही शब्दों और चित्रों/वीडियो दोनों से एक साथ सीखता है।
यहाँ उनकी खोज की कहानी है, जिसे सरल अवधारणाओं और उपमाओं में विभाजित किया गया है।
1. समस्या: "परछाई" बनाम "वस्तु"
लेखक प्लेटो की गुफा का एक प्रसिद्ध रूपक उपयोग करते हैं। कल्पना कीजिए कि कैदी एक गुफा में बंधे हुए हैं, दीवार पर परछाइयों को देख रहे हैं। वे सोचते हैं कि परछाइयाँ ही वास्तविक जीवन हैं।
- वर्तमान AI: ये वे कैदी हैं। वे केवल दुनिया के "साये" (टेक्स्ट विवरण) देखते हैं। वे जानते हैं कि "लाल गेंद" कैसा सुनाई देता है, लेकिन वे वास्तव में एक लाल गेंद के लुढ़कने के भौतिक विज्ञान (physics) को नहीं समझते।
- लक्ष्य: शोधकर्ता एक ऐसा AI बनाना चाहते हैं जो गुफा से मुड़ सके, बाहर निकल सके और वास्तविक वस्तुओं को देख सके। वे एक ऐसा AI चाहते हैं जो दुनिया के भौतिकी और कार्य-कारण संबंध (causality) को समझे, न कि केवल उसका वर्णन करने वाले शब्दों को।
2. बड़ी गलती: पुराने और नए का मिश्रण
AI को "देखना" सिखाने के पिछले अधिकांश प्रयास ऐसे थे जैसे किसी अंधे व्यक्ति को चश्मा पहनाकर देखना सिखाना, जबकि वह पहले से ही एक किताब पढ़ रहा हो। उन्होंने एक भाषा विशेषज्ञ को लिया, उसके मस्तिष्क को स्थिर (freeze) कर दिया, और उस पर एक कैमरा चिपकाने की कोशिश की।
- दोष: यह भ्रम पैदा करता है। आप यह नहीं बता सकते कि AI इसलिए स्मार्ट है क्योंकि उसके पास नया कैमरा है या इसलिए क्योंकि वह पहले से ही पढ़ने में जीनियस था।
- समाधान: शोधकर्ताओं ने एक कोरी स्लेट (blank slate) से शुरुआत की। उन्होंने टेक्स्ट, वीडियो और छवियों के मिश्रण का उपयोग करके एक ही मॉडल को शून्य से प्रशिक्षित किया। उन्होंने किसी पुराने मॉडल को "फाइन-ट्यून" नहीं किया; उन्होंने एक नया मॉडल बनाया जिसे दोनों इंद्रियों को समान रूप से संभालने के लिए डिज़ाइन किया गया था।
3. चार बड़ी खोजें
A. दो आँखों के लिए एक मस्तिष्क (द "यूनिवर्सल ट्रांसलेटर")
पहले, वैज्ञानिकों का मानना था कि आपको AI के लिए दो अलग-अलग "आँखें" चाहिए: एक समझने के लिए (एक चित्र को पढ़ना) और एक बनाने के लिए (एक चित्र बनाना)। यह एक आँख से पढ़ने और दूसरी आँख से पेंटिंग करने जैसा था।
- खोज: उन्होंने पाया कि एक एकल, उच्च-गुणवत्ता वाला "विजुअल रिप्रेजेंटेशन" (जिसे RAE कहा जाता है) दोनों के लिए पूरी तरह से काम करता है।
- उपमा: इसे एक मास्टर शेफ की तरह समझें। आपको सूप चखने के लिए एक शेफ और उसे पकाने के लिए दूसरे शेफ की आवश्यकता नहीं है। एक शेफ दोनों काम कर सकता है। यह AI को सरल बनाता है, जिससे यह तेज़ और स्मार्ट बनता है।
B. सही रेसिपी (डेटा सिनर्जी)
उन्होंने सोचा: "यदि हम AI को वीडियो और चित्र खिलाते हैं, तो क्या वह भ्रमित हो जाएगा और बोलना भूल जाएगा?"
- खोज: नहीं! वास्तव में, यह और बेहतर हो जाता है। भाषा और दृष्टि पीनट बटर और जेली की तरह हैं। जब उन्हें मिलाया जाता है, तो वे अपने हिस्सों के योग से भी बेहतर कुछ बनाते हैं।
- उपमा: कल्पना कीजिए कि गाड़ी चलाना सीख रहे हैं। यदि आप केवल मैनुअल (टेक्स्ट) पढ़ते हैं, तो आप टेस्ट पास कर सकते हैं लेकिन वास्तविक जीवन में दुर्घटनाग्रस्त हो सकते हैं। यदि आप बिना पढ़े केवल गाड़ी चलाते हैं (वीडियो), तो आप लापरवाह हो सकते हैं। लेकिन यदि आप गाड़ी चलाते समय मैनुअल भी पढ़ते हैं, तो आप एक आदर्श ड्राइवर बन जाते हैं। AI सीखता है कि शब्द और दृश्य एक-दूसरे की मदद करते हैं।
C. "वर्ल्ड सिम्युलेटर" (उभरता हुआ जादू)
यह सबसे रोमांचक हिस्सा है। उन्होंने AI को स्पष्ट रूप से यह नहीं सिखाया कि भूलभुलैया (maze) में कैसे नेविगेट करना है या वीडियो में आगे क्या होने वाला है इसकी भविष्यवाणी कैसे करनी है। उन्होंने बस इसे लाखों वीडियो देखने और लाखों किताबें पढ़ने दिया।
- खोज: AI ने स्वतः ही एक "वर्ल्ड मॉडल" (World Model) बनने की क्षमता विकसित कर ली। यह भविष्यवाणी कर सकता था कि यदि आप बाएं या दाएं मुड़ते हैं तो क्या होगा, भले ही इसे उस विशिष्ट कार्य के लिए प्रशिक्षित न किया गया हो।
- उपमा: यह उस बच्चे की तरह है जो इतने कार्टून देखता है और इतने वीडियो गेम खेलता है कि वह अचानक बिना किसी भौतिकी (physics) क्लास के गुरुत्वाकर्षण और भौतिकी के नियमों को समझ जाता है। AI ने भविष्य के बारे में "सपने" देखना सीख लिया।
D. स्मार्ट टीम (MoE आर्किटेक्चर)
यहाँ तकनीकी गुप्त सूत्र (secret sauce) है। शोधकर्ताओं ने पाया कि "दृष्टि" (Vision) और "भाषा" (Language) की अलग-अलग भूख होती है।
- भाषा एक ऐसे भोजन प्रेमी की तरह है जिसे एक बहुत ही जटिल मेनू (ढेर सारे मॉडल पैरामीटर्स) की आवश्यकता होती है लेकिन उसे बहुत अधिक भोजन (डेटा) खाने की आवश्यकता नहीं होती।
- दृष्टि एक निर्माण श्रमिक की तरह है जिसे एक सरल मेनू की आवश्यकता होती है लेकिन उसे भारी मात्रा में भोजन (विशाल वीडियो डेटा) खाना पड़ता है।
- समस्या: यदि आप उन्हें एक ही मेज देते हैं, तो निर्माण श्रमिक भूखा रह जाता है, या भोजन प्रेमी ऊब जाता है।
- समाधान: उन्होंने एक मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) सिस्टम का उपयोग किया। कल्पना कीजिए कि 1,000 शेफ वाला एक रेस्तरां है, लेकिन एक समय में केवल 16 ही काम कर रहे हैं।
- जब AI कोई किताब पढ़ता है, तो वह "गॉरमेट शेफ" (Gourmet Chefs) को बुलाता है।
- जब AI कोई वीडियो देखता है, तो वह "कंस्ट्रक्शन शेफ" (Construction Chefs) को बुलाता है।
- यह AI को विशाल और शक्तिशाली होने की अनुमति देता है बिना किसी शहर के आकार के कंप्यूटर की आवश्यकता के। यह अपनी मस्तिष्क शक्ति को ठीक वहीं आवंटित करता है जहाँ इसकी आवश्यकता होती है।
4. परिणाम: एक नए प्रकार की बुद्धिमत्ता
इन चार अंतर्दृष्टियों को जोड़कर, शोधकर्ताओं ने एक ऐसा मॉडल बनाया जो:
- एक ही मस्तिष्क के साथ देखता और बोलता है।
- अपने भाषा कौशल को खोए बिना वास्तविक दुनिया (वीडियो) से सीखता है।
- चीजों के हिलने-डुलने को देखकर भविष्य की भविष्यवाणी (World Modeling) करता है।
- अपने मस्तिष्क के भीतर "विशेषज्ञों" की एक स्मार्ट टीम का उपयोग करके कुशलता से स्केल करता है।
निष्कर्ष
यह शोध पत्र अगली पीढ़ी के AI के लिए एक रोडमैप है। यह हमें बताता है कि एक वास्तव में बुद्धिमान मशीन बनाने के लिए, हम केवल इसे अधिक किताबें नहीं पढ़ा सकते। हमें इसे दुनिया को देखने, उसके साथ खेलने और वास्तविकता के नियमों को सीधे सीखने देना होगा। AI अब केवल एक लाइब्रेरियन नहीं है; यह एक खोजकर्ता (explorer) बन रहा है।
संक्षेप में: उन्होंने एक ऐसा रोबोट बनाया है जो न केवल यह जानता है कि "गिरते हुए सेब" को क्या कहा जाता है; वह वास्तव में यह भी समझता है कि वह क्यों गिरता है, क्योंकि उसने केवल इसके बारे में पढ़ना नहीं, बल्कि दुनिया को देखना सीखा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।