Scalable Visual Pretraining for Language Intelligence
यह शोध पत्र फाउंडेशन मॉडल प्रीट्रेनिंग के केवल-टेक्स्ट प्रतिमान को चुनौती देता है, यह प्रदर्शित करते हुए कि कच्चे दृश्य दस्तावेजों (raw visual documents) पर अनसुपरवाइज्ड विजुअल प्रीट्रेनिंग, जो आकृतियों और लेआउट जैसी समृद्ध जानकारी को संरक्षित करता है, लगातार केवल-टेक्स्ट दृष्टिकोणों से बेहतर प्रदर्शन करता है और उन्नत भाषा बुद्धिमत्ता के लिए एक स्केलेबल मार्ग प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। लंबे समय से, इसका मानक नुस्खा यह रहा है कि उसे किताबों, लेखों और वेबसाइटों के पहाड़ों को खिलाया जाए, लेकिन एक शर्त के साथ: रोबोट के पढ़ने से पहले, इंसान (या कंप्यूटर) उन सभी चित्रों, टेढ़े-मेढ़े गणितीय प्रतीकों, चार्टों और फैंसी पेज लेआउट को हटा देते हैं, जिससे सब कुछ केवल सादा, उबाऊ टेक्स्ट बन जाता है। यह बिल्कुल वैसा ही है जैसे किसी को केक बनाना सिखाने के लिए केवल एक नैपकिन पर लिखे हुए सामग्रियों की सूची देना, जबकि उस तैयार केक की फोटो, मिक्सिंग बाउल का आरेख (डायग्राम), और ओवन का तापमान कैसे बदलता है यह दिखाने वाले रंगीन ग्राफ को फेंक दिया जाए।
2026 का एक नया शोध पत्र सुझाव देता है कि यह "केवल-टेक्स्ट" वाला दृष्टिकोण पहेली का एक बड़ा हिस्सा गायब छोड़ देता है। शंघाई और झेजियांग की एक टीम के नेतृत्व में शोधकर्ताओं का तर्क है कि दस्तावेजों के दृश्य (विजुअल) हिस्सों को फेंककर, हम उस जानकारी को फेंक रहे हैं जिसकी जरूरत रोबोट को वास्तव में स्मार्ट बनने के लिए होती है। वे अपनी इस नई विधि को विजुअल प्रीट्रेनिंग (VP) कहते हैं, और यह रोबोट को एक पाठ्यपुस्तक के वास्तविक पन्नों को पढ़ने के समान है, जिसमें आरेख और समीकरण भी शामिल हैं, न कि केवल शब्दों में उसका विवरण।
बड़ी खोज: देखना ही विश्वास करना है (और सीखना भी)
टीम ने इस विचार का परीक्षण उपलब्ध कुछ सबसे स्मार्ट एआई मॉडल्स (जैसे Qwen और Llama) पर किया। उन्होंने वैज्ञानिक दस्तावेजों का बिल्कुल वही ढेर लिया—सोचिए भौतिकी के पेपर, गणित की पाठ्यपुस्तकें और तकनीकी रिपोर्ट—और उन्हें दो समूहों में विभाजित किया।
- समूह A (पुराना तरीका): उन्होंने पन्नों को सादे टेक्स्ट में बदल दिया, जिससे सभी विजुअल्स को हटा दिया गया।
- समूह B (नया तरीका - VP): उन्होंने पन्नों की कच्ची छवियों (raw images) को सीधे मॉडल को खिलाया, जिससे मॉडल बिना शब्दों में बदले सीधे आकृतियों, तालिकाओं और लेआउट को "देख" सके।
परिणाम? कच्चे चित्रों पर प्रशिक्षित हुआ रोबोट (समूह B) ने सादे टेक्स्ट पर प्रशिक्षित होने वाले रोबोट (समूह A) को लगातार पछाड़ दिया। वास्तव में, कठिन विज्ञान और गणित के बेंचमार्क पर, विजुअल लर्नर ने बेहतर स्कोर किया। उदाहरण के लिए, AIME नामक एक कठिन गणित परीक्षण पर, विजुअल मॉडल ने टेक्स्ट मॉडल की तुलना में काफी अधिक सुधार दिखाया। शोध पत्र सुझाव देता है कि एक जटिल पेज को शब्दों की एक स्ट्रिंग में बदलने की "लॉसी" (सूचना खोने वाली) प्रक्रिया वास्तव में उस जानकारी को मिटा देती है जो कठिन समस्याओं को हल करने के लिए आवश्यक होती है।
दक्षता का जुगाड़: कम में ज्यादा करना
यहाँ सबसे शानदार बात यह है: विजुअल विधि न केवल बेहतर थी; बल्कि यह बहुत अधिक कुशल भी थी। टेक्स्ट-आधारित मॉडल को इन दस्तावेजों से सीखने के लिए लगभग 80 बिलियन टेक्स्ट टोकन को चबाना पड़ा। हालाँकि, विजुअल मॉडल को समान (या बेहतर) परिणाम प्राप्त करने के लिए केवल लगभग 20 बिलियन विजुअल टोकन की आवश्यकता थी। यानी डेटा बजट का केवल 25% उपयोग!
इसे इस तरह सोचें: यदि टेक्स्ट मॉडल एक शहर का वर्णन करने के लिए हर सड़क का नाम और हर इमारत का पता सूचीबद्ध करने की कोशिश कर रहा है, तो इसमें बहुत समय लगता है। इसके विपरीत, विजुअल मॉडल बस एक नक्शा देख लेता है। वह पूरी तस्वीर तुरंत समझ जाता है। शोधकर्ताओं ने पाया कि पन्ने पर जितना अधिक "विजुअल सामान" (जैसे जटिल आरेख और समीकरण) होता था, विजुअल मॉडल का लाभ उतना ही अधिक होता था। चार्ट और फॉर्मूला से भरे पन्नों पर, विजुअल मॉडल का लाभ बहुत बढ़ गया, जबकि साधारण टेक्स्ट वाले पन्नों पर वे लगभग बराबर थे।
कोई चीट कोड नहीं, केवल शुद्ध दृष्टि
आप सोच सकते हैं, "क्या उन्होंने रोबोट को तस्वीरें और उत्तर दिखाकर धोखाधड़ी की?" नहीं। उन्होंने कोई विशेष "इमेज-टू-टेक्स्ट" लेबल या चीट शीट का उपयोग नहीं किया। रोबोट को बस इमेज के अगले हिस्से को देखने और यह अनुमान लगाने के लिए कहा गया था कि वह कैसा दिखेगा, ठीक वैसे ही जैसे वह वाक्य में अगले शब्द का अनुमान लगाता है।
आश्चर्यजनक रूप से, इस "सिर्फ देखने" वाले प्रशिक्षण ने रोबोट को केवल देखने में ही नहीं, बल्कि सब कुछ करने में बेहतर बना दिया। वह टेक्स्ट को समझने में भी बेहतर हो गया, और बाद में परीक्षण के दौरान चित्रों को शब्दों से जोड़ने में भी बेहतर साबित हुआ। शोधकर्ताओं ने यह मापने के लिए कि कैसे रोबोट का "दिमाग" चित्रों को शब्दों के साथ संरेखित करता है, यह देखा कि विजुअल ट्रेनिंग ने दोनों अवधारणाओं को आपस में बहुत मजबूती से जोड़ दिया है, जैसे कि रोबोट को अंततः समझ आ गया हो कि बिल्ली की तस्वीर और शब्द "बिल्ली" वास्तव में एक ही चीज़ हैं।
इसका क्या अर्थ है (और क्या नहीं)
लेखक सावधानी बरतते हुए कहते हैं कि यह कोई जादुई छड़ी नहीं है जो टेक्स्ट पढ़ने की जगह ले लेगी। टेक्स्ट अभी भी उन तथ्यों को सीखने के लिए बेहतरीन है जो पहले से ही स्पष्ट रूप से लिखे गए हैं। लेकिन वैज्ञानिक दस्तावेजों के लिए, जहाँ लेआउट, समीकरण का आकार और आरेख की स्थिति महत्वपूर्ण अर्थ रखती है, विजुअल दृष्टिकोण एक नया, स्केलेबल रास्ता सुझाता है।
वे स्वीकार करते हैं कि उन्होंने अभी तक सब कुछ हल नहीं किया है। उदाहरण के लिए, वे सुनिश्चित नहीं हैं कि क्या यह प्रकृति की रैंडम तस्वीरों या वीडियो के लिए भी उतना ही प्रभावी है, क्योंकि उनके परीक्षण मुख्य रूप से उच्च-घनत्व वाले वैज्ञानिक पीडीएफ (PDF) पर आधारित थे। लेकिन जटिल दस्तावेजों से सीखने के विशिष्ट मामले के लिए, शोध पत्र सुझाव देता है कि एआई को दुनिया को उसके वास्तविक रूप में देखने देना—दृश्य, अव्यवस्थित और आरेखों से भरपूर—उसकी वास्तविक बुद्धिमत्ता को अनलॉक करने की कुंजी हो सकती है। यह "नक्शे के विवरण को पढ़ने" से "वास्तव में नक्शे को देखने" की ओर एक बदलाव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।