GRIT: Teaching MLLMs to Think with Images
यह शोध पत्र GRIT का प्रस्ताव करता है, जो एक सुदृढीकरण लर्निंग (reinforcement learning) आधारित विधि है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स को प्राकृतिक भाषा के साथ स्पष्ट बाउंडिंग बॉक्स निर्देशांकों (bounding box coordinates) को अंतर्निहित करके दृष्टिगत रूप से आधारित तर्क श्रृंखलाएं (visually grounded reasoning chains) उत्पन्न करने में सक्षम बनाती है, जो बिना किसी एनोटेटेड रीजनिंग या लोकलाइजेशन लेबल के उच्च डेटा दक्षता प्राप्त करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को पहेली सुलझाना सिखा रहे हैं। आमतौर पर, जब आप इस रोबोट से किसी तस्वीर के बारे में कोई सवाल पूछते हैं, तो यह केवल बोलकर उत्तर देने की कोशिश करता है। यह कह सकता है, "मुझे एक पक्षी दिख रहा है," लेकिन यह वास्तव में पक्षी की ओर इशारा नहीं करता है। यह ऐसा है जैसे अंधेरे कमरे में केवल शब्दों का उपयोग करके किसी स्थान का वर्णन करना, इस उम्मीद में कि आप अनुमान लगा लेंगे कि वह कहाँ देख रहा है।
एक शोध पत्र "GRIT: Teaching MLLMs to Think with Images" इस रोबोट (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स या MLLMs कहा जाता है) को अलग तरह से सोचने का तरीका सिखाता है। यहाँ इसका सरल उपमाओं (analogies) के साथ विवरण दिया गया है:
1. समस्या: "अंधा" विचारक
वर्तमान AI मॉडल बात करने में माहिर हैं, लेकिन जब वे किसी तस्वीर को देखते हैं, तो वे अक्सर शुद्ध टेक्स्ट (शब्दों) में "सोचते" हैं। वे सही उत्तर का अनुमान तो लगा सकते हैं, लेकिन वे आपको यह नहीं दिखा सकते कि उन्होंने उसे खोजने के लिए कहाँ देखा था। यह एक जासूस की तरह है जो अपराधी का नाम तो बता देता है, लेकिन कभी सबूत या उंगलियों के निशान नहीं दिखाता। यह उनके तर्क (reasoning) को अविश्वसनीय और कभी-कभी गलत बनाता है।
2. समाधान: "पॉइंटर" की आदत (GRIT)
लेखकों ने GRIT (Grounded Reasoning with Images and Text) नामक एक विधि बनाई है। केवल बोलने के बजाय, वे AI को सोचते समय इशारा करना (point) सिखाते हैं।
- उपमा: कल्पना कीजिए कि AI एक छात्र को मानचित्र (map) समझा रहा है। केवल यह कहने के बजाय कि "खजाना वहाँ है," शिक्षक मानचित्र पर उस स्थान के चारों ओर एक बॉक्स बनाता है और कहता है, "मैं यहाँ देख रहा हूँ [बॉक्स बनाता है], और मुझे एक पत्थर दिख रहा है, इसलिए खजाना उसके बगल में होना चाहिए।"
- यह कैसे काम करता है: AI विचारों की एक श्रृंखला (chain of thoughts) उत्पन्न करता है जिसमें सामान्य वाक्यों के साथ बाउंडिंग बॉक्स (निर्देशांक जो छवि के एक विशिष्ट भाग के चारों ओर एक आयत बनाते हैं) का मिश्रण होता है। यह शाब्दिक रूप से उस छवि के हिस्सों की ओर इशारा करता है जिनका उपयोग वह समस्या को हल करने के लिए कर रहा है।
3. असली मंत्र: परीक्षण और त्रुटि से सीखना (GRPO-GR)
आमतौर पर, AI को इतना जटिल कार्य सिखाने के लिए, आपको हजारों उदाहरणों की आवश्यकता होती है जहाँ मनुष्यों ने हर एक चरण को लिखा हो और हर एक बॉक्स बनाया हो। यह एक रोबोट के लिए पाठ्यपुस्तक लिखने के लिए इंजीनियरों की एक टीम को काम पर रखने जैसा है।
शोध पत्र का दावा है कि एक बड़ी सफलता: GRIT को लगभग किसी उदाहरण की आवश्यकता नहीं है।
- उपमा: एक पाठ्यपुस्तक पढ़ने के बजाय, AI एक वीडियो गेम खेलने वाले बच्चे की तरह सीखता है। आप उसे एक तस्वीर और एक प्रश्न देते हैं। वह उत्तर देने की कोशिश करता है। यदि वह अंतिम उत्तर सही देता है और नियमों का पालन करता है (जैसे बॉक्स बनाना), तो उसे एक "हाई स्कोर" (पुरस्कार) मिलता है। यदि वह विफल रहता है, तो उसे कम स्कोर मिलता है।
- जादू: शोधकर्ताओं ने इस AI को प्रशिक्षित करने के लिए केवल 20 उदाहरणों (जैसे 20 अभ्यास प्रश्न) का उपयोग किया। AI ने पैटर्न समझ लिया: "हाई स्कोर पाने के लिए, मुझे बात करते समय छवि की ओर इशारा करना होगा।" वे इसे GRPO-GR कहते हैं, एक विशेष प्रशिक्षण विधि जो AI को सही उत्तर देने और सही "पॉइंटिंग" प्रारूप का उपयोग करने, दोनों के लिए पुरस्कृत करती है।
4. परिणाम: अधिक स्मार्ट और अधिक ईमानदार
जब उन्होंने इन प्रशिक्षित रोबोटों का परीक्षण किया:
- वे गणित और गिनती में बेहतर हो गए: यदि आपने पूछा, "घोंसले में कितने अंडे हैं?", तो रोबोट ने केवल संख्या का अनुमान नहीं लगाया। उसने अंडों की ओर इशारा किया, अपने "विचारों" में उन्हें एक-एक करके गिना, और फिर उत्तर दिया।
- उन्होंने दो कौशलों को एकीकृत किया: पहले, AI या तो बात करने (तर्क करने) में अच्छा था या इशारा करने (ग्राउंडिंग) में अच्छा था, लेकिन दोनों एक साथ नहीं। GRIT ने उन्हें दोनों कार्य एक साथ करना सिखाया।
- वे अधिक विश्वसनीय हैं: क्योंकि AI को सबूतों की ओर इशारा करना पड़ता है, इसलिए उसके लिए झूठ बोलना कठिन है। यदि वह एक स्थान की ओर इशारा करता है और कहता है "मुझे एक बिल्ली दिख रही है," लेकिन वहाँ कोई बिल्ली नहीं है, तो सिस्टम जान जाता है कि कुछ गलत है।
5. उन्होंने क्या पाया (और क्या नहीं)
- डेटा दक्षता (Data Efficiency): उन्होंने साबित किया कि आपको डेटा के विशाल पुस्तकालय की आवश्यकता नहीं है। इस नए "पॉइंटिंग" स्वभाव को सिखाने के लिए केवल 20 उदाहरण ही पर्याप्त थे।
- ध्यान (Attention): जब AI किसी स्थान की ओर इशारा करता है (एक बॉक्स बनाता है), तो वह वास्तव में अपने अगले विचार में छवि के उस हिस्से पर अधिक ध्यान केंद्रित करता है। यह ऐसा है जैसे इशारा करने के कार्य से रोबोट को अपनी आँखों को केंद्रित करने में मदद मिलती है।
- सीमाएँ: शोध पत्र नोट करता है कि हालांकि अधिक डेटा जोड़ने से मदद मिलती है, लेकिन एक बिंदु आता है जहाँ लाभ कम होने लगता है। उन चीजों में और भी बेहतर होने के लिए जिन्हें रोबोट ने पहले नहीं देखा है, उन्हें केवल एक जैसे डेटा के बजाय अधिक विविधता वाले डेटा की आवश्यकता है।
सारांश में:
GRIT एक नया प्रशिक्षण तरीका है जो AI रोबोटों को "अपनी आँखों से सोचने" के लिए प्रशिक्षित करता है, जिससे वे बात करते समय छवि की ओर इशारा करने के लिए मजबूर होते हैं। यह एक बड़ी छलांग है क्योंकि यह इस जटिल कौशल को लगभग बिना किसी डेटा के (केवल 20 उदाहरणों के साथ) सिखाता है और AI के तर्क को पारदर्शी और भरोसेमंद बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।