v1: Learning to Point Visual Tokens for Multimodal Grounded Reasoning
यह शोधपत्र v1 को प्रस्तुत करता है, जो मल्टीमॉडल लैंग्वेज मॉडल्स के लिए एक हल्का विस्तार (lightweight extension) है जो एक सिमेंटिक पॉइंट-एंड-कॉपी मैकेनिज्म के माध्यम से सक्रिय विजुअल रेफरेंसिंग को सक्षम बनाता है, जिससे मॉडल को स्टैटिक विजुअल एनकोडिंग की सीमाओं को दूर करने के लिए रीजनिंग के दौरान प्रासंगिक इमेज पैचेस को गतिशील रूप से रिट्रिव और री-ग्राउंड करने की अनुमति मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कठिन पहेली को हल करने की कोशिश कर रहे हैं, लेकिन उसके टुकड़े एक विशाल, जटिल चित्र के भीतर छिपे हुए हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ऐसे विशेष "मल्टीमॉडल" मस्तिष्क होते हैं जो चित्रों को देख सकते हैं और टेक्स्ट को एक साथ पढ़ सकते हैं। आमतौर पर, जब ये AI मॉडल किसी आरेख (डायग्राम) से जुड़ी गणित की समस्या को हल करने की कोशिश करते हैं, तो वे चित्र पर एक त्वरित नज़र डालते हैं, उसका सामान्य आभास याद कर लेते हैं, और फिर केवल शब्दों का उपयोग करके बाकी समस्या को हल करने का प्रयास करते हैं। यह बिल्कुल वैसा ही है जैसे किसी मानचित्र पर पाँच सेकंड के लिए नज़र डालना, आँखें बंद करना, और फिर बिना दोबारा मानचित्र देखे किसी नए शहर तक जाने की कोशिश करना। समस्या यह है कि जैसे-जैसे ड्राइविंग के निर्देश लंबे और अधिक जटिल होते जाते हैं, AI भूलने लगता है कि मोड़ कहाँ थे या लैंडमार्क कैसे दिखते थे। यह अपनी "ग्राउंडिंग" खो देता है, जिसका अर्थ है कि वह उस दृश्य साक्ष्य से दूर चला जाता है जिसकी उसे सही होने के लिए आवश्यकता होती है।
यह शोध पत्र इन AI मस्तिष्क के सोचने का एक नया तरीका पेश करता है, जिसे v1 कहा गया है। केवल एक बार देखने और फिर अनुमान लगाने के बजाय, v1 मॉडल को सक्रिय रूप से चित्र के उन विशिष्ट हिस्सों की ओर इशारा करने, उस जानकारी को कॉपी करने और जब भी वह अटक जाए, उसे अपनी सोच की प्रक्रिया में वापस पेस्ट करने के लिए प्रशिक्षित करता है। यह एक बहुत ही बुद्धिमान छात्र की तरह है जो, एक लंबी गणित की समस्या हल करते समय, डायग्राम की ओर उंगली से इशारा करता रहता है, कहता है, "रुको, मुझे इस कोण को एक बार फिर से जांच लेने दो," और फिर उस विशिष्ट दृश्य विवरण को अपने नोट्स में वापस लाता है ताकि वह गणना पूरी कर सके। शोधकर्ताओं ने पाया कि यह सरल "पॉइंट-एंड-कॉपी" (इशारा करो और कॉपी करो) तकनीक AI को चित्र के सही हिस्सों पर केंद्रित रहने में मदद करती है, जिससे कठिन विजुअल मैथ टेस्ट पर बेहतर उत्तर मिलते हैं।
समस्या: "एक-झलक" का जाल (The "One-Glance" Trap)
अधिकांश वर्तमान AI मॉडल जो देख और पढ़ सकते हैं, वे उन छात्रों की तरह हैं जिन्हें एक डायग्राम को पल भर के लिए पढ़ने और फिर आँखें बंद करने के लिए कहा गया है। वे चित्र को एक बार अपनी मेमोरी में एनकोड करते हैं और फिर केवल टेक्स्ट का उपयोग करके समस्या को सुलझाने का प्रयास करते हैं। शोधकर्ताओं ने इस दृष्टिकोण में एक दोष देखा: जैसे-जैसे तर्क (reasoning) लंबा और जटिल होता जाता है, मॉडल अपना ध्यान खोने लगता है। ऐसा लगता है जैसे छात्र की आँखें सुन्न पड़ गई हों; वे चित्र के महत्वपूर्ण विवरणों पर ध्यान देना बंद कर देते हैं। शोध पत्र दिखाता है कि जैसे-जैसे AI समस्या को हल करने के लिए अधिक चरण लिखता है, वास्तविक चित्र के प्रति उसका ध्यान कम होता जाता है, और वह गलतियाँ करने लगता है क्योंकि वह अब उस साक्ष्य को "देख" नहीं रहा होता जिसकी उसे आवश्यकता है।
समाधान: पॉइंट-एंड-कॉपी (Point-and-Copy)
इसे ठीक करने के लिए, टीम ने v1 बनाया, जो इन AI मॉडलों के लिए एक हल्का अपग्रेड है। v1 को इन AI मॉडलों के लिए एक जादुई पॉइंटर और फोटोकॉपी मशीन देने के रूप में समझें। जब AI किसी समस्या के बारे में सोच रहा होता है और उसे एहसास होता है कि उसे चित्र के एक विशिष्ट हिस्से की जांच करने की आवश्यकता है—जैसे त्रिभुज में एक कोण या ग्राफ पर एक बार—तो वह केवल अनुमान नहीं लगाता। इसके बजाय, वह उस चित्र के सटीक पैच (हिस्से) को चुनने के लिए एक "पॉइंटिंग" तंत्र का उपयोग करता है।
एक बार जब वह इशारा करता है, तो वह उस स्थान से दृश्य जानकारी को "कॉपी" करता है और उसे सीधे अपनी सोच के प्रवाह में पेस्ट कर देता है। इसका मतलब है कि AI जितनी बार चाहे उतनी बार दृश्य साक्ष्य को पुनः देख सकता है, जिससे गणित करते समय चित्र उसकी स्मृति में ताज़ा बना रहता है। महत्वपूर्ण बात यह है कि यह नए चित्र बनाना या नई तस्वीरें खींचना नहीं है; यह मूल चित्र डेटा को सर्जिकल सटीकता के साथ पुनः प्राप्त करने के बारे में है। मॉडल सीखता है कि "मुझे उस लाल बार को फिर से देखने की आवश्यकता है," वह उस पर इशारा करता है, उसका डेटा कॉपी करता है, और फिर उस ताज़ा विज़ुअल कॉन्टेक्स्ट के साथ अपनी रीजनिंग जारी रखता है।
उन्होंने AI को कैसे सिखाया
आप केवल एक AI को "ज़ोर से देखने" के लिए नहीं कह सकते; उसे इसे करने के तरीके पर प्रशिक्षित करने की आवश्यकता है। शोधकर्ताओं ने एक विशाल डेटासेट बनाया जिसे v1g कहा जाता है, जिसमें 3만 (3 लाख) गणित संबंधी समस्याओं के उदाहरण शामिल हैं जहाँ रीजनिंग स्टेप्स को चित्र के विशिष्ट हिस्सों से स्पष्ट रूप से जोड़ा गया है। उन्होंने इस डेटा को बनाने के लिए एक चतुर, स्वचालित प्रक्रिया का उपयोग किया:
- उन्होंने अन्य AI मॉडलों से मौजूदा रीजनिंग पाथ (तर्क पथ) लिए।
- उन्होंने एक शक्तिशाली लैंग्वेज मॉडल का उपयोग करके उन रास्तों को विभाजित किया, जिससे यह पहचाना जा सके कि AI को वास्तव में चित्र की ओर कहाँ देखना चाहिए था।
- उन्होंने "ग्राउंडिंग" एनोटेशन जोड़े, जो डिजिटल स्टिकी नोट्स की तरह हैं जो कहते हैं, "जब आप इस कोण का उल्लेख करते हैं, तो आपको चित्र के इस विशिष्ट क्षेत्र को देखना चाहिए।"
इस डेटासेट ने v1 मॉडल को सिखाया कि जब वह अटक जाए या किसी चरण को सत्यापित करने की आवश्यकता हो, तो उसे आगे बढ़ना चाहिए, सही जगह पर इशारा करना चाहिए, और जानकारी को कॉपी करना चाहिए।
परिणाम: स्मार्ट, केंद्रित तर्क (Smarter, Focused Reasoning)
टीम ने MathVista, MathVision, और MathVerse सहित कई चुनौतीपूर्ण गणितीय बेंचमार्क पर v1 का परीक्षण किया। ये टेस्ट डायग्राम, चार्ट और ज्यामितीय आकृतियों से भरे हुए हैं जिनमें सावधानीपूर्वक दृश्य निरीक्षण की आवश्यकता होती है।
परिणाम प्रभावशाली थे। भले ही v1 एक अपेक्षाकृत छोटा मॉडल (7 बिलियन पैरामीटर्स) है, इसने कई बड़े मॉडलों और अन्य विशिष्ट रीजनिंग मॉडलों को पीछे छोड़ दिया।
- MathVision बेंचमार्क पर, पॉइंटिंग फीचर के बिना बेस मॉडल का स्कोर 23.6 था।
- जब ट्रेनिंग के दौरान पॉइंटिंग फीचर जोड़ा गया लेकिन टेस्ट के दौरान उसका उपयोग नहीं किया गया, तो स्कोर थोड़ा बढ़कर 25.3 हो गया।
- लेकिन जब मॉडल को टेस्ट के दौरान point-and-copy फीचर का उपयोग करने की अनुमति दी गई, तो स्कोर उछलकर 34.5 हो गया।
यह दर्शाता है कि चित्र को सक्रिय रूप से पुनः देखना सफलता का मुख्य चालक है। मॉडल केवल गणित में बेहतर नहीं हुआ; वह गणित करते समय देखने में बेहतर हो गया। एक उदाहरण में, जहाँ अन्य मॉडलों ने चार्ट में सबसे ऊंचे बार को गलत पहचाना, वहीं v1 ने सही बार की ओर इशारा किया, उसके डेटा को कॉपी किया, और सही प्रतिशत की गणना की। एक अन्य कार्य में, जिसमें हेक्सागोन (षट्कोण) वाले पाथफाइंडिंग पहेली शामिल थी, v1 ने रूट को सत्यापित करने के लिए सही आकृतियों की ओर सफलतापूर्वक इशारा किया, जबकि अन्य मॉडल भटक गए।
इसका क्या अर्थ है
शोध पत्र सुझाव देता है कि मल्टीमॉडल रीजनिंग का भविष्य केवल मॉडलों को बड़ा बनाने या टेक्स्ट जनरेशन में स्मार्ट बनाने के बारे में नहीं है। यह उन्हें ज़रूरत पड़ने पर गतिशील रूप से विज़ुअल जानकारी तक पहुँचने की क्षमता देने के बारे में है। मॉडल को "पॉइंट एंड कॉपी" करने की अनुमति देकर, शोधकर्ताओं ने पाया कि वे दृश्य साक्ष्य को रीजनिंग स्टेप्स के साथ संरेखित रखने में सफल रहे, जिससे मॉडल को सच्चाई से दूर जाने से रोका जा सका।
शोधकर्ता सावधानी से नोट करते हैं कि यह कोई जादुई छड़ी नहीं है जो हर समस्या को हल कर दे। कभी-कभी मॉडल अभी भी गलत क्षेत्र की ओर इशारा करता है, या शायद वह बहुत अधिक बार इशारा करता है, या उसे उन बहुत ही अमूर्त (abstract) अवधारणाओं के साथ संघर्ष करना पड़ सकता है जो आसानी से किसी बॉक्स में फिट नहीं होते। हालाँकि, मुख्य निष्कर्ष स्पष्ट है: सक्रिय विज़ुअल रेफरेंसिंग मदद करती है। यह AI को उस छात्र से बदलकर एक नेविगेटर बना देता है जो मानचित्र पर एक बार नज़र डालता है और फिर उम्मीद करता है, बल्कि एक ऐसे नेविगेटर में बदल देता है जो लगातार मानचित्र की जाँच करता रहता है, यह सुनिश्चित करता है कि हर मोड़ सही हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।