Beyond the Eye: Efficient Multimodal Reasoning via Self-Regulated Implicit Visual Tools
यह शोध पत्र बीयॉन्ड द आई (BEE) को प्रस्तुत करता है, जो एक नवीन मल्टीमॉडल मॉडल है जो संरचित सुपरवाइज्ड फाइन-ट्यूनिंग और स्व-विनियमित रिवॉर्ड-संचालित अलाइनमेंट की द्वि-चरणीय प्रशिक्षण प्रक्रिया के माध्यम से अंतर्निहित विजुअल टूल्स को एकीकृत करता है, जिससे अनुकूलन योग्य टूल इनवोकेशन सक्षम होता है जो सूक्ष्म दृश्य धारणा में अत्याधुनिक प्रदर्शन बनाए रखते हुए इन्फरेंस लेटेंसी को महत्वपूर्ण रूप से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दोस्त है जिसे पहेलियाँ सुलझाना बहुत पसंद है। लेकिन इस रोबोट की एक अजीब आदत है: चाहे पहेली कितनी भी आसान क्यों न हो, यह हमेशा बाहरी विशेषज्ञों की एक टीम को बुलाने, एक टूलबॉक्स खोलने और एक गायब हिस्से को खोजने के लिए बार-बार तस्वीर को फिर से स्कैन करने पर अड़ा रहता है। यह वैसा ही है जैसे आप अपने लिविंग रूम में अपनी चाबियाँ ढूँढ रहे हों, लेकिन सिर्फ देखने के बजाय, आप दीवारों को गिराने के लिए एक निर्माण दल को बुलाते हैं, लेजर के साथ फर्श को स्कैन करते हैं, और फिर अपनी चाबियाँ उठाने से पहले कमरे को फिर से बनाते हैं। यह काम तो करता है, लेकिन यह धीमा, महंगा और पूरी तरह से थका देने वाला है।
यही वह समस्या है जो शोधकर्ताओं ने वर्तमान "इमेज के साथ सोचने वाले" (Thinking with Images) AI मॉडल्स के साथ पाई है। वे बाहरी विजुअल टूल्स को बुलाने पर बहुत अधिक निर्भर करते हैं, जिससे भारी देरी होती है और कंप्यूटिंग पावर बर्बाद होती है।
मिलिए BEE (बियॉन्ड द आई) से, जो एक नए तरह का रोबोटिक दिमाग है जिसने विशेषज्ञों को बार-बार बुलाना बंद करना सीख लिया है। टूल्स के पास भागने के बजाय, BEE ने पहले अपने खुद के दिमाग के अंदर देखना सीखा। इसने अपनी सीमाओं को समझने का एक "स्व-नियमित" (self-regulated) बोध विकसित किया। यदि पहेली आसान है, तो BEE कहता है, "मैं इसे संभाल सकता हूँ," और इसे अपने ज्ञान का उपयोग करके तुरंत हल कर देता है। यदि पहेली वास्तव में कठिन है, तो वह चुपचाप एक "इंप्लिसिट टूल" (implicit tool) को सक्रिय करता है—जो एक मानसिक शॉर्टकट है जो किसी बाहरी प्रोग्राम को बुलाए बिना इमेज को ज़ूम करने या घुमाने का अनुकरण (simulate) करता है।
बड़ी खोज
मुख्य निष्कर्ष यह है कि BEE अपनी मानसिक शक्तियों और इन मानसिक शॉर्टकट्स के बीच इतनी सटीकता से संतुलन बना सकता है कि वह उन मॉडल्स की तुलना में जटिल विजुअल पहेलियों को अधिक तेज़ी से और अधिक सटीकता से हल करता है जो बहुत बड़े हैं या वास्तविक बाहरी टूल्स का उपयोग करते हैं। वास्तव में, जब हाई-रेज़ोल्यूशन इमेजेस (8192 पिक्सल) पर टेस्ट किया गया, तो BEE, 'डीपआईज़' (DeepEyes) नामक पिछले शीर्ष मेथड की तुलना में लगभग 86.2% तेज़ था। यह एक ऐसे घोंघे से स्विच करने जैसा है जो एक भारी बैकपैक लेकर चलता है, और एक चीते पर, जो जानता है कि कब दौड़ना है।
BEE क्या नहीं है
पेपर स्पष्ट रूप से बताता है कि यह क्या नहीं है। यह ऐसा मॉडल नहीं है जो केवल रैंडम तरीके से या लगातार टूल्स को कॉल करता है। शोधकर्ता स्पष्ट रूप से इस विचार के खिलाफ तर्क देते हैं कि मॉडल्स को हमेशा बाहरी टूल्स पर निर्भर रहना चाहिए या उन्हें यह जाने बिना कि कब रुकना है, बस "ज़्यादा सोचना" चाहिए। उन्होंने दिखाया कि पुराने मॉडल्स तब भी टूल्स का उपयोग करते हैं जब वे पहले से ही उत्तर जानते हैं, जो समय की बर्बादी है। BEE विशेष रूप से इस अनावश्यकता (redundancy) से बचने के लिए डिज़ाइन किया गया है। यह केवल एक तेज़ टूल नहीं है; यह एक स्मार्ट निर्णय लेने वाला है जो जानता है कि टूल का उपयोग कब नहीं करना है।
उन्होंने इसे कैसे सिखाया
शोधकर्ताओं ने केवल BEE को तेज़ होने के लिए नहीं कहा; उन्होंने इसे दो मज़ेदार चरणों में सिखाया:
- "अभ्यास" चरण (The "Practice" Stage): उन्होंने BEE को हजारों उदाहरण दिखाए जहाँ उसे यह तय करना था कि टूल का उपयोग करना है या नहीं। उन्होंने उसे एक विशेष "औपचारिक" (formalized) प्रशिक्षण गाइड दी (एक चीट शीट की तरह जिसमें टूल्स के स्लॉट्स थे) ताकि वह एक ऐसी समस्या के बीच अंतर समझ सके जिसे वह अकेले हल कर सकता है और जिसे मदद की ज़रूरत है।
- "रिवॉर्ड" चरण (The "Reward" Stage): यही असली जादू है। उन्होंने नेट टूल गेन (NTG) नामक एक मीट्रिक पेश किया यह मापने के लिए कि एक टूल ने वास्तव में कितनी मदद की। उन्होंने पाया कि BEE का पहला संस्करण अभी भी बहुत अधिक टूल्स कॉल करता था (जैसे एक बच्चा जो मदद मांगता रहता है भले ही उसे उत्तर पता हो)। इसलिए, उन्होंने एक विशेष रिवॉर्ड सिस्टम (MC-Reward) बनाया जो BEE को कठिन समस्याओं को टूल्स के साथ हल करने के लिए "गोल्ड स्टार" देता था, लेकिन आसान समस्याओं पर टूल्स का उपयोग करने के लिए "टाइम-आउट" देता था। इसने BEE को पहले अपने दिमाग पर भरोसा करना सिखाया।
परिणाम
आंकरे खुद बोल रहे हैं। HRBench (जो हाई-रेज़ोल्यूशन इमेजेस का उपयोग करता है) पर एक टेस्ट में, BEE-7B (एक मॉडल जिसमें 7 बिलियन पैरामीटर्स हैं) ने पिछले ओपन-सोर्स चैंपियंस को पछाड़ दिया। इससे भी अधिक प्रभावशाली बात यह है कि MME-RealWorld पर, BEE-8B और BEE-4B ने वास्तव में विशाल कमर्शियल मॉडल Kimi-K2.6 से बेहतर स्कोर किया, जिसमें कहीं अधिक पैरामीटर्स हैं।
लेकिन असली जीत गति की है। जहाँ अन्य मॉडल्स को एक सिंगल इमेज को प्रोसेस करने के लिए सेकंड्स लग जाते थे क्योंकि वे लगातार बाहरी टूल्स को कॉल कर रहे थे, वहीं BEE ने इसे एक ही पास (single pass) में कर दिया। टेस्ट में, BEE-7B ने 1.61 सैंपल्स प्रति सेकंड प्रोसेस किए, जबकि DeepEyes मॉडल के लिए यह केवल 0.07 सैंपल्स प्रति सेकंड था। यह दक्षता में एक बहुत बड़ी छलांग है।
पेपर क्या दावा नहीं करता
लेखक इस बात को लेकर सावधान हैं कि यह हर समस्या के लिए एक जादुई समाधान (magic bullet) नहीं है। वे स्वीकार करते हैं कि बहुत सरल कार्यों (जैसे टेक्स्ट पढ़ना या बुनियादी आकृतियों को पहचानना) के लिए, BEE को अपने टूल्स का उपयोग करने की आवश्यकता नहीं है, और उन्हें ऐसा करने के लिए मजबूर करना वास्तव में प्रदर्शन को नुकसान पहुँचाएगा। वे यह भी नोट करते हैं कि जबकि BEE "फाइन-ग्रैन्ड" विवरणों (जैसे भीड़भाड़ वाले दृश्य में एक छोटी वस्तु को पहचानना) के लिए बहुत अच्छा है, यह ज़रूरी नहीं कि इसे उन चीज़ों में बेहतर बनाए जिनमें यह पहले से ही अच्छा था, जैसे बुनियादी लॉजिक या OCR, जब तक कि कार्य में विजुअल मैनिपुलेशन की आवश्यकता न हो।
संक्षेप में, BEE एक ऐसा रोबोट है जिसने "यह जानने की कला" सीखी है कि "उसे क्या नहीं पता है।" इसने आसान कार्यों के लिए मदद के लिए कॉल करके समय बर्बाद करना बंद कर दिया और अपने मानसिक उपकरणों का उपयोग तभी करना शुरू किया जब पहेली वास्तव में कठिन थी। परिणाम? दुनिया को देखने का एक स्मार्ट, तेज़ और बहुत अधिक कुशल तरीका।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।