Perceive, Interact, Reason: Building Tool-Augmented Visual Agents for Spatial Reasoning
यह शोध पत्र PERIA को प्रस्तुत करता है, जो एक टूल-ऑगमेंटेड विजुअल एजेंट है जो हल्के वजन वाले परसेप्शन और इंटरेक्शन टूल्स को एक नवीन ट्रेनिंग रेसिपी के साथ एकीकृत करके विजन-लैंग्वेज मॉडल्स में स्थानिक तर्क (spatial reasoning) को बढ़ाता है, और विविध बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करते हुए बहुत बड़े मॉडल्स का मुकाबला करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप कागज पर बने एक जटिल भूलभुलैया (maze) को हल करने की कोशिश कर रहे हैं, लेकिन आपकी आँखों पर पट्टी बंधी है और आप केवल अपने एक दोस्त से कागज के बहुत छोटे, विशिष्ट हिस्सों का वर्णन करने के लिए कह सकते हैं।
यह पेपर PERIA को पेश करता है, जो एक नया प्रकार का "स्मार्ट असिस्टेंट" है जिसे स्थानिक समझ (spatial understanding) वाले विजुअल पहेलियों को हल करने के लिए डिज़ाइन किया गया है, जैसे कि सबवे मैप पढ़ना, छिपी हुई वस्तुओं को खोजना, या रास्तों का पता लगाना।
यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए:
समस्या: "अंधेरे में रहने वाला जीनियस" (The "Blindfolded Genius")
वर्तमान AI मॉडल (जैसे कि वे जिनसे आप चैट करते हैं) बहुत कमजोर दृष्टि वाले जीनियस की तरह हैं। वे एक किताब पढ़ सकते हैं और जटिल कहानियों को समझ सकते हैं, लेकिन यदि आप उन्हें एक उलझा हुआ नक्शा या भीड़भाड़ वाला कमरा दिखाएं, तो वे वास्तव में विवरणों को देखने के बजाय इस आधार पर उत्तर का अनुमान लगाते हैं कि उन्हें क्या लगना चाहिए।
लेखकों ने पाया कि इन AI को केवल एक टूलबॉक्स (जैसे आवर्धक लेंस या स्केल) देने से कोई मदद नहीं मिलती है। यदि आप किसी ऐसे व्यक्ति को आवर्धक लेंस थमा दें जिसे यह नहीं पता कि इसका उपयोग कब करना है या लेंस के माध्यम से जो वे देखते हैं उसका व्याख्या कैसे करनी है, तो वे बस उस कांच को घूरते रहेंगे और अनुमान लगाएंगे।
समाधान: PERIA (एक "टूलकिट वाला जासूस")
लेखकों ने PERIA (Perception-Interaction-Reason Agent) बनाया है। PERIA को केवल एक एकल मस्तिष्क के रूप में नहीं, बल्कि एक जासूस के रूप में सोचें जो किसी मामले को सुलझाने के लिए एक सख्त तीन-चरणीय दिनचर्या का पालन करता है:
पर perceives (स्कैन करना - The "Sweep"):
छवि को पूरे में देखने के बजाय, PERIA छवि को स्कैन करने के लिए विशेष उपकरणों का उपयोग करता है। यह एक मेटल डिटेक्टर या टेक्स्ट स्कैनर की तरह काम करता है, जो विशिष्ट तथ्यों को बाहर निकालता है: "यहाँ एक 'लाइब्रेरी' का साइन है," या "'कैफे' इन सटीक निर्देशांकों (coordinates) पर है।" यह धुंधली छवि को ठोस तथ्यों की एक सूची में बदल देता है।इंटरैक्ट (जांच करना - The "Investigation"):
यही जादुई चरण है। यदि जासूस को कोई सुराग दिखता है लेकिन वह सुनिश्चित नहीं होता, तो वह अनुमान नहीं लगाता। वह इंटरेक्शन टूल्स का उपयोग करता है।
- उपमा: कल्पना कीजिए कि छवि एक विशाल पोस्टर है। PERIA एक छोटी सड़क का नाम देखने के लिए वर्चुअल मैग्नीफाइंग ग्लास का उपयोग कर सकता है, या मानचित्र पर दो बिंदुओं को जोड़ने के लिए एक वर्चुअल हाइलाइटर का उपयोग कर सकता है। यह बेहतर ढंग से देखने के लिए छवि के साथ भौतिक रूप से हेरफेर करता है, ठीक वैसे ही जैसे कोई इंसान अपनी आँखें सिकोड़ता है या कागज के करीब सिर ले जाता है।
- रीजन (निष्कर्ष निकालना - The "Conclusion"):
एक बार जब जासूस ने सभी ज़ूम किए गए तथ्यों को इकट्ठा कर लिया और रेखाएं खींच लीं, तब वह टुकड़ों को जोड़ने और अंतिम उत्तर देने के लिए अपने मस्तिष्क का उपयोग करता है।
प्रशिक्षण: करके सीखना (और असफल होना)
पेपर बताता है कि आप इस जासूस को केवल उत्तर कुंजी दिखाकर नहीं सिखा सकते। आपको उन्हें उपकरणों का उपयोग करना सिखाना होगा।
- "रेसिपी": शोधकर्ताओं ने "अभ्यास मामलों" का एक विशाल पुस्तकालय बनाया है जहाँ एक सुपर-स्मार्ट AI ने इन उपकरणों का उपयोग करके समस्याओं को हल किया। उन्होंने इसका उपयोग PERIA को बुनियादी बातें सिखाने के लिए किया (Supervised Fine-Tuning)।
- "कोच" (OR-GIGPO): यह सबसे तकनीकी हिस्सा है, लेकिन इसे एक स्मार्ट कोच के रूप में समझें। जब PERIA अभ्यास करता है, तो वह गलतियाँ करता है। एक सामान्य कोच केवल यह कह सकता है कि, "आपका अंतिम उत्तर गलत है।" लेकिन यह विशेष कोच (OR-GIGPO) पूरी प्रक्रिया को देखता है। यह कहता है, "आपने चरण 2 में मैग्नीफाइंग ग्लास का सही उपयोग किया, लेकिन आपने चरण 4 में एक सुराग छोड़ दिया।" यह अच्छे चरणों के लिए श्रेय देता है और बुरे चरणों की ओर इशारा करता है, भले ही अंतिम उत्तर गलत हो। यह जासूस को समय के साथ उपकरणों का अधिक प्रभावी ढंग से उपयोग करना सीखने में मदद करता है।
परिणाम: छोटा लेकिन शक्तिशाली
पेपर में PERIA का परीक्षण अन्य AI मॉडलों के विरुद्ध किया गया।
- परिणाम: PERIA का एक अपेक्षाकृत छोटा संस्करण (8 बिलियन "मस्तिष्क कोशिकाएं") स्थानिक कार्यों पर बहुत बड़े, अधिक महंगे मॉडलों को हरा देता है।
- मुख्य बात: इसने साबित कर दिया कि एक ऐसा AI जो जानता है कि कैसे देखना है और टूल्स का उपयोग कैसे करना है, वह उस विशाल AI से कहीं अधिक स्मार्ट है जो केवल अपनी याददाश्त से अनुमान लगाने की कोशिश करता है। इसने आज के सबसे बड़े, सबसे महंगे "सुपर-AI" के लगभग बराबर प्रदर्शन किया, लेकिन बहुत छोटे मस्तिष्क के साथ।
संक्षेप में: पेपर दिखाता है कि AI को स्थानिक पहेलियों (जैसे मानचित्र और 3D आकृतियों) में कुशल बनाने के लिए, आपको केवल एक बड़ा मस्तिष्क नहीं चाहिए; आपको उसे मैग्नीफाइंग ग्लास पकड़ना, ज़ूम करना, रेखाएं खींचना और उत्तर देने से पहले अपने काम की जांच करना सिखाना होगा। PERIA इस "देखो, छुओ, फिर सोचो" दृष्टिकोण में महारत हासिल करने वाला पहला मॉडल है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।