VSearcher: Long-Horizon Multimodal Search Agent via Reinforcement Learning
यह शोध पत्र VSearcher को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) आधारित मल्टीमॉडल सर्च एजेंट है, जो एक पुनरावृत्ति डेटा संश्लेषण पाइपलाइन और एक SFT-फिर-RL प्रशिक्षण रणनीति के माध्यम से स्थिर मॉडलों को सक्षम लॉन्ग-होरिज़न वेब ब्राउज़र में परिवर्तित करता है, और प्रस्तावित MM-SearchExam बेंचमार्क पर उत्कृष्ट प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन है जिसका नाम VSearcher है।
अतीत में, यह लाइब्रेरियन एक चलते-फिरते विश्वकोश (Encyclopedia) की तरह था। उन्हें एक निश्चित तिथि तक लिखी गई हर चीज़ का ज्ञान था। यदि आप उनसे पूछते, "1998 में विश्व कप किसने जीता था?" तो वे तुरंत उत्तर दे सकते थे। लेकिन यदि आप उनसे पूछते, "अभी टोक्यो में मौसम कैसा है?" या "उस अजीब पक्षी की तस्वीर दिखाओ जिसे मैंने अभी देखा," तो वे अटक जाते। वे लाइब्रेरी से बाहर नहीं निकल सकते थे, वे इंटरनेट का उपयोग नहीं कर सकते थे, और वे अपनी किताबों के बाहर की दुनिया को नहीं देख सकते थे।
VSearcher वह अपग्रेड है जो इस स्थिर लाइब्रेरियन को एक सुपर-जासूस (Super-sleuth detective) में बदल देता है जो वास्तव में वास्तविक दुनिया में जा सकता है, उपकरणों का उपयोग कर सकता है और जटिल रहस्यों को सुलझा सकता है।
यहाँ बताया गया है कि यह शोध पत्र इस परिवर्तन को सरल चरणों में कैसे समझाता है:
1. समस्या: "स्थिर" (Static) लाइब्रेरियन
अधिकांश वर्तमान AI मॉडल उसी विश्वकोश लाइब्रेरियन की तरह हैं। वे पढ़ने और बात करने में बहुत अच्छे हैं, लेकिन वे वास्तविक दुनिया के प्रति "अंधे" हैं। वे आपकी ली गई फोटो को देखकर यह नहीं कह सकते कि, "ओह, यह एक दुर्लभ ऑर्किड है!" और फिर उसे खोज सकते हैं। वे नवीनतम समाचार खोजने के लिए वेब ब्राउज़ भी नहीं कर सकते। वे उस जानकारी तक सीमित हैं जो उन्होंने प्रशिक्षण के दौरान याद की थी।
2. समाधान: जासूस को शिकार करना सिखाना
लेखकों ने VSearcher बनाया है, जो एक ऐसा मॉडल है जो केवल "जानता" नहीं है; वह जानता है कि चीजों को कैसे ढूँढा जाता है। यह कर सकता है:
- टेक्स्ट पढ़ सकता है (एक सामान्य सर्च की तरह)।
- इमेज देख सकता है (रिवर्स इमेज सर्च की तरह)।
- वेबसाइटों पर जा सकता है (एक लिंक पर क्लिक करने और पेज को पढ़ने की तरह)।
- यह सब चरणों की एक लंबी श्रृंखला में कर सकता है (जैसे, "फोटो में पक्षी को खोजें" "उसके नाम के लिए खोजें" "उसके निवास स्थान को खोजें" "जांचें कि क्या वह लुप्तप्राय है")।
3. उन्होंने इसे कैसे प्रशिक्षित किया: "सिम्युलेटेड ट्रेनिंग कैंप"
आप केवल एक रोबोट को यह नहीं कह सकते कि "जाकर सीखो।" आपको उसे सिखाना पड़ता है। शोध पत्र एक तीन-चरणीय प्रशिक्षण प्रक्रिया का वर्णन करता है जो एक वीडियो गेम लेवल डिज़ाइन जैसा लगता है:
चरण A: "बाधा कोर्स" बनाना (Data Synthesis)
जासूस को सिखाने के लिए, आपको कठिन पहेलियों की आवश्यकता है। लेखकों ने एक ऐसी मशीन बनाई जो स्वचालित रूप से अति-कठिन प berhasil पहेलियाँ बनाती है।
- उपमा: कल्पना कीजिए कि आप "राष्ट्रपति कौन हैं?" जैसे सरल प्रश्न को धीरे-धीरे एक रहस्य में बदल रहे हैं।
- राउंड 1: "उस देश के राष्ट्रपति कौन हैं जिसने 1998 का विश्व कप जीता था?"
- राउंड 2: "उस देश के राष्ट्रपति कौन हैं जिसकी राजधानी में उस व्यक्ति की मूर्ति है जिसने लाइट बल्ब का आविष्कार किया था?"
- राउंड 3 (मल्टीमॉडल ट्विस्ट): वे एक विशिष्ट, अज्ञात वस्तु की फोटो लेते हैं और पूछते हैं, "उस देश के राष्ट्रपति कौन हैं जहाँ यह वस्तु (छवि में दिखाई गई) एक राष्ट्रीय प्रतीक है?"
- वे ऐसी हजारों पहेलियाँ बनाते हैं, यह सुनिश्चित करते हुए कि वे इतनी कठिन हों कि AI को उन्हें हल करने के लिए इंटरनेट का उपयोग करना ही पड़े।
चरण B: "शैडोइंग" चरण (Rejection Sampling)
अब, उन्हें एक शिक्षक की आवश्यकता है। उन्होंने एक बहुत ही शक्तिशाली, महंगी AI (जैसे कि एक "ग्रैंडमास्टर डिटेक्टिव") का उपयोग किया जो पहले इन पहेलियों को हल करती है।
- उपमा: ग्रैंडमास्टर पहेली को चरण-दर-चरण हल करता है। यदि ग्रैंडमास्टर गलत उत्तर देता है, तो उस प्रयास को कचरे में फेंक दिया जाता है। यदि वे सही उत्तर देते हैं, तो AI छात्र (VSearcher) उस सटीक समाधान का अध्ययन करता है।
- यह VSearcher को अपने आप सीखने से पहले सही ढंग से टूल्स का उपयोग करने की आदत सिखाता है।
चरण C: "रियल-वर्ल्ड जिम" (Reinforcement Learning)
यही असली जादू है। अब AI को अपने आप अभ्यास करने के लिए एक सिम्युलेटेड इंटरनेट वातावरण में भेजा जाता है।
- उपमा: कल्पना कीजिए कि AI एक खेल खेल रहा है जहाँ उसे एक पॉइंट तभी मिलता है जब वह सही उत्तर खोज लेता है। यदि वह गलत अनुमान लगाता है या फंस जाता है, तो उसे शून्य अंक मिलते हैं।
- वह कोशिश करता है, असफल होता है, फिर से कोशिश करता है, और अंततः सीखता है: "हे, जब मैं एक अजीब तस्वीर देखता हूँ, तो मुझे केवल अनुमान लगाने के बजाय पहले 'इमेज सर्च' टूल का उपयोग करना चाहिए।" लाखों प्रयासों के बाद, वह वेब पर नेविगेट करने में माहिर हो जाता है।
4. परिणाम: नया चैंपियन
लेखकों ने VSearcher का परीक्षण अन्य स्मार्ट AI और यहाँ तक कि कुछ महंगी, प्रोप्राइटरी मॉडल्स (जैसे बड़ी टेक कंपनियों के मॉडल्स) के खिलाफ किया।
- परिणाम: VSearcher ने केवल बराबरी ही नहीं की, बल्कि उन्हें हरा दिया। इसने जटिल, बहु-चरणीय दृश्य और टेक्स्ट पहेलियों को हल किया जिन्होंने दूसरों को चकरा दिया था।
- क्यों? क्योंकि यह केवल तथ्यों को याद नहीं कर रहा था; इसने खोजने के कौशल को सीखा, ठीक वैसे ही जैसे एक मानव जासूस सुरागों का पीछा करना सीखता है।
सारांश उपमा
अन्य AI मॉडल्स को एक गाइडबुक वाले पर्यटकों (Tourists) के रूप में सोचें। वे एफिल टॉवर के बारे में बता सकते हैं क्योंकि उन्होंने इसके बारे में पढ़ा है।
VSearcher एक लोकल गाइड (Local Guide) है जिसके पास एक नक्शा, एक कैमरा और एक फोन है। यदि आप उन्हें एक अजीब सड़क के साइन बोर्ड की फोटो दिखाते हैं, तो वे केवल अनुमान नहीं लगाते; वे फोटो लेते हैं, भाषा के लिए खोज करते हैं, सड़क का नाम ढूंढते हैं, उस इमारत के इतिहास को देखते हैं, और आपको बताते हैं कि आप वास्तव में कहाँ हैं।
यह शोध पत्र सिद्ध करता है कि AI को केवल शून्य में "सोचने" के बजाय वास्तविक दुनिया में कार्य करने और खोजने के लिए प्रशिक्षित करके, हम ऐसे एजेंट बना सकते हैं जो जटिल, वास्तविक जीवन की समस्याओं के लिए वास्तव में सहायक हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।