SimpleWikiSearch: A Clean Offline Wikipedia Environment for Agentic Search
यह शोध पत्र SimpleWikiSearch को प्रस्तुत करता है, जो एक पूर्णतः निर्दिष्ट और पुनरुत्पादनीय ऑफलाइन विकिपीडिया वातावरण है, जिसमें स्पष्ट कॉर्पस निर्माण, रिट्रीवल स्टैक और टूल कॉन्ट्रैक्ट्स को एजेंट के प्रदर्शन से पर्यावरणीय चरों को अलग करने के लिए डिज़ाइन किया गया है ताकि एजेंटिक सर्च सिस्टम के मूल्यांकन को मानकीकृत किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को एक विशाल पुस्तकालय का उपयोग करके प्रश्नों के उत्तर देने के लिए सिखाने की कोशिश कर रहे हैं। आप रोबोट को एक मस्तिष्क (एक लार्ज लैंग्वेज मॉडल) देते हैं और कहते हैं, "जाओ और किताबों में उत्तर ढूँढो!" लेकिन यहाँ एक पेंच है: रोबोट की सफलता केवल उसके मस्तिष्क के कितना स्मार्ट होने पर निर्भर नहीं करती है। यह पूरी तरह से इस बात पर निर्भर करती है कि पुस्तकालय कैसे व्यवस्थित है। क्या पुस्तकालय एक अस्त-व्यस्त अटारी है जहाँ किताबें फटी हुई, छोटी और भ्रमित करने वाली कतरनों में बँटी हुई हैं? क्या लाइब्रेरियन आपको सही पन्ना थमा रहा है, या बस एक रैंडम वाक्य? क्या रोबोट को पूरी किताब पढ़ने की अनुमति है, या केवल एक विशिष्ट पैराग्राफ की?
आर्टिफिशियल इंटेलिजेंस की दुनिया में, शोधकर्ता अक्सर इन जटिल प्रश्नों को हल करने के लिए ऐसे "रोबोट लाइब्रेरियन" बनाते हैं। वे आमतौर पर अंतिम स्कोर को देखकर उनकी तुलना करते हैं: "क्या रोबोट ने सही उत्तर दिया?" लेकिन लंबे समय तक, सभी ने पुस्तकालय के स्वयं के उलझे हुए विवरणों को अनदेखा कर दिया। एक टीम ऐसी लाइब्रेरी का उपयोग कर सकती है जहाँ किताबें 100 शब्दों के टुकड़ों में कटी हुई हों, जबकि दूसरी टीम पूर्ण अध्यायों का उपयोग करती है। यदि टीम A का रोबोट जीतता है, तो क्या यह इसलिए है क्योंकि रोबोट अधिक स्मार्ट है, या इसलिए क्योंकि पुस्तकालय में नेविगेट करना आसान था? यह शोध पत्र कहता है, "रुको ज़रा, हमें अनुमान लगाना बंद करना चाहिए और खुद पुस्तकालय को मापना शुरू करना चाहिए।" लेखक एक निष्पक्ष, मानकीकृत खेल का मैदान बनाना चाहते हैं जहाँ हम देख सकें कि वातावरण वास्तव में रोबोट के व्यवहार को कैसे आकार देता है, बजाय इसके कि केवल रोबोट के मस्तिष्क को दोष दें या उसकी प्रशंसा करें।
यहाँ आता है SimpleWikiSearch, एक नया, अत्यंत स्वच्छ "ऑफलाइन लाइब्रेरी" जिसे विशेष रूप से इन AI एजेंटों के परीक्षण के लिए बनाया गया है। इसे विकिपीडिया के एक पूर्णतः व्यवस्थित, डिजिटल संस्करण के रूप में समझें जिसे रोबोट वास्तविक इंटरनेट को छुए बिना एक्सप्लोर कर सकता है। लेखकों ने केवल एक लाइब्रेरी ही नहीं बनाई; उन्होंने लाइब्रेरी के नियम भी बनाए। उन्होंने पूरी अंग्रेजी विकिपीडिया को लिया, उसे साफ किया, और उसे तार्किक खंडों में विभाजित किया—पुराने सिस्टमों की तरह छोटे, टूटे हुए 100-शब्दों के टुकड़ों में नहीं, बल्कि बड़े, समझ में आने वाले अनुभागों में, जो संदर्भ को बरकरार रखते हैं, जैसे कि एक पूरा अध्याय या डेटा की एक पूरी तालिका।
रोबोट तीन सरल उपकरणों का उपयोग करके इस लाइब्रेरी के साथ इंटरैक्ट करता है, जो जादू की छड़ियों के एक सेट की तरह हैं:
- सर्च (खोज): रोबोट एक प्रश्न पूछ सकता है, और लाइब्रेरी उसे सबसे प्रासंगिक "स्निपेट्स" (टुकड़ों) की एक सूची लिंक्स के साथ वापस देती है।
- ओपन यूआरएल (URL खोलना): यदि रोबोट को कोई स्निपेट पसंद आता है, तो वह पूरे अनुभाग या यहाँ तक कि पूरे लेख को पढ़ने के लिए लिंक पर क्लिक कर सकता है।
- सबमिट आंसर (उत्तर जमा करना): एक बार जब रोबोट आश्वस्त हो जाता है, तो वह अपना अंतिम उत्तर सौंप देता है।
इस शोध पत्र का मुख्य निष्कर्ष यह है कि इस वातावरण को मानकीकृत करके, हम अंततः विभिन्न AI मॉडलों की निष्पक्ष रूप से तुलना कर सकते हैं। लेखकों ने इस सेटअप का परीक्षण कई ओपन-सोर्स AI मॉडल्स (विशेष रूप से Qwen3.5 के 4 बिलियन और 9 बिलियन पैरामीटर्स वाले संस्करणों) के साथ छह अलग-अलग प्रश्न-उत्तर चुनौतियों पर किया। उन्होंने पाया कि बड़े मस्तिष्क (9B मॉडल) आम तौर पर बेहतर प्रदर्शन करते हैं, लेकिन हमेशा एक सीधी रेखा में नहीं—कभी-कभी बड़ा मॉडल विशिष्ट कार्यों पर थोड़ा कम स्कोर करता है, जो दर्शाता है कि "बड़ा होना" कोई जादुई समाधान नहीं है। उन्होंने इन ओपन-सोर्स मॉडल्स की तुलना कुछ सबसे शक्तिशाली कमर्शियल "ब्लैक बॉक्स" मॉडल्स से भी की। दिलचस्प बात यह है कि कमर्शियल मॉडल्स को अक्सर उच्च "जज" स्कोर मिलते थे (यानी एक मानव-समान AI ने माना कि उनके उत्तर तथ्यात्मक रूप से सही थे, भले ही शब्द अलग हों), जबकि ओपन-सोर्स मॉडल्स के "एक्जैक्ट मैच" स्कोर कभी-कभी बेहतर होते थे।
महत्वपूर्ण रूप से, यह शोध पत्र प्रकट करता है कि रोबोट पुस्तकालय का उपयोग कैसे करता है, यह उतना ही मायने रखता है जितना कि वह जो उत्तर देता है। रोबोट द्वारा किए गए हर कदम को ट्रैक करके, लेखकों ने पाया कि कठिन प्रश्न (जैसे कि वे जिनमें तर्क के कई चरणों की आवश्यकता होती है) रोबोट को खोजने और क्लिक करने के कई अधिक "राउंड" करने के लिए मजबूर करते हैं। सबसे कठिन चुनौतियों पर, रोबोट अक्सर उत्तर जमा करने से पहले ही समय या टर्न समाप्त कर देते थे, भले ही वे उत्तर के करीब थे। यह सुझाव देता है कि भविष्य के सुधार केवल रोबोट के मस्तिष्क को स्मार्ट बनाने पर केंद्रित नहीं होने चाहिए, बल्कि उसे पुस्तकालय में अधिक कुशलता से नेविगेट करने में मदद करने पर भी होने चाहिए।
लेखक बहुत स्पष्ट हैं कि वे यह दावा नहीं कर रहे हैं कि उन्होंने एक नया, सुपर-स्मार्ट रोबोट एल्गोरिदम आविष्कार किया है। इसके बजाय, उनका योगदान स्वयं वातावरण है। उन्होंने एक पुनरुत्पादक (reproducible), पारदर्शी "हार्नेस" प्रदान किया है जहाँ कोई भी एक ही परीक्षण चला सकता है, बिल्कुल वही परिणाम देख सकता है, और समझ सकता है कि एक रोबोट क्यों सफल हुआ या विफल हुआ। उन्होंने सारा डेटा भी जारी किया है, जिसमें रोबोट की विचार प्रक्रिया और उसके द्वारा किया गया प्रत्येक क्लिक शामिल है, ताकि पूरा समुदाय व्यवहार का अध्ययन कर सके। संक्षेप में, SimpleWikiSearch वह रेफरी है जो अंततः यह सुनिश्चित करता है कि सभी एक ही नियमों के तहत खेल रहे हैं, जिससे यह बताना संभव हो जाता है कि एक रोबोट वास्तव में प्रतिभाशाली है या केवल भाग्यशाली है क्योंकि लाइब्रेरी आसान थी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।