GrepSeek: Training Search Agents for Direct Corpus Interaction
GrepSeek एक दो-चरणीय प्रशिक्षण पाइपलाइन पेश करता है जो एक ऐसे खोज एजेंट के लिए है जो निष्पादन योग्य शेल कमांड के माध्यम से सीधे टेक्स्ट कॉर्पोरा के साथ इंटरैक्ट करता है, जो ओपन-डोमेन प्रश्नोत्तर बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है और पारंपरिक पुनर्प्राप्ति-आधारित प्रणालियों के लिए एक व्यावहारिक, स्केलेबल विकल्प प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास लाखों किताबों वाला एक विशाल पुस्तकालय है, लेकिन वहां आपके लिए किताबों का सारांश बनाने वाला कोई लाइब्रेरियन नहीं है, बल्कि एक रोबोट है जो केवल पन्नों पर लिखे टेक्स्ट को ही पढ़ सकता है।
अधिकांश आधुनिक AI सर्च एजेंट एक लाइब्रेरियन की तरह काम करते हैं। आप एक सवाल पूछते हैं, और लाइब्रेरियन (एक प्री-कंप्यूटेड इंडेक्स) अपने मानसिक कैटलॉग को तेजी से स्कैन करता है, उन शीर्ष 5 किताबों को चुनता है जो उसे प्रासंगिक लगती हैं, और उन्हें पढ़ने के लिए AI को सौंप देता है। यह तेज़ है, लेकिन यदि लाइब्रेरियन किसी सूक्ष्म विवरण को समझने में गलती कर दे, तो वह गलत किताबें चुन सकता है, या वह किसी विशिष्ट तथ्य को मिस कर सकता है क्योंकि उसने उस किताब को जांचने के बारे में नहीं सोचा जिसे उसे देखना चाहिए था।
यह पेपर GrepSeek को पेश करता है, जो एक नए प्रकार का सर्च एजेंट है जो लाइब्रेरियन को पूरी तरह से छोड़ देता है। इसके बजाय, यह पूरी लाइब्रेरी को एक विशाल, कच्चे टेक्स्ट (raw text) फ़ाइल की तरह मानता है और सीधे सबूतों की तलाश करने के लिए एग्जीक्यूटेबल "सर्च कमांड्स" (जैसे प्रोग्रामर्स द्वारा उपयोग किया जाने वाला grep टूल) का उपयोग करता है।
यहाँ बताया गया है कि GrepSeek कैसे काम करता है, जिसे सरल अवधारणाओं में विभाजित किया गया है:
1. "सर्जिकल" खोज (डायरेक्ट कॉर्पस इंटरैक्शन)
"केमिस्ट्री के बारे में" किताबों के लिए लाइब्रेरियन से पूछने के बजाय, GrepSeek एक जासूस की तरह व्यवहार करता है जिसके पास एक आवर्धक लेंस (magnifying glass) और एक विशिष्ट निर्देश पुस्तिका है। यह ऐसे कमांड जारी करता है:
- "हर उस लाइन को ढूंढें जिसमें 'The Joggers' लिखा है।"
- "उन लाइनों में से, केवल उन्हें रखें जिनमें 'singer' भी लिखा हो।"
- "उनमें से, उस लाइन को ढूंढें जिसमें 'George M. Whitesides' का उल्लेख है।"
इसे डायरेक्ट कॉर्पस इंटरैक्शन (DCI) कहा जाता है। यह AI को "सर्जिकल" होने की अनुमति देता है। यदि किसी प्रश्न के लिए एक सटीक रासायनिक सूत्र या किसी विशिष्ट व्यक्ति के नाम को खोजने की आवश्यकता है, तो GrepSeek इसे 100% सटीकता के साथ खोज सकता है, जबकि एक लाइब्रेरियन मिलते-जुलते शब्दों के कारण भ्रमित हो सकता है।
2. प्रशिक्षण की समस्या: रोबोट को शिकार करना सिखाना
AI को यह करना सिखाना कठिन है। यदि आप बस एक रोबोट को रिवॉर्ड सिस्टम (Reinforcement Learning) के साथ लाइब्रेरी में खुला छोड़ देते हैं, तो वह अक्सर घबरा जाता है। वह पूरी लाइब्रेरी को एक साथ पढ़ने की कोशिश कर सकता है, या कुछ खोजने की उम्मीद में रैंडम शब्द चिल्ला सकता है। यह एक बच्चे को खजाने के संदूक का नक्शा देने जैसा है लेकिन उन्हें बेतहाशा दौड़ने देने जैसा; वे अक्सर पूरे बगीचे को खोद डालते हैं बजाय इसके कि वे सही जगह को खोज सकें।
इसे ठीक करने के लिए, लेखकों ने एक दो-चरणीय प्रशिक्षण पाइपलाइन (two-stage training pipeline) बनाई है:
चरण 1: "ट्यूटर" और "प्लानर" (कोल्ड स्टार्ट)
कल्पित कीजिए कि एक शिक्षक (Tutor) है जो पहले से ही पहेली का उत्तर जानता है। शिक्षक उल्टा (backwards) काम करता है: "उत्तर 'Hirsch index' खोजने के लिए, मुझे 'George M. Whitesides' के बारे में एक वाक्य ढूंढना होगा। 'George M. Whitesides' को खोजने के लिए, मुझे 'The Joggers' बैंड को खोजना होगा।"
शिक्षक उत्तर खोजने के लिए सटीक कदम लिखता है। फिर, एक प्लानर (Planner) (जो अभी तक उत्तर नहीं जानता है) केवल उन चीजों के आधार पर जो उसने अब तक देखी हैं, उन कदमों का अनुमान लगाने की कोशिश करता है। फिर शिक्षक प्लानर के अनुमानों को सुधारता है ताकि वे तार्किक हों और वे खोज में "चीटिंग" न करें (यानी उत्तर का उपयोग करके खोज न करें)। यह रोबोट के लिए एक सुरक्षित, सत्यापित "प्रशिक्षण मैनुअल" बनाता है।चरण 2: "कोच" (रीइन्फोर्समेंट लर्निंग)
एक बार जब रोबोट ने प्रशिक्षण मैनुअल से बुनियादी बातें सीख लीं, तो लेखकों ने उसे GRPO (Group Relative Policy Optimization) नामक विधि का उपयोग करके अपने आप अभ्यास करने दिया। इसे एक कोच के रूप में सोचें जो रोबोट को एक ही दौड़ पांच बार दौड़ते हुए देख रहा है। कोच कहता है, "तीसरी बार जब तुम दौड़े, तो तुमने चार अन्य बार की तुलना में कम गलतियों के साथ और तेजी से उत्तर खोजा। वैसा ही दोबारा करो।" यह रोबोट को अपनी खोज रणनीति को तेज और अधिक सटीक बनाने में मदद करता है।
3. गति की समस्या: समानांतर में मैराथन दौड़ना
21 मिलियन दस्तावेजों को लाइन-दर-लाइन खोजना अविश्वसनीय रूप से धीमा है। यदि आप एक बार में एक लाइन खोजते हैं, तो इसमें एक एकल प्रश्न के लिए मिनटों या घंटों तक लग सकते हैं।
लेखकों ने एक पैरेलल एक्जीक्यूशन इंजन बनाया है। कल्पना कीजिए कि आपके पास 32 दोस्त (shards) हैं और कागजों का एक बड़ा ढेर है। एक व्यक्ति द्वारा पूरा ढेर पढ़ने के बजाय, आप ढेर को 32 हिस्सों में बांट देते हैं। सभी 32 दोस्त अपने हिस्से को एक ही समय में पढ़ते हैं, और फिर वे अपने निष्कर्षों को मिलाते हैं।
- जादू: सिस्टम इतना स्मार्ट है कि यह जानता है कि कौन से कमांड सुरक्षित रूप से विभाजित किए जा सकते हैं और कौन से नहीं। यह सुनिश्चित करता है कि परिणाम बाइट-एक्जैक्ट (byte-exact) हो, जिसका अर्थ है कि उत्तर बिल्कुल वही है जैसा कि एक व्यक्ति द्वारा पूरी लाइब्रेरी धीरे-धीरे पढ़ने पर होता, लेकिन यह 7.6 गुना तेजी से होता है।
4. परिणाम: सटीकता बनाम लचीलापन
पेपर का परीक्षण सात अलग-अलग प्रश्न-उत्तर चुनौतियों पर किया गया, जो सरल तथ्यों से लेकर जटिल, बहु-चरणीय पहेलियों (जैसे "इस बैंड के गायक का भाई कौन है, और उसके पिता ने कौन सा पुरस्कार जीता?") तक फैली हुई हैं।
- जीत: GrepSeek सर्वश्रेष्ठ समग्र प्रदर्शन करने वाला रहा। यह उन जटिल, बहु-चरणीय प्रश्नों में उत्कृष्ट था जहाँ आपको विशिष्ट बिंदुओं को जोड़ने की आवश्यकता होती है (जैसे, पैरेंट कंपनी और सहायक कंपनी के बीच अंतर करना, या एक सटीक रासायनिक सूत्र खोजना)। क्योंकि यह सटीक स्ट्रिंग मैचिंग का उपयोग करता है, यह मिलते-जुलते नामों से भ्रमित नहीं होता है।
- सीमा: क्योंकि यह सटीक स्पेलिंग पर निर्भर करता है, इसलिए यह "भंगुर" (brittle) हो सकता है। यदि किसी नाम में विशेष एक्सेंट मार्क (जैसे Édouard) है और रोबोट बिना एक्सेंट के उसे खोजता है, तो वह उत्तर को पूरी तरह से मिस कर सकता है। एक "लाइब्रेरियन" (डेंस रिट्रीवल) समझ सकता है कि Édouard और Edouard एक ही व्यक्ति हैं, लेकिन GrepSeek शायद नहीं।
सारांश
GrepSeek एक ऐसा सर्च एजेंट है जो "सारांश देने वाले लाइब्रेरियन" को छोड़कर सीधे मूल टेक्स्ट पर जाता है, और तथ्यों की तलाश के लिए सटीक, निष्पादित (executable) कमांड का उपयोग करता है।
- यह कैसे सीखता है: इसे एक "ट्यूटर" द्वारा सिखाया जाता है जो उत्तर से पीछे की ओर काम करता है ताकि एक आदर्श खोज पथ बनाया जा सके, और फिर यह तेज होने के लिए अभ्यास करता है।
- यह कैसे तेज है: यह विशाल लाइब्रेरी को टुकड़ों में बांट देता है और उन सभी को एक साथ खोजता है।
- यह क्यों महत्वपूर्ण है: यह जटिल तर्क कार्यों के लिए अविश्वसनीय रूप से सटीक है जहाँ सटीक नाम या प्रतीक को सही होना अत्यंत महत्वपूर्ण है, जो आज के अधिकांश AI द्वारा उपयोग किए जाने वाले मानक "सर्च इंजन" दृष्टिकोण का एक शक्तिशाली विकल्प प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।