Is Grep All You Need? How Agent Harnesses Reshape Agentic Search
यह शोध पत्र एक अनुभवजन्य अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि एजेंटिक खोज प्रणालियों में grep-आधारित पुनर्प्राप्ति अक्सर वेक्टर पुनर्प्राप्ति से बेहतर प्रदर्शन करती है, जबकि यह भी रेखांकित करता है कि समग्र प्रदर्शन विशिष्ट एजेंट हार्नेस और टूल-कॉलिंग प्रतिमान से महत्वपूर्ण रूप से प्रभावित होता है, भले ही अंतर्निहित डेटा स्थिर बना रहे।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास एक सिंगल फाइल फोल्डर के बजाय, लाखों पन्नों वाली एक विशाल लाइब्रेरी है जिसमें बातचीत के लॉग्स (conversation logs) मौजूद हैं। आपको क्लाइंट के सवाल का जवाब देने के लिए विशिष्ट तथ्य (जैसे "मीटिंग कितने बजे शुरू हुई?" या "यूजर का पसंदीदा रंग क्या है?") खोजने की जरूरत है।
यह पेपर PwC की एक टीम की रिपोर्ट है जिन्होंने दो अलग-अलग तरीकों से AI "जासूसों" (लार्ज लैंग्वेज मॉडल्स) द्वारा इस लाइब्रेरी में खोजने का परीक्षण किया। वे यह देखना चाहते थे कि क्या AI को एक स्मार्ट, सिमेंटिक सर्च (semantic search) का उपयोग करना चाहिए (जैसे किसी लाइब्रेरियन से "लाल कार की कहानी" के बारे में पूछना) या एक लिटरल, कीवर्ड सर्च (keyword search) का उपयोग करना चाहिए (जैसे "RED CAR!" चिल्लाना और हर पन्ने पर उन सटीक शब्दों को स्कैन करना)।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
दो खोज विधियाँ (The Two Search Methods)
- वेक्टर सर्च (The "Smart Librarian"): यह तरीका आपके प्रश्न के अर्थ को समझता है। यदि आप "तेज वाहन" (fast vehicle) के बारे में पूछते हैं, तो यह एक ऐसा पन्ना ढूंढ सकता है जहाँ "तेज रफ्तार स्पोर्ट्स कार" (speeding sports car) का उल्लेख हो, भले ही वहां "वाहन" शब्द न हो। यह अवधारणाओं (concepts) को समझने में बहुत अच्छा है, लेकिन कभी-कभी यह उन पन्नों से विचलित हो सकता है जो विषय के बारे में तो हैं लेकिन जिनमें सटीक उत्तर नहीं है।
- ग्रैप सर्च (The "Keyword Scanner"): यह एक सीधा और सरल उपकरण है। यह सटीक शब्दों या पैटर्न को खोजता है। यदि आप "fast vehicle" मांगते हैं, तो यह केवल उन्हीं पन्नों को खोजेगा जिनमें ये सटीक शब्द मौजूद हों। यह अर्थ को नहीं समझता, लेकिन यह उस सटीक वाक्य को खोजने में अविश्वसनीय रूप से सटीक है जिसकी आपको आवश्यकता है।
प्रयोग: "हार्नेस" (Harness) मायने रखता है
शोधकर्ताओं ने केवल खोज विधियों का परीक्षण नहीं किया; उन्होंने उन्हें विभिन्न "कार्यक्षेत्रों" (जिन्हें harnesses कहा जाता है) के भीतर भी टेस्ट किया।
- कस्टम हार्नेस (Chronos): इसे एक कस्टम-निर्मित डिटेक्टिव एजेंसी के रूप में सोचें। इस एजेंसी में एक मैनेजर होता है जो फाइलों को व्यवस्थित करता है, AI को बताता है कि सवाल कैसे पूछना है, और जवाबों को बिल्कुल सही फॉर्मेट में तैयार करता है।
- प्रोवाइडर CLI हार्नेस (Claude Code, Codex, Gemini CLI): ये टेक दिग्गजों द्वारा दिए गए ऑफ-द-शेल्फ टूलकिट की तरह हैं। AI को एक कमांड लाइन (जैसे टर्मिनल) दी जाती है और उसे अपने आप
grepजैसे मानक टूल्स का उपयोग करना सीखना पड़ता है।
बड़े आश्चर्य (The Big Surprises)
1. "लिटरल" स्कैनर अक्सर जीतता है
इस लोकप्रिय धारणा के विपरीत कि "स्मार्ट" सिमेंटिक सर्च हमेशा बेहतर होता है, अध्ययन में पाया गया कि लिटरल कीवर्ड स्कैनर (Grep) अक्सर अधिक सटीक था, खासकर जब उत्तर तारीखों, नामों या नंबरों जैसे विशिष्ट तथ्य थे।
- उपमा: यदि आप एक किताब में एक विशिष्ट फोन नंबर ढूंढ रहे हैं, तो सटीक अंकों को चिल्लाना (Grep) अक्सर अधिक विश्वसनीय होता है बजाय इसके कि आप "संपर्क जानकारी" (Vector) के लिए लाइब्रेरियन से पूछें, क्योंकि लाइब्रेरियन आपको एक ऐसा पन्ना लाकर दे सकता है जो विषय से संबंधित तो है लेकिन उसमें कोई दूसरा फोन नंबर है।
2. आप परिणामों को AI को कैसे सौंपते हैं, यह सब कुछ बदल देता है
शोधकर्ताओं ने दो तरीके टेस्ट किए कि खोज परिणामों को AI को कैसे दिया जाए:
- इनलाइन (The "Open Book"): खोज परिणाम सीधे चैट विंडो में पेस्ट कर दिए जाते हैं। AI उन्हें तुरंत पढ़ लेता है।
- परिणाम: Grep यहाँ हावी रहा। जब सटीक शब्द AI के ठीक सामने पेस्ट किए गए, तो उसने सटीक उत्तर दिए।
- फाइल-आधारित (The "Filing Cabinet"): खोज परिणाम एक फाइल में सेव कर दिए जाते हैं, और AI को उस फाइल को खोलने और पढ़ने के लिए एक दूसरा कदम उठाना पड़ता है।
- परिणाम: यहाँ स्थिति पलट गई। कभी-कभी, फाइल खोलने के अतिरिक्त स्टेप से AI भ्रमित हो जाता था। ऐसे मामलों में, "स्मार्ट" वेक्टर सर्च कभी-कभी बेहतर था क्योंकि वह कम प्रासंगिक लेकिन समझने में आसान परिणाम लाता था। हालांकि, कुछ AI मॉडल्स के लिए, फाइल-आधारित तरीके ने Grep के फायदे को खत्म कर दिया या उल्टा भी कर दिया।
3. "कार्यस्थल" (Workplace) टूल से अधिक महत्वपूर्ण है
सबसे आश्चर्यजनक खोज यह थी कि वातावरण (harness) खुद खोज टूल से अधिक महत्वपूर्ण था।
- उपमा: यह एक मास्टर शेफ को चाकू देने जैसा है। यदि आप उन्हें एक पेशेवर किचन में एक सो-शेफ (Custom Harness) के साथ रखते हैं, तो वे एक बेहतरीन भोजन बनाते हैं। यदि आप उन्हें बिना किसी निर्देश के एक अस्त-व्यस्त, अपरिचित किचन (Provider CLI) में छोड़ देते हैं, तो वे उसी चाकू के साथ भी संघर्ष कर सकते हैं।
- एक ही AI मॉडल (जैसे Claude Opus) ने कस्टम हार्नेस में 93% स्कोर किया, लेकिन प्रोवाइडर के CLI में केवल 76% स्कोर किया, भले ही वे बिल्कुल एक ही खोज डेटा का उपयोग कर रहे थे। "मैनेजर" और "निर्देशों" ने खोज पद्धति से अधिक परिणाम को बदल दिया।
4. "नॉइज़" (Noise) टेस्ट
शोधकर्ताओं ने यह देखने के लिए लाइब्रेरी में अधिक से अधिक अप्रासंगिक बातचीत (शोर/noise) जोड़ी कि खोज विधियां कैसे टिक पाती हैं।
- उन्होंने पाया कि जैसे-जैसे लाइब्रेरी अधिक अव्यवधर (messy) होती गई, परिणाम अप्रत्याशित होते गए। कभी-कभी, "स्मार्ट लाइब्रेरियन" (Vector) शोर को जल्दी फिल्टर करने में बेहतर था। अन्य मामलों में, "कीवर्ड स्कैनर" (Grep) सही पैटर्न मिलने के बाद शोर को अनदेखा करने में बेहतर था।
- सभी स्थितियों के लिए कोई एक "सर्वश्रेष्ठ" तरीका नहीं था; यह पूरी तरह से इस बात पर निर्भर करता था कि कौन सा AI मॉडल और कौन सा "कार्यस्थल" सेटअप उपयोग किया जा रहा है।
मुख्य निष्कर्ष (The Bottom Line)
पेपर यह निष्कर्ष निकालता है कि AI सर्च के लिए कोई एक "जादुई समाधान" (magic bullet) नहीं है।
- सिर्फ यह मान लेना गलत है कि "सिमेंटिक सर्च" ही भविष्य है। उन कार्यों के लिए जिनमें सटीक तथ्यों की आवश्यकता होती है, साधारण कीवर्ड सर्च अक्सर बेहतर होता है।
- सेटअप ही सब कुछ है। आप खोज परिणामों को AI को कैसे प्रस्तुत करते हैं (सीधे चैट में बनाम एक फाइल में) और आप AI के वर्कफ़्लो को कैसे प्रबंधित करते हैं (कस्टम निर्देश बनाम रॉ टूल्स), यह खोज एल्गोरिदम से अधिक परिणामों को बदल देता है।
संक्षेप में: यह केवल इस बारे में नहीं है कि AI क्या खोजता है; यह इस बारे में है कि AI को खोजने के लिए कैसे सेट किया गया है और परिणामों को उसे कैसे सौंपा गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।