Fetch-then-Explore: Decoupling Selection from Extraction over a Persistent Workspace for Search Agents
यह शोध पत्र "फ़ैच-देन-एक्सप्लोर" (Fetch-then-Explore) पेश करता है, जो एक सर्च एजेंट फ्रेमवर्क है जो एक निरंतर फ़ाइलसिस्टम वर्कस्पेस को बनाए रखकर पेज चयन को साक्ष्य निष्कर्षण से अलग करता है, जिससे एजेंटों को मांग पर पहले से प्राप्त किए गए पेजों पर पुनः जाने और उनसे जानकारी निकालने में सक्षम बनाया जाता है, जो पारंपरिक क्षणिक इंटरफेस की तुलना में जटिल खोज बेंचमार्क पर सटीकता में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन समस्या यह है कि सुराग किसी एक अपराध स्थल पर नहीं, बल्कि पूरे इंटरनेट पर बिखरे हुए हैं। आपके पास एक सुपर-स्मार्ट सहायक (एक AI एजेंट) है जो आपसे बात कर सकता है, समस्याओं पर विचार कर सकता है और उत्तर खोजने के लिए उपकरणों का उपयोग कर सकता है। यह AI सर्च एजेंटों की दुनिया है। ये डिजिटल जासूस केवल एक किताब नहीं पढ़ते; उन्हें हजारों वेबसाइटों से जानकारी खोजनी होती है, तथ्यों को जोड़ना होता है और सच्चाई का पता लगाना होता है।
इसे करने के लिए, एजेंट को दो मुख्य कौशल चाहिए: सही वेब पेजों को खोजना और उन्हें पढ़ना। "खोजना" को एक सर्च इंजन का उपयोग करके संभावित सुरागों की एक सूची प्राप्त करने के रूप में सोचें। "पढ़ना" कठिन हिस्सा है। अतीत में, जब एजेंट किसी लिंक पर क्लिक करता था, तो उसे पूरे पेज को तुरंत एक साथ निगलना पड़ता था, या कम से कम उसका एक बड़ा हिस्सा। यह ऐसा था जैसे आपको एक 500 पन्नों का उपन्यास थमा दिया जाए और कहा जाए, "इसे अभी पढ़ो और मुझे इसका अंत बताओ," भले ही आपको अभी तक यह न पता हो कि कौन सा अध्याय उत्तर रखे हुए है। यदि आपसे कोई विवरण छूट गया, तो आपको किताब को फेंकना पड़ता था, वापस लाइब्रेरी जाना पड़ता था, और इसे फिर से चेक आउट करना पड़ता था। यह शोध पत्र इन डिजिटल किताबों को संभालने का एक स्मार्ट तरीका बताता है ताकि जासूस को उन्हीं पन्नों को बार-बार पढ़ने की जरूरत न पड़े।
समस्या: "अभी पढ़ो या खो दो" वाला जाल
कल्पना कीजिए कि आप एक दोस्त के साथ "क्लू" (Clue) का एक हाई-स्टेक्स गेम खेल रहे हैं जो एक AI है। आप पूछते हैं, "Acme Corp की सह-संस्थापक कौन है?" AI वेब पर खोज करता है और लिंक्स की एक सूची पाता है।
करने के पुराने तरीके में (जिसे विज़िट-एंड-रीड कहा जाता है), AI एक लिंक चुनता है और तुरंत पूरे पेज को अपनी अल्पकालिक स्मृति (short-term memory) में डाल देता है। यह ऐसा है जैसे AI एक किताब पकड़ता है, उसके पहले कुछ पन्ने पढ़ता है, उनका सारांश बनाता है, और फिर किताब के बाकी हिस्से को कूड़ेदान में फेंक देता है। यदि AI को बाद में एहसास होता है, "रुको, मुझे पहले संस्थापक के बारे में नहीं, बल्कि दूसरे संस्थापक के बारे में जानना है," तो वह पीछे मुड़कर किताब नहीं देख सकता। किताब जा चुकी है। AI को वापस लाइब्रेरी जाना होगा, किताब को फिर से ढूंढना होगा, और उसे फिर से पढ़ना होगा। यह धीमा है, महंगा है, और अक्सर इससे AI महत्वपूर्ण विवरण खो देता है क्योंकि उसे बहुत जल्दी पेज का गलत हिस्सा पढ़ने के लिए मजबूर किया गया था।
एक अन्य विधि, जिसे ब्राउजिंग कहा जाता है, थोड़ी बेहतर है। यह AI को सारांश बनाने से पहले एक पेज खोलने और इधर-उधर देखने की अनुमति देती है। लेकिन इसमें एक पेंच है: AI एक समय में केवल एक ही पेज खोल सकता है। जैसे ही वह एक नया पेज खोलता है, पुराना पेज उसकी स्मृति से गायब हो जाता है। यह आपके कंप्यूटर पर एक सिंगल विंडो होने जैसा है; यदि आप एक नया टैब खोलते हैं, तो पुराना बंद हो जाता है। यदि AI को पेज A और पेज B से तथ्यों की तुलना करने की आवश्यकता है, तो उसे लगातार आगे-पीछे आना पड़ता है, उन्हें बार-बार फिर से खोलना और फिर से पढ़ना पड़ता है।
समाधान: "डिजिटल फाइलिंग कैबिनेट"
इस शोध पत्र के लेखकों ने एक नई विधि प्रस्तावित की है जिसे फ़ेच-देन-एक्सप्लोर (Fetch-then-Explore) कहा जाता है। उन्होंने महसूस किया कि समस्या केवल यह नहीं है कि AI कैसे पढ़ता है, बल्कि यह भी है कि वह पाए गए पेजों को कहाँ रखता है।
AI को तुरंत एक पेज पढ़ने के लिए मजबूर करने या केवल एक अस्थायी विंडो में एक पेज रखने के बजाय, वे AI को एक परसिस्टेंट वर्कस्पेस (स्थायी कार्यक्षेत्र) देते हैं—इसे एक हार्ड ड्राइव पर अपने व्यक्तिगत डिजिटल फाइलिंग कैबिनेट के रूप में सोचें।
यह इस प्रकार काम करता है:
- फ़ेच (लाइब्रेरियन): जब AI को एक आशाजनक लिंक मिलता है, तो वह अभी उसे पढ़ता नहीं है। वह बस उस पेज को "फ़ेच" करता है और पूरे पेज को अपने फाइलिंग कैबिनेट में सहेज लेता है। उसे एक छोटा सा रसीद मिलता है जो कहता है, "पेज इस स्थान पर सहेजा गया है।" इसमें लगभग कुछ भी खर्च नहीं होता।
- एक्सप्लोर (जासूस): बाद में, जब AI के पास एक विशिष्ट प्रश्न होता है (जैसे, "सह-संस्थापक कौन था?"), तो वह फाइलिंग कैबिनेट के पास जाता है। उसे पेज को फिर से डाउनलोड करने की आवश्यकता नहीं है। वह बस
grepनामक टूल का उपयोग करता है (एक सुपर-फास्ट सर्च फंक्शन की तरह) ताकि उस सेव की गई फ़ाइल की सटीक लाइन को खोज सके जिसमें "सह-संस्थापक" का उल्लेख है।
यह एक ऐसी लाइब्रेरी की तरह है जहाँ आप एक किताब चेक आउट कर सकते हैं, उसे अपनी शेल्फ पर रख सकते हैं, और दिनों बाद भी बिना दोबारा चेक आउट किए वापस आ सकते हैं। AI दर्जनों पेज सहेज सकता है, और फिर कभी भी उनमें से किसी पर भी वापस जाकर पूछ सकता है, "आपने X के बारे में क्या कहा था?" या "मुझे Y के बारे में वह हिस्सा दिखाएं।"
उन्होंने क्या पाया: वापस जाने की शक्ति
शोधकर्ताओं ने तीन अलग-अलग "ब्रेन" मॉडल्स (AI बैकबोन) का उपयोग करके पुराने तरीकों के मुकाबले इस नई विधि का परीक्षण किया और दो चुनौतीपूर्ण इंटरनेट सर्च बेंचमार्क का उपयोग किया: BrowseComp (जिसके लिए एक बहुत कठिन तथ्य खोजना आवश्यक है) और WideSearch (जिसके लिए कई तथ्यों के साथ एक बड़ी तालिका को भरना आवश्यक है)।
परिणाम स्पष्ट थे:
- बेहतर सटीकता: "फ़ेच-देन-एक्सप्लोर" विधि विजेता थी। कठिन तथ्य खोजने वाले टेस्ट (BrowseComp) पर, इसने तीनों AI ब्रेन्स में अन्य सभी विधियों को पछाड़ दिया। उदाहरण के लिए, सबसे मजबूत AI ब्रेन के साथ, इसने 70.5% सटीकता प्राप्त की, जबकि अगले सबसे अच्छे तरीके की सटीकता 66.0% थी।
- गुप्त हथियार: इस सफलता का सबसे बड़ा कारण पुनरावृत्ति (revisiting) था। फाइलिंग कैबिनेट का उपयोग करने वाले AI ने कठिन कार्यों पर पहले से देखे गए पेजों पर 12% से 20% बार वापस जाकर देखा, और व्यापक कार्यों पर यह दर 75% तक पहुँच गई। पुराने तरीके, जो पेजों को फेंक देते थे, शायद ही कभी वापस जाते थे।
- दक्षता (Efficiency): क्योंकि AI तुरंत सेव किए गए पेजों को फिर से पढ़ सकता था, इसलिए उसे बार-बार वेब पर खोजने में समय बर्बाद नहीं करना पड़ा। इसने बेहतर उत्तर देते हुए भी अन्य तरीकों की तुलना में वास्तव में कम सर्च क्वेरी का उपयोग किया।
यह क्यों महत्वपूर्ण है
यह शोध पत्र दिखाता है कि AI जानकारी को कैसे "पकड़ता" है, यह उतना ही महत्वपूर्ण है जितना कि वह कैसे "सोचता" है। पेज को चुनने (कैबिनेट में सहेजने) और उत्तर निकालने (बाद में पढ़ने) के कार्य को अलग करके, AI बहुत अधिक लचीला हो जाता है। वह एक परिकल्पना बना सकता है, एक सेव किए गए पेज की जांच कर सकता है, अपना विचार बदल सकता है, और बिना अपनी जगह खोए फिर से पेज की जांच कर सकता है।
लेखक सुझाव देते हैं कि यह "परसिस्टेंट वर्कस्पेस" दृष्टिकोण लंबे, जटिल अनुसंधान कार्यों के लिए एक गेम-चेंजर है। यह AI को एक ऐसे घबराए हुए पाठक से बदलकर एक सावधानीपूर्वक अन्वेषक बना देता है जो अपने सभी सबूतों को व्यवस्थित रखता है और जब भी रहस्य गहराता है, उन्हें फिर से जांचने के लिए तैयार रखता है। यह अध्ययन पुष्टि करता है कि AI को अपने निष्कर्षों को संग्रहीत करने का स्थान देने से—और उन्हें वापस देखने की स्वतंत्रता देने से—अधिक स्मार्ट और सटीक उत्तर मिलते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।