Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents
यह शोध पत्र रिट्रीवल (प्राप्ति) और यूटिलाइजेशन (उपयोग) की विफलताओं के बीच अंतर करके लॉन्ग-होरिज़न सर्च एजेंटों का निदान करता है, यह प्रकट करते हुए कि उत्तर की सटीकता खोज के प्रयास की तुलना में रिट्रीव किए गए साक्ष्य की गुणवत्ता के साथ अधिक मजबूती से सहसंबंधित है, और यह सुझाव देता है कि बेहतर डीप रिसर्च सिस्टम बनाने के लिए बेहतर क्वेरी फॉर्मूलेशन, साक्ष्य चयन और एडेप्टिव स्टॉपिंग क्राइटेरिया (अनुकूली रुकने के मानदंड) प्रमुख हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष "डीप सर्च" एजेंट हैं जिन्हें ठीक यही करने के लिए डिज़ाइन किया गया है। केवल उस उत्तर का अनुमान लगाने के बजाय जो वे पहले से जानते हैं, ये एजेंट डिजिटल जासूसों की तरह काम करते हैं: वे प्रश्न पूछते हैं, उत्तर पढ़ते हैं, और अधिक प्रश्न पूछते हैं, और मामले को सुलझाने के लिए सुरागों को जोड़ते हैं। इस प्रक्रिया को "लॉन्ग-हॉरिजन सर्च" कहा जाता है क्योंकि पहले प्रश्न से अंतिम समाधान तक पहुँचने में कई कदम, या "टर्न" लग सकते हैं। लंबे समय तक, लोगों ने यह माना कि यदि कोई एजेंट अधिक मेहनत करता है—अधिक प्रश्न पूछता है और अधिक दस्तावेज़ पढ़ता है—तो वह अधिक स्मार्ट हो जाएगा और अधिक रहस्य सुलझाएगा। यह तर्कसंगत लग रहा था: अधिक प्रयास का अर्थ बेहतर परिणाम होना चाहिए। लेकिन बिल्कुल एक मानव जासूस की तरह, जो पहला खजाना मिलने के बाद भी गलत बगीचे में खुदाई करता रहता है, ये AI एजेंट अपनी ऊर्जा बर्बाद कर सकते हैं। मुख्य सवाल जिसका जवाब शोधकर्ता चाहते थे, वह यह था: क्या कड़ी मेहनत करना वास्तव में इन AI जासूसों को बेहतर बनाता है, या वे बस व्यर्थ में हाथ-पांव मार रहे हैं?
यह शोध छह अलग-अलग AI एजेंटों के "सर्च ट्राजेक्टरी" (खोज पथ) की गहराई से जांच करता है ताकि यह पता लगाया जा सके कि वे वास्तव में कैसे सोचते हैं, खोज करते हैं, और कभी-कभी विफल होते हैं। शोधकर्ताओं ने केवल अंतिम उत्तर नहीं देखा; उन्होंने एजेंट द्वारा उठाए गए प्रत्येक कदम को देखा, जैसे कि एक जासूस की नोटबुक के हर पन्ने की समीक्षा करना। उन्होंने एक विशेष परीक्षण "BrowseComp-Plus" का उपयोग किया, जहाँ प्रत्येक प्रश्न का एक ज्ञात "गोल्ड" (सुनहरा) उत्तर होता है और दस्तावेजों का एक विशिष्ट सेट होता है जिसमें सत्य निहित होता है। एजेंटों द्वारा खोजी गई चीज़ों की तुलना इन ज्ञात सत्यों से करके, उन्होंने कुछ आश्चर्यजनक खोजा: कड़ी मेहनत करने से आप स्मार्ट नहीं बनते। वास्तव में, वे एजेंट जिन्होंने सबसे अधिक प्रश्न पूछे और सबसे अधिक टेक्स्ट पढ़ा, अक्सर गलत उत्तर दे रहे थे।
अध्ययन में पाया गया कि एक सफल खोज का रहस्य खोजे गए सुरागों की मात्रा नहीं, बल्कि उनकी गुणवत्ता है। शोधकर्ताओं ने विफलताओं को दो प्रकारों में विभाजित किया: "रिट्रीवल गैप" (प्राप्ति अंतराल) और "यूटिलाइजेशन गैप" (उपयोग अंतराल)। रिट्रीवल गैप एक ऐसे जासूस की तरह है जो महत्वपूर्ण सबूत कभी नहीं ढूंढ पाता क्योंकि उसने गलत प्रश्न पूछे थे। यूटिलाइजेशन गैप तब होता है जब जासूस को सबूत मिल जाता है लेकिन फिर भी वह गलत उत्तर देता है क्योंकि उसने उसकी गलत व्याख्या की। पेपर दिखाता है कि अधिकांश एजेंटों के लिए, समस्या रिट्रीवल गैप है—वे बस सही दस्तावेज़ नहीं ढूंढ पा रहे हैं।
इस खोज का सबसे जीवंत हिस्सा यह है: साक्ष्य या तो जल्दी आते हैं या बिल्कुल नहीं आते। शोधकर्ताओं ने पाया कि यदि कोई एजेंट "गोल्ड" साक्ष्य (उत्तर की कुंजी) खोजने वाला है, तो वह आमतौर पर खोज के पहले कुछ चरणों में ही उसे ढूंढ लेता है। यदि एजेंट ने तब तक इसे नहीं खोजा है, तो वह शायद ही कभी इसे खोज पाएगा। फिर भी, कई एजेंट लंबे समय तक खोज जारी रखते हैं। यह एक "वेस्टेड टेल" (बर्बाद पूंछ) बनाता है—खोज का एक लंबा, उबाऊ हिस्सा जहाँ एजेंट केवल वही पुरानी जानकारी पढ़ रहा होता है या मृत अंत (dead ends) खोज रहा होता है, जिससे बिना किसी प्रगति के समय और कंप्यूटर मेमोरी बर्बाद होती है।
पेपर ने इस पर भी गौर किया कि एजेंट प्रश्न कैसे पूछते हैं। कुछ एजेंट चीनी के दुकान में चलते हुए एक बैल की तरह होते हैं, जो एक ही प्रश्न बार-बार पूछते हैं या अपने प्रश्नों में मामूली, बेकार बदलाव करते हैं। हालाँकि, सबसे स्मार्ट एजेंट अनुशासित होते हैं। वे खुद को दोहराते नहीं हैं। वे अलग-अलग कोणों (पिवोटिंग) से प्रयास करते हैं लेकिन पर्याप्त सबूत मिलते ही तुरंत रुक जाते हैं। उन्हें पहेली सुलझाने के लिए 30 बार खोजने की आवश्यकता नहीं होती; उन्हें केवल 10 बार की आवश्यकता हो सकती है, बशर्ते वे 10 खोजें सटीक हों।
संक्षेप में, यह शोध सुझाव देता है कि बेहतर AI जासूसों का भविष्य अधिक लंबे समय तक खोजने या अधिक पढ़ने में नहीं है। यह उन्हें बेहतर प्रश्न पूछने, पर्याप्त सबूत मिलने पर रुकने, और उन प्रश्नों को दोबारा पूछने में समय बर्बाद न करने के बारे में सिखाने में है जो पहले ही विफल हो चुके हैं। जीतने वाले एजेंट वे नहीं हैं जो सबसे कठिन परिश्रम करते हैं; वे वे हैं जो सबसे समझदारी से काम करते हैं, जो तेजी से घास के ढेर में से सुई ढूंढ लेते हैं और जानते हैं कि खुदाई कब रोकनी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।