Not Worth Another Token: Marginal Value Estimation for Efficient Deep Research Agents
यह शोध पत्र डीप रिसर्च एजेंट्स में कॉन्टेक्स्ट मैनेजमेंट के लिए मार्जिनल वैल्यू एस्टीमेशन की जांच करता है, जो यह प्रदर्शित करता है कि हल्के ह्यूरिस्टिक्स का उपयोग करके शुरुआती चरण में की गई प्रूनिंग (छंटनी), गुणवत्ता में न्यूनतम कमी के साथ टोकन लागत और लेटेंसी को काफी कम कर देती है, जबकि यह भी प्रकट करती है कि दक्षता के लिए विशिष्ट स्कोरिंग पद्धति की तुलना में प्रूनिंग का समय अधिक महत्वपूर्ण है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल, खुले अंत वाले रहस्य को सुलझाने की कोशिश कर रहे हैं। आप केवल एक प्रश्न नहीं पूछते; आप सौ प्रश्न पूछते हैं। आप अपनी जूनियर जासूसों की एक टीम को पुस्तकालय, इंटरनेट और अभिलेखागार (archives) छानने के लिए भेजते हैं। वे नोट्स, फोटो और अफवाहों के ढेर के साथ वापस आते हैं। शुरू में, यह बहुत अच्छा लगता है—अधिक जानकारी का मतलब है एक बेहतर केस, है ना? लेकिन यहाँ एक पेंच है: जैसे-जैसे नोट्स का ढेर बढ़ता है, अच्छी चीज़ों को ढूँढना कठिन होता जाता है। जूनियर जासूस वही पुराने तथ्य, बेकार की गपशप और टेक्स्ट के ऐसे पन्ने वापस लाने लगते हैं जो कुछ भी नया नहीं कहते। आपके बॉस (अंतिम रिपोर्ट लिखने वाले) को सारांश लिखने से पहले यह सब पढ़ना पड़ता है। परिणाम? आप कागज और स्याही पर एक बड़ी राशि खर्च करते हैं, आपके बॉस घबरा जाते हैं और भ्रमित हो जाते हैं, और अंतिम रिपोर्ट लिखने में बहुत समय लगता है, भले ही अतिरिक्त पन्नों ने वास्तव में रहस्य सुलझाने में कोई मदद नहीं की हो।
डीप रिसर्च एजेंट्स (Deep Research Agents) की दुनिया में यह ठीक वही समस्या है जिसका सामना आर्टिफिशियल इंटेलिजेंस (AI) कर रहा है। ये स्मार्ट कंप्यूटर प्रोग्राम हैं जिन्हें जटिल प्रश्नों के उत्तर देने के लिए डिज़ाइन किया गया है, जो काम को छोटे हिस्सों में तोड़ते हैं, वेब खोजते हैं और लंबी रिपोर्ट लिखते हैं। आप जो लेख पढ़ने जा रहे हैं वह एक विशिष्ट सिरदर्द पर प्रहार करता है: ये एजेंट अक्सर बहुत अधिक लालची हो जाते हैं। वे इतना अधिक डेटा एकत्र कर लेते हैं कि लागत (समय और कंप्यूटर पावर) आसमान छूने लगती है, जबकि नई जानकारी का वास्तविक मूल्य लगभग शून्य हो जाता है। शोधकर्ता यह पता लगाना चाहते थे कि एजेंट को बेकार कचरा इकट्ठा करने से कैसे रोका जाए, बिना उन सुरागों को फेंके जो वास्तव में महत्वपूर्ण हैं। उन्होंने एक सरल विचार का परीक्षण किया: क्या होगा यदि हम कचरे को 'बॉस' तक पहुँचने से पहले ही रोक दें?
द "नॉट वर्थ अनदर टोकन" एक्सपेरिमेंट (The "Not Worth Another Note" Experiment)
इस पेपर के लेखक, जो विश्वविद्यालयों और एडोब रिसर्च (Adobe Research) की एक टीम है, ने अनुसंधान प्रक्रिया को एक बहु-चरणीय असेंबली लाइन की तरह माना। उन्होंने एक महत्वपूर्ण प्रश्न पूछा: बेकार की जानकारी को फेंकने का सबसे अच्छा समय क्या है?
उन्होंने तीन विशिष्ट क्षणों की पहचान की जहाँ आप कम मूल्य वाली चीजों को "प्रून" (छंटनी) कर सकते हैं:
- प्री-रिट्रीवल (Pre-Retrieval): लाइब्रेरी में जूनियर जासूस भेजने से पहले। आप उन प्रश्नों की सूची देखते हैं जो वे हो सकता है पूछें और कहते हैं, "नहीं, यह एक उबाऊ प्रश्न है, मत जाओ।"
- पोस्ट-रिट्रीवल (Post-Retrieval): जब जासूस नोटों का एक ढेर लेकर वापस आता है। आप उन नोट्स को देखते हैं और कहते, "यह पन्ना बिल्कुल वैसा ही है जैसा हमारे पास पहले से है; इसे अगले प्रश्न को देखने से पहले ही फेंक दो।"
- प्री-सिंथेसिस (Pre-Synthesis): जब सब कुछ एकत्र कर लिया गया है और बॉस अंतिम रिपोर्ट लिखने वाला है। आप नोटों के विशाल ढेर को देखते हैं और कहते, "ठीक है, लिखने से पहले इस ढेर का आधा हिस्सा हटा देते हैं।"
टीम ने यह तय करने के लिए विभिन्न "स्कोरिंग रूल्स" का परीक्षण किया कि क्या फेंक दिया जाए। कुछ नियम सरल गणित थे (जैसे यह जांचना कि क्या कोई नोट हमारे पास पहले से मौजूद जानकारी के बहुत समान है), कुछ फैंसी AI मॉडल थे जिन्हें मूल्य का अनुमान लगाने के लिए प्रशिक्षित किया गया था, और कुछ ने स्वयं AI को एक जज के रूप में उपयोग किया।
बड़ी हैरानी: समय ही सब कुछ है (The Big Surprise: Timing is Everything)
इस अध्ययन का सबसे रोमांचक निष्कर्ष यह है कि आप कैसे छंटनी करते हैं, इससे कहीं अधिक महत्वपूर्ण यह है कि आप कब छंटनी करते हैं।
यदि आप गंदगी साफ करने के लिए बिल्कुल अंत (Pre-Synthesis) तक प्रतीक्षा करते हैं, तो आप पहले ही बहुत सारा समय और पैसा बर्बाद कर चुके होते हैं। जूनियर जासूसों ने पहले ही लाइब्रेरी में दौड़ लगा ली है, और कंप्यूटर ने पहले ही उन सभी बेकार पन्नों को प्रोसेस कर लिया है। पेपर में पाया गया कि अंत तक प्रतीक्षा करने से केवल लेखन के समय में थोड़ी बचत होती है, लेकिन यह खोज (search) की भारी लागत को ठीक नहीं करता है। यह खाना बनाने की कोशिश में घर जलाने के बाद रसोई साफ करने जैसा है; आपने सफाई में तो बचत की, लेकिन आग लगने की लागत अभी भी बहुत अधिक थी।
दूसरी ओर, यदि आप जल्दी छंटनी करते हैं (विशेष रूपकर Post-Retrieval चरण में, खोज के तुरंत बाद लेकिन विस्तार करने से पहले), तो बचत बहुत बड़ी होती है। शोधकर्ताओं ने पाया कि शुरुआती चरणों में अनावश्यक शाखाओं को काटने से, वे कंप्यूटर के "टोकन" उपयोग (जो AI लागत की मुद्रा है) को 73.3% तक कम कर सकते थे। उनके परीक्षणों में, "नोड्स" (या खोज वृक्ष के चरणों) की संख्या 29.0 से घटकर 7.82 रह गई, और रिपोर्ट पूरी करने में लगने वाला समय 3,400 सेकंड से घटकर केवल 1,157 सेकंड हो गया।
ट्रेड-ऑफ: गति बनाम पूर्णता (The Trade-Off: Speed vs. Perfection)
पेपर ने यह भी खोजा कि ऐसी कोई एक "जादुई गोली" नहीं है जो सब कुछ एकदम सही बना दे। यह एक संतुलन का खेल है।
- यदि आप सबसे तेज़ और सबसे सस्ता परिणाम चाहते हैं, तो सबसे अच्छी रणनीति एक सरल गणितीय नियम है जिसे MMR (Maximal Marginal Relevance) कहा जाता है। यह एक क्लब के बाउंसर की तरह है जो केवल उन्हीं लोगों को अंदर आने देता है जो पहले से अंदर मौजूद लोगों से अलग हैं। यह विधि अविश्वसनीय रूप से कुशल है लेकिन कभी-कभी थोड़ा उपयोगी विवरण भी काट देती है।
- यदि आप उच्चतम गुणवत्ता वाली रिपोर्ट चाहते हैं, तो आपको थोड़ा उदार होने की आवश्यकता है। विभिन्न रणनीतियों (जैसे विषय की "कवरेज" की जाँच करना) को विभिन्न चरणों में मिलाने से सर्वोत्तम गुणवत्ता स्कोर मिला, हालांकि इसने MMR पद्धति जितनी बहुत अधिक बचत नहीं की।
- दिलचस्प बात यह है कि फैंसी "लर्नड" (Learned) AI मॉडल (जो पिछले गलतियों से सीखने की कोशिश करते हैं) ने साधारण गणितीय नियमों को नहीं पछाड़ा। सरल नियम भी अच्छी चीज़ों को खोजने में उतने ही सक्षम थे, लेकिन उन्हें चलाने के लिए अतिरिक्त कंप्यूटर पावर की आवश्यकता नहीं थी।
मुख्य सीख (The Takeaway)
यहाँ मुख्य सबक यह है कि AI रिसर्च एजेंट्स के लिए, सफाई के लिए अंत तक प्रतीक्षा न करें। पेपर सुझाव देता है कि इन सिस्टम को बनाने का सबसे स्मार्ट तरीका यह है कि शुरुआत में ही कठोर (ruthless) बना जाए। जानकारी के उबाऊ, दोहराव वाले या बेकार होने के क्षण में ही उसे फ़िल्टर करके, आप अंतिम उत्तर को खराब किए बिना भारी मात्रा में पैसा और समय बचा सकते हैं।
शोधकर्ता निष्कर्ष निकालते हैं कि हालांकि हम एक ही समय में पूर्णतः सबसे तेज़ गति और पूर्णतः सटीक गुणवत्ता प्राप्त नहीं कर सकते, लेकिन हम स्मार्ट तरीके से यह तय करके कि हमें क्या रखना है, दोनों के बहुत करीब पहुँच सकते हैं। यह पता चलता है कि AI अनुसंधान की दुनिया में, यह जानना कि क्या नहीं पढ़ना है, उतना ही महत्वपूर्ण है जितना कि यह जानना कि क्या पढ़ना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।