Exploit More, Explore Smarter for Budget-Constrained Agentic Search
यह शोध पत्र ExTS प्रस्तुत करता है, जो एक नवीन ट्री-सर्च पॉलिसी है जो विस्तार (expansion) को डिस्क्रिमिनेटिव रिवॉर्ड शेपिंग, स्टोकेस्टिक वर्चुअल चिल्ड्रन और क्वालिटी-कंडीशन्ड ब्रांचिंग के माध्यम से सूचना के मूल्य (value-of-information) के निर्णय के रूप में मानकर बजट-बाधित एजेंटिक सर्च को अनुकूलित करता है, जिससे मानक विधियों की तुलना में विविध कार्यों में निरंतर प्रदर्शन सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, प्रणालियों का एक नया वर्ग उभरा है जो न केवल सवालों के जवाब देता है बल्कि सक्रिय रूप से समाधानों की खोज करता है। ये "एजेंटिक" (agentic) प्रणालियाँ डिजिटल खोजकर्ताओं की तरह कार्य करती हैं, जो विचारों का प्रस्ताव रखती हैं, उनका परीक्षण करती हैं, और बार-बार अपने सबसे अच्छे अनुमानों को परिष्कृत करती हैं। चाहे वे कंप्यूटर कोड लिख रहे हों, रासायनिक यौगिकों को डिजाइन कर रहे हों, या जटिल तर्क पहेलियों को हल कर रहे हों, ये एजेंट 'जनरेशन' (उत्पादन) और 'वैलिडेशन' (पुष्टि) के चक्र पर निर्भर करते हैं। वे एक संभावित समाधान बनाते हैं, यह देखने के लिए उसे एक परीक्षण से गुजारते हैं कि वह कितना अच्छा काम करता है, और फिर उस फीडबैक का उपयोग एक बेहतर संस्करण बनाने के लिए करते हैं। हालाँकि, यह प्रक्रिया महंगी है। हर बार जब सिस्टम एक नया विचार उत्पन्न करता है या एक परीक्षण चलाता है, तो वह एक सीमित संसाधन का उपभोग करता है: एक कम्प्यूटेशनल बजट। कई वास्तविक दुनिया के परिदृश्यों में, यह बजट बहुत कम होता है, जिससे सिस्टम को रुकने से पहले केवल कुछ दर्जन या कुछ सौ प्रयासों की ही अनुमति मिलती है। शोधकर्ताओं के लिए मुख्य चुनौती यह है कि इस सीमित बजट को बुद्धिमानी से कैसे खर्च किया जाए। यदि सिस्टम अपने प्रयासों को गलत रास्तों (dead ends) पर बर्बाद करता है, तो वह सर्वोत्तम संभव समाधान खोजने में विफल रहता है। यदि यह बहुत अधिक सतर्क है, तो यह एक ऐसे ब्रेकथ्रू को भी मिस कर सकता है जो एक आशाजनक पथ के कुछ कदम आगे हो सकता है।
वर्षों से, इन सर्च ट्रीज़ (खोज वृक्षों) के माध्यम से नेविगेट करने के लिए मानक तरीका गेम-प्लेइंग एल्गोरिदम से लिया गया एक स्ट्रैटेजी रहा है, जो दो प्रतिस्पर्धी प्रवृत्तियों के बीच संतुलन बनाता है: अन्वेषण (exploration) और दोहन (exploitation)। अन्वेषण का अर्थ है यह देखने के लिए नए, अनपरीक्षित पथों को आज़माना कि क्या उनमें कोई संभावना है, जबकि दोहन का अर्थ है उन पथों में गहराई तक जाना जिन्होंने पहले से ही अच्छे परिणाम दिखाए हैं। पारंपरिक दृष्टिकोण खोज वृक्ष की प्रत्येक नई शाखा के साथ एक निश्चित जिज्ञासा के साथ व्यवहार करता है, जो अक्सर किसी एक विकल्प के प्रति प्रतिबद्ध होने से पहले सभी उपलब्ध विकल्पों का विस्तार करता है। यह तब अच्छा काम करता है जब सब कुछ खोजने के लिए पर्याप्त समय और पैसा हो। लेकिन आधुनिक AI एजेंटों की उच्च-दांव, बजट-बाधित दुनिया में, यह "सब कुछ आज़माओ" वाला दृष्टिकोण अक्सर विफल हो जाता है। यह सीमित संसाधनों को एक विस्तृत, उथले पेड़ पर बहुत अधिक फैला देता है, जिससे सबसे आशाजनक विचार अपूर्ण रह जाते हैं। सिस्टम अंततः कई औसत दर्जे के समाधानों के एक व्यापक मानचित्र के साथ समाप्त होता है, बजाय कुछ उत्कृष्ट समाधानों की गहरी समझ के।
इसे हल करने के लिए, Amazon AGI के शोधकर्ताओं ने ExTS नामक एक नई खोज नीति (search policy) पेश की है। हर शाखा का विस्तार करने के बजाय, यह नई विधि किसी नए पथ को बनाने के निर्णय को एक गणनात्मक निवेश के रूप में देखती है। यह कोई भी बजट खर्च करने से पहले एक महत्वपूर्ण प्रश्न पूछती है: क्या एक नया पथ बनाने का संभावित मूल्य उसकी लागत के लायक है? सिस्टम ऐसा अपने स्वयं के सफलताओं और विफलताओं के इतिहास को देखकर करता है। यदि तर्क की एक विशेष रेखा ने कई असफल प्रयास उत्पन्न किए हैं, तो सिस्टम उस पथ का विस्तार करना बंद करने और इसके बजाय उन रेखाओं को गहरा करने पर ध्यान केंद्रित करने के बारे में सीख जाता है जो पहले से ही काम कर रही हैं। यह प्रभावी रूप से शोर (noise) को फ़िल्टर करता है, उन मृत अंतों को अनदेखा करता है जो पुराने सिस्टम में मूल्यवान संसाधनों को उपभोग कर लेते।
शोधकर्ताओं ने चार बहुत अलग क्षेत्रों में इस दृष्टिकोण का परीक्षण किया: भाषा मॉडल के लिए निर्देशों को अनुकूलित करना, कंप्यूटर कोड उत्पन्न करना, स्पेक्ट्रल डेटा से अणुओं की संरचना का निष्कर्ष निकालना और स्वचालित वर्कफ़्लो को डिजाइन करना। प्रत्येक मामले में, उन्होंने नए सिस्टम को वही सख्त बजट दिया जिसके साथ पिछले तरीकों को काम करना पड़ा था। परिणाम सुसंगत थे। जहाँ अपने पैसे को खर्च करने के बारे में अधिक स्मार्ट होकर, नया सिस्टम लगातार उन विशिष्ट कार्यों के लिए डिज़ाइन किए गए विशेष तरीकों की तुलना में बेहतर समाधान खोजता रहा। उदाहरण के लिए, प्रश्न-उत्तर के लिए प्रॉम्प्ट को अनुकूलित करने के कार्य में, नए तरीके ने पिछले सर्वश्रेष्ठ दृष्टिकोण की तुलना में सटीकता में दस प्रतिशत से अधिक सुधार किया। कोड जनरेशन में, इसने काफी कठिन समस्याओं को हल किया, ऐसे समाधान खोजे जो पुराने तरीकों से छूट गए थे। यहाँ तक कि आणविक संरचना स्पष्टीकरण (molecular structure elucidation) के अत्यधिक तकनीकी क्षेत्र में, जहाँ सिस्टम को स्पेक्ट्रल सिग्नेचर से अणु के आकार का पता लगाना था, नए तरीके ने समान प्रयासों के साथ उच्च सटीकता प्राप्त की।
इस सफलता के पीछे एक प्रमुख अंतर्दृष्टि यह है कि नया सिस्टम केवल एक प्रयास के स्कोर को नहीं देखता; यह स्कोर के पैटर्न को देखता है। इन कई कार्यों में, एक अच्छे समाधान और एक महान समाधान के बीच का अंतर सूक्ष्म होता है, और स्कोर बहुत करीब क्लस्टर हो सकते हैं। पुराने तरीके अंतर बताने में संघर्ष करते थे, सभी विकल्पों को लगभग समान मानते थे। नया सिस्टम इन छोटे अंतरों को बढ़ाने के लिए एक तकनीक का उपयोग करता है, जिससे यह एक थोड़े बेहतर पथ और एक वास्तव में उत्कृष्ट पथ के बीच अंतर करने में सक्षम होता है। यह एक "वर्चुअल चाइल्ड" (virtual child) अवधारणा का भी उपयोग करता है जो यह सिम्युलेट करता है कि क्या होगा यदि यह एक नया ब्रांच बनाता है। पहले जो काम किया है उसके इतिहास से नमूना लेकर, यह वास्तव में बजट खर्च किए बिना एक नए पथ के मूल्य का अनुमान लगा सकता है। यदि सिमुलेशन सुझाव देता है कि नया पथ फलदायी होने की संभावना कम है, तो सिस्टम इसे पूरी तरह से छोड़ देता है और सिद्ध पथ में गहराई तक जाता है।
शोधकर्ताओं ने यह भी पाया कि सभी खोज समस्याएँ एक जैसी नहीं होती हैं। कुछ कार्य बार-बार विफलताओं के प्रति संवेदनशील होते हैं, जहाँ अधिकांश प्रयास त्रुटियों में समाप्त होते हैं, जबकि अन्य अधिक स्थिर होते हैं। कुछ कार्यों के स्कोर नई खोजों के साथ नाटकीय रूप रूप से बदलते हैं, जबकि अन्य स्थिर रहते हैं। नया सिस्टम इन विभिन्न परिदृश्यों के अनुकूल होने के लिए पर्याप्त लचीला है। समस्या की प्रकृति को समझने के लिए एक छोटा, प्रारंभिक परीक्षण चलाकर, सिस्टम विशिष्ट चुनौतियों से मेल खाने के लिए अपनी रणनीति को थोड़ा समायोजित कर सकता है। यह अनुकूलन क्षमता इसे प्रत्येक के लिए एक नए डिज़ाइन की आवश्यकता के बिना विभिन्न डोमेन में अच्छा प्रदर्शन करने की अनुमति देती है।
यह अध्ययन प्रदर्शित करता है कि एक AI एजेंट अपने कम्प्यूटेशनल बजट को कैसे खर्च करता है, यह उसकी बुद्धिमत्ता जितनी ही महत्वपूर्ण है। अपनी खोज प्रक्रिया को अधिक चयनात्मक और अपनी प्रगति की गुणवत्ता के प्रति अधिक जागरूक बनाकर, सिस्टम समान प्रयास के साथ काफी बेहतर परिणाम प्राप्त कर सकता है। यह दृष्टिकोण अधिक कुशल AI एजेंट बनाने के लिए एक व्यावहारिक मार्गदर्शिका प्रदान करता है जो अनंत कंप्यूटिंग पावर की आवश्यकता के बिना जटिल समस्याओं को हल कर सकते हैं। निष्कर्ष बताते हैं कि भविष्य में, सबसे प्रभावी AI सिस्टम वे नहीं होंगे जो सबसे अधिक चीजें आजमाते हैं, बल्कि वे होंगे जो जानते हैं कि कौन सी चीजें आज़माने लायक हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।