When May an Agent Stop? Evidence-Carrying Termination for Tool-Using LLMs
यह शोध पत्र एविडेंस-कैरिंग टर्मिनेशन (ECT) को प्रस्तुत करता है, जो टूल-उपयोग करने वाले LLM एजेंटों के लिए एक नया फ्रेमवर्क है जो पूर्णता से पहले उत्तर दावों को वैध, पुनरावृत्ति योग्य ट्रेस साक्ष्य से बांधने वाले टाइप किए गए प्रमाणपत्रों को अनिवार्य करता है, और नियंत्रित प्रयोगों में यह प्रदर्शित करता है कि यह मौजूदा क्रिटिक-आधारित दृष्टिकोणों की तुलना में शून्य असुरक्षित पूर्णता प्राप्त करता है और समयपूर्व असमर्थ समापन को महत्वपूर्ण रूप से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक नए प्रकार के सॉफ्टवेयर का उदय हुआ है: स्वायत्त एजेंट (autonomous agent)। एक साधारण कैलकुलेटर के विपरीत जो कमांड का इंतज़ार करता है, ये एजेंट सोचने, योजना बनाने और कार्य करने के लिए डिज़ाइन किए गए हैं। वे जटिल समस्याओं को हल करने के लिए वेब ब्राउज़ कर सकते हैं, कोड चला सकते हैं, या डेटाबेस से जानकारी प्राप्त कर सकते हैं, ठीक वैसे ही जैसे एक मानव शोधकर्ता जानकारी एकत्र करता है। हालाँकि, यह नई क्षमता एक मौलिक दुविधा लेकर आती है: मशीन को कैसे पता चलेगा कि कब रुकना है? यदि कोई एजेंट अनंत काल तक काम करता रहता है, तो वह संसाधनों को बर्बाद करता है और त्रुटियों को बढ़ा देता है। यदि वह बहुत जल्दी रुक जाता है, तो वह एक अधूरा या गलत समझ पर आधारित उत्तर दे सकता है। वर्षों से, इंजीनियरों ने एआई से बस खुद को समाप्त घोषित करने के लिए कहने या दूसरे एआई से यह जांचने के लिए कहकर इसे हल करने की कोशिश की है कि क्या उत्तर सही लग रहा है। लेकिन ये विधियाँ मशीन के अपने आत्मविश्वास पर निर्भर करती हैं, जो गलत भी हो सकता है। असली चुनौती केवल एजेंट को रुकने के लिए कहना नहीं है, बल्कि यह साबित करना है कि रुकने का निर्णय एक ठोस, अपरिवर्तनीय प्रमाण द्वारा समर्थित है कि उत्तर के हर हिस्से को वास्तव में खोजा और गणना की गई थी।
कैलिफोर्निया विश्वविद्यालय सैन डिएगो के एक शोधकर्ता ने इस समस्या को 'एविडेंस-कैरिंग टर्मिनेशन' (Evidence-Carrying Termination) नामक एक प्रणाली के साथ हल किया है। एजेंट को केवल एक भावना या सरल चेकलिस्ट के आधार पर रुकने देने के बजाय, यह प्रणाली मांग करती है कि एजेंट किसी भी कार्य को पूरा करने से पहले एक औपचारिक प्रमाण पत्र (formal certificate) प्रस्तुत करे। इस प्रमाण पत्र को एक रसीद के रूप में समझें जिसे एजेंट को अपने अंतिम उत्तर में किए गए प्रत्येक दावे के लिए उत्पन्न करना होगा। एजेंट केवल यह नहीं कह सकता कि, "मुझे उत्तर मिल गया है।" उसे यह दिखाना होगा कि किस टूल कॉल ने डेटा प्रदान किया, यह सिद्ध करना होगा कि डेटा पूछे गए विशिष्ट प्रश्न के लिए प्रासंगिक था, और यह प्रदर्शित करना होगा कि अंतिम संख्या या तथ्य एक सख्त, अपरिवable नियमों के सेट का उपयोग करके निकाला गया था। यदि इस प्रमाण का कोई भी हिस्सा गायब है, या यदि मूल डेटा के विरुद्ध जांच करने पर गणित मेल नहीं खाता है, तो सिस्टम एजेंट को काम जारी रखने के लिए मजबूर करता है। यह एक द्वारपाल की तरह है जो एजेंट को तब तक कमरे से बाहर जाने से मना कर देता है जब तक कि वह अपना होमवर्क पूरी बारीकी से न दिखा दे।
यह परीक्षण करने के लिए कि क्या यह कठोर दृष्टिकोण वास्तव में काम करता है, शोधकर्ता ने चालीस आठ विभिन्न कार्यों की एक नियंत्रित प्रणाली बनाई, जिसमें विशिष्ट तथ्यों को खोजने से लेकर जटिल डेटा एकत्रीकरण तक शामिल थे। इसके बाद उन्होंने इन कार्यों में आठ विशिष्ट प्रकार की त्रुटियाँ पेश कीं, जैसे एजेंट को गलत साक्ष्य देना, टूल की विफलता को छिपाना, या आवश्यक जानकारी खोजने से पहले ही एजेंट को रुकने के लिए कहना। उन्होंने अपनी नई प्रणाली को एक मानक पद्धति के विरुद्ध खड़ा किया जहाँ एक 'क्रिटिक एआई' केवल उत्तर का न्याय करता है। परिणाम स्पष्ट थे। लगभग तीन सौ दोषपूर्ण परिदृश्यों वाले एक परीक्षण में, मानक प्रणाली विफल रही और इसने एजेंट को गलत या असमर्थित उत्तर के साथ रुकने की अनुमति दे दी, जो दो सौ बावन मामलों में हुआ। इसके विपरीत, नई 'एविडेंस-कैरिंग टर्मिनेशन' प्रणाली ने शून्य असुरक्षित पूर्णता (unsafe completions) दर्ज की। इसने सफलतापूर्वक हर एक खामी की पहचान की और एजेंट को तब तक काम जारी रखने के लिए मजबूर किया जब तक कि प्रमाण ठोस न हो जाए।
शोधकर्ता केवल स्थिर परीक्षणों तक ही सीमित नहीं रहे; वे सैकड़ों सिम्युलेटेड यात्राओं वाले एक अधिक गतिशील, क्लोज्ड-लूप प्रयोग की ओर बढ़े जहाँ एजेंट को वास्तविक समय में गलतियों से उबरना था। यहाँ लक्ष्य यह देखना था कि क्या सख्त प्रमाण की आवश्यकता एजेंट को बहुत आसानी से हार मानने या वैध कार्यों को पूरा करने में विफल होने के लिए प्रेरित करेगी। नई प्रणाली ने एक बार फिर मानक दृष्टिकोण को पछाड़ दिया। इसने उन साठ छह महत्वपूर्ण उदाहरणों में एजेंट को समय से पहले रुकने से रोका जहाँ पुरानी प्रणाली चालीस बार विफल हुई थी। महत्वपूर्ण रूप से, नई प्रणाली इतनी सतर्क नहीं हुई कि उपयोगी कार्य को रोक दे; इसने समर्थित कार्यों को उस दर से पूरा किया जो सांख्यिकीय रूप से पुरानी प्रणाली के समान थी, जिससे यह सिद्ध हुआ कि प्रमाण की मांग करने का अर्थ प्रगति का बलिदान देना नहीं है। जब एजेंट अटक गया, तो सिस्टम साठ छह प्रयासों में से अठारह में उसे रिकवरी प्रक्रिया के माध्यम से मार्गदर्शन करने में सक्षम रहा, जिनमें से सत्रह अंततः एक सफल, सत्यापित निष्कर्ष की ओर ले गए।
यह कार्य यह दावा नहीं करता कि एजेंट को अचूक बना देगा या यह गारंटी देगा कि उत्तर वास्तविक दुनिया में सत्य हैं। प्रणाली केवल यह सत्यापित करती है कि एजेंट ने अपने स्वयं के नियमों का पालन किया और अंतिम उत्तर एकत्र किए गए साक्ष्यों से मेल खाता है। यह प्रक्रिया की जाँच है, बाहरी सत्य की गारंटी नहीं। हालाँकि, निष्कर्ष सुरक्षित एआई के लिए एक स्पष्ट मार्ग सुझाते हैं। उत्तर प्रस्तावित करने के कार्य को उसे सिद्ध करने के कार्य से अलग करके, और प्रत्येक चरण के नियत पुनरावृत्ति (deterministic replay) की आवश्यकता को अनिवार्य बनाकर, शोधकर्ता ने दिखाया है कि ऐसे एजेंट बनाना संभव है जो जानते हैं कि वे कब समाप्त हुए हैं। अध्ययन निष्कर्ष निकालता है कि एक एजेंट को केवल इसलिए नहीं रुकना चाहिए क्योंकि उसे लगता है कि काम पूरा हो गया है या उसका उत्तर विश्वसनीय लगता है। उसे केवल तभी रुकना चाहिए जब वह साक्ष्य की एक पूर्ण, अटूट श्रृंखला प्रस्तुत कर सके जो उसके द्वारा किए गए प्रत्येक दावे की पुष्टि करती हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।