Runtime Continuation after Faults in Partially Executed Agent Workflows
यह शोध पत्र आंशिक रूप से निष्पादित भाषा-मॉडल एजेंट वर्कफ़्लो के लिए एक रनटाइम निरंतरता तंत्र (runtime continuation mechanism) प्रस्तावित करता है जो एक विश्वसनीय सीमा (trusted frontier) को पुनर्गठित करके, एक मानक अनुबंध (canonical contract) से अवशिष्ट दायित्वों (residual obligations) को व्युत्पन्न करके, और केवल वैध, ताज़ा और अद्वितीय रूप से मिलान करने वाले साक्ष्य द्वारा समर्थित अधिकृत प्रभावों के माध्यम से ही अवस्था को आगे बढ़ाकर दोषों से सुरक्षित रिकवरी सुनिश्चित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल परिदृश्य में, आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) केवल टेक्स्ट लिखने वाले सिस्टम से विकसित होकर एक ऐसे सिस्टम के रूप में बदल गया है जो सक्रिय रूप से कार्य करता है। ये बुद्धिमान एजेंट उपयोगकर्ता की ओर से वेब खोज सकते हैं, फाइलों को संपादित कर सकते हैं, संदेश भेज सकते हैं और डेटाबेस अपडेट कर सकते हैं। वे चरणों के एक अनुक्रम का पालन करके कार्य करते हैं, जिसे अक्सर 'वर्कफ़्लो' कहा जाता है, जहाँ प्रत्येक क्रिया वास्तविक दुनिया की स्थिति को बदल देती है। हालाँकि, कार्य करने की यह क्षमता एक अनूठी भेद्यता (vulnerability) भी पैदा करती है। यदि कोई एजेंट गलती करता है, किसी चाल (trick) में फंस जाता है, या किसी फ़ाइल को बदलने या संदेश भेजने के बाद सिस्टम एरर का सामना करता है, तो केवल फिर से प्रयास करना या शुरू से शुरू करना खतरनाक हो सकता है। विफल अनुक्रम को दोहराना हानिकारक क्रिया को दोहरा सकता है, जबकि एक भ्रमित अवस्था से आगे बढ़ना गलत धारणाओं पर आधारित हो सकता है। मुख्य चुनौती यह निर्धारित करना है कि इतिहास का कौन सा हिस्सा भरोसेमंद है, कितना काम अभी बाकी है, और बिना त्रुटियों को दोहराए या धोखे का शिकार हुए सुरक्षित रूप से आगे बढ़ने के लिए किस प्रमाण की आवश्यकता है।
शोधकर्ता ली ज़ेंग और उनकी टीम ने, जो नेशनल इमिग्रेशन एडमिनिस्ट्रेशन के इंस्टीट्यूट ऑफ इंफॉर्मेशन टेक्नोलॉजी और हांगकांग यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी से हैं, इस समस्या को हल करने के लिए एक नया तरीका विकसित किया है। वे अपने सिस्टम को 'एजेंटमिरर' (AgentMirror) कहते हैं। एक टूटे हुए वर्कफ़्लो को एक साधारण त्रुटि के रूप में ठीक करने के बजाय, एजेंटमिरर रिकवरी प्रक्रिया को वास्तविकता के एक सख्त, चरण-दर-चरण सत्यापन (verification) के रूप में देखता है। यह सिस्टम इस सिद्धांत पर काम करता है कि एक बार जब किसी एजेंट ने कोई क्रिया की होती है, तो उस क्रिया का इतिहास सत्य का एक निश्चित बिंदु बन जाता है। यदि एजेंट उस बिंदु के बाद क्रैश हो जाता है या धोखा खा जाता है, तो सिस्टम आर्टिफिशियल इंटेलिजेंस से यह तय करने के लिए नहीं पूछता कि क्या हुआ था। इसके बजाय, यह वास्तव में जो हुआ उसका एक सत्यापित रिकॉर्ड देखता है, यह पहचानता है कि कौन से कार्य अभी भी शेष हैं, और दुनिया की स्थिति को फिर से बदलने के लिए किसी भी नई क्रिया की अनुमति देने से पहले ठोस प्रमाण की मांग करता है।
शोधकर्ताओं ने इस सिस्टम को एक अवधारणा के इर्द-गिर्द बनाया है जिसे वे "ट्रस्टेड फ्रंटियर" (trusted frontier) कहते हैं। कल्पना कीजिए कि रेत में खींची गई एक रेखा जो उस सटीक क्षण को चिह्नित करती है जहाँ एजेंट का इतिहास सुरक्षित और सही रूप से पुष्ट होता है। इस रेखा से पहले सब कुछ सत्य के रूप में स्वीकार किया जाता है; इसके बाद सब कुछ unverified (अपुष्ट) है। जब कोई दोष उत्पन्न होता है, तो सिस्टम आर्टिफिशियल इंटेलिजेंस को इस रेखा को फिर से लिखने या यह दिखावा करने नहीं देता कि कोई गलती नहीं हुई। यह एजेंट की स्थिति को केवल उस रेखा तक के सत्यापित इतिहास के आधार पर पुनर्गठित करता है। इस बिंदु से, सिस्टम "रेसिड्यूअल ऑब्लिगेशन्स" (residual obligations - शेष दायित्वों) की एक सूची की गणना करता है—वे विशिष्ट, अनिवार्य कार्य जिन्हें एजेंट को काम पूरा करने के लिए अभी भी करने की आवश्यकता है। फिर यह इस सूची को आर्टिफिशियल इंटेलिजेंस के सामने एक मार्गदर्शक के रूप में प्रस्तुत करता है, इसे बताता है कि क्या काम बाकी है, लेकिन इसे इंटेलिजेंस को इसे बस करने की शक्ति दिए बिना।
महत्वपूर्ण नवाचार इस बात में निहित है कि सिस्टम अगले चरण को कैसे संभालता है। जब आर्टिफिशियल इंटेलिजेंस एक नई क्रिया का प्रस्ताव करता है, तो उस प्रस्ताव को अविश्वसनीय माना जाता है। सिस्टम यह सुनिश्चित करने के लिए कि क्रिया को चलने की अनुमति है, इसे एक मानक सुरक्षा जांच के माध्यम से भेजता है, जिसे "ऑर्डिनरी एडमिशन" (ordinary admission) कहा जाता है। यदि क्रिया निष्पादित होती है, तो सिस्टम तुरंत यह स्वीकार नहीं करता कि कार्य पूरा हो गया है। यह एक "रनटाइम रसीद" (runtime receipt) की प्रतीक्षा करता है, जो एक विश्वसनीय प्राधिकरण द्वारा जारी किया गया डिजिटल प्रमाणपत्र है, जो पुष्टि करता है कि क्रिया वास्तव में हुई और उसे सही ढंग से देखा गया। यह रसीद ताज़ा (fresh) होनी चाहिए, जिसका अर्थ है कि इसे अभी बनाया गया है, और यह वर्तमान 'ट्रस्टेड फ्रंटियर' से जुड़ी होनी चाहिए, जिसका अर्थ है कि यह किसी पुरानी क्रिया का पुनरावृत्ति या किसी अन्य सत्र का नकली प्रमाण नहीं हो सकती। केवल तभी जब यह रसीद सत्यापित होती है और शेष कार्यों में से ठीक एक से मेल खाती है, सिस्टम एजेंट की प्रगति के आधिकारिक रिकॉर्ड को आगे बढ़ने की अनुमति देता है।
अपने विचार का परीक्षण करने के लिए, शोधकर्ताओं ने 'एजेंटडोजो' (AgentDojo) नामक एक बेंचमार्क का उपयोग किया, जो विभिन्न कार्यों का अनुकरण करता है और यह देखने के लिए जानबूझकर दोष और हमले पेश करता है कि एजेंट कैसे व्यवहार करते हैं। उन्होंने अपने एजेंटमिरर सिस्टम की तुलना अन्य रिकवरी विधियों से की, जैसे कि अंतिम चरण को फिर से आज़माना या एजेंट को परेशानी से बाहर निकलने के लिए अनुमान लगाने देना। परिणामों ने दिखाया कि एजेंटमिरर कार्यों को सुरक्षित रूप से पूरा करने में काफी बेहतर था। इसने अनधिकृत कार्यों को फिसलने दिए बिना दोषों से सफलतापूर्वक रिकवरी की, और इसने एजेंट को उन भ्रामक निर्देशों के जाल में फंसने से रोका जो उसे हानिकारक संचालन दोहराने के लिए उकसाते थे। अध्ययन ने प्रदर्शित किया कि आर्टिफिशियल इंटेलिजेंस को दी जाने वाली मार्गदर्शन (guidance) को क्रियाओं को निष्पादित करने के अधिकार से अलग करके, और प्रत्येक चरण के लिए ताज़ा साक्ष्य की आवश्यकता को अनिवार्य करके, सिस्टम एजेंट के समझौता होने पर भी एक सुरक्षित मार्ग बनाए रख सकता है।
शोधकर्ताओं ने यह भी पता लगाया कि यदि वे अपने सुरक्षा नियमों के विशिष्ट हिस्सों को हटा देते हैं तो क्या होगा। उन्होंने पाया कि यदि वे रसीद को सत्यापित करने के चरण को छोड़ देते हैं, तो सिस्टम नकली या पुराने साक्ष्य को स्वीकार कर लेगा, जिससे गलत प्रगति होगी। यदि वे रिकवरी गाइड को अनुमति पत्र (permission slip) के रूप में कार्य करने देते हैं, तो सिस्टम अविश्वसनीय क्रियाओं को चलने देगा। यदि वे यह जाँच नहीं करते कि क्रिया ठीक एक विशिष्ट कार्य से मेल खाती है या नहीं, तो सिस्टम गलत कार्य को बंद कर सकता है या काम अधूरा छोड़ सकता है। इन परीक्षणों ने पुष्टि की कि उनका प्रत्येक प्रक्रिया आवश्यक है; कोई भी एकल जाँच दूसरों की जगह नहीं ले सकती। यह सिस्टम इसलिए काम करता है क्योंकि यह विश्वास की एक श्रृंखला को मजबूर करता है जहाँ आर्टिफिशियल इंटेलिजेंस सुझाव दे सकता है, लेकिन सिस्टम निर्णय लेता है, और केवल सत्यापित वास्तविकता ही रिकॉर्ड को बदल सकती है।
यह कार्य यह दावा नहीं करता कि यह आर्टिफिशियल इंटेलिजेंस को पूर्ण बना देगा या हर संभव विफलता को हल कर देगा। सिस्टम प्रारंभिक अनुबंध या नियमों के सेट के सही होने पर निर्भर करता है; यदि नियम स्वयं गलत हैं, तो सिस्टम गलत पथ का निष्ठापूर्वक पालन करेगा। यह उन कार्यों को भी पूर्ववत (undo) नहीं कर सकता जो वास्तविक दुनिया में पहले ही किए जा चुके हैं यदि उन कार्यों का प्रमाण खो गया है। हालाँकि, यह उस क्षण को प्रबंधित करने के लिए एक मजबूत ढांचा प्रदान करता है जब चीजें गलत होती हैं। एक ज्ञात, सुरक्षित स्थिति से एक नई, सत्यापित स्थिति में एक सख्त संक्रमण के रूप में रिकवरी प्रक्रिया को मानकर, एजेंटमिरर एक तरीका प्रदान करता है जिससे इंटेलिजेंट एजेंटों को तब भी सुरक्षित रूप से काम करते रहने में मदद मिलती है जब वे त्रुटियों या दुर्भावनापूर्ण हस्तक्षेप का सामना करते हैं। अध्ययन का निष्कर्ष है कि सुरक्षित निरंतरता की कुंजी बेहतर अनुमान लगाना नहीं, बल्कि बेहतर सत्यापन (verification) है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।