One Gate Is Not Enough: Composing Stateful Pre-Action Controls for Agentic AI
यह शोध पत्र मल्टी-गेट एजेंटिक एआई सिस्टम में रेमेडिएशन-प्रेरित (remediation-induced) कंट्रोल कपलिंग की चुनौतियों को औपचारिक रूप देता है, एक "रेमेडिएट-एंड-रीगेट" (remediate-and-regate) प्रोटोकॉल प्रस्तावित करता है जो साउंडनेस को बहाल करने के लिए है, और यह प्रदर्शित करता है कि रेमेडिएशन का क्रम अर्थपूर्ण रूप से महत्वपूर्ण है और वर्तमान शमन (mitigations) स्टेट-लेवल पॉइजनिंग जोखिमों को पूरी तरह से समाप्त नहीं कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की उभरती दुनिया में, स्वायत्त एजेंटों (autonomous agents) को ऐसे निर्णय लेने का कार्य सौंपा जा रहा है जिनके वास्तविक दुनिया में परिणाम होते हैं, जैसे कि आपूर्ति का ऑर्डर देना या ऊर्जा ग्रिड का प्रबंधन करना। ये एजेंट एक शून्य में काम नहीं करते; उन्हें नियमों के एक जटिल परिदृश्य में नेविगेट करना होता है। किसी भी कार्रवाई से पहले, एजेंट को डिजिटल चेकपॉइंट्स या "गेट्स" (gates) की एक श्रृंखला से गुजरना पड़ता है जो तीन मौलिक प्रश्न पूछते हैं: क्या एजेंट को यह करने की अनुमति है? क्या संगठन इसे वहन कर सकता है? और क्या निर्णय का समर्थन करने वाला साक्ष्य वैध है? वर्षों से, शोधकर्ताओं ने इन प्रश्नों को अलग-अलग बाधाओं के रूप में माना है, और हरी झंडी देने से पहले प्रत्येक की स्वतंत्र रूप से जांच की है। हालाँकि, जैसे-जैसे ये सिस्टम अधिक परिष्कृत होते जा रहे हैं, एक गंभीर दोष उभर कर आया है: एक क्षेत्र में समस्या को ठीक करने का कार्य अनजाने में दूसरे क्षेत्र के नियमों को तोड़ सकता है। यदि कोई एजेंट बजट के भीतर रहने के लिए अपनी योजना बदलता है, तो वह नई योजना अचानक उस अनुमति नियम का उल्लंघन कर सकती है जिसे उसने पहले पास कर लिया था। मुख्य चुनौती अब केवल कई गेट्स होने के बारे में नहीं है, बल्कि यह समझने के बारे में है कि जब एक गेट दूसरे द्वारा मापी जाने वाली चीज़ को ही बदल देता है, तो वे गेट आपस में कैसे परस्पर क्रिया करते हैं।
यह शोध पत्र उस विशिष्ट, उलझी हुई समस्या का अध्ययन करके इस पर काम करता है कि क्या होता है जब एक एआई एजेंट के निर्णय को एक नियंत्रण प्रणाली द्वारा बदला जाता है और फिर दूसरी प्रणाली द्वारा पुनर्मूल्यांकन किया जाता है। शोधकर्ताओं ने तीन अलग-अलग इंजनों का उपयोग करके एक कार्यात्मक प्रदर्शन (working demonstration) बनाया जो अनुमतियों, वित्तीय बजट और साक्ष्य की वैधता को संभालते हैं। उन्होंने पाया कि यदि आप मूल योजना पर केवल एक बार, समानांतर (parallel) में इन जाँचों को चलाते हैं, तो सिस्टम खतरनाक रूप से गलत हो सकता है। एक एजेंट को किसी कार्रवाई के लिए अनुमोदित किया जा सकता है जो डेटा के एक दूषित हिस्से पर आधारित हो, और फिर उस डेटा को दूसरे गेट द्वारा सुधारा जा सकता है। जब तक कार्रवाई निष्पादित होती है, मूल अनुमोदन अब वैध नहीं रहता क्योंकि अंतर्निहित संख्याएँ बदल चुकी होती हैं। अध्ययन यह सिद्ध करता है कि जाँचों का एक एकल दौर अपर्याप्त है और इससे ऐसी कार्रवाइयाँ हो सकती हैं जो सुरक्षा नियमों का उल्लंघन करती हैं या बजट से अधिक हो जाती हैं, भले ही सिस्टम ने सोचा हो कि वह सावधानी बरत रहा है।
इसे हल करने के लिए, लेखक ने एक "फिक्स-एंड-रीचेक" (fix-and-recheck) प्रोटोकॉल विकसित किया है। केवल एक बार "हाँ" या "ना" कहने के बजाय, सिस्टम एक गेट को दोष को ठीक करने की अनुमति देता है—जैसे कि एक खराब डेटा पॉइंट को सत्यापित डेटा से बदलना या बजट में फिट होने के लिए ऑर्डर का आकार कम करना—और फिर प्रत्येक गेट को नई, सुधारी गई योजना का पुनर्मूल्यांकन करने के लिए मजबूर करता है। यह सुनिश्चित करता है कि अंतिम निर्णय उस वास्तविक कार्रवाई पर आधारित है जो की जानी है, न कि उस त्रुटिपूर्ण संस्करण पर जो प्रस्तावित किया गया था। शोधकर्ताओं ने तीस विभिन्न सिम्युलेटेड परिदृश्यों में इस पद्धति का परीक्षण किया और पाया कि यह सुदृढ़ (sound) है, जिसका अर्थ है कि निष्पादित की गई प्रत्येक कार्रवाई ने निष्पादन के समय सभी नियमों को पास किया। उन्होंने यह भी दिखाया कि यह दृष्टिकोण झूठी सुरक्षा पैदा नहीं करता है; यदि किसी विशिष्ट प्रकार की त्रुटि किसी भी व्यक्तिगत गेट द्वारा कवर नहीं की जाती है, तो संयुक्त प्रणाली उसे जादुई रूप से पता नहीं लगा पाएगी। यह इस बात के प्रति ईमानदार रहता है कि वह क्या देख सकता है और क्या नहीं।
एक आश्चर्यजनक और महत्वपूर्ण निष्कर्ष तब सामने आया जब शोधकर्ताओं ने एक दूसरा प्रकार का सुधार पेश किया। उनके सिस्टम में, एक गेट डेटा त्रुटियों को ठीक कर सकता है, जबकि दूसरा पैसा बचाने के लिए ऑर्डर को कम कर सकता है। उन्होंने परीक्षण किया कि क्या इन सुधारों को लागू करने का क्रम मायने रखता है। उत्तर स्पष्ट रूप से "हाँ" है। डेटा सुधार को पहले लागू करने और फिर बजट सुधार को करने से, इसके विपरीत क्रम में करने की तुलना में एक अलग परिणाम प्राप्त हुआ। इसका अर्थ है कि संचालन का क्रम केवल सॉफ्टवेयर लिखे जाने का एक तकनीकी विवरण नहीं है; यह स्वयं शासन नीति (governance policy) का एक मौलिक हिस्सा है। यदि क्रम गलत है, तो सिस्टम चुपचाप एक ऐसी कार्रवाई को मंजूरी दे सकता है जो वास्तव में बजट से बाहर या अनधिकृत है। शोधकर्ताओं ने दर्जनों विशिष्ट उदाहरणों को खोजने के लिए एक कठोर कंप्यूटर चेकर का उपयोग किया जहाँ क्रम ने परिणाम बदल दिया, जिससे यह सिद्ध हुआ कि इन प्रणालियों को किसी भी यादृच्छिक (random) क्रम में नहीं छोड़ा जा सकता है।
अध्ययन में पिछले निर्णयों को याद रखने के संबंध में एक सूक्ष्म जोखिम भी उजागर हुआ। जब एक सुधारा गया साक्ष्य स्वीकार किया जाता है और भविष्य के उपयोग के लिए संग्रहीत किया जाता है, तो वह एक विश्वसनीय बफर (trusted buffer) में प्रवेश करता है। शोधकर्ताओं ने प्रदर्शित किया कि यदि डेटा का एक त्रुटिपूर्ण हिस्सा प्रारंभिक जाँचों से निकल जाता है और संग्रहीत हो जाता है, तो यह भविष्य के निर्णयों को विषाक्त (poison) कर सकता है। सिस्टम बाद में इस दूषित डेटा पर भरोसा कर सकता है क्योंकि यह उसकी अपनी "विश्वसनीय" स्मृति से आया है। इसे संबोधित करने के लिए, उन्होंने दो शमन रणनीतियों (mitigation strategies) का परीक्षण किया: एक "क्वारंटाइन" (quarantine) अवधि जहाँ नए डेटा को विश्वसनीय होने के लिए कई जाँचों में सुसंगत होना चाहिए, और कई डेटा बिंदुओं का औसत निकालने की एक विधि। उनके सिमुलेशन में, इन रणनीतियों ने विषाक्त निर्णयों की संख्या को काफी कम कर दिया, हालांकि उन्होंने जोखिम को पूरी तरह से समाप्त नहीं किया, विशेष रूप से बहुत कम डेटा बिंदुओं वाले परिदृश्यों में।
अंततः, यह कार्य इस बात का एक स्पष्ट ब्लूप्रिंट प्रदान करता है कि कई एआई गवर्नेंस कंट्रोल्स को सुरक्षित रूप से कैसे संयोजित किया जाए। यह केवल नियमों को एक के ऊपर एक रखने के विचार से आगे बढ़कर एक गतिशील प्रक्रिया स्थापित करता है जहाँ सुधार पुनर्मूल्यांकन को ट्रिगर करते हैं। शोधकर्ता सावधानीपूर्वक नोट करते हैं कि उनके निष्कर्ष एक विशिष्ट, नियंत्रित प्रदर्शन पर आधारित हैं और वे एआई गवर्नेंस की हर संभव समस्या को हल करने का दावा नहीं करते हैं। वे यह दावा नहीं करते कि उनका सिस्टम सभी वास्तविक दुनिया के डिप्लॉयमेंट के लिए पूर्ण है, न ही वे अनंत लूप (infinite loops) या जटिल, बहु-एजेंट इंटरैक्शन की समस्या को हल करने का दावा करते हैं। हालाँकि, उनके द्वारा अध्ययन किए गए विशिष्ट परिवेश के लिए, उन्होंने सिद्ध किया है कि जाँचों का एक एकल दौर असुरक्षित है, सुधारों का क्रम मायने रखता है, और हर बदलाव के बाद पुनः जाँच करने की एक अनुशासित प्रक्रिया ही एकमात्र तरीका है जिससे यह सुनिश्चित किया जा सके कि एक एजेंट की अंतिम कार्रवाई वास्तव में उसके सभी शासी नियमों के अनुरूप है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।