Five Primitives for Governing Autonomous AI Agents at Runtime
यह शोध पत्र तर्क देता है कि स्वायत्त एआई एजेंटों के शासन के लिए पांच आवश्यक प्रिमिटिव्स—डिस्कवरी (discovery), आइडेंटिटी (identity), गवर्नेंस (governance), अटेस्टेशन (attestation) और सप्लाई चेन (supply chain)—पर आधारित एक रनटाइम कंट्रोल मॉडल की आवश्यकता है, ताकि क्षणभंगुर, मॉडल-संचालित और गतिशील रूप से खोजे जाने वाले एजेंटों की अनूठी चुनौतियों का समाधान किया जा सके, और यह एक आंशिक रूप से कार्यान्वित आर्किटेक्चर प्रस्तुत करता है जो नीति के विरुद्ध कार्यों को मध्यस्थता प्रदान करता है, जबकि इसके साथ जुड़े प्रदर्शन लागतों और वर्तमान एकीकरण स्थिति को स्पष्ट रूप से स्वीकार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल दुनिया में, बड़े संगठन उन सॉफ़्टवेयर प्रोग्रामों पर भरोसा करते हैं जो उनकी ओर से कार्य करते हैं। दशकों तक, ये प्रोग्राम अनुमानित थे: एक मानव इंजीनियर कोड लिखता था, प्रोग्राम इंस्टॉल करता था और उसे निर्देशों का एक विशिष्ट सेट देता था। यदि प्रोग्राम को ईमेल भेजना होता या पैसा स्थानांतरित करना होता, तो वह बिल्कुल वैसा ही करता जैसा उसे बताया जाता, उससे अधिक या कम कुछ नहीं। इन प्रोग्रामों को सुरक्षित रखने के लिए, कंपनियों ने उनकी पहचान की जाँच करने और उनके कार्यों को लॉग करने के लिए सिस्टम बनाए, ठीक वैसे ही जैसे एक सुरक्षा गार्ड दरवाजे पर बैज की जाँच करता है। हालाँकि, एक नए प्रकार का सॉफ़्टवेयर आया है जो नियमों को बदल देता है। ये स्वायत्त एजेंट (autonomous agents) हैं, ऐसे प्रोग्राम जो केवल एक निश्चित स्क्रिप्ट का पालन नहीं करते बल्कि निर्णय लेने के लिए कृत्रिम बुद्धिमत्ता (AI) का उपयोग करते हैं कि आगे क्या करना है। वे सेकंडों में प्रकट और गायब हो सकते हैं, वे उन असंख्य संभावित कार्यों में से चुन सकते हैं जो किसी मानव ने पहले से नहीं लिखे थे, और इंटरनेट कनेक्शन वाला कोई भी व्यक्ति एक एजेंट बना सकता है। क्योंकि ये एजेंट पुराने, अनुमानित प्रोग्रामों से इतने अलग हैं, इसलिए अतीत के लिए डिज़ाइन किए गए सुरक्षा सिस्टम इनसे बचने में विफल रहते हैं।
ऑराइट एआई (Aurite AI) के शोधकर्ताओं की एक टीम ने इन अनिश्चित एजेंटों को उनके चलते समय प्रबंधित करने का एक नया तरीका बनाने में समय बिताया है। उनका तर्क है कि इन एजेंटों को शुरू करने से पहले उनके कोड को फिक्स करके नियंत्रित करने की कोशिश करना असंभव है, क्योंकि एजेंट अंतिम क्षण में स्वयं अपने कार्यों का निर्णय लेता है। इसके बजाय, वे एक ऐसा सिस्टम प्रस्तावित करते हैं जो एजेंट द्वारा किए जाने वाले प्रत्येक कार्य पर नज़र रखता है और यदि वह अनुमति योग्य नहीं है तो उसे रोक देता है। इसे काम करने के लिए, उन्होंने पाँच आवश्यक प्रश्न पहचाने जिन्हें प्रत्येक क्रिया के लिए उत्तर दिया जाना चाहिए। पहला, सिस्टम को पता होना चाहिए कि एजेंट मौजूद है। दूसरा, इसे यह सिद्ध करना चाहिए कि एजेंट कौन है। तीसरा, इसे यह तय करना चाहिए कि क्या एजेंट को वह करने की अनुमति है जो वह पूछ रहा है। चौथा, इसे जो हुआ उसका एक स्थायी, अपरिवली रिकॉर्ड बनाना चाहिए जिसे बाद में कोई भी देख सके। पाँचवाँ, इसे यह सत्यापित करना चाहिए कि एजेंट किस चीज़ से बना है ताकि यह सुनिश्चित हो सके कि इसे गुप्त रूप से बदला नहीं गया है। शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो वास्तविक समय (real time) में पहले चार प्रश्नों का उत्तर देता है और वर्तमान में पाँचवें प्रश्न को एक अलग टूल के रूप रूप में विकसित कर रहा है। उन्होंने पाया कि जबकि यह दृष्टिकोण आवश्यक है, इसके साथ एक लागत आती है: यह सिस्टम को थोड़ा धीमा कर देता है और इसके लिए हर एजेंट के साथ चलने के लिए एक छोटे सहायक प्रोग्राम की आवश्यकता होती है।
शोधकर्ताओं के सामने मुख्य समस्या यह थी कि पारंपरिक सुरक्षा इस बात पर निर्भर करती है कि प्रोग्राम शुरू होने से पहले वह क्या करेगा। यदि किसी मानव कर्मचारी को काम पर रखा जाता है, तो उसे एक बैज और नियमों की एक सूची दी जाती है। यदि कोई सेवा स्थापित की जाती है, तो उसे एक विशिष्ट कार्य विवरण दिया जाता है। लेकिन एक स्वायत्त एजेंट अलग है। यह एक ऐसे यात्री की तरह है जो बिना वीज़ा के आता है, नागरिक होने का दावा करता है, और फिर मौके पर तय करता है कि किस देश में जाना है और वहाँ क्या करना है। शोधकर्ताओं ने पाया कि पुराने सुरक्षा उपकरण, जो लोगों और निश्चित सेवाओं के लिए बनाए गए थे, इसे संभालने में सक्षम नहीं हैं। एक मानक सुरक्षा जाँच यह सत्यापित कर सकती है कि एजेंट वही है जो वह कह रहा है, लेकिन यह एजेंट को एक खतरनाक कार्य चुनने से नहीं रोक सकती जिसकी किसी ने पूर्व अनुमान नहीं लगाया था। इसी तरह, एक सुरक्षा गार्ड जो स्वीकृत कार्यों की सूची की जाँच करता है, वह एजेंट को मौके पर एक नया, हानिकारक कार्य आविष्कार करने से नहीं रोक सकता। शोधकर्ताओं ने निष्कर्ष निकाला कि इन एजेंटों को नियंत्रित करने का एकमात्र तरीका उनके कार्य करने के सटीक क्षण में हस्तक्षेप करना है, यानी उन्हें आगे बढ़ने देने से पहले उनके अनुरोध की नियमों के सेट के विरुद्ध जाँच करना।
इसे हल करने के लिए, टीम ने पाँच अलग-अलग भागों, या प्रिमिटिव्स (primitives) पर आधारित एक सिस्टम डिज़ाइन किया जो मिलकर काम करते हैं। पहला भाग है डिस्कवरी (खोज)। क्योंकि एजेंट कहीं भी और कभी भी प्रकट हो सकते हैं, सिस्टम को उन्हें खोजने में सक्षम होना चाहिए। शोधकर्ताओं ने महसूस किया कि केवल ज्ञात एजेंटों को सूचीबद्ध करना पर्याप्त नहीं है, क्योंकि सबसे खतरनाक एजेंट वे हैं जो अभी तक पंजीकृत नहीं हुए हैं। उनका सिस्टम यह नोटिस करने के लिए डिज़ाइन किया गया है कि जब कोई एजेंट कुछ ऐसा करने की कोशिश करता है जिसे सिस्टम नहीं पहचानता। केवल इसे ब्लॉक करने के बजाय, सिस्टम उस प्रयास को रिकॉर्ड करता है और एक मानव ऑपरेटर को अलर्ट करता है, जो फिर यह निर्णय ले सकता है कि क्या इस नए कार्य को भविष्य में अनुमति दी जानी चाहिए। यह एक संभावित विफलता को नियम अपडेट करने और सीखने के तरीके में बदल देता है।
दूसरा भाग है पहचान (identity)। अतीत में, एक प्रोग्राम किसी विशिष्ट सेवा का दावा कर सकता था, लेकिन शोधकर्ताओं ने पाया कि एजेंट इस बारे में झूठ बोल सकते हैं कि वे कौन हैं। उनका सिस्टम एजेंट से एक डिजिटल क्रेडेंशियल का उपयोग करके अपनी पहचान सिद्ध करने की मांग करता है जो स्वचालित रूप से इस आधार पर उत्पन्न होता है कि एजेंट कहाँ चल रहा है और वह किस चीज़ से बना है। यह प्रमाण उस क्षण जाँचा जाता है जब एजेंट जुड़ने की कोशिश करता है, जिससे यह सुनिश्चित होता है कि सिस्टम वास्तविक एजेंट से बात कर रहा है न कि किसी ढोंगी से। यह प्रमाण अल्पकालिक है और लगातार बदलता रहता है, इसलिए यदि कोई हैकर क्रेडेंशियल चुरा भी लेता है, तो यह जल्दी ही समाप्त हो जाएगा।
तीसरा भाग है गवर्नेंस (शासन), जो वास्तविक निर्णय लेने की प्रक्रिया है। इससे पहले कि कोई एजेंट ईमेल भेज सके या धन हस्तांतरित कर सके, उसे अनुमति मांगनी होगी। सिस्टम अनुरोध की जाँच उन नियमों के विरुद्ध करता है जो उस संगठन के लिए विशिष्ट हैं। यदि कार्य की अनुमति है, तो एजेंट आगे बढ़ता है। यदि नहीं, तो अनुरोध को तुरंत रोक दिया जाता है। यह क्रिया होने से पहले होता है, जो एजेंट को वास्तव में नियंत्रित करने का एकमात्र तरीका है। शोधकर्ताओं ने एक "किल स्विच" भी शामिल किया है जो एजेंट को तुरंत रोक सकता है यदि वह बुरा व्यवहार करने लगे, बिना उसके डिजिटल क्रेडेंशियल के समाप्त होने की प्रतीक्षा किए।
चौथा भाग है अटेस्टेशन (प्रमाणन), जो एक विश्वसनीय रिकॉर्ड बनाने के बारे में है। अतीत में, कंपनियाँ अपने प्रोग्रामों ने क्या किया इसके लॉग रखती थीं, लेकिन वे लॉग उन्हीं प्रोग्रामों द्वारा लिखे जाते थे जिनकी निगरानी की जा रही थी। यदि कोई प्रोग्राम अनियंत्रित हो जाता, तो वह अपने पदचिह्नों को छिपाने के लिए लॉग को भी बदल सकता था। शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो प्रत्येक निर्णय को रिकॉर्डों की एक विशेष, अपरिवर्तनीय श्रृंखला (chain) में लिखता है। इस श्रृंखला पर एक गुप्त कुंजी (secret key) के साथ हस्ताक्षर किए जाते हैं जो केवल संगठन के पास होती है, और इसे इस तरह डिज़ाइन किया गया है कि कोई भी, यहाँ तक कि कंपनी के बाहर का व्यक्ति भी, सत्यापित कर सके कि रिकॉर्ड वास्तविक है और इसमें कोई छेड़छाड़ नहीं की गई है। यह कानूनी जांच या जांच के दौरान यह साबित करने का एक तरीका प्रदान करता है कि क्या हुआ था।
पाँचवाँ भाग है सप्लाई चेन वेरिफिकेशन (आपूर्ति श्रृंखला सत्यापन), जो पूछता है कि एजेंट वास्तव में किस चीज़ से बना है। भले ही एक एजेंट की पहचान कर ली जाए और उसके कार्यों को मंजूरी दे दी जाए, फिर भी वह अपने सॉफ़्टवेयर के समझौता किए गए संस्करण पर चल रहा हो सकता है। शोधकर्ताओं ने एजेंट के घटकों—उसके कोड, उसके डेटा और उसकी निर्भरताओं—की जाँच करने के लिए उपकरण बनाए हैं—लेकिन ये उपकरण वर्तमान में वास्तविक समय की सुरक्षा जाँचों से अलग काम करते हैं। जबकि शोधकर्ता तर्क देते हैं कि यह सत्यापन आवश्यक है क्योंकि टूटे हुए हिस्सों पर निर्मित एक पूर्णतः पहचाना गया एजेंट भी खतरनाक है, यह विशिष्ट जाँच अभी भी वास्तविक समय में कार्यों को नहीं रोकती है; यह तत्काल प्राधिकरण प्रक्रिया के बजाय एक अलग विकास चरण के रूप में बनी हुई है।
शोधकर्ताओं ने निजी परीक्षणों में कुछ संगठनों के साथ अपने सिस्टम का परीक्षण किया। उन्होंने पाया कि पाँच में से चार भाग पूरी तरह से बने हुए और काम कर रहे हैं, जबकि पाँचवाँ भाग अभी भी एक अलग टूल के रूप में विकसित किया जा रहा है। वे इस नए दृष्टिकोण की लागतों के बारे में ईमानदार थे। क्योंकि सिस्टम हर अनुरोध की जाँच होने से पहले करता है, यह प्रक्रिया में थोड़ा विलंब जोड़ देता है। इसके लिए एक छोटा सहायक प्रोग्राम, जिसे साइडकार (sidecar) कहा जाता है, की भी आवश्यकता होती है, जो उसकी पहचान प्रबंधित करने के लिए प्रत्येक एजेंट के साथ चलता है। सबसे महत्वपूर्ण बात यह है कि यदि सुरक्षा प्रणाली स्वयं डाउन हो जाती है, तो एजेंटों को सुरक्षित रहने के लिए काम करना बंद करना होगा। इसका मतलब है कि सुरक्षा प्रणाली की विफलता से व्यवसाय में रुकावट आती है, जो एक ऐसा समझौता है जिसे शोधकर्ता नुकसान को रोकने के लिए आवश्यक मानते हैं।
सबसे आश्चर्यजनक निष्कर्षों में से एक यह था कि सिस्टम को स्वयं को भी शासित करना चाहिए। शोधकर्ताओं ने महसूस किया कि एजेंटों को प्रबंधित करने के लिए उन्होंने जो उपकरण बनाए हैं, वे स्वयं भी स्वचालित प्रोग्राम हैं। उन्होंने अपने स्वयं के प्रबंधन उपकरणों को ग्राहक एजेंटों के समान सुरक्षा जाँचों के माध्यम से चलाने का निर्णय लिया। इसका अर्थ है कि सिस्टम अपने स्वयं के पहचान की जाँच करता है, यह तय करता है कि क्या उसके अपने कार्यों की अनुमति है, और अपने स्वयं के निर्णयों को उसी अपरिवर्तनीय श्रृंखला में रिकॉर्ड करता है। यह सुनिश्चित करता है कि जिन लोगों ने सुरक्षा प्रणाली बनाई है, वे दूसरों के लिए बनाए गए नियमों को बायपास नहीं कर सकते।
शोधकर्ता इस बात पर जोर देते हैं कि उनका काम कृत्रिम बुद्धिमत्ता मॉडल के सोचने या व्यवहार करने के तरीके को बदलने के बारे में नहीं है। वे यह मानकर चलते हैं कि मॉडल अपने इच्छित कार्य कर रहे हैं और इसके बजाय उन नियमों पर ध्यान केंद्रित करते हैं जो वे क्या करने की अनुमति रखते हैं। उनका तर्क है कि केवल मॉडलों में सुधार करके समस्या को ठीक करने की कोशिश करना पर्याप्त नहीं है, क्योंकि एक सुव्यवस्थित मॉडल को भी इस बात की सीमाएँ चाहिए कि वह क्या एक्सेस कर सकता है और क्या बदल सकता है। उनका समाधान एक व्यावहारिक ढांचा है जिसका उपयोग संगठन इन नए, अप्रत्याशित एजेंटों को आज प्रबंधित करने के लिए कर सकते हैं। समस्या को पाँच स्पष्ट प्रश्नों में तोड़कर, वे एक रोडमैप प्रदान करते हैं कि कैसे कोई भी इन शक्तिशाली उपकरणों को एक सुरक्षित, नियंत्रित वातावरण में लाने का प्रयास कर रहा है। काम अभी समाप्त नहीं हुआ है, और सिस्टम का पाँचवाँ भाग अभी भी एकीकृत किया जा रहा है, लेकिन मूल विचार—कि इन एजेंटों की वास्तविक समय में निगरानी और जाँच की जानी चाहिए—एक आवश्यक वास्तुशिल्प दृष्टिकोण के रूप में प्रस्तावित किया गया है, जिसका डिज़ाइन तर्क व्यापक परिनियोजन आबादी के व्यापक परिणामों के बजाय कार्यान्वयन के माध्यम से मान्य किया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।