← नवीनतम पेपर
💻 computer science

Who Governs Autonomous AI Execution? Execution Governance AI (EGA) V9: A Deterministic Runtime Governance Framework for Trustworthy Autonomous Workflows.

एग्जीक्यूशन गवर्नेंस एआई (ईजीए) वी9 एक नियतात्मक रनटाइम फ्रेमवर्क है जो विश्वसनीय स्वायत्त वर्कफ़्लो को सक्षम बनाता है, जो 100% निष्पादन विचलन का पता लगाने के लिए रिप्ले निरंतरता, प्रोवेनेंस सत्यापन और फेल-क्लोज्ड कंटेनमेंट को जोड़कर, बिना किसी अतिरिक्त लैंग्वेज-मॉडल ओवरहेड के शून्य फाल्स पॉजिटिव या नेगेटिव के साथ प्राप्त करता है, जबकि पोस्ट-इंसिडेंट प्रतिबंधों और साइड-इफेक्ट गारंटियों में विशिष्ट सीमाओं को पारदर्शी रूप से स्वीकार करता है।

मूल लेखक: DaeJung Byun

प्रकाशित 2026-09-02
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: DaeJung Byun

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस की दुनिया एक शांत लेकिन महत्वपूर्ण चौराहे पर खड़ी है। वर्षों से, इन प्रणालियों को टेक्स्ट जेनरेट करने, कोड लिखने या समाचारों का सारांश बनाने की उनकी क्षमता के लिए सराहा गया है, जो सोचने और बोलने वाले शक्तिशाली सहायकों के रूप में कार्य करते हैं। लेकिन एक नया चरण शुरू हो रहा है जहाँ ये सिस्टम केवल बात नहीं कर रहे हैं; वे कार्य कर रहे हैं। उन्हें जटिल कार्यों को निष्पादित करने के लिए कहा जा रहा है, जैसे कि आपूर्ति खरीदना, डिजिटल खातों का प्रबंधन करना, या विभिन्न सॉफ्टवेयर प्लेटफॉर्मों के बीच वर्कफ़्लो का समन्वय करना। शब्दों को उत्पन्न करने से कार्यों को करने की ओर यह बदलाव एक मौलिक समस्या पेश करता है: जब कोई मशीन वास्तविक दुनिया में कदम उठाना शुरू करती है, तो हम उस पर भरोसा कैसे करें? यदि कोई मानव कर्मचारी गलती करता है, तो हम उनके काम की समीक्षा कर सकते हैं और उसे सुधार सकते हैं। लेकिन यदि एक स्वायत्त एजेंट (autonomous agent) वर्कफ़्लो चलाते समय गलत निर्णय लेता है, तो वह तुरंत पैसे ट्रांसफर कर सकता है, एक फ़ाइल डिलीट कर सकता है, या किसी सिस्टम को अस्तित्व से बाहर कर सकता है। चुनौती केवल AI को स्मार्ट बनाने की नहीं है, बल्कि एक ऐसी सुरक्षा प्रणाली बनाने की है जो वास्तविक समय में AI के कार्यों पर नज़र रखे, यह सुनिश्चित करते हुए कि वह बिना धीमा हुए या भारी लागत के बिना नियमों का पालन करे।

इस संदर्भ में, डेजंग ब्युन (DaeJung Byun) नामक एक शोधकर्ता ने 'एग्जीक्यूशन गवर्नेंस एआई' (Execution Governance AI), या EGA V9 नामक एक नया ढांचा प्रस्तावित किया है। यह प्रणाली इन स्वायत्त एजेंटों के लिए एक सख्त, स्वचालित पर्यवेक्षक के रूप में कार्य करने के लिए डिज़ाइन की गई है। यह अनुमान लगाने के बजाय कि क्या AI का निर्णय संभावना के आधार पर अच्छा है या बुरा, EGA V9 एक अलग दृष्टिकोण अपनाता है: यह कार्य के निष्पादन को एक रिकॉर्ड की गई फिल्म की तरह मानता है जिसे तुरंत फिर से चलाया (playback) जा सकता है। मूल विचार यह है कि यदि आप जानते हैं कि AI को वास्तव में क्या करना चाहिए था और आपके पास इस बात का सटीक रिकॉर्ड है कि उसने वास्तव में क्या किया, तो आप अंतर को तुरंत पहचान सकते हैं। यह प्रणाली AI द्वारा उठाए गए हर कदम को कैप्चर करके काम करती है, कार्य शुरू होने के क्षण से लेकर उसके समाप्त होने के क्षण तक। फिर यह उन चरणों का एक "रीप्ले" (replay) मिलीसेकंड में चलाती है ताकि यह देखा जा सके कि परिणाम योजना से मेल खाता है या नहीं। यदि AI विचलित होने की कोशिश करता है, शायद किसी ऐसे टूल का उपयोग करके जिसे छूने की अनुमति नहीं थी या लेनदेन में कोई संख्या बदलकर, तो सिस्टम विसंगति का पता लगा लेता है और नुकसान पहुँचाने से पहले ही क्रिया को रोक देता है।

शोधकर्ताओं ने इस ढांचे का कड़ाई से परीक्षण किया ताकि यह देखा जा सके कि क्या यह वास्तविक दुनिया के परिदृश्यों की अराजकता को संभाल सकता है। उन्होंने हजारों परीक्षण स्थितियाँ बनाईं, जिनमें एक वस्तु खरीदने जैसे सरल कार्यों से लेकर जटिल, दुर्भावनापूर्ण प्रयास शामिल थे जहाँ एक हमलावर ने सिस्टम को अनधिकृत खरीदारी करने या सुरक्षा नियमों को बायपास करने के लिए धोखा देने की कोशिश की। इन परीक्षणों में, सिस्टम को 10,000 अलग-अलग वर्कफ़्लो प्रोसेस करने के लिए कहा गया। मूल्यांकित परिदृश्यों के भीतर परिणाम आश्चर्यजनक रूप से सुसंगत थे। ढांचे ने हर उस मामले का पता लगाया जहाँ AI ने नियमों को तोड़ने की कोशिश की थी, इन विशिष्ट परीक्षणों में 100 प्रतिशत त्रुटियों को पकड़ा और कभी भी किसी सुरक्षित क्रिया को खतरनाक के रूप में गलत तरीके से चिह्नित नहीं किया। इसने पूर्ण सटीकता के साथ ऐसा किया, जिसका अर्थ है कि पूरे परीक्षणों की सीमा में इसमें कोई गलत अलार्म नहीं था और न ही कोई छूटा हुआ खतरा था, जिसमें बिल्कुल वैध काम की तरह दिखने वाले कठिन मामले भी शामिल थे। हालाँकि, शोधकर्ता स्पष्ट करते हैं कि ये परिणाम मूल्यांकित परिदृश्यों के भीतर 'एग्जीक्यूशन-डाइवर्जेंस डिटेक्शन' (execution-divergence detection) को दर्शाते हैं और इन्हें सभी रनटाइम-सुरक्षा गुणों की गारंटी के रूप में नहीं समझा जाना चाहिए।

इस दृष्टिकोण को जो बात विशेष रूप से उल्लेखनीय बनाती है, वह है इसकी कार्यक्षमता। आमतौर पर, कंप्यूटर सिस्टम में सुरक्षा परत जोड़ने से उसकी गति धीमी हो जाती है या इसके लिए महंगे अतिरिक्त कंप्यूटिंग पावर की आवश्यकता होती है। हालाँकि, EGA V9 को उसी मशीन पर स्थानीय रूप से चलाने के लिए डिज़ाइन किया गया था जिस पर AI चल रहा है, बिना किसी अलग, शक्तिशाली कंप्यूटर से मदद मांगे। परीक्षणों ने दिखाया कि सिस्टम ने प्रक्रिया में लगभग कोई देरी नहीं की। एक एकल चरण को सत्यापित करने में लगने वाला समय हजारवें सेकंड में मापा गया था, विशेष रूप से सबसे तेज़ जाँचों के लिए लगभग 0.003 मिलीसेकंड। इसके अलावा, सिस्टम को उन लार्ज लैंग्वेज मॉडल्स (LLMs) को कॉल करने की आवश्यकता नहीं थी जो AI को शक्ति प्रदान करते हैं, और न ही इसे बाहरी सेवाओं को अतिरिक्त अनुरोध भेजने की आवश्यकता थी। इसका मतलब है कि सुरक्षा जाँच तुरंत और मुफ्त में होती है, समय और धन दोनों के मामले में, जिससे AI निरंतर निगरानी के तहत पूर्ण गति से कार्य कर पाता है।

यह ढांचा पांच अलग-अलग परतों पर बना है जो एक सुरक्षित वातावरण बनाने के लिए मिलकर काम करती हैं। पहली परत, ट्रिनिटी कोर (Trinity Core), मेमोरी के रूप में कार्य करती है, जो प्रत्येक स्टेट चेंज और क्रिया को रिकॉर्ड करती है ताकि इसे बाद में रीप्ले किया जा सके। दूसरी परत, प्रोवेनेंस लेयर (Provenance Layer), कारण और प्रभाव का एक मानचित्र बनाती है, जो ठीक से ट्रैक करती है कि किस निर्णय से कौन सी क्रिया हुई। यदि मानचित्र में कोई टूटा हुआ लिंक या गायब चरण दिखता है, तो सिस्टम जान जाता है कि कुछ गलत है। तीसरी परत, कंटेनमेंट लेयर (Containment Layer), वह गार्ड है जो समस्या मिलने पर हस्तक्षेप करता है। यदि सिस्टम पता लगाता है कि AI अपने नियमों के बाहर काम कर रहा है, तो यह परत तुरंत क्रिया को ब्लॉक कर देती है और वर्कफ़्लो को अलग कर देती है, जिससे किसी भी नुकसान को फैलने से रोका जा सके। चौथी परत मानव ऑपरेटरों को यह देखने के लिए एक खिड़की प्रदान करती है कि क्या हो रहा है, और पांचवीं परत शोधकर्ताओं को एक सुरक्षित, नियंत्रित वातावरण में नए प्रकार के हमलों के खिलाफ सिस्टम का परीक्षण करने की अनुमति देती है। साथ मिलकर, ये परतें एक "फेल-क्लोज्ड" (fail-closed) सिस्टम बनाती हैं, जिसका अर्थ है कि यदि सिस्टम अनिश्चित है या खतरे का पता लगाता है, तो यह क्रिया को आगे बढ़ने देने के बजाय उसे रोकने का डिफ़ॉल्ट विकल्प चुनता है।

इन प्रभावशाली परिणामों के बावजूद, शोधकर्ता यह परिभाषित करने में सावधान हैं कि उनका सिस्टम क्या कर सकता है। अध्ययन पुष्टि करता है कि यह ढांचा उन विशिष्ट कार्यों और हमलों के लिए असाधारण रूप से काम करता है जिनका परीक्षण किया गया था, लेकिन यह हर संभव खतरे के लिए सार्वभौमिक समाधान होने का दावा नहीं करता है। उदाहरण के लिए, जबकि सिस्टम सक्रिय विसंगति मौजूद रहने के दौरान निष्पादन को प्रभावी ढंग से रोकता है, इसमें अभी तक किसी AI को तत्काल खतरे के जाने के बाद भी वही बुरा कार्य दोबारा करने से स्थायी रूप से रोकने की क्षमता नहीं है। यह अभी तक यह भी गारंटी नहीं दे सकता कि कार्यों की एक जटिल श्रृंखला बिना किसी डुप्लिकेट के ठीक एक बार होगी, जो वित्तीय लेनदेन के लिए एक महत्वपूर्ण विशेषता है। इसके अतिरिक्त, जबकि सिस्टम यह ट्रैक कर सकता है कि AI आंतरिक रूप से क्या करता है, यह हर सबूत की अखंडता को पूरी तरह से सत्यापित नहीं कर सकता यदि डेटा सिस्टम तक पहुँचने से पहले ही गायब या जाली हो गया हो। ये वर्तमान परीक्षणों की विफलताएं नहीं हैं, बल्कि आज के अस्तित्व वाली तकनीक की स्पष्ट सीमाएं हैं।

इस कार्य का महत्व इस बात के प्रदर्शन में निहित है कि हम AI को बदले बिना एक सुरक्षा जाल बना सकते जो तेज़, सस्ता और विश्वसनीय है। निष्पादन को एक नियतात्मक (deterministic) प्रक्रिया के रूप में मानकर—जिसे पूर्ण निश्चितता के साथ फिर से चलाया और सत्यापित किया जा सकता है—शोधकर्ताओं ने दिखाया है कि हमें इन प्रणालियों को सुरक्षित रखने के लिए अनुमान लगाने की आवश्यकता नहीं है। सिस्टम ने साबित किया कि एक ऐसा पर्यवेक्षक होना संभव है जो हर हरकत पर नज़र रखे, मूल्यांकित दायरे के भीतर हर गलती को पकड़े, और हर उस खतरे को रोके जो सक्रिय रूप से शासित अनुरोध के दौरान पता लगाया गया हो, और यह सब कंप्यूटर के प्रदर्शन पर लगभग कोई बोझ डाले बिना। यह उन संगठनों के लिए एक व्यावहारिक मार्ग प्रदान करता है जो शक्तिशाली AI एजेंटों का उपयोग वास्तविक कार्य करने के लिए करना चाहते हैं, यह जानते हुए कि वहां एक तंत्र मौजूद है जो यह सुनिश्चित करता है कि वे कार्य सुरक्षित और सही ढंग से पूरे हों। यह कार्य दूसरों के परीक्षण, चुनौती और सुधार के लिए खुला है, जो इन निष्कर्षों को सत्यापित करने और स्वायत्त सुरक्षा की सीमाओं को आगे बढ़ाने के लिए व्यापक वैज्ञानिक समुदाय को आमंत्रित करता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →