GAAR: Runtime Governance for Scalable Agentic Retrieval and Tool- Orchestrated Enterprise AI Systems
यह शोध पत्र GAAR को प्रस्तुत करता है, जो एक रनटाइम गवर्नेंस आर्किटेक्चर है और जो प्लानर एजेंटों तथा टूल निष्पादन के बीच स्थित है, जो व्यापक सिंथेटिक बेंचमार्किंग के माध्यम से प्रदर्शित किया गया है कि यह एंटरप्राइज एआई सिस्टम में मामूली विलंबता (लेटेंसी) वृद्धि के साथ, नीति उल्लंघन और असुरक्षित टूल कॉल्स को काफी कम करता है और फाइबेफुलनेस (faithfulness) एवं ऑडिट अनुपालन में सुधार करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल आपसे चैट ही नहीं करते, बल्कि वास्तव में काम भी करते हैं। वे आपके बैंक रिकॉर्ड देख सकते हैं, फ्लाइट बुक कर सकते हैं, या सर्वर क्रैश को ठीक कर सकते हैं। यह "एजेंटिक एआई" (Agentic AI) का रोमांचक मोर्चा है। इन एजेंटों को एक स्मार्ट डिजिटल इंटर्न के रूप में सोचें। वे रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) नामक एक आधार पर बने होते हैं। यदि एक सामान्य एआई याददाश्त से उत्तर देने की कोशिश करने वाले छात्र की तरह है, तो RAG उसी छात्र की तरह है जिसे उत्तर देने से पहले पाठ्यपुस्तक खोलने की अनुमति दी गई है। यह उत्तर देने से पहले तथ्यों की खोज करता है, जो इसे बहुत अधिक सटीक बनाता है।
लेकिन यहाँ एक पेंच है: जब आप एक डिजिटल इंटर्न को ऑफिस, इमारत और बैंक खाते की चाबियाँ सौंपते हैं, तो आपको एक बहुत ही सख्त मैनेजर की आवश्यकता होती है। आप बस यह अनुमान लगाने के लिए इंटर्न को नहीं छोड़ सकते कि क्या उसे तिजोरी खोलने की अनुमति है। उन्हें अपना आईडी चेक करना होगा, समय सत्यापित करना होगा, यह पुष्टि करनी होगी कि बॉस ने "हाँ" कहा है, और यह सुनिश्चित करना होगा कि उन्होंने किसी फर्जी निर्देश को नहीं पढ़ा है। यह रनटाइम गवर्नेंस (Runtime Governance) की समस्या है। यह उन नियमों और जांचों का समूह है जो एआई के काम करने के दौरान होते हैं, यह सुनिश्चित करते हुए कि वह अनजाने में कानून न तोड़ दे, रहस्य लीक न कर दे, या कुछ खतरनाक न कर दे। इसके बिना, एक सहायक एआई एक अराजक एआई बन सकता है।
समस्या: डिजिटल इंटर्न का "वाइल्ड वेस्ट"
यहाँ आता है GAAR (गवर्नेंस-अवेयर एजेंटिक रिट्रीवल), एक नया सिस्टम जिसे एआई एजेंटों के लिए उस सख्त, अत्यधिक संगठित मैनेजर के रूप में डिज़ाइन किया गया है। इस शोध पत्र के पीछे के शोधकर्ताओं ने देखा कि जबकि एआई एजेंट मल्टी-स्टेप कार्यों की योजना बनाने में बेहतर हो रहे हैं, वे अक्सर बहुत अधिक भरोसेमंद होते हैं। एक एजेंट को एक ऐसा दस्तावेज़ मिल सकता है जो उपयोगी लग रहा हो, लेकिन क्या होगा अगर वह पुराना हो? क्या होगा अगर पूछने वाला उपयोगकर्ता वास्तव में उसे देखने का हकदार नहीं है? क्या होगा अगर एजेंट एक ऐसे टूल (जैसे ईमेल भेजना) का उपयोग करने की कोशिश करता है जिसे छूने की उसे अनुमति नहीं है?
अतीत में, हमने इसे एआई के बोलने के बाद "गार्डरेल्स" (जैसे कि बुरे शब्दों को ब्लॉक करने वाला फ़िल्टर) लगाकर या सरल, स्थिर नियमों का उपयोग करके ठीक करने की कोशिश की है। लेकिन लेखक का तर्क है कि ये तरीके उस फिनिश लाइन पर स्पीड बंप लगाने जैसे हैं जहाँ कार पहले ही निकल चुकी है। तब तक नुकसान हो चुका होता है। वे यह भी तर्क देते हैं कि केवल एआई को "स्वयं सुधार" (self-correct) करने देने से काम नहीं चलेगा क्योंकि एआई को यह एहसास नहीं हो सकता कि वह कंपनी के किसी जटिल नियम का उल्लंघन कर रहा है।
समाधान: "डिसीजन पासपोर्ट" (निर्णय पासपोर्ट)
यह शोध पत्र GAAR को एक मिडिलवेयर लेयर के रूप में पेश करता है—एक डिजिटल चेकपॉइंट जो एआई के "मस्तिष्क" (प्लानर) और उसके "हाथों" (उन टूल्स का जो वह उपयोग करता है) के बीच स्थित है।
कल्पना कीजिए कि एक एआई एजेंट एक कार्य करना चाहता है, जैसे कि "CEO को रिपोर्ट भेजें।" इसे सीधे करने के बजाय, एआई को GAAR मैनेजर को एक डिसीजन पासपोर्ट (Decision Passport) सौंपना होगा। यह पासपोर्ट केवल एक अनुरोध नहीं है; यह एक संरचित दस्तावेज़ है जिसमें शामिल है:
- साक्ष्य (The Evidence): "इस रिपोर्ट को पुख्ता करने के लिए मैंने जो दस्तावेज़ पाए हैं, वे यहाँ हैं।"
- अधिकार (The Authority): "यहाँ प्रमाण है कि पूछने वाला व्यक्ति इसे देखने का अधिकार रखता है।"
- जोखिम की जाँच (The Risk Check): "मैंने जाँच लिया है कि क्या यह एक संवेदनशील विषय है।"
- ऑडिट ट्रेल (The Audit Trail): "यहाँ वह रिकॉर्ड है जो मैं करने जा रहा हूँ।"
GAAR मैनेजर फिर एक तीव्र-गति वाली जाँच करता है। वह पासपोर्ट की नियमों (पॉलिसी) के विरुद्ध जाँच करता है। यदि साक्ष्य पुराना (stale) है, तो पासपोर्ट पर "संशोधित करें" (Revise) की मुहर लगती है। यदि उपयोगकर्ता के पास सही आईडी नहीं है, तो उस पर "ब्लॉक" (Block) की मुहर लगती है। यदि जोखिम बहुत अधिक है, तो इसे "मानवीय समीक्षा" (Human Review) के लिए भेजा जाता है। केवल तभी जब पासपोर्ट पूरी तरह से स्टैम्प और स्वीकृत हो जाता है, एआई को कार्य निष्पादित करने की अनुमति मिलती है।
आंकड़े क्या कहते हैं (सिमुलेशन)
शोधकर्ताओं ने केवल इसे बनाया ही नहीं; उन्होंने एक बड़े, नियंत्रित सिमुलेशन में इसका परीक्षण किया। उन्होंने एक नकली एंटरप्राइज वातावरण बनाया जिसमें 12,000 अलग-अलग परिदृश्य थे (जैसे कि एक उपयोगकर्ता द्वारा रिफंड मांगना, एक आईटी कार्यकर्ता द्वारा सर्वर रीस्टार्ट करने की कोशिश करना, या एक प्रबंधक द्वारा बजट की जाँच करना)। उन्होंने GAAR को अन्य तरीकों के खिलाफ खड़ा किया, जिसमें मानक एआई, टूल्स के साथ एआई, और सरल नियम फिल्टर वाले एआई शामिल थे।
इन सिमुलेशन में जो हुआ वह यहाँ है:
- सुरक्षा सर्वोपरि: GAAR ने "पॉलिसी उल्लंघन" (नियम तोड़ना) को 12.9% से घटाकर 5.0% कर दिया। इसने "असुरक्षित टूल कॉल" (उन टूल्स का उपयोग करना जिन्हें उसे नहीं छूना चाहिए) को 8.6% से घटाकर 3.6% कर दिया।
- विश्वसनीय उत्तर: एआई के उत्तर अधिक "वफादार" (जो तथ्य मिले उन पर टिके रहना) हो गए, जो 0.79 से बढ़कर 0.86 हो गए।
- पेपर ट्रेल: सबसे प्रभावशाली बात यह है कि GAAR ने "ऑडिट अनुपालन" (यह सुनिश्चित करना कि हर निर्णय का रिकॉर्ड रखा जाए) को 63.4% से बढ़ाकर 96.2% कर दिया।
- लागत: इस सुरक्षा के लिए एक छोटी सी कीमत चुकानी पड़ी। उत्तर प्राप्त करने में लगने वाला औसत समय 2.7 सेकंड से बढ़कर 3.2 सेकंड हो गया। लेखक का सुझाव है कि यह एक उचित सौदा है: एक बड़ी सुरक्षा चूक से बचने के लिए आधा सेकंड अधिक प्रतीक्षा करना सार्थक है।
उन्होंने दबाव में काम करने की क्षमता देखने के लिए 100,000 एपिसोड के साथ भी सिस्टम का परीक्षण किया। इसने थोड़ा धीमा तो हुआ लेकिन काम करता रहा, जिससे साबित हुआ कि यह स्केल (विस्तारित) हो सकता है।
"क्या होगा अगर" परिदृश्य और सीमाएँ
शोध पत्र ने सिस्टम के साथ "क्या होगा अगर" का खेल भी खेला। उन्होंने नकली हमलों के साथ इसे चकमा देने की कोशिश की, जैसे कि दूसरे उपयोगकर्ता होने का नाटक करना (रोल स्पूफिंग) या पुराने नियमों को फीड करना (स्टेल-पॉलिसी सब्स्टीट्यूशन)। GAAR ने अधिकांश चालों को पकड़ लिया, जिसमें डिटेक्शन रेट लगभग 94% से 97% था। हालाँकि, लेखक बहुत सावधानी से नोट करते हैं कि ये सिम्युलेटेड हमले थे, वास्तविक हैकर्स नहीं जो सिस्टम को तोड़ने की कोशिश कर रहे हों। वे स्वीकार करते हैं कि उनके परीक्षण में उन सभी तरीकों को कवर नहीं किया गया है जिनसे एक बुरा तत्व सिस्टम को धोखा दे सकता है, इसलिए यह अभी तक एक "हल की गई" (solved) सुरक्षा समस्या नहीं है।
उन्होंने यह देखने के लिए भी एक "ब्लेम गेम" प्रयोग (एब्लेशन स्टडी) चलाया कि GAAR का कौन सा हिस्सा सबसे महत्वपूर्ण था। उन्होंने पाया कि:
- साक्ष्य (Evidence) की जाँच करना उत्तरों को सटीक बनाने की कुंजी थी।
- अधिकार (Authority) (आप कौन हैं) की जाँच करना असुरक्षित कार्यों को रोकने की कुंजी थी।
- ऑडिट ट्रेल (Audit Trail) यह रिकॉर्ड रखने के लिए आवश्यक था कि क्या हुआ।
निष्कर्ष
यह शोध पत्र प्रस्तावित करता है कि यदि हम चाहते हैं कि एआई एजेंट वास्तविक कंपनियों में काम करें, तो हम उन्हें बेतहाशा नहीं छोड़ सकते। हमें GAAR जैसे सिस्टम की आवश्यकता है जो एक गेटकीपर के रूप में कार्य करे, एआई द्वारा कार्रवाई करने से पहले प्रत्येक कदम की जाँच करे। उनके सिमुलेशन के परिणाम बताते हैं कि यह दृष्टिकोण काम करता है: यह एआई को सुरक्षित, अधिक ईमानदार और ट्रैक करने में आसान बनाता है, और गति में केवल मामूली देरी होती है।
हालाँकि, लेखक स्पष्ट हैं: यह एक सिमुलेशन है। उन्होंने अभी तक इसे किसी लाइव, वास्तविक कंपनी में टेस्ट नहीं किया है। वे सुझाव देते हैं कि भविष्य के कार्यों को यह देखना होगा कि जब वास्तविक मनुष्य शामिल होते हैं और नियम चलते-फिरते बदलते हैं, तो यह कैसे टिकता है। लेकिन फिलहाल, GAAR भविष्य के जंगली डिजिटल इंटर्न को वश में करने के लिए एक आशाजनक ब्लूप्रिंट प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।