Intelligence as Managed Autonomy: Failure, Escalation, and Governance for Agentic AI Systems
यह शोध पत्र SMARt मॉडल का प्रस्ताव करता है, जो कि 'टाइमड, गार्डेड पेट्री नेट्स' (timed, guarded Petri nets) पर आधारित एक चार-स्तरीय वास्तुशिल्प ढांचा है, जिसका उद्देश्य एजेंटिक एआई (agentic AI) प्रणालियों में "प्रबंधित स्वायत्तता" (managed autonomy) को औपचारिक रूप देना है ताकि वे एपिस्टेमिक ड्रिफ्ट (epistemic drift) का पता लगा सकें, संचालन को निलंबित कर सकें और विश्वसनीयता कम होने पर सुरक्षा एवं शासन सुनिश्चित करने के लिए नियंत्रण को उच्च स्तर तक बढ़ा सकें।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "इंटेलिजेंस एज़ मैनेज्ड ऑटोनॉमी" (Intelligence as Managed ) पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।
मुख्य समस्या: "आत्मविश्वासी मूर्ख" (The "Confident Fool")
कल्पना कीजिए कि आपने अपनी कार चलाने के लिए एक बहुत ही बुद्धिमान, आत्मविश्वासी सहायक को काम पर रखा है। यह सहायक निर्देश मानने में माहिर है और इसे रास्ता भी पता है। हालाँकि, यदि सड़क पर कोहरा छा जाए, जीपीएस (GPS) सिग्नल टूट जाए, या इंजन से कोई अजीब आवाज़ आने लगे, तो यह सहायक रुकता नहीं है। इसके बजाय, यह पूरे आत्मविश्वास के साथ गाड़ी चलाता रहता है, अंदाज़े के आधार पर एक नया रास्ता बना लेता है, और दावा करता है कि सब कुछ ठीक है।
AI की दुनिया में, इसे हैलुसिनेशन (Hallucination) या अनग्राउंडेड एक्शन (Ungrounded Action) कहा जाता है। यह पेपर एक खतरनाक धारणा के साथ बनाया गया है: "एक बार जब आपको गाड़ी चलाने की अनुमति मिल गई, तो आपको तब तक गाड़ी चलाते रहना है जब तक कि कोई दूसरा 'रुको' न चिल्लाए।"
लेखक, डॉ. श्रीनी रामास्वामी का कहना है कि यह AI के दिमाग की गलती नहीं है, बल्कि यह इसके डिज़ाइन की खामी है। AI को इस तरह डिज़ाइन किया गया है कि वह तब तक नहीं रुकता जब तक उसे मजबूर न किया जाए, जब तक कि वह यह न कह सके, "मुझे नहीं पता।"
समाधान: "SMARt" ड्राइवर
इसे ठीक करने के लिए, पेपर एक नया फ्रेमवर्क पेश करता है जिसे SMARt (सेल्फ-मैनेजिंग मल्टी-टियर ऑटोनॉमस रीजनिंग विद रेगुलेटेड/रिवोक्ड ट्रांज़िशन्स) कहा जाता है।
SMARt को केवल एक बेहतर ड्राइवर के रूप में नहीं, बल्कि कार के भीतर ही निर्मित एक सख्त ट्रैफिक कानून प्रणाली के रूप में देखें। ड्राइवर को यह तय करने देने के बजाय कि कब रुकना है, कार में चार विशिष्ट "गियर" या अवस्थाएँ (states) होती हैं जिनके बीच उसे अपनी निश्चितता के आधार पर स्विच करना होता है।
SMARt के चार गियर
स्टेबल (The "Green Light" Gear - स्थिर अवस्था):
- यह क्या है: AI पूरी तरह आश्वस्त है, डेटा स्पष्ट है, और कार्य करना सुरक्षित है।
- नियम: AI को केवल इसी विशिष्ट गियर में उत्तर देने या कार्य करने (जैसे स्टीयरिंग घुमाने) की अनुमति है। यदि वह किसी अन्य ग적으로 गियर में कार्य करने की कोशिश करता है, तो कार का स्टीयरिंग व्हील भौतिक रूप से लॉक हो जाएगा।
मेटा-कॉग्निटिव (The "Self-Check" Gear - आत्म-जांच अवस्था):
- यह क्या है: AI महसूस करता है कि कुछ गलत है (जैसे, "जीपीएस सिग्नल कमजोर है")। वह ब्रेक लगाता है और अपने नोट्स देखता है।
- नियम: इस गियर में गाड़ी चलाना या उत्तर देना वर्जित है। उसे रुकना होगा, अपने निर्देशों को फिर से पढ़ना होगा, या आंतरिक रूप से समस्या को ठीक करने का प्रयास करना होगा। यदि वह इसे जल्दी ठीक नहीं कर पाता है, तो उसे फिर से गियर बदलना होगा।
असिस्टेड (The "Call for Help" Gear - सहायता अवस्था):
- यह क्या है: AI ने समस्या को ठीक करने की कोशिश की लेकिन सफल नहीं हुआ। उसे दूसरे के परामर्श की आवश्यकता है।
- नियम: वह मदद के लिए किसी इंसान, दूसरे AI, या डेटाबेस से संपर्क करता है। वह तब तक गाड़ी नहीं चला सकता या अंतिम उत्तर नहीं दे सकता जब तक कि बाहरी मदद यह पुष्टि न कर दे कि रास्ता सुरक्षित है।
रेगुलेटेड (The "Panic Stop" Gear - नियंत्रित अवस्था):
- यह क्या है: स्थिति बहुत खतरनाक है, या AI पूरी तरह से खो गया है और मदद भी नहीं मिल सकती।
- नियम: AI तुरंत नियंत्रण एक मानव पर्यवेक्षक (human supervisor) को सौंप देता है। वह अपनी निर्णय लेने की शक्ति को बंद कर देता है। यह "विफलता" नहीं है; इस प्रणाली में, जब चीजें बहुत जोखिम भरी हो जाती हैं, तो नियंत्रण सौंपना ही सही और सफल परिणाम है।
यह कैसे काम करता है: "ट्रैफिक लाइट" लॉजिक
पेपर एक गणितीय उपकरण का उपयोग करता है जिसे पेट्री नेट्स (Petri Nets) कहा जाता है (इसे पाइपों के माध्यम से चलते हुए टोकन वाला एक जटिल फ्लोचार्ट समझें) यह सिद्ध करने के लिए कि यह प्रणाली काम करती है।
- टोकन: कल्पना कीजिए कि एक एकल टोकन (सिक्का) है जो "कार्य करने की अनुमति" (Permission to Act) का प्रतिनिधित्व करता है।
- नियम: कार को चलाने की अनुमति देने के लिए यह सिक्का केवल "स्टेबल" गियर में ही हो सकता है।
- सुरक्षा: यदि कार किसी समस्या (जैसे कोहरा) का पता लगाती है, तो सिक्के को "सेल्फ-चेक" या "कॉल फॉर हेल्प" गियर में जाना ही होगा। जैसे ही सिक्का "स्टेबल" गियर से बाहर निकलता है, कार चल नहीं सकती। भ्रमित अवस्था में कार का चलना गणितीय रूप से असंभव है।
यह "स्मार्टनेस" को मापने का तरीका कैसे बदलता है
पेपर सुझाव देता है कि हम AI को गलत तरीके से माप रहे हैं।
- पुराना तरीका: हम कहते हैं कि एक AI स्मार्ट है यदि वह किसी कार्य को तेजी से पूरा करता है, भले ही अंत में वह गलत अनुमान लगाए।
- नया तरीका (SMARt): एक AI स्मार्ट है यदि उसे पता है कि कब रुकना है।
- यदि एक AI कहता है, "मुझे नहीं पता, मुझे जाँच करने दें," या "यह बहुत खतरनाक है, मैं इसे इंसान को सौंप रहा हूँ," तो इस फ्रेमवर्क में यह उच्च बुद्धिमत्ता का संकेत है।
- यदि कोई AI तब भी अनुमान लगाता रहता है जब उसे रुक जाना चाहिए था, तो वह संरचनात्मक रूप से "मूर्ख" है, चाहे उसकी भाषा कितनी भी प्रवाहपूर्ण क्यों न हो।
निष्कर्ष
पेपर निष्कर्ष निकालता है कि वास्तविक बुद्धिमत्ता कभी विफल न होने के बारे में नहीं है; यह विफलता को प्रबंधित करने के एक संरचित तरीके के बारे में है।
AI में इन "गियर्स" को बनाकर, हम यह सुनिश्चित करते हैं कि जब AI भ्रमित हो जाए, तो वह केवल बातें बनाना और मनगढ़ंत बातें कहना जारी न रखे। इसके बजाय, उसे मजबूर किया जाता है कि वह:
- रुके और सोचे (Self-Check)।
- मदद मांगे (Assisted)।
- या, यदि सब कुछ विफल हो जाए, तो रुक जाए और इंसान को नियंत्रण लेने दे (Regulated)।
यह "हैलुसिनेशन" को एक बग (bug) से बदलकर एक प्रबंधित प्रक्रिया में बदल देता है, जिससे यह सुनिश्चित होता है कि AI सिस्टम सुरक्षित और नियंत्रण में रहें, भले ही वे अनिश्चित हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।