Governable agentic intelligence: a lifecycle framework linking capability, assurance, and oversight in large language model agents
यह शोध पत्र एजेंटिक इंटेलिजेंस लाइफसाइकिल (AIL) का परिचय देता है, जो एक छह-स्तरीय ढांचा है जो एजेंटिक एआई सिस्टम में निहित "अश्योरेंस डेब्ट" (assurance debt) को संबोधित करने के लिए क्षमता, मूल्यांकन और शासन को एकीकृत करता है, और अवलोकन योग्य, उत्तरदायी एवं सुशासित एजेंट बनाने के लिए एक नया अनुसंधान एजेंडा प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
पिछले कुछ वर्षों में, आर्टिफिशियल इंटेलिजेंस (AI) में एक शांत लेकिन गहरा बदलाव आया है। लंबे समय तक, ये सिस्टम बहुत ही प्रतिभाशाली पुस्तकालयाध्यक्षों (librarians) की तरह थे: आप उनसे कोई प्रश्न पूछते थे, और वे अपने विशाल आंतरिक ज्ञान को खोजकर आपको उत्तर देते थे। यदि उत्तर गलत होता था, तो आप बस फिर से पूछते थे या स्वयं उसे ढूँढ लेते थे। कंप्यूटर विचार करता था, लेकिन निर्णय मनुष्य लेता था। हालाँकि, आज एक नए प्रकार के सॉफ्टवेयर का उदय हो रहा है जो केवल प्रश्नों के उत्तर नहीं देता; बल्कि वह कार्य भी करता है। ये सिस्टम, जिन्हें अक्सर "एजेंटिक" (agentic) AI कहा जाता है, एक लक्ष्य को देख सकते हैं, उसे चरणों में विभाजित कर सकते हैं, इंटरनेट पर जानकारी खोज सकते हैं, गणना करने या चीजें बनाने के लिए सॉफ्टवेयर टूल्स का उपयोग कर सकते हैं, और यहाँ तक कि काम पूरा करने के लिए अन्य समान सिस्टम से बात भी कर सकते हैं। वे अब केवल वाक्य में अगले शब्द की भविष्यवाणी नहीं कर रहे हैं; वे दुनिया को बदलने के लिए एक डिजिटल दुनिया में नेविगेट कर रहे हैं।
यह नई क्षमता चुनौतियों का एक अनूठा सेट लेकर आती है। जब एक कंप्यूटर केवल एक कहानी लिखता है, तो गलती केवल एक टाइपो (typo) होती है। लेकिन जब एक कंप्यूटर को उड़ान बुक करने, पैसे ट्रांसफर करने या औद्योगिक मशीनरी को नियंत्रित करने का अधिकार दिया जाता है, तो एक गलती के वास्तविक दुनिया में गंभीर परिणाम हो सकते हैं। शोधकर्ताओं के लिए केंद्रीय प्रश्न अब यह नहीं है कि क्या ये सिस्टम किसी समस्या को हल करने के लिए पर्याप्त स्मार्ट हैं, बल्कि यह है कि क्या उन पर सुरक्षित रूप से कार्य करने के लिए भरोसा किया जा सकता है। यदि किसी सिस्टम को बहुत अधिक स्वतंत्रता दी जाती है, तो वह बिना किसी के ध्यान दिए एक हानिकारक निर्णय ले सकता है। यदि इसे बहुत कम स्वतंत्रता दी जाती है, तो यह बेकार हो जाता है। सही संतुलन बनाना इस नए युग की सबसे बड़ी चुनौती है।
आर्डन यूनिवर्सिटी के एक शोधकर्ता हैरी उदोह ने हाल ही में इन बुद्धिमान एजेंटों के पूरे परिदृश्य का अध्ययन करके इस समस्या का समाधान निकाला है। एक एकल सॉफ्टवेयर का अध्ययन करने के बजाय, उदोह ने 2024 और 2026 के बीच प्रकाशित उन्नीस प्रमुख समीक्षा लेखों का परीक्षण किया। इन समीक्षाओं में तकनीक के बुनियादी निर्माण खंडों से लेकर उनके परीक्षण और सुरक्षा के तरीकों तक सब कुछ शामिल था। इन अलग-अलग धागों को एक साथ बुनकर, उदोह ने पूरी तस्वीर देखने का एक नया तरीका बनाया, और यह तर्क दिया कि हमें इन सिस्टमों को केवल स्मार्ट मॉडलों के संग्रह के रूप में देखना बंद करना चाहिए और उन्हें जटिल लूप के रूप में देखना शुरू करना चाहिए जहाँ सोचना, कार्य करना और जाँच करना निरंतर चलता रहता है।
उदोह के कार्य का मूल आधार "एजेंटिक इंटेलिजेंस लाइफसाइकिल" (Agentic Intelligence Lifecycle) नामक एक ढांचा है। एक सिस्टम की कल्पना छह परतों वाली एक संरचना के रूप में करें, जहाँ प्रत्येक परत अपने नीचे वाली परत पर निर्भर करती है लेकिन साथ ही नए जोखिम भी पैदा करती है। सबसे निचली परत आधार है, वह बुनियादी मॉडल जो कच्ची बुद्धिमत्ता प्रदान करता है। दूसरी परत 'कॉग्निशन' (cognition) है, जहाँ सिस्टम अपने चरणों की योजना बनाता है और पिछली घटनाओं को याद रखता है। तीसरी परत 'ग्राउंडिंग' (grounding) है, जो सिस्टम को टूल्स और सूचना प्राप्ति के माध्यम से बाहरी दुनिया से जोड़ती है। चौथी परत 'ऑर्केस्ट्रेशन' (orchestration) है, जहाँ सिस्टम अपने कार्यों का समन्वय करता है या अन्य एजेंटों के साथ मिलकर काम करता है। पाँचवीं परत 'इवैल्यूएशन' (evaluation) है, जहाँ सिस्टम यह जाँचता है कि क्या वह अच्छा काम कर रहा है। शीर्ष परत 'गवर्नेंस' (governance) है, जिसमें मानवीय निरीक्षण और सुरक्षा नियम शामिल हैं।
इस शोध का सबसे महत्वपूर्ण निष्कर्ष "अश्योरेंस डेट" (assurance debt - आश्वासन ऋण) की अवधारणा है। सॉफ्टवेयर की दुनिया में, ऋण आमतौर पर विकास के दौरान लिए गए शॉर्टकट को संदर्भित करता है जिसे बाद में चुकाना पड़ता है। उदोह का सुझाव है कि हर बार जब हम एक AI एजेंट को एक नई क्षमता देते हैं, तो हम उन जोखिमों और उन नियंत्रणों के बीच एक नया अंतर भी पैदा करते हैं जो उन जोखिमों को प्रबंधित करने के लिए आवश्यक हैं। उदाहरण के लिए, एक एजेंट को जानकारी के लिए इंटरनेट खोजने की क्षमता देने से वह अधिक स्मार्ट बनता है, लेकिन इससे यह जोखिम भी पैदा होता है कि वह पुरानी या भ्रामक जानकारी पा सकता है। उसे मेमोरी (स्मृति) देने से वह समय के साथ अधिक सहायक बनता है, लेकिन इससे यह जोखिम भी पैदा होता है कि वह अनजाने में निजी डेटा लीक कर सकता है। शोध से पता चलता है कि ये जोखिम केवल दुष्प्रभाव नहीं हैं; ये नई क्षमताओं की प्रत्यक्ष लागत हैं। यदि एक सिस्टम के पास एक शक्तिशाली नया टूल है लेकिन उस टूल की निगरानी के लिए समान रूप से शक्तिशाली तरीका नहीं है, तो "ऋण" बढ़ता जाता है।
उदोह का तर्क है कि यही ऋण बताता है कि क्यों कई AI सिस्टम परीक्षणों में प्रभावशाली दिखते हैं लेकिन वास्तविक दुनिया में विफल हो जाते हैं। एक परीक्षण में, एक सिस्टम को पहेली सुलझाने के लिए कहा जा सकता है, और वह सफल होता है। लेकिन वास्तविक दुनिया में, वही सिस्टम किसी ऐसे बदलाव को करने के लिए टूल का उपयोग कर सकता है जिसे बदला न जा सके, या यह ऐसी गलती पर निर्भर हो सकता है जो कई दिन पहले की हो। शोध का सुझाव है कि हम केवल इस बात का परीक्षण नहीं कर सकते कि एक सिस्टम कार्य को कितनी अच्छी तरह पूरा करता है; हमें उस पूरे मार्ग का परीक्षण करना चाहिए जो वह वहाँ तक पहुँचने के लिए अपनाता है। क्या उसने तथ्यों की जाँच की? क्या उसने कार्य करने से पहले अनुमति मांगी? क्या उसके पास चीजों को गलत होने से रोकने का कोई तरीका था?
इसे संबोधित करने के लिए, यह शोध इन सिस्टमों के मूल्यांकन के लिए एक नया तरीका प्रस्तावित करता है, जो साधारण चेकलिस्ट से आगे जाता है। यह पूछने के बजाय कि "क्या एजेंट ने काम पूरा किया?", हमें एजेंट द्वारा किए जाने वाले प्रत्येक कार्य के बारे में पाँच विशिष्ट प्रश्न पूछने चाहिए। पहला, एजेंट को कितनी जानकारी देखने की अनुमति है? दूसरा, उसे कौन से निर्णय लेने की अनुमति है? तीसरा, उसे बाहरी दुनिया में क्या परिवर्तन करने की अनुमति है? चौथा, हमें कैसे पता चलेगा कि वह सफल रहा? और पाँचवाँ, यदि आवश्यक हो तो कोई मनुष्य हस्तक्षेप करके उसे कैसे रोक सकता है? यह दृष्टिकोण सुरक्षा को एक अतिरिक्त चीज़ (add-on) के रूप में नहीं, बल्कि डिज़ाइन के एक मौलिक हिस्से के रूप में देखता है। यह सुझाव देता है कि एक एजेंट जितना शक्तिशाली होता जाता है, हमें उन नियमों को उतनी ही सावधानी से डिजाइन करना चाहिए जो उसे सीमित करते हैं।
यह शोध इस विचार को भी चुनौती देता है कि कई एजेंटों का एक साथ काम करना हमेशा सुरक्षित होता है। हालांकि ऐसा लग सकता है कि एजेंटों का एक समूह एक-दूसरे के काम की जाँच कर सकता है, अध्ययन बताता है कि यदि वे सभी एक ही अंतर्निहित मस्तिष्क या एक ही सूचना स्रोतों का उपयोग करते हैं, तो वे सभी एक ही समय में एक ही गलती कर सकते हैं। इसका अर्थ है कि एजेंटों का एक समूह कभी-कभी सुरक्षा का एक झूठा अहसास पैदा कर सकता है, जहाँ सभी एक गलत उत्तर पर सहमत होते हैं। इसी तरह, पेपर अन्य स्वचालित प्रणालियों की गुणवत्ता का न्याय करने के लिए अत्यधिक स्वचालित प्रणालियों पर निर्भर रहने के विरुद्ध चेतावनी देता है, क्योंकि वे अपने स्वयं के पूर्वाग्रह विकसित कर सकते हैं।
अंततः, यह शोध निष्कर्ष निकालता है कि आर्टिफिशियल इंटेलिजेंस का भविष्य नियंत्रण के बारे में हमारी सोच में बदलाव पर निर्भर करता है। हम केवल स्मार्ट मशीनें बनाकर यह उम्मीद नहीं कर सकते कि वे अच्छा व्यवहार करेंगी। हमें ऐसे सिस्टम बनाने चाहिए जहाँ कार्य करने की क्षमता, देखे जाने, बाधित किए जाने और सुधारा जाने की क्षमता के बराबर हो। लक्ष्य इन सिस्टमों को उपयोगी होने से रोकना नहीं है, बल्कि यह सुनिश्चित करना है कि उनकी उपयोगिता सुरक्षा की कीमत पर न आए। इन एजेंटों के जीवनचक्र और उनकी शक्ति के साथ आने वाले ऋण को समझकर, शोधकर्ता और डेवलपर्स ऐसे सिस्टम बना सकते हैं जो न केवल सक्षम हों, बल्कि शासन योग्य (governable) भी हों, जिससे मानव का नियंत्रण वहाँ बना रहे जहाँ इसकी सबसे अधिक आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।