Governing Actions, Not Agents: Institutional Attestation as a Governance Model for Autonomous AI Systems
यह शोधपत्र स्वायत्त एआई प्रणालियों के लिए एक शासन मॉडल प्रस्तावित करता है जो योजना बनाने में एजेंट की स्वायत्तता को बनाए रखता है, जबकि उच्च-जोखिम वाले कार्यों के निष्पादन को उन कार्यों तक सीमित करता है जो स्वतंत्र रूप से आधिकारिक स्रोतों द्वारा प्रमाणित हों, इरादे (intent) से क्रिप्टोग्राफिक रूप से बंधे हों, और नियत नीतियों (deterministic policies) द्वारा मान्य हों।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।
मुख्य विचार: ड्राइवर को मत देखो, चाबियों को जाँचो
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, खुद चलने वाली कार (एक AI एजेंट) है जो जटिल यात्राओं की योजना बना सकती है, अन्य कारों से बात कर सकती है, और यहाँ तक कि खुद किराने के सामान के लिए जाने का निर्णय भी ले सकती है।
वर्तमान में, अधिकांश सुरक्षा प्रणालियाँ ड्राइवर के दिमाग को देखने की कोशिश करती हैं। वे पूछती हैं: "क्या ड्राइवर दुर्घटना करने के बारे में सोच रहा है? क्या वह सही शब्दों का उपयोग कर रहा है?" यह शोध पत्र तर्क देता है कि यह गलत दृष्टिकोण है। इसके बजाय, हमें कार्य (action) को देखना चाहिए।
यह शोध पत्र एक नया नियम प्रस्तावित करता है: ड्राइवर के विचारों को नियंत्रित करने की कोशिश न करें; बस यह सुनिश्चित करें कि इग्निशन चालू करने से पहले उनके पास सही चाबियाँ और परमिट हों।
समस्या: "ब्लैक बॉक्स" ड्राइवर
अभी, AI एजेंट खतरनाक काम कर सकते हैं (जैसे सॉफ्टवेयर कोड तैनात करना या दवा प्रिस्क्राइब करना) बिना किसी इंसान द्वारा हर एक कदम की जाँच किए।
- पुराना तरीका: हम AI के "दिमाग" को देखने की कोशिश करते हैं कि क्या वह ठीक व्यवहार कर रहा है। लेकिन अगर AI स्मार्ट है, तो वह व्यवहार करता हुआ दिख सकता है जबकि वास्तव में उसने कोई तथ्य मिस कर दिया हो (जैसे, "मैंने यह नहीं जाँच की कि मरीज को एलर्जी है या नहीं" या "मैंने यह नहीं जाँच की कि सॉफ्टवेयर बिल्ड फेल हो गया")।
- खामी: AI सही टूल्स के साथ बात तो कर रहा होगा, लेकिन उसे वास्तव में यह पता नहीं होता कि दुनिया सुरक्षित है या नहीं। यह उस ड्राइवर की तरह है जो सोचता है कि सड़क साफ है, लेकिन उसने वास्तवude ट्रैफिक लाइट को देखा ही नहीं है।
समाधान: "कंसीयर्ज" (Concierge) मॉडल
यह शोध पत्र एक ऐसी प्रणाली का सुझाव देता है जिसे मानव संस्थाओं (जैसे अस्पतालों और बैंकों) द्वारा सदियों से उपयोग किया जा रहा है। व्यक्ति की निगरानी करने के बजाय, हम किसी भी कार्य के होने से पहले स्वतंत्र प्रमाण की आवश्यकता रखते हैं।
AI को एक संदेशवाहक (या कूरियर) के रूप में और एक नए सिस्टम जिसे गवर्नेंस हब (Governance Hub) कहा जाता है, उसे एक सख्त कंसीयर्ज के रूप में देखें।
यह प्रक्रिया कैसे काम करती है, चरण-दर-चरण यहाँ दिया गया है:
1. संदेशवाहक एक अनुरोध करता है (इरादा घोषित करना - Intent Declaration)
AI (संदेशवाहक) हब से कहता है: "मैं लाइव वेबसाइट पर यह सॉफ्टवेयर कोड तैनात करना चाहता हूँ।"
- हब अभी "हाँ" या "ना" नहीं कहता।
- इसके बजाय, हब संदेशवाहक को एक अद्वितीय, एक बार उपयोग होने वाला टिकट (जिसे Intent ID कहा जाता है) देता है। यह टिकट एक विशिष्ट ताले की तरह है जो केवल इसी विशिष्ट अनुरोध के लिए फिट बैठता है।
2. संदेशवाहक "सील किए हुए लिफाफे" एकत्र करता है (अटेस्टेशन - Attestation)
संदेशवाहक बस यह नहीं कह सकता कि, "मैंने कोड की जाँच की, यह ठीक है।" उसे तीन अलग-अलग, स्वतंत्र विशेषज्ञों (जिन्हें ओरेकल/Oracles कहा जाता है) के पास जाना होगा और उनसे सील किए हुए, हस्ताक्षरित लिफाफे लेने होंगे।
- ओरेकल 1 (कोड समीक्षक): कोड की जाँच करता है और एक लिफाफे पर हस्ताक्षर करता है जिसमें लिखा है, "कोड समीक्षा पास हो गई।"
- ओरेकल 2 (सुरक्षा स्कैनर): वायरस की जाँच करता है और एक लिफाफे पर हस्ताक्षर करता है जिसमें लिखा है, "कोई वायरस नहीं मिला।"
- ओरेकल 3 (टेस्ट रनर): जाँच करता है कि टेस्ट पास हुए या नहीं और एक लिफाफे पर हस्ताक्षर करता है जिसमें लिखा है, "टेस्ट पास हो गए।"
महत्वपूर्ण नियम: संदेशवाहक इन लिफाफों को खुद नहीं लिख सकता। वह केवल उन्हें एकत्र कर सकता है। लिफाफे एक विशेष डिजिटल सील के साथ हस्ताक्षरित होते हैं जो यह प्रमाणित करते हैं कि वे असली विशेषज्ञ से आए हैं, न कि किसी नकली व्यक्ति से।
3. "टिकट" को "लिफाफे" से मेल खाना चाहिए (बाइंडिंग - Binding)
संदेशवाहक लिफाफे वापस हब में लाता है। हब दो चीजें जाँचता है:
- सील्स (Seals): क्या हस्ताक्षर असली हैं? क्या विशेषज्ञों ने वास्तव में उन पर हस्ताक्षर किए हैं?
- टिकट (Ticket): क्या लिफाफे के अंदर का अद्वितीय टिकट वही है जो हब ने शुरुआत में दिया था?
- यह क्यों महत्वपूर्ण है: यह संदेशवाहक को कल के सफल टेस्ट वाले पुराने लिफाफे का उपयोग आज के फेल टेस्ट को पास करने के लिए करने से रोकता है। टिकट यह सुनिश्चित करता है कि प्रमाण ताज़ा है और यह इसी विशिष्ट कार्य से संबंधित है।
4. हब निर्णय लेता है (डिटरमिनिस्टिक पॉलिसी - Deterministic Policy)
हब नियमों (पॉलिसी) को देखता है। उदाहरण के लिए: "यदि कोड पास हो गया है, उसमें कोई वायरस नहीं है, और टेस्ट पास हो गए हैं, तो डिप्लॉयमेंट की अनुमति दें।"
- यदि लिफाफे नियमों से मेल खाते हैं, तो हब "GO" कहता है और एक अंतिम अनुमति पत्र पर हस्ताक्षर करता है।
- यदि कुछ भी गायब है या एक्सपायर हो गया है, तो हब "STOP" कहता है।
यह बेहतर क्यों है (रूपक/Metaphors)
1. "नोटरी पब्लिक" का रूपक
कल्पना कीजिए कि आप घर बेचना चाहते हैं। आप केवल विक्रेता से यह नहीं पूछते, "क्या घर सुरक्षित है?" बल्कि आप एक नोटरी पब्लिक के पास जाते हैं। नोटरी विक्रेता को व्यक्तिगत रूप से नहीं जानता; वह केवल दस्तावेजों की जाँच करता है।
- इस AI मॉडल में, हब नोटरी है।
- ओरेकल स्वतंत्र निरीक्षक (प्लंबर, इलेक्ट्रीशियन, स्ट्रक्चरल इंजीनियर) हैं।
- AI केवल कागजात पकड़ने वाला व्यक्ति है। वह निरीक्षकों के हस्ताक्षर की नकल नहीं कर सकता।
2. "बैंक वॉल्ट" का रूपक
एक उच्च-सुरक्षा वाले बैंक वॉल्ट को खोलने के लिए, आपको केवल एक चाबी की आवश्यकता नहीं होती। आपको एक ही समय में तीन अलग-अलग लोगों द्वारा तीन अलग-अलग चाबियाँ घुमाने की आवश्यकता होती है।
- AI उस व्यक्ति की तरह है जो वॉल्ट के सामने खड़ा है।
- ओरेकल तीन बैंक अधिकारियों की तरह हैं।
- AI वॉल्ट नहीं खोल सकता जब तक कि तीनों अधिकारी उस विशिष्ट लेनदेन के लिए स्वतंत्र रूप से अपनी सहमति न दे दें।
यह मॉडल क्या करता है (और क्या नहीं करता)
यह क्या करता है:
- तथ्यों की गारंटी देता है: यह सुनिश्चित करता है कि किसी भी खतरनाक कार्य के होने से पहले, स्वतंत्र विशेषज्ञों ने तथ्यों (जैसे, "दवा का इंटरैक्शन चेक किया गया था," "बिल्ड पास हुआ") को सत्यापित किया है।
- नकली बनाने से रोकता है: AI परिणामों के बारे में झूठ नहीं बोल सकता क्योंकि उसके पास साइनिंग कीज़ (signing keys) नहीं होती हैं।
- पेपर ट्रेल बनाता है: प्रत्येक निर्णय एक स्थायी, अपरिवर्तनीय लॉग (जैसे ब्लैक बॉक्स रिकॉर्डर) में लिखा जाता है ताकि बाद में कोई भी जाँच सके: "क्या हमने वास्तव में दवा के इंटरैक्शन की जाँच की थी?"
यह क्या नहीं करता:
- यह AI के "विचारों" का न्याय नहीं करता: यदि AI किसी अजीब, हानिकारक कारण से दवा प्रिस्क्राइब करने का निर्णय लेता है, लेकिन तकनीकी रूप से उसने सभी नियमों का पालन किया है (इंटरैक्शन चेक किया, लाइसेंस चेक किया), तो यह सिस्टम इसे होने देगा। यह उद्देश्य को नहीं, बल्कि प्रक्रिया को जाँचता है।
- यह AI को योजना बनाने से नहीं रोकता: AI अभी भी सोचने, योजना बनाने और बात करने के लिए स्वतंत्र है। वह बस उच्च-जोखिम वाली चीजों पर बिना कागजी कार्रवाई के कार्य नहीं कर सकता।
निष्कर्ष
यह शोध पत्र तर्क देता है कि हमें AI एजेंट क्या सोच रहे हैं, यह देखने के लिए "माइंड पुलिस" बनाने की आवश्यकता नहीं है। इसके बजाय, हमें एक "गेटकीपर" प्रणाली बनाने की आवश्यकता है।
ठीक वैसे ही जैसे एक सर्जन बिना सहमति फॉर्म और सत्यापित रोगी आईडी के मरीज का ऑपरेशन नहीं कर सकता, एक AI को भी तब तक कोड तैनात करने या दवा प्रिस्क्राइब करने की अनुमति नहीं दी जानी चाहिए जब तक कि उसके पास स्वतंत्र, हस्ताक्षरित प्रमाण न हो कि स्थितियाँ सुरक्षित हैं। AI संदेशवाहक है; प्रमाण चाबी है; और हब ताला है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।