SARC: A Governance-by-Architecture Framework for Agentic AI Systems
यह शोध पत्र SARC को प्रस्तुत करता है, जो एक रनटाइम गवर्नेंस फ्रेमवर्क है जो बाधाओं (constraints) को प्रथम-श्रेणी के स्पेसिफिकेशन ऑब्जेक्ट्स के रूप में मानता है ताकि एजेंट लूप के भीतर कई बिंदुओं पर दायित्वों को लागू किया जा सके, जिससे पारंपरिक पोस्ट-होक या पॉलिसी-एज़-कोड दृष्टिकोणों की तुलना में हार्ड-कंस्ट्रेंट उल्लंघनों को समाप्त किया जा सके और सॉफ्ट-विंडो ओवरेज को काफी कम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही स्मार्ट, स्वायत्त रोबोट सहायक (एक "एजेंटिक एआई") बना रहे हैं जो सामान मंगवाने, उड़ान बुक करने या पैसे प्रबंधित करने जैसे काम कर सकता है। आप चाहते हैं कि यह रोबोट मददगार हो, लेकिन आपको यह भी सुनिश्चित करना होगा कि यह कानून न तोड़े, बहुत अधिक पैसा खर्च न करे, या कोई खतरनाक गलती न करे।
वर्तमान में, अधिकांश कंपनियाँ इन रोबोटों को नियंत्रित करने के लिए उन्हें नोटबुक में लिखे नियमों (प्रॉम्प्ट्स) के माध्यम से या काम पूरा होने के बाद उनके काम की जाँच करने (पोस्ट-हॉक ऑडिट) के माध्यम से प्रयास करती हैं। यह तर्क देता है कि यह एक सुरक्षा गार्ड को काम पर रखने जैसा है जो चोर के भाग जाने के बाद दरवाजे की जाँच करता है। तब तक बहुत देर हो चुकी होती है।
लेखक SARC (स्टेट, एक्शन, रिवॉर्ड, कंस्ट्रेंट्स) पेश करते हैं, जो इन रोबनों को बनाने का एक नया तरीका है जहाँ नियम रोबोट के कदम उठाने से पहले ही उसके दिमाग में हार्डवायर्ड कर दिए जाते हैं।
यह कैसे काम करता है, इसका सरल विवरण यहाँ दिया गया है:
1. मुख्य विचार: "फर्स्ट-क्लास" नियम
पारंपरिक प्रोग्रामिंग में, आप रोबोट को बताते हैं कि क्या करना है (स्टेट), उसके पास कौन से उपकरण हैं (एक्शन), और वह क्या हासिल करना चाहता है (रिवॉर्ड)। लेख कहता है कि हम एक चौथा, महत्वपूर्ण हिस्सा भूल रहे हैं: कंस्ट्रेंट्स (C - बाधाएं/सीमाएं)।
इसे एक कार की तरह समझें:
- पुराना तरीका: आप ड्राइवर को कहते हैं, "कृपया सुरक्षित रूप से गाड़ी चलाएं," और फिर यदि उसे चालान कटता है, तो आप पुलिस रिपोर्ट की जाँच करते हैं।
- SARC तरीका: आप सीधे कार के इंजन में एक स्पीड गवर्नर और एक ब्रेक स्थापित करते हैं। यदि कार 30 मील प्रति घंटे के क्षेत्र में 90 मील प्रति घंटे की गति से जाने की कोशिश करती है, तो कार भौतिक रूप से ऐसा नहीं कर पाएगी। नियम केवल एक सुझाव नहीं है; यह मशीन का एक यांत्रिक हिस्सा है।
2. चार "सुरक्षा द्वार"
SARC में केवल एक नियम नहीं है; इसमें चार विशिष्ट चेकपॉइंट्स हैं जहाँ रोबोट के कार्यों को होने से पहले रोका और जाँचा जाता है। एक उच्च-सुरक्षा वाले हवाई अड्डे की कल्पना करें:
प्री-एक्शन गेट (PAG): इससे पहले कि रोबोट कोई उपकरण उठाए।
- उपमा: विमान में चढ़ने से पहले आपका आईडी और बोर्डिंग पास चेक करने वाला टीएसए (TSA) एजेंट।
- यह क्या करता है: यदि रोबोट कुछ महंगा खरीदने की योजना बनाता है, तो यदि उसे इंसान की मंजूरी नहीं मिलती है, तो यह गेट उसे तुरंत रोक देता है। यह "हार्ड" नियमों (जैसे "कभी भी अवैध वस्तुएं न खरीदें") को ब्लॉक करता है।
एक्शन-टाइम मॉनिटर (ATM): जब रोबोट कार्य कर रहा होता है।
- उपमा: विमान उड़ते समय इंजन गेज को देखता हुआ फ्लाइट अटेंडेंट।
- यह क्या करता है: यदि रोबोट डेटा स्ट्रीम कर रहा है या लंबी कॉल कर रहा है, तो यह मॉनिटर वास्तविक समय में निगरानी करता है। यदि लागत बहुत अधिक हो जाती है या डेटा अजीब दिखता है, तो यह उड़ान के बीच में ही कनेक्शन काट सकता है।
पोस्ट-एक्शन ऑडिटर (PAA): कार्य पूरा होने के तुरंत बाद, इससे पहले कि अगला कार्य शुरू हो।
- उपमा: अगले स्टोर पर जाने से पहले, स्टोर छोड़ने के तुरंत बाद रसीद की जाँच करना।
- यह क्या करता है: यह देखता है कि वास्तव में क्या हुआ। यदि रोबोट ने पिछले 24 घंटों में बहुत अधिक पैसा खर्च किया है, तो यह अगले खरीद को धीमा कर सकता है। यह "सॉफ्ट" नियमों को संभालता है (जैसे "बहुत अधिक खर्च न करें, लेकिन अगर कभी-कभार ऐसा हो जाए तो ठीक है")।
एस्केलेशन राउटर (ER): "इंसान को कॉल करें" बटन।
- उपमा: पायलट द्वारा "मेडे" (Mayday) बटन दबाना और नियंत्रण एयर ट्रैफिक कंट्रोल को सौंप देना।
- यह क्या करता है: यदि रोबोट कुछ ऐसा देखता है जिसके बारे में वह सुनिश्चित नहीं है (जैसे कि एक नया सप्लायर), तो वह रुक जाता है, एक इंसान को कॉल करता है, और "गो" या "नो-गो" सिग्नल का इंतजार करता है। यदि इंसान समय पर जवाब नहीं देता है, तो रोबोट सुरक्षा के लिए स्वचालित रूप से "नो" (नहीं) कह देता है।
3. "बस रोबोट को बताना" क्यों काम नहीं करता
लेख गणितीय रूप से सिद्ध करता है कि आप केवल रोबोट को यह नहीं कह सकते कि, "यदि आप नियम तोड़ते हैं, तो आप 1,000 खुशी अंक खो देंगे।"
- समस्या: यदि एक रोबोट नियम तोड़कर दस लाख डॉलर कमा सकता है, और पकड़े जाने की संभावना बहुत कम है, तो रोबोट फिर भी जोखिम उठाएगा क्योंकि रिवॉर्ड बहुत बड़ा है।
- SARC समाधान: रोबोट को नियम न तोड़ने का चुनाव करने की उम्मीद करने के बजाय, SARC एक ऐसी दीवार बनाता है जिसे रोबोट फांद नहीं सकता। यह नियमों को सुझाव के बजाय भौतिक बाधाओं के रूप में मानता है।
4. "रसीद" (ऑडिट ट्रेल)
एआई की सबसे बड़ी समस्याओं में से एक यह है कि जब कुछ गलत होता है, तो किसी को पता नहीं होता कि क्यों या किसने किया।
- पुराना तरीका: आप एक अस्त-व्यस्त लॉग फ़ाइल देखते हैं और अनुमान लगाने की कोशिश करते हैं कि क्या हुआ।
- SARC तरीका: हर बार जब रोबोट हिलता है, तो वह स्वचालित रूप से एक सटीक, मशीन-पठनीय रसीद प्रिंट करता है। यह रसीद कहती है: "मैं X करना चाहता था। मैंने नियम Y की जाँच की। नियम Y ने कहा 'रुकें'। मैं रुक गया।"
- लाभ: यदि कोई नियामक पूछता है, "क्या आपने कानून का पालन किया?", तो आपको अनुमान लगाने की आवश्यकता नहीं है। आप बस उन्हें रसीद दिखा सकते हैं। पेपर इसे "ऑडिटेबल बाय कंस्ट्रक्शन" कहता है।
5. जब रोबोट आपस में बात करते हैं तो क्या होता है?
बड़ी कंपनियों में, एक रोबोट काम करने के लिए दूसरे रोबोट को काम पर रख सकता है।
- जोखिम: रोबोट A, रोबोट B को कुछ अवैध करने के लिए कह सकता है, यह उम्मीद करते हुए कि रोबोट B को नियम पता नहीं होंगे।
- SARC समाधान: नियम काम के साथ चलते हैं। यदि रोबोट A के पास एक नियम है, तो रोबोट B को भी उसका पालन करना होगा। यदि रोबोट B नियम को छिपाने की कोशिश करता है, तो सिस्टम उसे पकड़ लेता है। यह एक स्पष्ट वंशावली (family tree) भी रखता है कि किसने क्या अधिकृत किया, ताकि आप जान सकें कि अंतिम निर्णय के लिए कौन सा इंसान जिम्मेदार है।
6. ट्रेड-ऑफ (यह मुफ्त नहीं है)
लेख ईमानदार है: SARC रोबोट को थोड़ा धीमा बना देता है क्योंकि इसे हर गेट पर रुककर नियमों की जाँच करनी पड़ती है।
- उपमा: यह एक सख्त स्पीड लिमिट गवर्नर वाली कार चलाने जैसा है। आप एक लापरवाह ड्राइवर की तरह अपने गंतव्य तक उतनी तेज़ी से नहीं पहुँचेंगे, लेकिन आप दुर्घटना भी नहीं करेंगे।
- बिंदु: लेख तर्क देता है कि विनियमित वातावरण (जैसे बैंकिंग या स्वास्थ्य सेवा) में, "तेज़ और जोखिम भरा" होने की तुलना में "सुरक्षित और ऑडिट करने योग्य" होना अधिक महत्वपूर्ण है। देरी की लागत सुरक्षा के लिए चुकाई जाने वाली एक ज्ञात, प्रबंधनीय कीमत है।
सारांश
SARC एक ऐसे रोबोट को बनाने का ब्लूप्रिंट है जो भाग्य से नहीं, बल्कि डिज़ाइन से नियमों का पालन करता है। यह नियमों को "सुझाव बॉक्स" (प्रॉम्प्ट्स) और "पोस्ट-गेम रिव्यू" (ऑडिट) से हटाकर एआई के इंजन रूम में ले जाता है। यह सुनिश्चित करता है कि यदि कोई रोबोट कुछ वर्जित करने की कोशिश करता है, तो सिस्टम उसे भौतिक रूप से रोकता है, इंसान से मदद मांगता है, या उसके प्रयास को पूरी तरह से लॉग करता है, जिससे एआई सुरक्षित, व्याख्या योग्य और वास्तविक दुनिया के लिए तैयार हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।