Control Assimilation in Agentic AI: Formal Human Authority Persists as Operational Access to Control Becomes Technically Mediated
17 एजेंटिक एआई प्रणालियों के एक आर्किटेक्चर-स्तरीय साक्ष्य संश्लेषण के माध्यम से, यह अध्ययन प्रकट करता है कि जबकि औपचारिक मानवीय अधिकार अक्सर बना रहता है, परिचालन नियंत्रण अक्सर तकनीकी रूप से मध्यस्थ होता है, जो एक ऐसी संरचनात्मक स्थिति है जिसे लेखक "कंट्रोल असिमिलेशन" (नियंत्रण आत्मसात) कहते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की आधुनिक दुनिया में, एक सामान्य सुरक्षा वादा "ह्यूमन इन द लूप" (मानव प्रक्रिया के भीतर) का विचार है। यह वाक्यांश सुझाव देता है कि जबकि एक कंप्यूटर निर्णय ले सकता है या कार्य कर सकता है, एक व्यक्ति हमेशा निगरानी करने, अनुमोदन देने या यदि चीजें गलत होती हैं तो मशीन को रोकने के लिए उपस्थित रहता है। यह एक पायलट की छवि है जो एक स्व-चालित विमान के कॉकपिट में बैठा है, नियंत्रण संभालने के लिए तैयार है। वर्षों से, नियामक और डिजाइनर मानव की उपस्थिति को एक प्रणाली के सुरक्षित और नियंत्रण में होने के प्रमाण के रूप में देखते आए हैं। हालांकि, यह सरल चित्र एक महत्वपूर्ण विवरण को छोड़ देता है: केवल इसलिए कि एक मानव उपस्थित है, इसका मतलब यह नहीं है कि उनके पास वास्तव में जो हो रहा है उसे बदलने की शक्ति है। मानव गलत स्क्रीन देख रहा हो सकता है, संदेश बहुत देर से प्राप्त कर रहा हो सकता है, या वह पाता है कि मशीन को रोकने वाले बटन स्वयं सॉफ्टवेयर द्वारा ही अक्षम कर दिए गए हैं। प्रश्न अब केवल यह नहीं है कि क्या कोई मानव देख रहा है, बल्कि यह है कि क्या उस मानव के नियंत्रण तक पहुँचने वाला मार्ग खुला, स्पष्ट और मशीन के अपने फिल्टरिंग से मुक्त है।
शोधकर्ताओं की एक टीम ने इस बात की जांच करने के लिए हाथ में ली कि मानव निरीक्षण के वादे और इन प्रणालियों के वास्तविक कामकाज के बीच कहाँ छिपा हुआ अंतर है। उन्होंने काल्पनिक विचारों या आर्टिफिशियल इंटेलिजेंस के भविष्य के सपनों को नहीं देखा; इसके बजाय, उन्होंने सत्रह वास्तविक दुनिया की प्रणालियों का परीक्षण किया जो पहले से ही उपयोग की जा रही हैं या तैनात होने के बहुत करीब हैं। ये जटिल, "एजेंटिक" (agentic) प्रणालियाँ थीं, जिसका अर्थ है कि वे अपने परिवेश का अवलोकन कर सकती थीं, कार्यों की योजना बना सकती थीं और उच्च स्तर की स्वतंत्रता के साथ कार्यों को पूरा कर सकती थीं। शोधकर्ता सूचना के उस टुकड़े की सटीक यात्रा का पता लगाना चाहते थे जो मशीन द्वारा कुछ महत्वपूर्ण नोटिस करने के क्षण से लेकर उस क्षण तक जाती है जब एक मानव हस्तक्षेप कर सकता है। उन्होंने उन विशिष्ट नियमों और सॉफ्टवेयर गेट्स (द्वारों) की तलाश की जो यह तय करते हैं कि किन समस्याओं को व्यक्ति को दिखाया जाएगा, उस व्यक्ति को कब सूचित किया जाएगा, और एक बार उन्हें सतर्क किए जाने के बाद वे कौन से कार्य करने के लिए अभी भी सक्षम हैं।
शोधकर्ताओं ने पाया कि अध्ययन की गई लगभग हर प्रणाली में, मानव तकनीकी रूप से अभी भी बॉस था, जिसके पास मशीन को रोकने या बदलने का अंतिम अधिकार था। फिर भी, उस अधिकार का प्रयोग करने का मार्ग स्वयं मशीन द्वारा अत्यधिक प्रबंधित था। उन्होंने इस घटना को "कंट्रोल एसिमिलेशन" (नियंत्रण आत्मसातीकरण) कहा। यह एक संरचनात्मक स्थिति है जहाँ नियंत्रण की मशीनरी सिस्टम के कोड में ही निर्मित होती है। कंप्यूटर यह तय करता है कि कौन सी घटनाएँ एक मानव को दिखाने के लिए पर्याप्त महत्वपूर्ण हैं, बाकी को फ़िल्टर कर देता है, और वह सटीक क्षण निर्धारित करता है जब एक मानव हस्तक्षेप करने की अनुमति पाता है। सत्रह में से सोलह प्रणालियों में, शोधकर्ताओं ने पाया कि मशीन के पास एक विशिष्ट स्थानीय समस्या को रोकने के मजबूत, दस्तावेजी तरीके थे, लेकिन अक्सर पूरी प्रणाली को वैश्विक स्तर पर रोकने का कोई स्पष्ट, दस्तावेजी तरीका नहीं था। इससे भी महत्वपूर्ण बात यह है कि सत्रह में से चौदह मामलों में, सिस्टम ने स्वयं यह तय किया कि मानव का ध्यान कब आकर्षित करना है, जो अक्सर गंभीरता या विश्वास (confidence) के बारे में अपने स्वयं के आंतरिक नियमों पर आधारित होता है।
इसका अर्थ यह है कि एक मानव औपचारिक रूप से प्रभारी हो सकता है, लेकिन वे अक्सर एक ऐसे पथ पर कार्य कर रहे होते हैं जिसे मशीन पहले ही बना चुकी होती है। मशीन किसी खतरनाक स्थिति को छिपा सकती है क्योंकि उसे लगता है कि जोखिम कम है, या वह किसी समस्या को इस तरह प्रस्तुत कर सकती है जिससे मानव के लिए पूर्ण संदर्भ को समझना कठिन हो जाए। कुछ मामलों में, मानव को केवल तभी बुलाया जाता है जब मशीन पहले ही विफल हो चुकी होती है या किसी अपवाद का सामना करती है, न कि किसी निर्णय को होने से पहले उसे अनुमोदित करने के लिए पूछा जाता है। अध्ययन ने दिखाया कि भले ही अनुमोदन बटन पर मानव का नाम हो, लेकिन अक्सर मशीन ही यह नियंत्रित करती है कि वह बटन दिखाई भी देगा या नहीं, क्या वह समय पर दबाया जाएगा, या क्या मानव के पास एक अच्छा निर्णय लेने के लिए पर्याप्त जानकारी होगी। शोधकर्ताओं ने पाया कि उनके द्वारा जांची गई प्रणालियों में से केवल कुछ में ही वे स्पष्ट रूप से देख सके कि एक मानव वास्तव में परिणाम बदलने के लिए प्रत्यक्ष नियंत्रण का प्रयोग कर रहा है। कई अन्य मामलों में, मानव की भूमिका उन मामलों की समीक्षा करने तक सीमित थी जिन्हें मशीन ने पहले ही चुन लिया था, या उन अलर्ट पर प्रतिक्रिया देने तक जो मशीन ने तत्काल (urgent) घोषित किए थे।
शोधकर्ताओं ने सावधानीपूर्वक नोट किया कि इसका मतलब यह नहीं है कि मनुष्य बेकार हैं या ये प्रणालियाँ अनिवार्य रूप से खतरनाक हैं। इसका सीधा सा अर्थ यह है कि प्रणाली की सुरक्षा केवल एक मानव की उपस्थिति पर निर्भर नहीं करती है। यह उस पथ के डिजाइन पर निर्भर करती है जो उस मानव तक ले जाता है। यदि सूचना को फ़िल्टर करने या अलर्ट भेजने वाला सॉफ्टवेयर त्रुटिपूर्ण है, तो मानव खतरे को तब तक नहीं देख पाएगा जब तक कि बहुत देर न हो जाए। अध्ययन सुझाव देता है कि इन प्रणालियों को वास्तव में सुरक्षित होने के लिए, हमें "ह्यूमन इन द लूप" के सरल लेबल से परे देखने की आवश्यकता है और उस तकनीकी संरचना की जांच करने की आवश्यकता है जो लूप तक मानव की पहुंच को नियंत्रित करती है। हमें यह पूछने की आवश्यकता है कि मानव के ध्यान को कौन नियंत्रित करता है, उनके तक पहुँचने से पहले कौन सी जानकारी छिपाई जाती है, और क्या मानव के पास अभी भी मशीन को रोकने की शक्ति है जब यह सबसे महत्वपूर्ण होता है। निष्कर्ष संकेत देते हैं कि औपचारिक अधिकार उस वास्तविकता के साथ अस्तित्व में हो सकते हैं जहाँ कार्य करने की व्यावहारिक क्षमता उसी तकनीक द्वारा कड़ाई से सीमित होती है जिसकी उसे निगरानी करनी होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।