Protocol-Governed Human–AI Software Engineering: Autonomy Without Authority
यह शोध पत्र एक प्रोटोकॉल-शासित कंप्यूटिंग (Protocol-Governed Computing) आर्किटेक्चर प्रस्तुत और अनुभवजन्य रूप से मूल्यांकित करता है जो गतिविधि स्वायत्तता (activity autonomy) को प्राधिकरण सत्ता (authorization authority) से अलग करता है, यह प्रदर्शित करते हुए कि कैसे स्पष्ट प्रवेश (admission), पदोन्नति (promotion) और सीलिंग (sealing) प्रोटोकॉल के माध्यम से मानव निरीक्षण एआई-संचालित सॉफ्टवेयर इंजीनियरिंग को नियंत्रित कर सकता है, साथ ही उन विशिष्ट क्षेत्रों की पहचान करता है जहाँ सुरक्षा तंत्रों (guard mechanisms) को परिष्करण की आवश्यकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सॉफ्टवेयर निर्माण की आधुनिक दुनिया में, एक नए प्रकार का कार्यकर्ता आया है: एक ऐसी कृत्रिम बुद्धिमत्ता (AI) जो बिना कभी सोए कोड लिख सकती है, सिस्टम डिजाइन कर सकती है और त्रुटियों को ठीक कर सकती है। इस बदलाव ने प्रोग्राम बनाने के तरीके को बदल दिया है, लेकिन इसने इस बात को लेकर एक शांत, खतरनाक भ्रम भी पैदा कर दिया है कि वास्तव में प्रभारी कौन है। दशकों से, कोड लिखने वाला व्यक्ति ही वह व्यक्ति होता था जो यह तय करता था कि उस कोड को क्या करने की अनुमति है। जब एक मानव डेवलपर किसी बदलाव को मर्ज करता था, तो वह परोक्ष रूप से यह कह रहा होता था, "मैंने इसकी जाँच कर ली है, और यह चलाने के लिए सुरक्षित है।" लेकिन जब AI कोड लिखता है, तो मनुष्य अक्सर केवल अंतिम उत्पाद की समीक्षा करता है। यह एक अंतराल पैदा करता है: AI के पास निर्माण करने की शक्ति है, लेकिन मनुष्य के पास अभी भी अधिकृत करने की शक्ति है। प्रश्न यह है कि क्या ये दो शक्तियाँ अलग की जा सकती हैं। क्या एक मशीन को सॉफ्टवेयर इंजीनियरिंग का सारा भारी काम करने की अनुमति दी जा सकती है, जबकि एक मनुष्य, या नियमों का एक सख्त सेट, एकमात्र यह तय करने वाला बना रहे कि अंतिम सॉफ्टवेयर को क्या करने की अनुमति है?
यह एक स्वतंत्र शोधकर्ता, भश गंटी (Bhash Ganti) के हालिया अध्ययन द्वारा हल की गई केंद्रीय पहेली है। यह कार्य एक विशिष्ट वास्तुशिल्प विचार का अन्वेषण करता है जिसे 'प्रोटोकॉल-गवर्नड कंप्यूटिंग' (Protocol-Governed Computing) कहा जाता है। सरल शब्दों में, यह एक ऐसा सिस्टम है जहाँ प्रोग्राम क्या कर सकता है, इसके नियम प्रोग्राम बनने से पहले ही लॉक कर दिए जाते हैं। कोड लिखे जाने के बाद यह देखने के बजाय कि क्या वह नियमों का पालन करता है, यह सिस्टम निर्माता को पूर्व-अनुमोदित अनुमतियों के पिंजरे के भीतर कोड का निर्माण करने के लिए मजबूर करता है। निर्माता भागों को डिजाइन और असेंबल कर सकता है, लेकिन वह स्वयं पिंजरे को नहीं बदल सकता, न ही वह यह तय कर सकता है कि तैयार मशीन को तब तक कैसे चलाया जाए जब तक कि वह एक विशिष्ट, अलग जाँच से गुजर न ले। लक्ष्य यह देखना था कि क्या एक कृत्रिम बुद्धिमत्ता सॉफ्टवेयर इंजीनियरिंग का पूरा काम—जरूरतों का विश्लेषण करना, समाधानों को डिजाइन करना और कोड लिखना—कर सकती है, बिना कभी नियमों को बदलने या सॉफ्टवेयर को चलाने के लिए मजबूर करने का अधिकार प्राप्त किए।
इसका परीक्षण करने के लिए, शोधकर्ता ने एक नियंत्रित वातावरण बनाया जहाँ एक AI एजेंट को एक विशिष्ट कार्य दिया गया: एक मौजूदा सॉफ्टवेयर सिस्टम में एक नया फीचर जोड़ना। एजेंट केवल सुझाव देने वाला एक साधारण सहायक नहीं था; यह एक स्वायत्त कार्यकर्ता था जिसे एक जटिल, नौ-चरणीय प्रक्रिया से गुजरना था। यह प्रक्रिया एक मानव द्वारा परियोजना के दायरे और इसे नियंत्रित करने वाले नियमों को परिभाषित करने के साथ शुरू हुई। फिर AI को वर्तमान सिस्टम का विश्लेषण करना था, एक नया फीचर डिजाइन करना था, और आवश्यक कोड लिखना था। महत्वपूर्ण बात यह है कि AI केवल कोड लिखकर उसे सेव नहीं कर सकता था। इसके द्वारा उठाया गया हर कदम रिकॉर्ड किया गया था, और इसके द्वारा उत्पादित काम के हर हिस्से को स्वचालित चेकपॉइंट्स की एक श्रृंखला से गुजरना था। ये चेकपॉइंट्स एक द्वारपाल (gatekeeper) के रूप में कार्य करते थे, जो यह सत्यापित करते थे कि नया काम मूल नियमों से मेल खाता है या नहीं और क्या यह अनधिकृत बदलावों को चुपके से शामिल करने की कोशिश कर रहा है। यदि AI ने नियमों को तोड़ने की कोशिश की, तो सिस्टम उसे रोक देता। यदि उसने नियमों का पालन किया, तो काम को एक नए, अपरिवर्तनीय (immutable) रूप में सील कर दिया जाता जिसे सॉफ्टवेयर द्वारा चलाया जा सकता था।
प्रयोग यह दिखाने में सफल रहा कि AI वास्तव में काम कर सकता है। एजेंट ने सफलतापूर्वक मौजूदा सिस्टम का विश्लेषण किया, एक डिजिटल लाइब्रेरी के लिए एक नया ऋण (lending) फीचर डिजाइन किया, और आवश्यक कोड और दस्तावेज़ तैयार किए। इसने मौजूदा सिस्टम को क्वेरी करके वर्तमान स्थिति को समझा, न कि अपने प्रशिक्षण से विवरणों का अनुमान लगाकर या याद करके। इसने नए सॉफ्टवेयर संस्करण का एक उम्मीदवार तैयार किया जो पूर्व-निर्धारित नियमों के पूरी तरह से अनुरूप था। हालाँकि, सबसे महत्वपूर्ण निष्कर्ष यह नहीं था कि AI निर्माण कर सकता है, बल्कि यह था कि वह अधिकृत नहीं कर सकता। सिस्टम को इस तरह डिजाइन किया गया था कि AI के पास अपने काम को सॉफ्टवेयर का आधिकारिक, चलने वाला संस्करण बनाने का कोई तरीका नहीं था। भले ही AI ने उम्मीदवार बनाया, लेकिन इसे नया बेसलाइन बनाने के लिए एक अलग मानव ऑपरेटर को स्पष्ट रूप से अनुमोदन देना आवश्यक था। AI के पास निर्माण करने की स्वायत्तता थी, लेकिन उसके पास यह तय करने का शून्य अधिकार था कि सिस्टम आगे क्या करेगा।
अध्ययन ने यह सुनिश्चित करने के लिए साक्ष्यों की भी बारीकी से जांच की कि सिस्टम वास्तव में इच्छित रूप से काम कर रहा है। शोधकर्ताओं ने यह देखने के लिए सिस्टम को धोखा देने की कोशिश की कि क्या सुरक्षा जाँचों को हटाने से AI बच निकल सकता है। छह विशिष्ट परीक्षणों में से चार में, सिस्टम ने उल्लंघन को पकड़ लिया और आगे बढ़ने से इनकार कर दिया। हालाँकि, अन्य दो परीक्षणों में, सिस्टम यह पता लगाने में विफल रहा कि एक सुरक्षा जाँच हटा दी गई थी, भले ही वह जाँच वहाँ होनी चाहिए थी। यह एक महत्वपूर्ण खोज थी: इसने दिखाया कि जबकि आर्किटेक्चर ठोस था, उपयोग किए गए विशिष्ट परीक्षण कभी-कभी बहुत कमजोर थे। एक सफल परीक्षण का मतलब हमेशा यह नहीं था कि सुरक्षा गार्ड वास्तव में अपना काम कर रहा था। इसने एक महत्वपूर्ण सबक दिया: नियम बनाना एक बात है और यह सिद्ध करना कि नियम लागू किया जा रहा है, दूसरी बात है।
अंततः, यह शोध प्रदर्शित करता है कि यह संभव है कि एक कृत्रिम बुद्धिमत्ता को जटिल सॉफ्टवेयर इंजीनियर करने की स्वतंत्रता दी जाए, बिना उसे उस सॉफ्टवेयर के नियमों को निर्धारित करने की शक्ति दिए। "काम करने" और "क्या अनुमति है यह तय करने" के बीच का अलगाव सिस्टम की एक संरचनात्मक विशेषता है, न कि केवल एक नीति। AI निर्माता हो सकता है, लेकिन अधिकार सील किए गए नियमों और उस मानव ऑपरेटर के पास रहता है जो अंतिम चरण को मंजूरी देता है। इसका मतलब यह नहीं है कि AI सुरक्षित है क्योंकि एक मानव देख रहा है; इसका मतलब यह है कि सिस्टम को इस तरह डिजाइन किया गया है कि मानव की भूमिका सीमाओं को निर्धारित करना और परिणाम को अनुमोदित करना है, जबकि AI पूरी तरह से उन सीमाओं के भीतर काम करता है। अध्ययन निष्कर्ष निकालता है कि हम अपने डिजिटल श्रमिकों की स्वायत्तता को बढ़ा सकते हैं बिना अपने डिजिटल सिस्टम पर उनके अधिकार को स्थानांतरित किए, बशर्ते हम काम के चारों ओर सही प्रकार का पिंजरा बनाएं। चुनौती जो शेष है वह यह सुनिश्चित करना है कि इन पिंजरों को सत्यापित करने के लिए उपयोग किए जाने वाले परीक्षण उन्हें तोड़ने के हर प्रयास को पकड़ने के लिए पर्याप्त मजबूत हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।