सुरक्षा की सीढ़ी: ऐसे रोबोट बनाना जो खुद को ठीक कर सकें

कल्पना कीजिए कि आप एक ऐसा रोबोट बना रहे हैं जो न केवल आदेशों का पालन करता है, बल्कि सीख भी सकता है, सोच भी सकता है, और यहाँ तक कि अपने काम में बेहतर होने के लिए अपने ही निर्देशों को फिर से लिख भी सकता है। यह स्व-सुधार करने वाले AI एजेंटों (self-improving AI agents) की रोमांचक दुनिया है। अतीत में, हमने रोबोटों को स्थिर उपकरणों की तरह माना था: आपने उन्हें प्रोग्राम किया, उन्होंने कार्य किया, और यदि आप चाहते थे कि वे बदलें, तो किसी इंसान को जाकर उन्हें फिर से प्रोग्राम करना पड़ता था। लेकिन अगली पीढ़ी का AI अलग है; इसे एक "जीवित" प्रणाली के रूप में डिज़ाइन किया गया है जो चलते समय खुद को ढाल सके।

इस विचार के साथ बड़ी समस्या सुरक्षा की है। यदि एक रोबक अपने नियम खुद बदल सकता है, तो क्या होगा यदि वह नियमों को तोड़ने का निर्णय ले ले? यदि वह अधिक बुद्धिमान हो जाता है, तो क्या वह अधिक खतरनाक भी हो जाता है? मुख्य प्रश्न केवल यह नहीं है कि "क्या यह रोबोट अभी सुरक्षित है?" बल्कि यह है कि "यदि यह रोबोट एक हज़ार बार खुद को बदलता है, तो क्या यह अभी भी सुरक्षित रहेगा?" पारंपरिक रूप से, हमने इस उत्तर को खोजने की कोशिश की है कि रोबोट बनाने वाले लोगों पर भरोसा करके कि, "हाँ, हमने सुरक्षा गार्ड लगाए हैं।" लेकिन एक वादे पर भरोसा करना जोखिम भरा है। यह शोध पत्र उस जोखिम को इस सवाल के साथ संबोधित करता है: हम एक ऐसी प्रणाली कैसे बना सकते हैं जहाँ सुरक्षा एक वादा न होकर, एक गणितीय रूप से सिद्ध तथ्य हो जिसे हर बार तब जांचा जाए जब रोबोट खुद को अपग्रेड करने की कोशिश करता है?

शोध पत्र: एक "असत्य सिद्ध करने योग्य" (Falsifiable) सुरक्षा सीढ़ी का निर्माण

यह शोध पत्र, जिसका शीर्षक "Falsifiable Release Gates for Self-Improving Systems" है, इन स्मार्ट, स्वयं बदलने वाले रोबोटों को बनाने का एक नया तरीका पेश करता है। लेखक, जिनका नेतृत्व दीपक सोनी कर रहे हैं, तर्क देते हैं कि हमें सुरक्षा को एक बार के ऑडिट के रूप में देखना बंद करना चाहिए और इसे एक सख्त, चरण-दर-चरण प्रक्रिया के रूप में देखना शुरू करना चाहिए। वे अपनी विधि को "Falsifiable Release Gates" कहते हैं।

इसे एक वीडियो गेम की तरह समझें जिसमें एक बहुत ही सख्त सीढ़ी है। अगले स्तर को अनलॉक करने के लिए, आपको केवल यह नहीं कहना है कि, "मैं तैयार हूँ।" आपको एक विशिष्ट, अटूट परीक्षण पास करना होगा जो उस स्तर को खेलने शुरू करने से पहले ही डिज़ाइन किया गया था। यदि आप परीक्षण में विफल रहते हैं, तो आप ऊपर नहीं बढ़ सकते। यह शोध पत्र अन्तःकरण (Antah.karan.a) नामक एक रोबोट सिस्टम बनाता है (जिसका नाम मन के "आंतरिक उपकरण" के लिए प्राचीन संस्कृत अवधारणा पर रखा गया है) और इस सात द्वारों वाली सीढ़ी पर चढ़ता है, यह साबित करते हुए कि रोबोट नई शक्तियाँ प्राप्त करने से पहले हर कदम पर सुरक्षित है।

खेल के नियम: "स्थिर अपरिवर्तनीय" (Standing Invariants)

सीढ़ी चढ़ने से पहले, रोबोट को कुछ गैर-परक्राम्य नियमों पर सहमत होना होगा, जिन्हें इनवेरियंट्स (invariants) कहा जाता है। ये इस रोबोट के लिए "भौतिकी के नियम" हैं:

1. एकल द्वार (The Single Gate): रोबोट के विचारों और वास्तविक दुनिया के कार्यों के बीच केवल एक ही दरवाजा है। एक विशेष "कंट्रोल रिंग" को हर एक गतिविधि को मंजूरी देनी होगी और एक डिजिटल "टोकन" (जैसे टिकट) जारी करना होगा, इससे पहले कि रोबोट कुछ भी कर सके। बिना टोकन के, कोई क्रिया नहीं।
2. मोनोटोन टाइटनिंग (Monotone Tightening): रोबोट को अपने नियम खुद सख्त (सुरक्षित) करने की अनुमति है, लेकिन उसे बिना मानव सहमति के उन्हें कभी भी ढीला (जोखिम भरा) करने की अनुमति नहीं है। वह केवल अधिक सतर्क हो सकता है, कभी भी अधिक लापरवाह नहीं।
3. सब कुछ ऑडिट किया जाता है: हर निर्णय, चाहे वह रोबोट द्वारा लिया गया हो या मानव द्वारा, एक स्थायी, अपरिवर्तनीय लॉग में लिखा जाता है।
4. कोड से पहले गेट्स (Gates Before Code): यह सबसे महत्वपूर्ण मोड़ है। आपको फीचर लिखने से पहले सुरक्षा परीक्षण लिखना होगा। आप एक शानदार नया कौशल नहीं बना सकते और फिर बाद में उसका परीक्षण करने का तरीका खोजने की कोशिश कर सकते है। परीक्षण पहले मौजूद होना चाहिए, और फीचर तभी "अस्तित्व" में होता है जब वह परीक्षण पास कर लेता है।

सात-चरणीय सीढ़ी

लेखकों ने इस रोबोट सिस्टम को सात विशिष्ट पायदानों, या "गेट्स" पर चढ़कर बनाया है। प्रत्येक पायदान यह सिद्ध करता है कि रोबोट अगले, अधिक खतरनाक चरण के लिए तैयार है।

• गेट 7 (हार्डनिंग - Hardening): रोबोट को अपने पूरे इतिहास को पूरी तरह से पुन: प्रस्तुत (replay) करने में सक्षम होना चाहिए। यदि उसने कल कोई निर्णय लिया था, तो हमें लॉग से ठीक-ठीक पुनर्निर्माण करना चाहिए कि उसने ऐसा क्यों किया।
• गेट 8 (एडवर्सरियल इंटीग्रेशन - Adversarial Integration): रोबोट का परीक्षण हैकर्स के खिलाफ किया जाता है। शोध पत्र रिपोर्ट करता है कि उन्होंने रोबोट को गलत चीजें करने के लिए 432 बार trick करने की कोशिश की, और रोबोट ने सभी 432 हमलों को ब्लॉक कर दिया। वह बुरे विचार सुझा सकता था, लेकिन वह उन्हें कर नहीं सका क्योंकि कंट्रोल रिंग के पास चाबियाँ थीं।
• गेट 9 (ड्रिफ्ट के बिना सीखना - Learning Without Drift): रोबोट को फीडबैक से सीखने की अनुमति है। परीक्षण ने दिखाया कि जब इसने सीखा, तो यह त्रुटियों को पहचानने में बेहतर हो गया (मिस डिटेक्शन को 0.50 से घटाकर 0.00 कर दिया) बिना कभी अधिक उदार या "ढीला" हुए।
• गेट 10 (फ्लीट गवर्नेंस - Fleet Governance): कल्पना कीजिए कि इन रोबोटों की एक पूरी सेना है। सिस्टम ने सिद्ध किया कि एक सुपरवाइजर किसी भी एकल रोब-बॉट को "एक टिक" (समय के एक क्षण) के भीतर रोक सकता है यदि वह अनियंत्रित हो जाता है।
• गेट 11 (प्लेटफॉर्म आइसोलेशन - Platform Isolation): यदि कई अलग-अलग उपयोगकर्ता (टेनेंट्स) सिस्टम का उपयोग कर रहे हैं, तो सिस्टम ने सिद्ध किया कि वे पूरी तरह से अलग-थलग हैं। एक उपयोगकर्ता दूसरे उपयोगकर्ता के डेटा को देख या छू नहीं सकता, भले ही सिस्टम गलत कॉन्फ़िगर किया गया हो।
• गेट 12 (स्व-शासित लूप - Self-Governing Loop): अंत में, सिस्टम में एक लूप शामिल है जो अपनी नीति (policy) में बदलाव का सुझाव देता है। पेच यह है कि इन परिवर्तनों को कैसे संभाला जाता है: सिस्टम किसी भी परिवर्तन का प्रस्ताव दे सकता है, लेकिन यदि परिवर्तन नियमों को सख्त बनाता है, तो इसे ऑटो-अप्लाई किया जा सकता है। यदि परिवर्तन नियमों को ढीला बनाता है, तो इसके लिए हमेशा मानव द्वारा 'मर्ज' करना आवश्यक है। यदि सिस्टम एक ऐसा परिवर्तन प्रस्तावित करता है जिसके परिणाम का वह पूर्वानुमान नहीं लगा सकता, तो सिस्टम उसे स्वचालित रूप से अस्वीकार कर देता है।

सिस्टम के "दाँत" (The "Teeth" of the System)

इस शोध पत्र का सबसे रोमांचक हिस्सा यह है कि वे कैसे सिद्ध करते हैं कि सुरक्षा झूठ नहीं है। उन्होंने केवल यह नहीं कहा, "हमने जाँच की है।" उन्होंने एक मशीन-चेकर बनाया जो रोबोट के तर्क की हर संभावित स्थिति (उनके मॉडल में 291 स्थितियाँ) के माध्यम से जाता है ताकि यह सिद्ध किया जा सके कि कोई भी क्रिया कभी भी कंट्रोल रिंग को बायपास नहीं कर सकती।

लेकिन आप कैसे जानते हैं कि चेकर टूटा हुआ नहीं है? लेखकों ने एक "टीथ डिसिप्लिन" (Teeth Discipline) का उपयोग किया। उन्होंने जानबूझकर अपने ही मॉडल को बिगाड़ा—एक ऐसा संस्करण बनाया जहाँ रोबोट रिंग को बायपास कर सकता था—और फिर चेकर चलाया। चेकर ने सफलतापूर्वक उस खराबी को पकड़ लिया और त्रुटि तक पहुँचने का सबसे छोटा रास्ता कुछ ही चरणों में खोज लिया। यह सिद्ध करता है कि चेकर के पास "दाँत" हैं; यह वास्तव में काम करता है और केवल एक नकली सुरक्षा रिपोर्ट नहीं है।

रोबोट क्या कर सकता है और क्या नहीं

यह शोध पत्र बहुत स्पष्ट है कि यह सिस्टम क्या हासिल करता है और क्या नहीं।

• यह क्या करता है: यह एक ऐसी प्रणाली बनाता है जहाँ स्व-सुधार संरचनात्मक रूप से सुरक्षित है। सिस्टम अपनी नीति में परिवर्तन का प्रस्ताव दे सकता है, और किसी भी परिवर्तन को पूर्व-लिखित परीक्षण सूट के विरुद्ध मशीन-चेक किया जाता है। लेखकों ने मापा कि 1,000,000 सिम्युलेटेड निष्पादन ट्रेसेस (execution traces) बिना किसी अस्वीकृति के पास हुए।
• यह क्या खारिज करता है: यह स्पष्ट रूप से इस विचार को खारिज करता है कि आप केवल एक सुरक्षा गार्डरेल या दस्तावेज़ में किए गए वादे पर "भरोसा" कर सकते हैं। यह इस विचार को भी खारिज करता है कि एक रोबोट मानव हस्तक्षेप के बिना अपने नियम सुरक्षित रूप से ढीले बना सकता है।
• यह क्या स्वीकार करता है: लेखक ईमानदार हैं कि उनका प्रमाण "सीमित" (bounded) है। उन्होंने एक सरलीकृत मॉडल में 291 स्थितियों की जाँच की, वास्तविक दुनिया की हर संभव स्थिति की नहीं। वे स्वीकार करते हैं कि रोबोट का "सीखने" वाला हिस्सा (वह हिस्सा जो यह पता लगाता है कि क्या जोखिम भरा है) अभी तक गणित द्वारा पूरी तरह से सिद्ध नहीं है, लेकिन उन्होंने इसे वास्तविक समय में निगरानी के लिए मॉनिटर बनाए हैं।

निष्कर्ष

यह शोध पत्र यह दावा नहीं करता कि इसने AI सुरक्षा की समस्या को हमेशा के लिए हल कर दिया है। इसके बजाय, यह एक पद्धति (method) प्रदान करता है। यह दिखाता है कि यदि आप ऐसे स्व-सुधार प्रणालियों का निर्माण करते हैं जिनमें "गेट्स" होते हैं जिन्हें कोई भी कोड लिखने से पहले पास करना आवश्यक है, और यदि आप एक मशीन का उपयोग करते हैं जो यह जाँचती है कि गेट्स को बायपास नहीं किया जा सकता, तो आप एक ऐसा रोबोट बना सकते हैं जो स्मार्ट बनता है लेकिन खतरनाक नहीं।

लेखकों ने अपना रोबोट, उपकरण और परीक्षण सूट जनता के लिए जारी कर दिया है। वे किसी को भी परीक्षण चलाने और इसे तोड़ने की कोशिश करने के लिए आमंत्रित करते हैं। केंद्रीय परिणाम—कि रोबोट अपने स्वयं के सुरक्षा रिंग को बायपास नहीं कर सकता—किसी के भी द्वारा एक सिंगल कमांड के साथ दोहराया जा सकता है। यह "हम पर विश्वास करें" से "हमें जाँचें" की ओर एक बदलाव है, जो सुरक्षा को एक वादे से बदलकर एक प्रक्रिया में बदल देता है।