Safety Invariants for Agents Orchestrating Irreversible State Transitions: A Four-Dimensional Formalism Evaluated on Public Ledgers
यह शोध पत्र एक चार-आयामी औपचारिकता और सात व्युत्पन्न सुरक्षा अपरिवर्तनीयों (safety invariants) को प्रस्तुत करता है ताकि सार्वजनिक लेजर पर अपरिवर्तनीय अवस्था संक्रमण (irreversible state transitions) करने वाले स्वायत्त एजेंटों के लिए "निष्पादन निष्ठा" (execution fidelity) की गारंटी दी जा सके, जो यह सुनिश्चित करता है कि साकार प्रभाव या तो शून्य हों या उपयोगकर्ता द्वारा रेंडर किए गए संक्रमण से सटीक रूप से मेल खाते हों, एक ऐसा ढांचा जिसे प्रतिकूल परिवेशों में मानक बेसलाइन की तुलना में सुरक्षा में महत्वपूर्ण सुधार करने के लिए अनुभवजन्य रूप से मान्य किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े लापरवाह रोबोट बटलर (नौकर) को कामों की एक सूची सौंप रहे हैं। आप कहते हैं, "कृपया मेरी गुल्लक से मेरा भत्ता निकालकर मेरे बचत जार में डाल दें।" कंप्यूटर विज्ञान की दुनिया में, यह स्वायत्त एजेंटों (autonomous agents) का क्षेत्र है: ऐसे सॉफ़्टवेयर प्रोग्राम जो निर्णय लेने और अपने आप कार्य करने के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग करते हैं। आमतौर पर, ये एजेंट प्रश्न पूछने या कहानियाँ लिखने में माहिर होते हैं, लेकिन वे अभी-अभी वास्तविक दुनिया को छूना सीख रहे हैं—जैसे पैसा स्थानांतरित करना, फाइलें सहेजना या लाइटें जलाना। समस्या यह है कि इनमें से कुछ क्रियाएं अपरिवर्तनीय (irreversible) होती हैं। एक बार जब आप किसी अजनबी को पैसा भेज देते हैं या कोई फाइल डिलीट कर देते हैं, तो आप बस "अनडू" (undo) नहीं कर सकते। यदि रोबोट आपके आदेश को गलत समझ लेता है, या यदि इंटरनेट में कोई गड़बड़ी आती है, तो आप सब कुछ खो सकते हैं। यह शोध पत्र इस डरावने सवाल का समाधान करता है: हम यह कैसे सुनिश्चित करें कि एक रोबोट आपकी मदद करने की कोशिश में गलती से आपका पैसा न जला दे?
इस शोध पत्र के लेखक इन डिजिटल बटलरों के लिए एक सुरक्षा प्रणाली बना रहे हैं, विशेष रूप से ब्लॉकचेन (blockchains) (सार्वजनिक लेजर जहाँ पैसा और संपत्ति रहती है) की दुनिया के लिए। उन्होंने महसूस किया कि मौजूदा सुरक्षा जाँचें बहुत अस्पष्ट थीं। केवल इस उम्मीद में कि रोबोट "इसे सही ढंग से करेगा" रहने के बजाय, उन्होंने एक सख्त गणितीय नियम पुस्तिका बनाई। उन्होंने सिद्ध किया कि हालांकि हम यह मजबूर नहीं कर सकते कि एक रोबोट मानव इरादे (intent) को पूरी तरह से समझे (क्योंकि भाषा जटिल होती है), हम यह गारंटी दे सकते हैं कि रोबोट या तो कुछ भी नहीं करेगा या ठीक वही करेगा जिसका उसने वादा किया था, और केवल एक बार। वे इसे "एग्जीक्यूशन फिडेलिटी" (execution fidelity) कहते हैं। इसे एक जादुвिक अनुबंध की तरह समझें: यदि रोबोट कहता है कि वह 10 स्थानांतरित करेगा, या 100 नहीं भेज सकता, वह 10 गलत व्यक्ति को नहीं भेज सकता। यदि रोबोट भ्रमित हो जाता है, तो सिस्टम उसे रुकने और मदद के लिए पूछने के लिए मजबूर करता है, बजाय इसके कि वह अनुमान लगाए और संभावित रूप से आपदा का कारण बने।
चार-आयामी मानचित्र (The Four-Dimensional Map)
इस गारंटी को संभव बनाने के लिए, लेखक ने डिजिटल वॉलेट को देखने का एक नया तरीका निकाला है। केवल यह सोचने के बजाय कि "मेरे पास कितना पैसा है," वे प्रत्येक लेनदेन को एक चार-आयामी ग्रिड पर मैप करते हैं। कल्पना कीजिए कि एक विशाल स्प्रेडशीट है जहाँ प्रत्येक पंक्ति आपके पैसे की एक विशिष्ट स्थिति है, जिसे चार निर्देशांकों (coordinates) द्वारा परिभाषित किया गया है:
- वॉलेट (Wallet): कौन सी कुंजियाँ (आपकी पहचान) पैसे की मालिक हैं।
- चेन (Chain): वह विशिष्ट डिजिटल हाईवे जिस पर आपका पैसा है (जैसे Ethereum, Bitcoin, या Solana)।
- एड्रेस (Address): उस हाईवे पर विशिष्ट मेलबॉक्स।
- प्रोटोकॉल (Protocol): संपत्ति या गेम का विशिष्ट प्रकार (जैसे USDC, एक ब्रिज टोकन, या एक स्टेक किया हुआ डेरिवेटिव)।
शोध पत्र का तर्क है कि आप सुरक्षित रूप से पैसा स्थानांतरित नहीं कर सकते जब तक कि आप इन चारों निर्देशांकों को नहीं जानते। यदि आप केवल तीन जानते हैं, तो आप गलती से अपना बिटकॉइन एक ऐसे बिटकॉइन एड्रेस पर भेज सकते हैं जो इथेरियम चेन पर मौजूद नहीं है, या पूरी तरह से गलत वॉलेट में भेज सकते हैं। लेनदेन को इस 4D ग्रिड पर एक सटीक चाल के रूप में मानकर, सिस्टम गणितीय निश्चितता के साथ "पहले" और "बाद" की स्थितियों की जांच कर सकता है।
सात सुरक्षा नियम (The Invariants)
इस शोध पत्र का मूल सात सुरक्षा नियमों (जिन्हें इनवेरिएंट्स कहा जाता है) का एक समूह है जिनका पालन रोबोट को करना चाहिए। ये केवल सुझाव नहीं हैं; ये हार्ड-कोडेड द्वार हैं जो रोबोट को तब रोक देते हैं जब नियम पूरे नहीं होते। यहाँ बताया गया है कि वे रोजमर्रा की भाषा में कैसे काम करते हैं:
- "दिखाओ मुझे" गेट (The "Show Me" Gate): आपके पैसे को छूने से पहले, रोबंड को उस सटीक चाल का पूर्वावलोकन (preview) दिखाना चाहिए जिसे वह करने की योजना बना रहा है। आपको (या एक सख्त स्वचालित जाँच को) उस विशिष्ट पूर्वावलोकन को "हाँ" कहना होगा। रोबोट केवल यह नहीं कह सकता कि "मैं कर रहा हूँ" और फिर कुछ अलग कर सकता है।
- "बैलेंस की जाँच करें" गेट (The "Check the Balance" Gate): लेनदेन पर हस्ताक्षर करने से ठीक पहले, रोबोट को ब्लॉकचेन पर वास्तविक बैलेंस की जाँच करनी चाहिए, न कि कैश की गई या पुरानी संख्या की। यदि पैसा वहाँ नहीं है, तो रोबोट रुक जाता है। यह रोबोट को वह पैसा खर्च करने से रोकता है जो एक सेकंड पहले गायब हो गया था।
- "इंतज़ार करो और देखो" नियम (The "Wait and See" Rule): लेनदेन भेजने के बाद, रोबोट तुरंत "सफलता" नहीं कहता यदि वह ब्लॉकचेन पर परिणाम नहीं देख पाता है। यदि इंटरनेट धीमा है या ब्लॉकचेन व्यस्त है, तो रोबोट "मुझे यकीन नहीं है" कहता है, बजाय इसके कि वह "यह हो गया!" कहे। यह रोबोट को घबराने और केवल इसलिए दोबारा पैसा भेजने से रोकता है क्योंकि उसे तुरंत जवाब नहीं मिला।
- "कोई भूतिया सफलता नहीं" नियम (The "No Ghost Success" Rule): यदि रोबट को एक रसीद (ट्रांजैक्शन आईडी) मिलती है लेकिन ब्लॉकचेन वास्तव में उस चाल को रिकॉर्ड नहीं करता है, तो रोबोट स्वीकार करता है कि वह विफल रहा। वह यह झूठ बोलने से इनकार करता है कि "भेज दिया गया!" जब पैसा अभी भी आपकी जेब में है।
- "आईडी बैज" नियम (The "ID Badge" Rule): यदि कोई रोबोट आपकी ओर से कार्य कर रहा है (जैसे कि एक स्वचालित बचत बॉट), तो उसे एक डिजिटल आईडी बैज पहनना चाहिए जो बताता है कि वह क्या करने के लिए अधिकृत है। यदि बैज कहता है "केवल ट्रांसफर," तो रोबोट पैसे को "स्वैप" या "ब्रिज" नहीं कर सकता, भले ही वह एक पेचीदा प्रॉम्प्ट से भ्रमित हो जाए।
- "पुनः प्रयास करने से पहले सत्यापित करें" नियम (The "Verify Before Retry" Rule): यदि रोबोट को लगता है कि एक चाल विफल हो गई है, तो वह तुरंत फिर से प्रयास नहीं कर सकता। उसे पहले ब्लॉकचेन जाकर यह प्रमाणित करना होगा कि वह चाल नहीं हुई थी। यदि वह चाल वास्तव में हो गई थी (लेकिन रोबोट को पता नहीं था), तो रोबोट दोबारा भेजने से प्रतिबंधित है। यह गलती से आपके पैसे को "डबल-स्पेंड" करने से रोकता है।
- "एक संदेश" नियम (The "One Message" Rule): यदि इंटरनेट गलती से एक ही अनुरोध को दो बार भेज देता है (जैसे डबल-क्लिक), तो सिस्टम इसे डुप्लिकेट के रूप में पहचान लेता है और दूसरे को अनदेखा कर देता है। यह सुनिश्चित करता है कि नेटवर्क में गड़बड़ी होने पर भी, रोबोट केवल एक बार कार्य करे।
उन्होंने क्या पाया (और क्या नहीं)
लेखक ने इन नियमों का परीक्षण एक "विलेन" सिम्युलेटर का उपयोग करके किया जिसने रोबोट को गलतियाँ करने के लिए trick करने की कोशिश की। उन्होंने 60 पेचीदा परिदृश्यों के डेटासेट का उपयोग किया और उन्हें चार अलग-अलग AI मॉडल के विरुद्ध परखा।
- बड़ी जीत: दो AI मॉडल जो कार्य करने के लिए उत्सुक थे (जिन्हें "राइट-अग्रेसिव" कहा जाता है), उनमें इन सात सुरक्षा नियमों को जोड़ने से सफलता दर में लगभग 74 प्रतिशत अंक का सुधार हुआ। बिना सुरक्षा वाला रोबोट लगभग सब कुछ विफल कर देता था, जबकि सुरक्षित रोबवर अधिकांश समय सफल रहा।
- चेतावनी: एक AI मॉडल जो स्वाभाविक रूप से सतर्क और कार्य करने में हिचकिचाने वाला था, उसमें सुरक्षा नियमों ने केवल लगभग 3 प्रतिशत अंक का सुधार जोड़ा। इसने लेखक को एक महत्वपूर्ण सबक सिखाया: एजेंट की सुरक्षा इस बात पर बहुत निर्भर करती है कि उसके नीचे कौन सा AI दिमाग है। एक सुरक्षा परत उस दिमाग को ठीक नहीं कर सकती जो बहुत उत्सुक है, और न ही उसे ठीक करने की आवश्यकता है जो पहले से ही बहुत सावधान है।
- वास्तविक दुनिया का प्रमाण: यह प्रणाली केवल एक सिद्धांत नहीं है। लेखक ने इसे वास्तविक दुनिया में तैनात किया और 8 अलग-अलग ब्लॉकचेन पर 108 वास्तविक राइट ऑपरेशंस को ट्रैक किया। उन्होंने वास्तविक दुनिया की विफलताओं (जैसे "फैंटम सक्सेस" जहाँ इंटरनेट ने लेनदेन के बारे में झूठ बोला) को देखा और दिखाया कि कैसे उनके नियमों ने उन्हें पकड़ा। उदाहरण के लिए, उन्होंने एक मामला पाया जहाँ एक रोबोट लगभग $200 को डबल-स्पेंड करने ही वाला था क्योंकि उसे लगा कि लेनदेन विफल हो गया है जबकि वास्तव में वह सफल हो गया था; सुरक्षा नियमों ने दूसरे प्रयास को रोक दिया।
जादू की सीमाएँ
यह शोध पत्र इस बारे में बहुत ईमानदार है कि यह क्या नहीं कर सकता। यह स्पष्ट रूप से कहता है कि यह गारंटी नहीं दे सकता कि रोबोट ने आपके इरादे को समझा। यदि आप कहते हैं "मेरा सारा पैसा चाँद पर भेज दो" और रोबोट इसे किसी स्कैमर को भेज देता है, तो सिस्टम अभी भी पूरी तरह से काम करेगा: यह ठीक वही भेजेगा जो आपने मांगा है, और केवल एक बार। सुरक्षा प्रणाली यह सुनिश्चित करती है कि रोबोट एक निष्ठावान निष्पादक (faithful executor) हो, न कि एक बुद्धिमान सलाहकार। यह सुनिश्चित करती है कि रोबोट प्रक्रिया के दौरान गलतियाँ न करे, लेकिन यह एक बुरे आदेश का पालन करने से नहीं रोकती है।
लेखक यह भी स्वीकार करते हैं कि उनकी सुरक्षा गारंटी समाप्त हो जाती है यदि इंटरनेट कनेक्शन बहुत लंबे समय तक टूट जाता है, या यदि AI मॉडल स्वयं अपने व्यवहार को इस तरह बदल देता है जिसकी प्रणाली ने अपेक्षा नहीं की थी। उन्होंने सिद्ध किया कि उनके सात नियम तकनीकी त्रुटियों (जैसे दो बार भेजना या गलत पते पर भेजना) को रोकने के लिए पर्याप्त हैं, लेकिन "क्या यह एक अच्छा विचार है?" की अंतिम जिम्मेदारी अभी भी मनुष्य पर ही टिकी है।
संक्षेप में, यह शोध पत्र इस समस्या का समाधान नहीं करता है कि "मैं एक ऐसा रोबोट कैसे बनाऊं जो इंसान की तरह सोचे?" इसके बजाय, यह इस बात का समाधान करता है कि "मैं एक ऐसा रोबोट कैसे बनाऊं जो एक रोबोट की तरह कार्य करे, लेकिन इसे करते समय कोई गलती न करे?" डिजिटल पैसे की जटिल दुनिया को एक सटीक चार-आयामी मानचित्र में बदलकर और सात अटूट द्वार बनाकर, उन्होंने एक ऐसी प्रणाली बनाई है जहाँ केवल एक ही चीज़ गलत हो सकती है—और वह यह कि आपने कुछ बुरा माँगा हो। और वे तर्क देते हैं, यही वह सर्वोत्तम सुरक्षा है जिसकी हम उम्मीद कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।