Pre-Execution Safety Gate & Task Safety Contracts for LLM-Controlled Robot Systems
यह शोध पत्र SafeGate को प्रस्तुत करता है, जो एक न्यूरोसिम्बोलिक सुरक्षा आर्किटेक्चर है जो ISO 13482 मानकों पर आधारित प्री-एग्जीक्यूशन निर्णय गेट को रनटाइम टास्क सेफ्टी कॉन्ट्रैक्ट्स और Z3 SMT सॉल्विंग के साथ जोड़ता है ताकि LLM-नियंत्रित रोबोट प्रणालियों में असुरक्षित प्राकृतिक भाषा कमांड्स को पहुँचने और खतरों का कारण बनने से रोका जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, बहुत ही उत्साही रोबोट बटलर है। यह रोबोट आपके द्वारा बोले गए लगभग किसी भी वाक्य को समझ सकता है और उसे आपके घर की सफाई करने, रात का खाना बनाने या आपके लिए कॉफी लाने के निर्देशों के सेट में बदल सकता है। यह एक ऐसे जिन्न की तरह है जो आपकी इच्छाओं को तुरंत पूरा करता है।
लेकिन यहाँ एक समस्या है: जिन्न शाब्दिक (literal) होते हैं। यदि आप कहते हैं, "मेरे लिए गर्म कॉफी लाओ," तो एक शाब्दिक जिन्न उबलता हुआ बर्तन उठा सकता है और सीधे आपके बच्चे से टकरा सकता है। यदि आप कहते हैं, "कुत्ते की ओर चाकू फेंको," तो एक शाब्दिक जिन्न बिल्कुल यही करेगा, यह सोचकर कि वह बस आदेशों का पालन कर रहा है।
वर्तमान रोबोट सिस्टम थोड़े ऐसे ही शाब्दिक जिन्नों की तरह हैं। वे यह समझने में बहुत अच्छे हैं कि किसी कार्य को कैसे करना है, लेकिन वे यह समझने में बहुत खराब हैं कि क्या उस कार्य को करना सुरक्षित है। वे अक्सर खतरनाक कमांड को निष्पादित करने की कोशिश करते हैं क्योंकि उनमें "सेफ्टी फिल्टर" की कमी होती है।
यह पेपर SafeGate को पेश करता है, जो एक नया सिस्टम है जिसे एक सख्त, सुपर-स्मार्ट सुरक्षा गार्ड के रूप में डिज़ाइन किया गया है, जो रोबोट को हिलने-डुलने की अनुमति देने से पहले दरवाजे पर खड़ा रहता है।
मुख्य विचार: "सेफ्टी गेट" (सुरक्षा द्वार)
SafeGate को एक विशिष्ट क्लब के बाउंसर की तरह समझें, लेकिन यह आईडी चेक करने के बजाय आपके अनुरोध की सुरक्षा की जांच करता है। यह केवल "हाँ" या "ना" नहीं कहता। इसके पास तीन चालें हैं:
- अधिकृत करें (Green Light - हरी बत्ती): "यह सुरक्षित है। आगे बढ़ो, रोबोट!"
- अस्वीकार करें (Red Light - लाल बत्ती): "यह खतरनाक है। तुरंत रुक जाओ।"
- स्थगित करें (Yellow Light - पीली बत्ती): "मेरे पास कुछ जानकारी अधूरी है। आगे बढ़ने से पहले इंसान से पूछें।"
SafeGate कैसे काम करता है (6-चरणीय प्रक्रिया)
निर्माताओं ने इस सिस्टम को AI (इसका "न्यूरो" हिस्सा) और सख्त तर्क नियमों (इसका "सिम्बोलिक" हिस्सा) के मिश्रण का उपयोग करके बनाया है। यहाँ बताया गया है कि यह "मेरी बेटी के लिए बेडरूम में गर्म कॉफी लाओ" जैसे कमांड को कैसे प्रोसेस करता है।
1. खतरा विश्लेषण मैट्रिक्स (जासूस)
सिस्टम एक जासूस की तरह वाक्य को तोड़ता है। यह तीन बड़े सवाल पूछता है:
- कार्य (The Task): क्या "गर्म कॉफी" खतरनाक है? हाँ, यह जला सकती है।
- वातावरण (The Environment): क्या बेटी अंधेरे कमरे में है? क्या सीढ़ियाँ हैं?
- उपयोगकर्ता (The User): क्या बेटी एक बच्ची है? क्या वह सो रही है?
यह जोखिमों को चार श्रेणियों में वर्गीकृत करता है: शारीरिक (जलना, कटना), मनोवैज्ञानिक (किसी को डराना), परिचालन (क्या रोबोट वास्तव में यह कर सकता है?), और परिणामी (क्या इससे बाद में कोई समस्या होगी, जैसे फर्श को फिसलन भरा छोड़ देना?)।
2. हज़ार्ड बाइंडिंग लेयर (अनुवादक)
जासूस संभावित खतरों की एक सूची खोजता है। अब, सिस्टम उन अस्पष्ट खतरों को एक औपचारिक नियम पुस्तिका में अनुवादित करता है।
- उदाहरण: यदि कमांड में "गर्म कॉफी" शामिल है, तो सिस्टम एक पूर्व-लिखित नियम निकालता है: "सोते हुए बच्चों के पास कभी भी गर्म तरल पदार्थ न ले जाएं।"
- यदि सिस्टम को ऐसा खतरा मिलता है जिसके लिए उसके पास अभी नियम नहीं है, तो वह इसे "अज्ञात" के रूप में चिह्नित करता है और मदद मांगता है।
3. निर्णय द्वार (न्यायाधीश)
यह वह सख्त न्यायाधीश है जो नियमों के आधार पर अंतिम निर्णय लेता है।
- अस्वीकार (Reject): यदि कमांड है "कुत्ते की ओर चाकू फेंको," तो न्यायाधीश कहता है, "नहीं। यह एक अपरिहार्य खतरा है।"
- स्थगित (Defer): यदि कमांड है "व्यक्ति के पास बोतल लाओ," लेकिन सिस्टम नहीं जानता कि बोतल में क्या है या वह व्यक्ति कौन है, तो न्यायाधीश कहता है, "मैं निर्णय नहीं ले सकता। इंसान से पूछें: 'क्या बोतल में एसिड भरा है?'"
- अधिकृत (Authorize): यदि कमांड है "व्यक्ति के पास तौलिया लाओ," और सभी जाँच पूरी हो जाती है, तो न्यायाधीश कहता है, "जाओ।"
4. सुरक्षा अनुबंध (कानूनी समझौता)
एक बार जब रोबोट को काम करने की अनुमति मिल जाती है, तो SafeGate उसे मनमानी करने नहीं देता। यह एक सुरक्षा अनुबंध (Safety Contract) बनाता है। इसे एक कानूनी समझौते की तरह समझें जिस पर रोबलेट को हस्ताक्षर करने होंगे।
- इनवेरिएंट्स (Invariants): वे नियम जो हमेशा सत्य होने चाहिए (जैसे, "किसी व्यक्ति से 1 मीटर से अधिक दूर रहें")।
- गार्ड्स (Guards): वे नियम जो किसी विशिष्ट चाल से पहले सत्य होने चाहिए (जैसे, "चलने से पहले जांच लें कि फर्श सूखा है या नहीं")।
- एबॉर्ट कंडीशंस (Abort Conditions): वे नियम जो तत्काल रोक को ट्रिगर करते हैं (जैसे, "यदि कोई बच्चा आपके सामने दौड़ता है, तो रुक जाएँ")।
5 और 6. सत्यापन और निगरानी (दोहरी जाँच)
रोबोट के चलने से पहले, एक कंप्यूटर प्रोग्राम योजना का सिमुलेशन करता है ताकि यह सुनिश्चित हो सके कि वह अनुबंध को नहीं तोड़ेगा। फिर, जब रोबोट वास्तव में चल रहा होता है, तो एक 'वॉचडॉग' हर कदम पर नज़र रखता है। यदि रोबोट किसी नियम को तोड़ने की कोशिश करता है, तो वॉचडॉग तुरंत इमरजेंसी ब्रेक लगा देता है।
यह क्यों महत्वपूर्ण है (परिणाम)
शोधकर्ताओं ने 230 विभिन्न कार्यों (जैसे "किचन साफ करो" या "बुजुर्गों की मदद करो") के साथ अन्य सुरक्षा प्रणालियों और मानक AI मॉडल के विरुद्ध SafeGate का परीक्षण किया।
- पुराना तरीका: अन्य सिस्टम एक घबराए हुए माता-पिता की तरह थे जो सुरक्षा के लिए हर चीज़ को "ना" कह देते हैं (50% सुरक्षित कार्यों को ब्लॉक कर देते हैं) या एक लापरवाह ड्राइवर की तरह जो हर चीज़ को "हाँ" कहते हैं (39% खतरनाक कार्यों को जाने देते हैं)।
- SafeGate: यह सुरक्षा का 'गोल्डिलॉक्स' (सही संतुलन) था।
- इसने 92.8% सुरक्षित कार्यों को आगे जाने दिया (ताकि रोबर्ट वास्तव में उपयोगी हो)।
- इसने 100% खतरनाक कार्यों को ब्लॉक कर दिया (ताकि किसी को चोट न लगे)।
- इसने उलझन भरे मामलों में अनुमान लगाने के बजाय स्पष्टीकरण मांगा।
निष्कर्ष
SafeGate आपके रोबोट पर एक स्मार्ट, अटूट सीटबेल्ट और एक को-पायलट लगाने जैसा है। यह केवल इस उम्मीद पर निर्भर नहीं रहता कि रोबोट सावधान रहेगा; यह सक्रिय रूप से योजना की जाँच करता है, एक सुरक्षा अनुबंध बनाता है, और एक बाज की तरह रोबोट पर नज़र रखता है।
यह सुनिश्चित करता है कि जब आप अपने रोबोट से "मेरे लिए एक ड्रिंक लाओ" कहते हैं, तो वह गलती से आपको उबलता हुआ पानी या आपके बिल्ली के ऊपर से टकराकर गिरना नहीं सिखाता। यह भविष्य के रोबोट सहायकों को न केवल स्मार्ट, बल्कि सुरक्षित बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।