SENTINEL: A Multi-Level Formal Framework for Safety Evaluation of Foundation Model-based Embodied Agents
SENTINEL एक नवीन बहु-स्तरीय औपचारिक ढांचा (formal framework) है जो सिमेंटिक, प्लान और ट्रजेक्टरी स्तरों पर औपचारिक टेम्पोरल लॉजिक विनिर्देशों (formal temporal logic specifications) के विरुद्ध सिमेंटिक समझ, योजना और निष्पादन को व्यवस्थित रूप से सत्यापित करके फाउंडेशन मॉडल-आधारित एम्बोडीड एजेंटों की भौतिक सुरक्षा सुनिश्चित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बिल्कुल नए रोबोट को घर के कामों में मदद करने के लिए प्रशिक्षित कर रहे हैं। आप चाहते हैं कि वह आपके लिए सैंडविच बनाए, आपका कमरा व्यवस्थित करे, या शायद बस आपको पानी का एक गिलास पकड़ा दे। यह "एम्बोडीड एजेंट्स" (embodied agents) की रोमांचक दुनिया है—ऐसे रोबोट जो वास्तविक (या आभासी) दुनिया में देख, सोच और चल सकते हैं। इन रोबोट्स को आपके उलझे हुए निर्देशों को समझने के लायक स्मार्ट बनाने के लिए, वैज्ञानिक उन्हें "फाउंडेशन मॉडल्स" (foundation models) दे रहे हैं, जो एक विशाल, सुपर-स्मार्ट मस्तिष्क की तरह हैं जिसे इंसानों द्वारा लिखी गई लगभग हर चीज़ पर प्रशिक्षित किया गया है। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि एक रोबोट स्मार्ट है, इसका मतलब यह नहीं है कि वह सुरक्षित भी है। एक सुपर-इंटेलिजेंट रोबोट आपको पीने के लिए पानी देने का सबसे तेज़ तरीका तो खोज सकता है, लेकिन अगर उसे यह समझ नहीं आया कि लैपटॉप के पास पानी गिराना एक बुरा विचार है, तो वह शॉर्ट सर्किट का कारण बन सकता है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: हम यह कैसे सुनिश्चित करें कि ये बुद्धिमान रोबोट आपकी मदद करने की कोशिश में गलती से घर न जला दें या हमारा सामान न तोड़ दें?
यहीं पर SENTINEL नामक एक नया फ्रेमवर्क आता है। SENTINEL को रोबोट के दिमाग के लिए एक बहुत ही सख्त, सुपर-लॉजिकल सुरक्षा निरीक्षक के रूप में समझें। केवल रोबोट से यह पूछने के बजाय कि, "क्या आपको लगता है कि यह सुरक्षित है?" (जो एक बच्चे से यह पूछने जैसा है कि क्या उसे छत से कूदना ठीक लगता है—वह हाँ कह सकता है क्योंकि वह गुरुत्वाकर्षण को नहीं समझता), SENTINEL एक विशेष "गणितीय भाषा" का उपयोग करता है जिसे "टेम्पोरल लॉजिक" (temporal logic) कहा जाता है। यह भाषा नियमों के एक सेट की तरह है जो बिल्कुल यह बताती है कि क्या होना चाहिए, क्या नहीं होना चाहिए, और किस क्रम में होना चाहिए। उदाहरण के लिए, "आग से सावधान रहें" कहने के बजाय, SENTINEL एक नियम लिखता है जो कहता है, "यदि चूल्हा चालू है, तो कागज कभी भी उसके एक मीटर के भीतर नहीं होना चाहिए।"
शोधकर्ताओं ने एक परीक्षण प्रणाली बनाई है जो तीन अलग-अलग चरणों में रोबोट की सुरक्षा की जाँच करती है, जो एक हवाई अड्डे पर तीन-स्तरीय सुरक्षा चेकपॉइंट की तरह है। सबसे पहले, सिमेंटिक स्तर (Semantic Level) पर, वे जाँचते हैं कि क्या रोबोट वास्तव में आपके द्वारा दिए गए सुरक्षा नियमों को समझता है। क्या उसने आपके शब्दों ("ब्लीच और अमोनिया को न मिलाएं") को सही गणितीय नियमों में अनुवादित किया? दूसरा, प्लान लेवल (Plan Level) पर, वे रोबोट की 'टू-डू लिस्ट' को देखते, इससे पहले कि वह चलना शुरू करे। यदि योजना कहती है "माइक्रोवेव चालू करें, फिर उसके अंदर एक धातु का चम्मच रखें," तो SENTINEL इस गलती को तुरंत पकड़ लेता है, जैसे एक शिक्षक छात्र द्वारा टेस्ट जमा करने से पहले गलत उत्तर को पकड़ लेता है। अंत में, ट्रैजेक्टरी लेवल (Trajectory Level) पर, वे एक सिमुलेशन में रोबोट द्वारा कार्य किए जाने के दौरान उसे देखते हैं। भले ही योजना ठीक लग रही हो, शायद रोबोट का हाथ बहुत चौड़ा घूम गया और उसने एक फूलदान को गिरा दिया। SENTNEL रोबोट के कार्यों की पूरी फिल्म देखता है ताकि यह सुनिश्चित हो सके कि वास्तविक समय में कुछ भी गलत न हो।
अपने प्रयोगों में, टीम ने डिजिटल किचन और लिविंग रूम में आभासी रोबोटों पर इस प्रणाली का परीक्षण किया। उन्होंने पाया कि जबकि बड़े, शक्तिशाली AI मॉडल यह समझने में बहुत अच्छे हैं कि कार्य कैसे करना है, वे अक्सर इन सख्त गणितीय नियमों के साथ जाँच किए बिना सुरक्षा विवरणों को छोड़ देते हैं। जब SENTINEL ने रोबोटों को इस बारे में विशिष्ट फीडबैक दिया कि उनका प्लान असुरक्षित क्यों था (जैसे कि सटीक क्षण की ओर इशारा करना जब एक धातु का चम्मच माइक्रोवेव में जाने वाला था), तो रोबोटों ने अन्य AI द्वारा केवल "यह असुरक्षित है" कहे जाने की तुलना में अपनी गलतियों को बहुत बेहतर तरीके से सुधारा। अध्ययन यह सुझाव देता है कि रोबोटों को वास्तव में सुरक्षित सहायक बनाने के लिए, हमें अनुमान लगाने से दूर हटकर रोबोट की सोचने की प्रक्रिया के हर चरण में इन सटीक, गणितीय सुरक्षा जाँचों का उपयोग करना होगा। यह सिर्फ स्मार्ट होने के बारे में नहीं है; यह सावधान होने के बारे में भी है, और SENTINEL वह उपकरण है जो हमें रोबोट को इन दोनों के लिए प्रशिक्षित करने में मदद करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।