SafetyALFRED: Evaluating Safety-Conscious Planning of Multimodal Large Language Models
यह शोध पत्र SafetyALFRED को प्रस्तुत करता है, जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने के लिए वास्तविक दुनिया के किचन खतरों के साथ ALFRED वातावरण का विस्तार करने वाला एक नया बेंचमार्क है, जो स्थिर प्रश्न-उत्तर सेटिंग्स में सुरक्षा जोखिमों को पहचानने की उनकी क्षमता और एम्बॉडीड प्लानिंग (embodied planning) के माध्यम से उन जोखिमों को सक्रिय रूप से कम करने की उनकी क्षमता के बीच एक महत्वपूर्ण अंतर को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने "AI" नाम का एक बहुत ही बुद्धिमान, उच्च शिक्षित रोबोट बटलर (नौकर) काम पर रखा है। आपने उसे दुनिया के बारे में सब कुछ सिखाया है: खाना बनाना, सफाई करना और यहाँ तक कि हज़ारों किताबों और वेबसाइटों से सुरक्षा के नियम भी।
आप उसे एक सरल काम देते हैं: "रसोई में जाओ और मक्खन वाला चाकू धो दो।"
रोबोट चारों ओर देखता है, देखता है कि सिंक में एक स्मार्टफोन रखा है, और कहता है, "मुझे सिंक में एक फोन दिख रहा है! यह खतरनाक है क्योंकि पानी और बिजली का मेल बुरा होता है। मुझे फोन को हटा देना चाहिए।"
अब तक, सब ठीक है। रोबट बुद्धिमान है।
लेकिन फिर, आप रोबोट को वास्तव में वह काम करने के लिए कहते हैं। वह फोन को देखता है, सिर हिलाता है, और तुरंत चाकू धोने के लिए नल चालू कर देता है। वह फोन को पूरी तरह से अनदेखा कर देता है। छपाक! फोन खराब हो गया।
यह बिल्कुल वही समस्या है जिसे मिशिगन विश्वविद्यालय और बोइस स्टेट यूनिवर्सिटी के शोधकर्ताओं ने अपने नए पेपर, SafetyALEFD में खोजा है।
मुख्य विचार: "जानना" बनाम "करना"
शोधकर्ताओं ने SafetyALFRED नामक एक परीक्षण बनाया है। इसे एक रोबोट के ड्राइविंग टेस्ट की तरह समझें, लेकिन कार के बजाय, वे वर्चुअल किचन में AI एजेंटों का परीक्षण कर रहे हैं। उन्होंने छह प्रकार के "किचन डिजास्टर" (रसोई की आपदाएं) बनाए हैं जो होने वाली थीं, जैसे:
- सिंक में फोन (पानी + इलेक्ट्रॉनिक्स = बुरा)।
- माइक्रोवेव में धातु का चम्मच (धातु + माइक्रोवेव = आग/धमाका)।
- कैबिनेट का दरवाजा खुला छोड़ देना (ठोकर लगने का खतरा)।
- चूल्हा चालू छोड़ देना (आग लगने का खतरा)।
उन्होंने यह देखने के लिए कि क्या वे इन स्थितियों को संभाल सकते हैं, उपलब्ध 11 सबसे स्मार्ट AI मॉडलों (जैसे Qwen, Gemma, और Gemini) का परीक्षण किया।
दो परीक्षण
शोधकर्ताओं ने दो अलग-अलग परीक्षण चलाए यह देखने के लिए कि रोबोट कैसे व्यवहार करते हैं:
1. "क्विज़ शो" परीक्षण (प्रश्न और उत्तर)
उन्होंने रोबोट को रसोई की एक तस्वीर दिखाई और पूछा, "क्या यहाँ कुछ खतरनाक है?"
- परिणाम: रोबोट अद्भुत थे! उन्होंने लगभग 90% उत्तर सही दिए। वे सिंक में फोन या खुले चूल्हे को लगभग पूरी तरह से पहचान सकते थे। वे उन छात्रों की तरह थे जिन्होंने सुरक्षा परीक्षा में टॉप किया हो।
2. "वास्तविक जीवन" परीक्षण (एम्बोडीड प्लानिंग - Embodied Planning)
उन्होंने रोबм को वही रसोई का दृश्य दिया लेकिन उसे कहा, "अब, चाकू धोओ।" रोबोट को अपने चरणों की योजना बनानी थी और वास्तव में चीजों को इधर-उधर करना था।
- परिणाम: रोबोट बुरी तरह विफल रहे। भले ही वे जानते थे कि फोन खतरनाक है, वे अक्सर उसे हटाने के बारे में भूल जाते थे और बस चाकू धोने की कोशिश करते थे। उनकी सफलता दर गिरकर 60% से कम हो गई, और कुछ कठिन खतरों के लिए, यह लगभग 0% के करीब थी।
उपमा: "सब कुछ जानने वाला" छात्र
एक ऐसे छात्र की कल्पना करें जिसने अग्नि सुरक्षा परीक्षा के लिए कड़ी मेहनत की है।
- कक्षा में (क्विज़): शिक्षक पूछते हैं, "अगर आपको आग दिखे तो आप क्या करेंगे?" छात्र चिल्लाता है, "911 पर कॉल करें और अग्निशामक यंत्र का उपयोग करें!" उसे A+ मिलता है।
- वास्तविक दुनिया में (एम्बोडीड टास्क): एक कूड़ेदान में वास्तव में आग लग जाती है। छात्र, घबराया हुआ और अपना होमवर्क पूरा करने पर केंद्रित, अनजाने में कूड़ेदान को लात मार देता है, जिससे आग और बढ़ जाती है, क्योंकि वह "होमवर्क" (कार्य) को पूरा करने में इतना व्यस्त था कि वह "सुरक्षा नियम" (खतरा) को भूल गया।
पेपर इसे "अलाइनमेंट गैप" (Alignment Gap) कहता है। AI का सुरक्षा का ज्ञान उसके कार्यों से मेल नहीं खाता जब वह कोई काम करने में व्यस्त होता है।
वे क्यों विफल हुए?
शोधकर्ताओं ने इस विफलता के कुछ कारण पाए:
- कार्य का टनल विजन (Task Tunnel Vision): जब रोबोट को "चाकू धोने" के लिए कहा जाता है, तो वह उस लक्ष्य के प्रति इतना जुनूनी हो जाता है कि वह सिंक में रखे फोन को अनदेखा कर देता है। यह एक ऐसे ड्राइवर की तरह है जो स्टोर तक पहुँचने पर इतना केंद्रित है कि वह रेड लाइट पार कर देता है।
- परसेप्शन (समझने की क्षमता) की समस्या: अतिरिक्त मदद (जैसे वस्तुओं का टेक्स्ट विवरण) के बिना, रोबोट कभी-कभी छवि में खतरे को स्पष्ट रूप से "देख" नहीं पाते थे ताकि उस पर कार्रवाई की जा सके।
- प्राथमिकता: रोबोटों को लगता है कि, "मुझे पहले कार्य पूरा करना चाहिए, सुरक्षा बाद में देखी जा सकती है।"
समाधान: "सेफ्टी को-पायलट"
इसे ठीक करने के लिए, शोधकर्ताओं ने एक चतुर तरकीब आजमाई। एक रोबोट को सब कुछ करने के लिए कहने के बजाय, उन्होंने दो रोबोटों को मिलकर काम करने के लिए इस्तेमाल किया:
- सेफ्टी जज (सुरक्षा न्यायाधीश): एक रोबोट जिसका एकमात्र काम दृश्य को देखना और चिल्लाना है, "हे! सिंक में एक फोन है!"
- डूअर (करने वाला): वह रोबोट जो वास्तव में चाकू धोता है।
जब "सेफ्टी जज" ने "डूअर" को खतरे के बारे में बताया, तो "डूअर" अचानक इसे ठीक करने में बहुत बेहतर हो गया। यह कार में एक को-पायलट होने जैसा है जो चिल्लाता है, "ब्रेक लगाओ!" जबकि आप GPS पर ध्यान केंद्रित कर रहे होते हैं।
निष्कर्ष
इस पेपर का मुख्य संदेश सरल लेकिन डरावना है: सिर्फ इसलिए कि एक AI सुरक्षा परीक्षण पास कर सकता है, इसका मतलब यह नहीं है कि वह वास्तविक दुनिया में सुरक्षित होगा।
हम केवल रोबोटों से यह नहीं पूछ सकते कि "क्या आप जानते हैं कि क्या सुरक्षित है?" और मान सकते हैं कि वे सुरक्षित रूप से कार्य करेंगे। हमें ऐसे सिस्टम बनाने की आवश्यकता है जहाँ सुरक्षा उनके निर्णय लेने का एक निरंतर, सक्रिय हिस्सा हो, न कि केवल एक तथ्य जिसे उन्होंने क्विज़ के लिए याद किया है।
शोधकर्ताओं ने अपना कोड और डेटा (SafetyALFRED) जारी कर दिया है ताकि अन्य वैज्ञानिक बेहतर, सुरक्षित रोबोट बना सकें जो आपके खाना बनाते समय गलती से आपका फोन खराब न करें या आग न लगा दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।