MetaSpace: Metamorphic Testing for Spatial Cognition in Embodied Agents
यह शोध पत्र MetaSpace को प्रस्तुत करता है, जो एक नवीन मेटाबॉर्फिक परीक्षण ढांचा (metamorphic testing framework) है जो तार्किक और भौतिक नियमों को निष्पादन योग्य नियमों के रूप में कूटबद्ध करके एम्बोडीड एजेंटों (embodied agents) के स्थानिक संज्ञान का स्वतः मूल्यांकन करता है ताकि विफलताओं का पता लगाया जा सके, जिससे यह प्रकट होता है कि वर्तमान अत्याधुनिक एजेंट मानव बेंचमार्क की तुलना में काफी खराब प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक मददगार रूममेट बनना सिखा रहे हैं। आप नहीं चाहते कि वह केवल आदेशों का पालन करे; आप चाहते हैं कि वह अपने आस-पास की दुनिया को समझे। इस क्षेत्र को "एम्बोडीड इंटेलिजेंस" (embodied intelligence) कहा जाता है, जहाँ कंप्यूटर केवल स्क्रीन पर चैट नहीं कर रहे होते, बल्कि भौतिक स्थानों में नेविगेट करने, कप उठाने और घर के चारों ओर रास्ता खोजने की कोशिश कर रहे होते हैं। सबसे बड़ी चुनौती "स्पेशियल कॉग्निशन" (spatial cognition) है—यह जानने की क्षमता कि चीजें कहाँ हैं, वे कितनी दूर हैं, और "बाएँ" या "दाएँ" कौन सी दिशा है। यह उस रोबोट और उस रोबोट के बीच का अंतर है जो दीवार को दरवाजा समझकर उससे टकरा जाता है, और उस रोबोट के बीच जो जानता है कि ठीक से कैसे निकलना है। लंबे समय तक, हमने इन रोबोट्स का परीक्षण सरल प्रश्न पूछकर किया है जैसे, "क्या कप मेज पर है?" या यह देखकर कि क्या वे "रसोई साफ करें" जैसे बड़े कार्य को पूरा कर सकते हैं। लेकिन ठीक वैसे ही जैसे एक छात्र गणित की परीक्षा में बिना फॉर्मूला समझे सही उत्तर का अनुमान लगा लेता है, एक रोबोट भाग्य से या एक अजीब, अक्षम रास्ते से कार्य पूरा कर सकता है जो सफल तो दिखता है लेकिन वास्तव में अंदर से टूटा हुआ होता है। हमें यह देखने के लिए एक तरीके की आवश्यकता है कि जब रोबोट घूम रहा हो, तो क्या उसका दिमाग वास्तव में सही ढंग से काम कर रहा है।
यहाँ आता है MetaSpace, एक चतुर नया टेस्टिंग फ्रेमवर्क जिसे हांगकांग यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी के शोधकर्ताओं द्वारा बनाया गया है। MetaSpace को एक "लॉजिक ट्रैप" (तर्क जाल) के रूप में समझें जिसे रोबोट्स को इस बारे में खुद से झूठ बोलने से पकड़ने के लिए डिज़ाइन किया गया है कि वे कहाँ हैं। केवल यह जाँचने के बजाय कि रोबोट ने काम पूरा किया या नहीं, शोधकर्ता "मेटामॉर्फिक टेस्टिंग" नामक तकनीक का उपयोग करते हैं। कल्पना कीजिए कि आप एक रोबोट को कहते हैं, "तीन कदम आगे चलें।" यदि रोबोट समझदार है, तो वह जानता है कि यदि वह तीन कदम आगे चलता है, और फिर घूमकर तीन कदम पीछे आता है, तो उसे ठीक वहीं होना चाहिए जहाँ से उसने शुरुआत की थी। यदि रोबोट कहता है, "मैं वापस वहीं हूँ जहाँ से शुरू किया था," लेकिन उसका आंतरिक मानचित्र कहता है कि वह वास्तव में रसोई में है, तो वह तर्क परीक्षण में विफल रहा है। MetaSpace इसे स्वचालित करता है, वास्तविक रोबोट आंदोलनों को लेकर, भौतिकी और तर्क के अटूट नियमों (जैसे "यदि A, B के बाएँ है, और B, C के बाएँ है, तो A को C के बाएँ होना ही चाहिए") पर आधारित "क्या होगा अगर" वाले परिदृश्य बनाता है, और यह जाँचता है कि क्या रोबोट के उत्तर सुसंगत रहते हैं।
शोधकर्ताओं ने इस प्रणाली को आज के छह सबसे स्मार्ट रोबोट दिमागों पर परखा, जो उन्नत AI मॉडल द्वारा संचालित हैं। उन्होंने तीन अलग-अलग दुनियाओं में 30,000 से अधिक अद्वितीय परीक्षण चलाए: एक घरेलू रोबोट जो रसोई में नेविगेट कर रहा है, एक रोबोटिक आर्म जो मेज पर वस्तुओं को हिला रहा है, और एक ड्रोन जो बाहर खुले में उड़ रहा है। परिणाम चौंकाने वाले थे। हालांकि ये रोबोट प्रभावशाली हैं, वे स्थानिक समझ (spatial understanding) के मामले में आश्चर्यजनक रूप से खराब हैं। टीम ने स्थानिक सोच में 90,422 त्रुटियां पाईं। जब उन्होंने रोबोट्स को "स्पेशियल कॉग्निशन स्कोर" (जहाँ 1.0 पूर्ण है) दिया, तो सर्वश्रेष्ठ रोबोटों ने केवल 0.44 और 0.52 के बीच स्कोर किया। तुलना के लिए, मानव स्वयंसेवकों के एक समूह ने समान परीक्षणों में 0.96 का स्कोर किया। रोबोट विशेष रूप से दिशाओं और दूरियों को समझने में बहुत खराब थे, अक्सर इस बात में भ्रमित हो जाते थे कि "बायाँ" कौन सा है या कोई चीज़ कितनी दूर है, भले ही वे भाग्य के सहारे कार्य पूरा करने में सफल रहे हों।
पेपर ने इन गलतियों को ठीक करने की भी कोशिश की। उन्होंने रोबोट्स को बेहतर सोचने में मदद करने के दो तरीकों का परीक्षण किया। एक सामान्य ट्रिक है जिसे "चेन ऑफ थॉट" (Chain of Thought) कहा जाता है, जहाँ आप AI को अपने चरणों को ज़ोर से समझाने के लिए कहते हैं। इससे थोड़ी मदद मिली, लेकिन बहुत ज़्यादा नहीं। दूसरी ट्रिक "कॉग्निटिव मैप प्रॉम्प्टिंग" (Cognitive Map Prompting) है, जहाँ आपने रोबोट को चलने से पहले अपने दिमाग में कमरे का मानसिक मानचित्र बनाने के लिए कहा। इसने कमाल कर दिया, विशिष्ट दिशा कार्यों में रोबोट के स्कोर को एक असफल 0.11 से बढ़ाकर बहुत बेहतर 0.45 कर दिया। शोधकर्ता निष्कर्ष निकालते हैं कि जबकि हमारे रोबोट स्मार्ट हो रहे हैं, उनमें अभी भी स्थान की मौलिक समझ की कमी है। उनका सुझाव है कि वास्तविक दुनिया के लिए विश्वसनीय रोबोट बनाने के लिए, हमें केवल यह जाँचने से रुकना होगा कि वे काम पूरा करते हैं या नहीं, और उन्हें अपने आस-पास की दुनिया का सटीक मानसिक मानचित्र बनाना सिखाना शुरू करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।