Curiosity-Diffuser: Curiosity Guide Diffusion Models for Reliability

कल्पना कीजिए कि आप एक रोबोट को एक नया करतब दिखाना सिखा रहे हैं, जैसे कि जादूगरी या दरवाजा खोलना। आप उसे एक इंसान द्वारा इसे पूरी तरह से करने का वीडियो दिखाते हैं, और रोबोट का मस्तिष्क (एक न्यूरल नेटवर्क) उन गतिविधियों की नकल करने की कोशिश करता है। इसे "इमिटेशन लर्निंग" (अनुकरण सीखना) कहा जाता है। यह एक छात्र की तरह है जो परीक्षा पास करने के लिए पाठ्यपुस्तक रट रहा है। लेकिन यहाँ एक पेंच है: क्या होता है जब परीक्षा का प्रश्न उस किताब में मौजूद किसी भी चीज़ से थोड़ा अलग होता है? वास्तविक दुनिया में, चीजें अस्त-व्यस्त होती हैं। एक रोबोट ऐसी स्थिति का सामना कर सकता है जो उसने पहले कभी नहीं देखी है, और उसका मस्तिष्क "भ्रम" (हैलुसिनेट) करने लग सकता है। एक सुरक्षित नया कदम उठाने के बजाय, वह कोई अजीब, असंभव क्रिया बना सकता है जिससे वह टकरा जाए या वस्तु को गिरा दे। यह अस्थिरता एक बड़ी समस्या है यदि हम चाहते हैं कि रोबोट हमारे घरों या अस्पतालों में सुरक्षित रूप से काम करें। वैज्ञानिक ऐसे रोबोट बनाने की कोशिश कर रहे हैं जो केवल नकल न करें, बल्कि यह भी जानें कि वे कब अनुमान लगा रहे हैं और उन्हें सावधान रहना चाहिए।

यह पेपर एक चतुर नए तरीके का परिचय देता है जो रोबोटों को खतरनाक चालें बनाने से रोकने के लिए है। लेखक एक प्रकार के AI के साथ काम कर रहे हैं जिसे "डिफ्यूजन मॉडल" (जो एक स्मार्ट कलाकार की तरह है जो शोर को धीरे-धीरे एक स्पष्ट छवि में बदलकर चित्र बना सकता है) कहा जाता है, उन्होंने एक सिस्टम बनाया है जिसे वे Curiosity-Diffuser कहते हैं। सोचिए कि रोबोट का मस्तिष्क एक ऐसा छात्र है जिसने अभ्यास समस्याओं का एक विशिष्ट सेट पढ़ा है। जब छात्र के सामने एक नई समस्या आती है, तो वह घबरा सकता है और बेतरतीब ढंग से अनुमान लगा सकता है। Curiosity-Diffuser रोबोट में एक "जिज्ञासा मीटर" (curiosity meter) जोड़ देता है। यदि रोबोट कुछ ऐसा करने की कोशिश करता है जो उसके द्वारा सीखे गए अनुभवों की तुलना में बहुत अजीब या अपरिचित लगता है, तो मीटर बज उठता है। सिस्टम फिर रोबोट को धीरे से उन सुरक्षित, परिचित चालों की ओर वापस ले जाता है जिन्हें वह जानता है कि काम करते हैं, जिससे उसे खतरनाक क्षेत्र में भटकने से रोका जा सके।

शोधकर्ताओं ने इस विचार का दो तरीकों से परीक्षण किया: पहला कंप्यूटर सिमुलेशन में जहाँ रोबोटों को चलना या भूलभुलैया (maze) में रास्ता खोजना था, और दूसरा वास्तविक दुनिया में वास्तविक रोबोटिक भुजाओं (arms) के साथ। उन्होंने पाया कि इस "जिज्ञासा मार्गदर्शक" (curiosity guide) का उपयोग करने से रोबोट कहीं अधिक विश्वसनीय हो गए। सिमुलेशन में, रोबोटों ने कम गलतियाँ कीं और वे सुरक्षित रास्तों के करीब रहे जिनका उन्होंने अभ्यास किया था। वास्तविक दुनिया में, कैबिनेट का दरवाजा बंद करने या ब्लॉक को स्टैक करने के लिए कहे जाने पर, इस नई विधि ने 85% बार सफलता प्राप्त की, जबकि पुराने तरीकों के लिए यह केवल लगभग 50% थी। पेपर सुझाव देता है कि रोबोट को यह सिखाकर कि वे कब अपनी "क्षमता से बाहर" हैं और उन्हें सुरक्षा की ओर वापस लाकर, हम ऐसी बुद्धिमान मशीनें बना सकते हैं जिनके दुर्घटना होने की संभावना बहुत कम हो।

जिज्ञासु रोबोट की कहानी

समस्या: रोबोट का दिवास्वप्न (Daydream)
कल्पना कीजिए कि आप 'रोबो' नाम के एक रोबोट हैं। आपको एक इंसान को 100 बार दरवाजा खोलते हुए देखकर प्रशिक्षित किया गया है। आप जानते हैं कि हैंडल को कैसे पकड़ना है और धक्का कैसे देना है। लेकिन एक दिन, दरवाजा थोड़ा भारी है, या आपका हाथ थोड़ी अलग जगह पर है। आपका मस्तिष्क, जो जो कुछ भी उसने देखा है उसकी नकल करने में बहुत अच्छा है, घबराने लगता है। उसे नहीं पता कि क्या करना है, इसलिए वह "भ्रम" (hallucinate) करने लगता है। वह तय कर सकता है कि दरवाजे को अपनी कोहनी से धकेलना है, या उसके ऊपर से कूदने की कोशिश करनी है, या बस गोल-गोल घूमना है। ये "भ्रम" (hallucinations) हैं—ऐसी बनाई गई क्रियाएं जो दिखती तो ऐसी हैं जैसे कि वे काम कर सकती हैं, लेकिन वास्तव में वे निरर्थक हैं। वास्तविक दुनिया में, यह खतरनाक है। यदि कोई रोबोट भारी उपकरण पकड़े हुए भ्रमित होता है, तो वह किसी को चोट पहुँचा सकता है।

समाधान: जिज्ञासा दिशासूचक (Curiosity Compass)
इस पेपर के लेखकों ने महसूस किया कि रोबोटों को अपने आत्मविश्वास की जांच करने का एक तरीका चाहिए। उन्होंने "रीइन्फोर्समेंट लर्निंग" नामक क्षेत्र से एक विचार उधार लिया जिसे Random Network Distillation (RND) कहा जाता है। आइए इसे एक सरल उपमा के साथ समझते हैं।

कल्पना कीजिए कि आपके पास एक "शिक्षक" और एक "छात्र" है।

• शिक्षक एक यादृच्छिक (random), स्थिर मस्तिष्क है जो कुछ भी नहीं सीखता है। वह बस एक स्थिति को देखता है और एक यादृच्छिक उत्तर देता है।
• छात्र एक ऐसा मस्तिष्क है जो सीखता है। वह अनुमान लगाने की कोशिश करता है कि यदि शिक्षक उसी स्थिति को देखता तो क्या कहता।

जब छात्र ऐसी स्थिति देखता है जिसका उसने बहुत अभ्यास किया है (जैसे दरवाजा खोलना), तो वह शिक्षक के उत्तर का सटीक अनुमान लगा सकता है। उनके बीच का अंतर बहुत कम होता है। लेकिन जब छात्र एक अजीब, नई स्थिति देखता है (जैसे भारी दरवाजा), तो वह भ्रमित हो जाता है। उसका अनुमान शिक्षक के यादृच्छिक उत्तर से बिल्कुल अलग होता। यह बड़ा अंतर "जिज्ञासा" (Curiosity) स्कोर है। उच्च जिज्ञासा का अर्थ है "मैं इसे नहीं जानता!" निम्न जिज्ञासा का अर्थ है "मैंने इसे पहले देखा है; मैं सुरक्षित हूँ।"

Curiosity-Diffuser कैसे काम करता है
पेपर इस "Curiosity Compass" को एक शक्तिशाली उपकरण Diffusion Model के साथ जोड़ता है। आमतौर पर, एक डिफ्यूजन मॉडल एक मूर्तिकार की तरह होता है जो शोर के एक ब्लॉक से शुरू करता है और तब तक तराशता है जब तक कि एक मूर्ति प्रकट न हो जाए। रोबोटिक्स में, "मूर्ति" गति करने की योजना है। रोबोट कई संभावित योजनाएँ उत्पन्न करता है, अराजकता से शुरू होकर धीरे-धीरे उन्हें परिष्कृत करता है।

लेखकों ने एक मोड़ जोड़ा: उन्होंने डिफ्यूजन मॉडल को बताया, "जबकि आप एक योजना बनाने के लिए शोर को तराश रहे हैं, अपनी जिज्ञासा दिशासूचक (Curiosity Compass) पर नज़र रखें।"

• यदि योजना कुछ ऐसा दिखने लगती है जो रोबोट ने पहले कभी नहीं देखा है (उच्च जिज्ञासा), तो दिशासूचक योजना को परिचित की ओर वापस धकेलता है।
• यदि योजना सुरक्षित और परिचित दिखती है (निम्न जिज्ञासा), तो दिशासूचक उसे जारी रखने देता है।

यह एक मूर्तिकार के बगल में खड़े कोच की तरह है। यदि मूर्तिकार एक अजीब, असंभव आकार तराशने लगता है, तो कोच कहता है, "रुको, यह अभ्यास वाली तस्वीरों जैसा बिल्कुल नहीं दिख रहा है। आइए मूल के करीब का आकार बनाने की कोशिश करें।"

परिणाम: सुरक्षित, स्मार्ट रोबट
टीम ने मुख्य रूप से दो तरीकों से इसका परीक्षण किया:

1. कंप्यूटर की दुनिया में (सिमुलेशन): उन्होंने आभासी रोबोटों का उपयोग किया जिन्हें फर्श पर चलना था या भूलभुलैया में रास्ता खोजना था।

   • MuJoCo कार्यों (आभासी चलने वाले रोबोट) में, इस नई विधि ने रोबोटों को बेहतर प्रदर्शन करने में मदद की, विशेष रूप से जब प्रशिक्षण डेटा उच्च गुणवत्ता वाला था।
   • AntMaze कार्यों (एक जटिल भूलभुलैया में रास्ता खोजने वाला आभासी चींटी/एंट) में, परिणाम और भी प्रभावशाली थे। जिज्ञासा मार्गदर्शक के बिना, अन्य रोबोट लगभग पूरी तरह से विफल हो गए, फंस गए या भटक गए। Curiosity-Diffuser ने आभासी चींटी को लक्ष्य तक बहुत अधिक बार पहुँचने में मदद की। उदाहरण के लिए, AntMaze के "Play" समूह में, नई विधि 58.6% बार सफल हुई, जबकि अन्य विधियाँ मुश्किल से 8% के ऊपर पहुँच पाईं।

2. वास्तविक दुनिया में: उन्होंने एक वास्तविक रोबोटिक आर्म ली और उसे दो कार्य सिखाए:

   • Hammer Close Door (हथौड़े से दरवाजा बंद करना): कैबिनेट के दरवाजे को बंद करने के लिए हथौड़े का उपयोग करना।
   • Block Ranking (ब्लॉक रैंकिंग): एक लाल ब्लॉक उठाना और उसे एक हरे ब्लॉक के ऊपर रखना।
   • उन्होंने रोबोट का परीक्षण मामूली बदलावों के साथ किया, जैसे हाथ की शुरुआती स्थिति या वस्तुओं को बदलना।
   • पुराने तरीके (जैसे मानक इमिटेशन लर्निंग) केवल लगभग 50% बार सफल हुए।
   • नया Curiosity-Diffuser 85% बार सफल हुआ। यह बहुत अधिक स्थिर था और इसमें अजीब या असुरक्षित हरकतें करने की प्रवृत्ति नहीं थी।

"K-Sim" स्कोर: सुरक्षा को मापना
लेखकों ने रोबोट की चालों को कितना "सुरक्षित" है, इसे मापने का एक नया तरीका भी बनाया। वे इसे K-Sim कहते हैं।

• कल्पना कीजिए कि आपके पास उन सभी सुरक्षित स्थानों का एक मानचित्र है जहाँ रोबोट पहले कभी गया है।
• जब रोबोट चलता है, तो K-Sim जाँचता है: "यह नई चाल सुरक्षित मानचित्र के कितने करीब है?"
• 1.0 के करीब का स्कोर बताता है कि रोबोट बिल्कुल सुरक्षित पथ पर चल रहा है।
• 0 के करीब का स्कोर बताता है कि रोबोट अज्ञात, खतरनाक क्षेत्र में भटक रहा है।
• Curiosity-Diffifier लगातार उच्च K-Sim स्कोर (भूलभुलैया परीक्षणों में औसतन लगभग 0.827) प्राप्त करता है, जो यह साबित करता है कि यह वास्तव में रोबोट को परिचित जमीन पर रख रहा है।

एक चेतावनी
पेपर सावधानी से कहता है कि यह सब कुछ ठीक करने वाली कोई जादुई छड़ी नहीं है। "जिज्ञासा भार" (curiosity weight - कि रोबोट दिशासूचक की कितनी बात मानता है) बिल्कुल सही होना चाहिए। यदि रोबोट दिशासूचक की बहुत अधिक बात करता है, तो वह कुछ भी नया करने के लिए बहुत डर जाएगा और कार्य पूरा करने में विफल हो सकता है। यदि वह बहुत कम बात सुनता है, तो वह अभी भी भ्रमित (hallucinate) हो सकता है। लेखकों ने एक "स्वीट स्पॉट" (सही संतुलन) पाया जहाँ रोबोट सुरक्षा और प्रभावशीलता के बीच संतुलन बनाता है।

यह क्यों मायने रखता है
यह शोध बताता है कि रोबोटों को किसी स्थिति के प्रति अपनी "परिचितता" को मापने का एक तरीका देकर, हम उन्हें खतरनाक हरकतें बनाने से रोक सकते हैं। यह ऐसी बुद्धिमान मशीनें बनाने की दिशा में एक कदम है जो न केवल स्मार्ट हैं, बल्कि विनम्र और सावधान भी हैं—यह जानते हुए कि वे कब अपनी क्षमता से बाहर हैं और जो वे जानते हैं कि काम करता है, उसी पर टिके रहते हैं। हालाँकि पेपर सिमुलेशन और वास्तविक दुनिया के परीक्षणों में शानदार परिणाम दिखाता है, लेखक यह भी कहते हैं कि हमारी जटिल दुनिया में हर संभव स्थिति के लिए इन प्रणालियों को और अधिक मजबूत बनाने के लिए अभी भी काम करना बाकी है।