RENEW: Towards Learning World Models and Repairing Model Exploitation from Preferences
यह शोध पत्र RENEW का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो ऑफलाइन सुदृढीकरण शिक्षण (ऑफलाइन रिइन्फोर्समेंट लर्निंग) वर्ल्ड मॉडल्स में मॉडल शोषण (मॉडल एक्सप्लोइटेशन) को सीधे सुधारने के लिए कल्पित रोलआउट्स (इमेजिन्ड रोलआउट्स) पर मानवीय प्राथमिकताओं का लाभ उठाता है, और कुशल फाइन-ट्यूनिंग को निर्देशित करने के लिए एपिस्टेमिक अनसर्टेनिटी (एपिस्टेमिक अनसर्टेनिटी) का उपयोग करता है, जिससे अतिरिक्त विशेषज्ञ प्रदर्शनों की आवश्यकता के बिना सैंपल दक्षता और सामान्यीकरण में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं, लेकिन आप उसे असली गेम कंसोल छूने नहीं दे सकते। इसके बजाय, आप उसे पुरानी वीडियो रिकॉर्डिंग का एक ढेर देते हैं और उससे एक "सपनों की मशीन" (dream machine) बनाने के लिए कहते हैं—यानी खेल कैसे काम करता है, इसका एक मानसिक सिमुलेशन। यह ऑफलाइन रीइन्फोर्समेंट लर्निंग (offline reinforcement learning) की दुनिया है, जहाँ एक AI बिना वास्तविक दुनिया के संपर्क में आए, पूरी तरह से एक निश्चित डेटासेट से सीखता है। लक्ष्य एक वर्ल्ड मॉडल (world model) बनाना है, जो एक प्रकार का आंतरिक 'क्रिस्टल बॉल' है जो यह भविष्यवाणी करता है कि यदि रोबोट एक विशिष्ट क्रिया करता है तो आगे क्या होगा।
हालाँकि, इस सपनों की मशीन में एक खतरनाक खराबी है। क्योंकि रोबोट ने केवल पुराने रिकॉर्डिंग के एक सीमित सेट से सीखा है, उसके क्रिस्टल बॉल में कुछ अंधे धब्बे (blind spots) हैं। यदि रोबोट कोई ऐसा कदम उठाने की योजना बनाता है जो इन "अंधे धब्बों" से होकर गुजरता है, तो उसका मॉडल एक काल्पनिक शॉर्टकट दिखा सकता है—जैसे कि एक दीवार जो वास्तव में वहाँ नहीं है या एक फर्श जो अचानक ट्रैम्पोलिन बन जाता है। रोबोट, एक चतुर ऑप्टिमाइज़र होने के नाते, इस नकली शॉर्टकट को पहचान लेगा और सिमुलेशन में जीतने के लिए इसका फायदा उठाएगा, जिससे वास्तविकता में वह दुर्घटनाग्रस्त हो जाएगा। इसे मॉडल एक्सप्लोइटेशन (model exploitation) कहा जाता है। पारंपरिक रूप से, वैज्ञानिक इसे ठीक करने के लिए या तो अधिक वास्तविक दुनिया का डेटा इकट्ठा करने की कोशिश करते हैं (जो महंगा और धीमा है) या फिर रोबोट को उस चीज़ से डरने के लिए कहते हैं जिसे वह नहीं समझता (जिससे वह कुछ भी नया सीखने के लिए बहुत डरपोक हो जाता है)।
यह लेख रोबोट की सपनों की मशीन को ठीक करने का एक चतुर तरीका पेश करता है, जिसके लिए वास्तविक दुनिया के फुटेज की आवश्यकता नहीं है। लेखक, लोगन भामदीपाटी, माइकेल कोचेंडरफर और सुब्रमण्यम राममूर्ति का प्रस्ताव है कि हम मानवीय अंतर्ज्ञान (human intuition) को एक मरम्मत उपकरण के रूप में उपयोग कर सकते हैं। उन्होंने महसूस किया कि हालांकि खेल खेलने का सबसे अच्छा तरीका जानने के लिए पीएचडी की आवश्यकता होती है, लेकिन लगभग कोई भी यह पहचान सकता है कि भौतिकी (physics) कब टूट रही है। यदि सिमुलेशन में एक रोबोट एक ठोस दीवार के माध्यम से चलता है या एक कार को हवा में तैरते हुए देखता है, तो एक इंसान तुरंत कह सकता है, "यह नकली है!" शोध पत्र सुझाव देता है कि इन सरल "असली बनाम नकली" निर्णयों का उपयोग रोबोट के वर्ल्ड मॉडल को यह सिखाने के लिए किया जा सकता है कि भ्रम (hallucinations) कैसे रोका जाए।
द "ड्रीम रिपेयर" प्रोजेक्ट
शोधकर्ता अपने इस नए ढांचे को RENEW (Repairing ExploitatioN with Elicited World-model preferences) कहते हैं। यह कैसे काम करता है, इसे एक सरल उदाहरण से समझते हैं:
कल्पना कीजिए कि रोबोट का वर्ल्ड मॉडल एक छात्र है जो नियम पुस्तिका के कुछ पन्ने पढ़कर बोर्ड गेम के नियम सीखने की कोशिश कर रहा है। छात्र आत्मविश्वासी है लेकिन कुछ जगहों पर गलत भी है।
पुराना तरीका (Naive DLHF): आप एक इंसान से दो अलग-अलग गेम मूव्स को देखने के लिए कह सकते हैं जो छात्र ने कल्पना किए थे, और पूछ सकते हैं, "कौन सा अधिक वास्तविक दिखता है?" यदि आप इसे बेतरतीब ढंग से पूछते हैं, तो इंसान उन मूव्स को सुधारने में घंटों बिता सकता है जिन्हें छात्र ने पहले ही सही कर लिया है, जबकि उन पागलपन भरे, असंभव मूव्स को छोड़ सकता है जहाँ छात्र सबसे अधिक भ्रमित है। इसे नेइव डायनेमिक्स लर्निंग फ्रॉम ह्यूमन फीडबैक (naive Dynamics Learning from Human Feedback - DLHF) कहा जाता है। शोध पत्र दिखाता है कि यह काम करता है, लेकिन यह अविश्वसनीय रूप से बर्बादी भरा है। केवल 1,000 वास्तविक उदाहरणों के बराबर सटीकता प्राप्त करने के लिए, इस नेइव तरीके को 1 मिलियन मानव प्रेफरेंस लेबल की आवश्यकता थी। यह एक इंसान से लाखों निबंधों को ग्रेड करने के लिए कहने जैसा है ताकि केवल कुछ टाइपो (typos) को ठीक किया जा सके।
RENEW का तरीका: बेतरतीब ढंग से पूछने के बजाय, RENEW एक स्मार्ट ट्यूटर की तरह काम करता है। यह पहले छात्र के "अनिश्चितता मीटर" (uncertainty meter) की जाँच करता है। यह पूछता है, "छात्र कहाँ सबसे अधिक भ्रमित है?" फिर, यह केवल उन विशिष्ट, भ्रमित क्षेत्रों में मूव्स की तुलना करने के लिए इंसान से कहता है। यह मानव के ध्यान को ठीक वहीं केंद्रित करता है जहाँ रोबोट के सबसे अधिक खतरनाक गलती करने की संभावना है।
उन्हें क्या पता चला
टीम ने भूलभुलैया (maze), एक स्लाइडिंग टाइल पहेली (जैसे 15-पज़ल), और सोकोबान (Sokoban) नामक एक बॉक्स-पुशिंग गेम सहित कई डिजिटल वातावरणों में इस विचार का परीक्षण किया। उन्होंने प्रेफरेंस लेबल उत्पन्न करने के लिए एक कंप्यूटर प्रोग्राम का उपयोग किया, जो यह सिम्युलेट करता है कि क्या होता यदि वास्तविक लोग निर्णय ले रहे होते।
यहाँ उनके प्रयोगों के मुख्य निष्कर्ष दिए गए हैं:
- पसंद (Preferences) सीधे भौतिकी सिखा सकती हैं: उन्होंने सिद्ध किया कि आप केवल यह पूछकर कि "इन दो रास्तों में से कौन सा वास्तविक दिखता है?" एक वर्ल्ड मॉडल को भौतिकी के नियम सिखा सकते हैं। आपको रोबलेट को सही उत्तर दिखाने या उसे लक्ष्य बताने की आवश्यकता नहीं है। केवल "असली बनाम नकली" का संकेत मॉडल को ठीक करने के लिए पर्याप्त है।
- स्मार्ट टारगेटिंग समय बचाती है: जब उन्होंने "रैंडम" विधि (naive DLHF) की तुलना "स्मार्ट टारगेटिंग" विधि (RENEW) से की, तो परिणाम स्पष्ट थे। 3x3 स्लाइडिंग टाइल पहेली पर, RENEW ने बिल्कुल समान संख्या में मानव लेबल का उपयोग करके, रैंडम विधि की तुलना में त्रुटि दर को आधा कर दिया।
- "एम्नेशिया" (भूलने की बीमारी) की समस्या को ठीक करना: एक आश्चर्यजनक खोज यह थी कि रैंडम विधि कभी-कभी चीजों को और खराब कर देती है। सोकोबान गेम में, नेइव दृष्टिकोण ने वास्तव में रोबोट को बक्सों को सही ढंग से हिलाना "भुलवा" दिया, जिसे कैटास्ट्रॉफिक फॉरगेटिंग (catastrophic forgetting) के रूप में जाना जाता है। RENEW ने इससे पूरी तरह से बचाव किया क्योंकि इसने केवल मॉडल के उन हिस्सों को सुधारा जो वास्तव में टूटे हुए थे, और सही हिस्सों को वैसे ही रहने दिया।
- वास्तविक दुनिया की क्षमता: एक भूलभुलैया (maze) वातावरण में, उन्होंने पाया कि केवल 1,600 प्रेफरेंस लेबल के साथ, RENEW एक पूर्व-प्रशिक्षित मॉडल को ठीक कर सकता था जो शोषण (exploitation) के प्रति संवेदनशील था, जिससे त्रुटि दर में काफी कमी आई। नेइव विधि, समान बजट के बावजूद, कई त्रुटियों और अनिश्चितताओं को पीछे छोड़ गई।
निचोड़
यह शोध पत्र सुझाव देता है कि हमें AI मॉडल को ठीक करने के लिए विशेषज्ञ होने की आवश्यकता नहीं है; हमें बस बेतुकी बातों को पहचानने में कुशल होना चाहिए। यह पूछकर कि क्या एक रोबोट की कल्पना भौतिकी के नियमों का उल्लंघन करती है, हम रोबोट के "सपनों की मशीन" को कुशलतापूर्वक मरम्मत कर सकते हैं।
हालाँकि, लेखक सावधानीपूर्वक नोट करते हैं कि यह अभी शुरुआती चरण का शोध है। उनके प्रयोगों में कंप्यूटर-जनरेटेड "परफेक्ट" लेबल और छोटे, सरल ग्रिड-वर्ल्ड गेम्स का उपयोग किया गया था। उन्होंने अभी तक वास्तविक, थके हुए इंसानों के साथ इसका परीक्षण नहीं किया है जो गलतियाँ कर सकते हैं, या जटिल, उच्च-आयामी दुनिया जैसे कि वास्तविक कार चलाने के साथ नहीं किया है। लेकिन परिणाम एक आशाजनक नया रास्ता सुझाते हैं: रोबोट को अज्ञात से डरने के लिए मजबूर करने के बजाय, हम अपनी सामान्य समझ का उपयोग उन्हें धीरे से वास्तविकता की ओर वापस लाने के लिए कर सकते हैं, जिससे वे बिना अंतहीन महंगे डेटा के अधिक सुरक्षित और विश्वसनीय बन सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।