Position: RL Researchers Need to Distinguish Between Solving Simulators and Using Simulators as a Proxy
यह शोध पत्र तर्क देता है कि सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) शोधकर्ताओं को "सिमुलेटरों को हल करने" और "वास्तविक दुनिया के परिनियोजन के लिए सिमुलेटरों का एक प्रॉक्सी के रूप में उपयोग करने" के मौलिक रूप से भिन्न लक्ष्यों के बीच स्पष्ट अंतर करना चाहिए, क्योंकि इन उद्देश्यों को मिला देने से अनुचित एल्गोरिदम चयन, भ्रामक मूल्यांकन मेट्रिक्स और त्रुटिपूर्ण निष्कर्ष निकलते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कोच हैं जो एक नए एथलीट को प्रशिक्षित करने की कोशिश कर रहे हैं। आपके पास दो बहुत अलग लक्ष्य हैं, लेकिन आप दोनों के लिए एक ही प्रशिक्षण सुविधा (सिम्युलेटर) का उपयोग कर रहे हैं। यह शोध पत्र तर्क देता है कि रीइन्फोर्समेंट लर्निंग (RL) के शोधकर्ता अक्सर इन दोनों लक्ष्यों को मिला रहे हैं, जिससे गलत सलाह और बर्बाद प्रयास हो रहे हैं।
यहाँ दो अलग-अलग "प्रशिक्षण शिविरों" का विवरण दिया गया है और यह भी कि उन्हें मिलाना क्यों एक समस्या है।
दो अलग-अलग लक्ष्य
1. "वीडियो गेम चैंपियन" का लक्ष्य (सिम्युलेटर को हल करना)
- लक्ष्य: आप किसी विशिष्ट वीडियो गेम या सिमुलेशन के लिए सबसे अच्छा संभव खिलाड़ी खोजना चाहते हैं। आपको वास्तविक दुनिया की परवाह नहीं है; आप बस गेम में उच्चतम स्कोर चाहते हैं।
- चीट कोड: चूंकि यह एक वीडियो गेम है, इसलिए आप ऐसी चीजें कर सकते हैं जो वास्तविक जीवन में असंभव हैं। आप गेम को रोक सकते हैं, समय को पीछे (rewind) कर सकते हैं, एक अलग चाल आजमाने के लिए चरित्र को एक विशिष्ट स्थान पर रीसेट कर सकते हैं, या तेजी से सीखने के लिए एक ही समय में गेम की 100 कॉपियां चला सकते हैं।
- मीट्रिक (मापन): आपको केवल अंतिम स्कोर की परवाह है। यदि खिलाड़ी 99 बार क्रैश होता है लेकिन 100वें प्रयास में एक परफेक्ट रन करता है, तो यह एक सफलता है। आप सभी खराब प्रयासों को फेंक सकते हैं और केवल सबसे अच्छे को रख सकते हैं।
2. "रियल-वर्ल्ड ड्राइवर" का लक्ष्य (सिम्युलेटर का प्रॉक्सी के रूप में उपयोग करना)
- लक्षक: आप एक रोबोट या AI को वास्तविक दुनिया में कार चलाने या पावर प्लांट को प्रबंधित करने के लिए प्रशिक्षित कर रहे हैं। सिम्युलेटर केवल एक सुरक्षित जगह है जहाँ वे वास्तविक सड़क पर जाने से पहले अभ्यास कर सकते हैं।
- प्रतिबंध: वास्तविक दुनिया में, आप समय को पीछे नहीं ले जा सकते, आप 100 कारों की प्रतियां नहीं बना सकते, और आप क्रैश को रीसेट नहीं कर सकते। हर गलती की कीमत चुकानी पड़ती है, चाहे वह पैसा हो, समय हो, या सुरक्षा।
- मीट्रिक (मापन): आपको इस बात की परवाह है कि वे सीखते समय कैसा प्रदर्शन करते हैं। यदि रोबोट सीखते समय 99 बार क्रैश होता है, तो वे 99 क्रैश वास्तव में हुए थे और उनकी कीमत चुकानी पड़ी। आप खराब दिनों को बस हटा नहीं सकते।
समस्या: नियमों को मिला देना
पत्र का दावा है कि शोधकर्ता अक्सर "रियल-वर्ल्ड ड्राइवर" को प्रशिक्षित करने के लिए "वीडियो गेम चैंपियन" के तरीकों का उपयोग कर रहे हैं, जो सुरक्षा की एक झूठी भावना पैदा करता है। यहाँ चार विशिष्ट तरीके दिए गए हैं जिनसे यह गलत होता है, जिन्हें उपमाओं के माध्यम से समझाया गया है:
1. "पैरेलल यूनिवर्स" का जाल
- ट्रिक: वीडियो गेम लक्ष्य में, शोधकर्ता बहुत तेजी से सीखने के लिए एक साथ 1,000 गेम चलाते हैं।
- रियलिटी चेक: वास्तविक दुनिया में, आपके पास केवल एक कार है। यदि आप 1,000 कारों का उपयोग करके एक AI को प्रशिक्षित करते हैं, तो वह सिमुलेशन में अविश्वसनीय रूप से तेजी से सीखता है। लेकिन जब आप उस उसी AI को एक अकेली कार में रखते हैं, तो वह अचानक बहुत धीमा और भ्रमित हो जाता है क्योंकि उसने कभी "एक बार में एक कार" वाली वास्तविकता को नहीं सीखा।
- परिणाम: शोधकर्ताओं को लगता है कि उनके पास एक सुपर-फास्ट एल्गोरिदम है, लेकिन यह तब विफल हो जाता है जब इसे एक एकल वास्तविक दुनिया के वातावरण में लागू किया जाता है।
2. "रीवाइंड बटन" की समस्या
- ट्रिक: वीडियो गेम लक्ष्य में, यदि कोई एजेंट फंस जाता है, तो शोधकर्ता "रीसेट" दबाकर उसे एक विशिष्ट स्थान पर वापस भेज देते हैं ताकि वह फिर से प्रयास कर सके। इससे यह कठिन स्तरों को जल्दी सीखने में मदद करता है।
- रियलिटी चेक: वास्तविक दुनिया में, आप "रीसेट" नहीं दबा सकते। यदि एक रोबोट मेज से गिर जाता है, तो वह टूट जाता है। यदि आप एक ऐसा एजेंट प्रशिक्षित करते हैं जो फंसने पर "रीसेट" बटन पर निर्भर रहता है, तो वह वास्तविक दुनिया में बेकार होगा क्योंकि उसने कभी अपनी गलतियों से खुद उबरना नहीं सीखा।
- परिणाम: शोधकर्ता वीडियो गेम के लिए सबसे अच्छा संभव समाधान खोजने से चूक जाते हैं क्योंकि वे "रीसेट" बटन का उपयोग नहीं कर रहे हैं, या वे ऐसे एजेंट बना देते हैं जो कभी भी वास्तविकता में काम करने के लिए रीसेट पर बहुत अधिक निर्भर होते हैं।
3. "दोबारा प्रयास" का बजट
- ट्रिक: वीडियो गेम के लिए सेटिंग्स (हाइपरपैरामीटर्स) को ट्यून करते समय, शोधकर्ता 50 अलग-अलग सेटिंग्स आजमा सकते हैं। यदि उनमें से 49 विफल हो जाते हैं, तो वे उन 49 प्रयासों को हटा देते हैं और केवल उसी को रखते हैं जो काम कर गया।
- रियलिटी चेक: वास्तविक दुनिया में, आप एक असफल प्रयोग की लागत को मिटा नहीं सकते। यदि आप एक वास्तविक पावर प्लांट पर 49 खराब सेटिंग्स आजमाते हैं, तो आप लाखों डॉलर बर्बाद कर सकते हैं या ब्लैकआउट का कारण बन सकते हैं।
- परिणाम: शोधकर्ता ऐसे एल्गोरिदम चुनते हैं जो शानदार दिखते हैं क्योंकि उन्होंने अपनी विफलताओं को फेंककर "चीटिंग" की थी। जब इन एल्गोरिदमों का उपयोग वास्तविक दुनिया में किया जाता है, तो वे विफल हो जाते हैं क्योंकि उन्होंने गलतियों की लागत को नहीं समझा है।
4. "प्रैक्टिस बनाम परफॉरमेंस" स्कोर
- ट्रिक: शोधकर्ता अक्सर एजेंट को यह देखने के लिए हर कुछ मिनटों में एक "फ्रोजन" अवस्था (सीखना नहीं, केवल प्रदर्शन) में रोक देते हैं कि वह कितना अच्छा है। यह आमतौर पर एक उच्च स्कोर देता है।
- रियलिटी चेक: वास्तविक दुनिया में, एजेंट काम करते समय हमेशा सीख रहा होता है और गलतियाँ कर रहा होता है। उसे अपने एक परफेक्ट संस्करण को दिखाने के लिए रुकने का मौका नहीं मिलता।
- परिणाम: एक पेपर एक ग्राफ दिखा सकता है जहाँ एजेंट अद्भुत दिखता है ("फ्रोजन" स्कोर), लेकिन वास्तव में, वह लड़खड़ा रहा होता है और खराब प्रदर्शन कर रहा होता है ("लर्निंग" स्कोर)।
कार्रवाई का आह्वान
लेखक अनुसंधान समुदाय से इन दोनों लक्ष्यों को एक समान मानने से रोकने के लिए कह रहे हैं।
- यदि आप एक सिम्युलेटर को हल कर रहे हैं: ईमानदार रहें! कहें, "हम इस विशिष्ट खेल में हाई स्कोर बनाने की कोशिश कर रहे हैं।" सभी चीट कोड का उपयोग करें (पैरेलल वर्ल्ड, रीसेट) ताकि सबसे अच्छा परिणाम मिल सके।
- यदि आप वास्तविक दुनिया के लिए प्रशिक्षण दे रहे हैं: ईमानदार रहें! कहें, "हम वास्तविक दुनिया के लिए तैयार होने के लिए इस सिम्युलेटर का उपयोग कर रहे हैं।" चीट कोड का उपयोग न करें। एजेंट को गलतियों को संभालने के लिए प्रशिक्षित करें, 1,000 कॉपियां न चलाएं, और यह मापने के लिए कि वह सीखते समय कैसा प्रदर्शन करता है, उसके प्रदर्शन को मापें, न कि केवल अंतिम परिणाम को।
संक्षेप में: एक ड्राइवर को वीडियो गेम के नियमों का उपयोग करके प्रशिक्षित न करें और फिर उम्मीद न करें कि वह वास्तविक ट्रैफिक जाम में जीवित बचेगा। यह पत्र शोधकर्ताओं से यह स्पष्ट रूप से बताने के लिए कहता है कि वे कौन सा "खेल" खेल रहे हैं ताकि हम वास्तविक दुनिया में अनुवाद न होने वाले परिणामों से धोखा न खाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।