Physical Atari: A Robust and Accessible Platform for Real-time Reinforcement Learning on Robots
यह शोध पत्र "फिजिकल अटाारी" (Physical Atari) को प्रस्तुत करता है, जो एक सुदृढ़ और किफायती $1,000 का प्लेटफॉर्म है जो अटाारी खेलों को भौतिक रूप से नियंत्रित करने के लिए एक कस्टम रोबोट का उपयोग करता है, जिससे वास्तविक दुनिया के सुदृढीकरण लर्निंग (reinforcement learning) प्रयोगों को सक्षम बनाया जा सके जो प्रशिक्षण और परिनियोजन के बीच वितरण बदलावों (distribution shifts) को संभालने के लिए ऑन-डिवाइस अनुकूलन की महत्वपूर्ण आवश्यकता को प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखाना चाहते हैं। आमतौर पर, वैज्ञानिक ऐसा एक कंप्यूटर सिमुलेशन में करते हैं, जैसे कि एक वीडियो गेम के अंदर एक वीडियो गेम। लेकिन असली दुनिया अव्यवस्थित, अप्रत्याशित है और आपके सोचने का इंतज़ार नहीं करती।
यह शोध पत्र एक नया, किफायती और मजबूत सिस्टम पेश करता है जिसे फिजिकल एटाari (Physical Atari) कहा गया है। इसे एक "रोबोटिक आर्म" की तरह समझें जो एक असली स्क्रीन पर पुराने ज़माने के एटाari जॉयस्टिक के बटन दबाने के लिए भौतिक रूप से काम करता है, जबकि एक कंप्यूटर परिणामों को देखता है और उनसे सीखता है।
यहाँ बताया गया है कि उन्होंने इसे कैसे बनाया और उन्हें क्या पता चला, कुछ रोज़मर्रा की तुलनाओं का उपयोग करते हुए:
1. दो मुख्य पात्र
यह सिस्टम दो कस्टम-निर्मित गैजेट्स से बना है:
द रोबोटरोलर (The Robotroller - मांसपेशी): यह एक छोटा रोबोट है जिसे एक बिना बदलाव किए गए (unmodified) एटाari जॉयस्टिक को पकड़ने और चलाने के लिए बनाया गया है।
- समस्या: यदि आप सस्ते प्लास्टिक के पुर्जों से एक रोबोट बनाते हैं और उसे तेज़ी से चलाते हैं, तो वह आमतौर पर जल्दी टूट जाता है या घिस जाता है, जैसे कि कोई सस्ता खिलौना जो कुछ हफ्तों के भारी खेल के बाद बिखर जाता है।
- समाधान: टीम ने हर चलते हुए हिस्से के लिए बॉल बेयरिंग (वही जो स्केटबोर्ड के पहियों में पाई जाती हैं) का उपयोग किया। यह रोबोट को अपने आप से रगड़ने के बजाय सुचारू रूप से फिसलने में मदद करता है। उन्होंने प्लास्टिक के गियर्स को हटाकर धातु के गियर्स (metal gears) लगाए और एक "रिफ्लेक्स" (प्रतिवर्त) प्रणाली जोड़ी।
- रिफ्लेक्स: कल्पना कीजिए कि अगर आपका हाथ गर्म चूल्हे को छूते ही जलने से बचने के लिए अपने आप पीछे हट जाए। रोबोट के पास भी एक ऐसा ही सुरक्षा स्विच है। यदि कोई मोटर बहुत ज़ोर से धक्का देने की कोशिश करती है या फंस जाती है, तो सिस्टम मोटर को जलने से बचाने के लिए एक सेकंड के एक अंश के लिए तुरंत बिजली काट देता है। इसने रोबलेट को बिना टूटे हफ्तों तक चलने में सक्षम बनाया।
द एटाari डेवबॉक्स (The Atari Devbox - मस्तिष्क और स्क्रीन): यह एक छोटा कंप्यूटर बॉक्स है जिसमें एक स्क्रीन है।
- यह वास्तविक एटाari गेम (जैसे पोंग या मिसेज पैकमैन) चलाता है।
- यह केवल गेम दिखाता ही नहीं है; यह स्क्रीन पर विशेष अदृश्य कोड (जिन्हें अप्रैलटैग्स कहा जाता है) भी चमकाता है। ये कोड रोबोट को बताते हैं: "आपको अभी एक अंक मिला है!" या "यहाँ गेम स्क्रीन पर ठीक कहाँ स्थित है।"
2. वे एक-दूसरे से कैसे बात करते हैं
यह सेटअप एक रिले रेस की तरह काम करता है:
- आँख: एक मानक वेबकैम स्क्रीन को देखता है।
- मस्तिष्क: कंप्यूटर वीडियो को देखता है, यह समझता है कि गेम क्या कर रहा है, और अगला कदम उठाने का निर्णय लेता है।
- हाथ: कंप्यूटर रोबोटरोलर को एक सिग्नल भेजता है।
- क्रिया: रोबोटरोलर जॉयस्टिक को बटन दबाने के लिए शारीरिक रूप से हिलाता है।
- लूप: कैमरा गेम की नई स्थिति को देखता है, और चक्र दोहराया जाता है।
इस पूरी प्रक्रिया में लगभग 165 मिलीसेकंड (एक सेकंड के दसवें हिस्से से थोड़ा अधिक) का समय लगता है। यह लगभग उतना ही है जितनी एक इंसान की प्रतिक्रिया करने की गति होती है, जिसका अर्थ है कि रोबोट वास्तविकता की अनुमति के अनुसार तेज़ सोचकर "चीटिंग" नहीं कर रहा है।
3. बड़ी खोज: "शरीर मायने रखता है"
शोधकर्ता यह देखना चाहते थे कि क्या एक AI सीधे एक रोबोट पर सीख सकता है बिना किसी सिम्युलेटर की आवश्यकता के। उन्होंने रोबोट को हफ्तों तक, बिना रुके गेम खेलते हुए चलाया, और यह पूरी तरह से काम करता रहा।
लेकिन फिर, उन्होंने एक पेचीदा परीक्षण किया:
- उन्होंने एक रोबट (मान लीजिए कि रोबोट A) को छह घंटे तक पोंग खेलना सिखाया।
- वे रोबोट A से सीखा हुआ "मस्तिष्क" (सीखी गई रणनीति) लेकर रोबोट B में डाल दिया। रोबोट B को बिल्कुल उसी तरह बनाया गया था, लेकिन यह एक अलग भौतिक इकाई थी जिसके पुर्जे थोड़े अलग थे।
परिणाम: रोबोट B ने रोबोट A की तुलना में बहुत खराब प्रदर्शन किया।
भले ही रोबोटों को समान रूप से बनाया गया था, उनके भौतिक शरीर में सूक्ष्म, अदृश्य अंतर (जैसे कि थोड़ा कसना हुआ पेंच या बेयरिंग में थोड़ा सा घर्षण) ने टाइमिंग को बिगाड़ दिया। पोंग जैसे खेल में, जहाँ आपको गेंद को बिल्कुल सही मिलीसेकंड पर मारना होता है, एक सेकंड के बहुत छोटे हिस्से का अंतर भी जीत और हार के बीच का अंतर बन जाता है।
4. सबक
शोध पत्र इस निष्कर्ष पर पहुँचता है कि उस विशिष्ट रोबोट पर सीधे सीखना अत्यंत महत्वपूर्ण है जिसका आप उपयोग करेंगे।
यदि आप एक आदर्श कंप्यूटर सिमुलेशन में या किसी दूसरे रोबोट पर प्रशिक्षण देते हैं, तो भी सूक्ष्म भौतिक अंतर आपके प्रदर्शन को खराब कर सकते हैं जब आप अंततः वास्तविक दुनिया में आते हैं। किसी कार्य में रोबोट को बेहतर बनाने का सबसे अच्छा तरीका यह है कि उसे वास्तव में जॉयस्टिक पकड़े हुए और खुद गेम खेलते हुए सीखने और अनुकूलित होने दें।
संक्षेप में: उन्होंने एक सस्ता, टिकाऊ रोबोट बनाया जो बिना टूटे हफ्तों तक एटाari गेम खेल सकता है। उन्होंने साबित किया कि सर्वोत्तम परिणाम प्राप्त करने के लिए, आप केवल एक रोबोट के "मस्तिष्क" को दूसरे शरीर में कॉपी-पेस्ट नहीं कर सकते; रोबोट को अपने विशिष्ट शरीर के साथ सीखना होगा ताकि वह वास्तविक दुनिया की छोटी-मोटी खामियों को संभाल सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।