Neurosymbolic Imitation Learning with Human Guidance: A Privileged Information Approach
यह शोध पत्र एक न्यूरोसिम्बोलिक इमिटेशन लर्निंग फ्रेमवर्क प्रस्तावित करता है जो उच्च-आयामी डेटा को संसाधित करने की तंत्रिका नेटवर्क (न्यूरल नेटवर्क) की क्षमता को प्रतीकात्मक विधियों की सामान्यीकरण क्षमताओं के साथ जोड़ता है, जो दक्षता में सुधार करने और ओवरफिटिंग को कम करने के लिए गेज़ (दृष्टि) डेटा जैसे विशेषाधिकार प्राप्त प्रशिक्षण जानकारी का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखाने की कोशिश कर रहे हैं। आपके पास इसे करने के दो मुख्य तरीके हैं, लेकिन दोनों में एक बड़ी खामी है।
समस्या: दो दोषपूर्ण शिक्षक
- "डीप लर्निंग" शिक्षक: यह शिक्षक एक ऐसे जीनियस की तरह है जिसने गेमप्ले के लाखों घंटे देखे हैं। वे स्क्रीन देखने और तुरंत प्रतिक्रिया देने में माहिर हैं। हालांकि, वे एक "ब्लैक बॉक्स" की तरह हैं। आप उनसे यह नहीं पूछ सकते कि उन्होंने कोई कदम क्यों उठाया, और वे सामान्यीकरण (generalizing) करने में बहुत खराब हैं। यदि आप उनके सामने कोई नया दुश्मन रख देते हैं जिसे उन्होंने पहले नहीं देखा है, तो वे अक्सर जम जाते हैं या घबरा जाते हैं। उन्हें सीखने के लिए डेटा की भारी मात्रा की आवश्यकता होती है, जैसे कि एक छात्र जिसे एक भी अवधारणा समझने के लिए लाइब्रेरी की हर किताब पढ़नी पड़ती है।
- "सिंबोलिक" (प्रतीकात्मक) शिक्षक: यह शिक्षक एक तर्कशास्त्र (logic) के प्रोफेसर की तरह है। वे स्पष्ट, व्याख्या योग्य नियम सीखते हैं (जैसे, "यदि दुश्मन बाईं ओर है, तो दाईं ओर मुड़ें")। वे अपने कदमों को समझाने में अच्छे हैं और नई स्थितियों को आसानी से संभाल सकते हैं। लेकिन, वे कच्चे वीडियो स्क्रीन को देखने में बहुत खराब हैं। वे पिक्सेल को नहीं समझ सकते; उन्हें दुनिया का वर्णन सटीक, पूर्व-लिखित कोड के रूप में चाहिए।
समाधान: एक "मैजिक गेज़" (जादुई दृष्टि) वाला हाइब्रिड ट्यूटर
इस पेपर के लेखक, GRAIL, एक नया तरीका प्रस्तावित करते हैं जो इन दोनों शिक्षकों की खूबियों को जोड़ता है। वे इसे न्यूरोसिंबोलिक इमिटेशन लर्निंग कहते हैं।
इसे दो की एक टीम के रूप में सोचें:
- आंखें (न्यूरल भाग): एक न्यूरल नेटवर्क जो कच्चे वीडियो स्क्रीन को देखता है और पिक्सेल को तार्किक तथ्यों की एक सूची में बदल देता है (जैसे, "वहाँ एक खिलाड़ी है," "वहाँ एक दुश्मन है," "दुश्मन बाईं ओर है")।
- दिमाग (सिंबोलिक भाग): एक लॉजिक इंजन जो उन तथ्यों को लेता है और निर्णय लेने के लिए नियमों को लागू करता है।
सीक्रेट सॉस: विशेषाधिकार प्राप्त जानकारी (द गेज़)
यहाँ एक चतुर मोड़ है। लेखकों ने महसूस किया कि जब इंसान ये गेम खेलते हैं, तो उनकी आँखें हर जगह नहीं देखतीं। वे महत्वपूर्ण चीजों पर ध्यान केंद्रित करते हैं (जैसे कि गोली चलाने वाला दुश्मन) और बैकग्राउंड के शोर को अनदेखा कर देते हैं।
वास्तविक दुनिया में, हम हमेशा यह नहीं देख सकते कि कोई इंसान खेलते समय कहाँ देख रहा है। लेकिन, इस प्रयोग के लिए, शोधकर्ताओं के पास आई-ट्रैकिंग डेटा (एक हीटमैप जो दिखाता है कि इंसान वास्तव में कहाँ देख रहा था) तक पहुँच थी, लेकिन यह केवल प्रशिक्षण चरण के दौरान उपलब्ध था।
उन्होंने इस आई-ट्रैकिंग डेटा को "विशेषाधिकार प्राप्त जानकारी" (Privileged Information) के रूप में माना।
- प्रशिक्षण के दौरान: रोबोट गेम स्क्रीन और इंसान की आंखों की गतिविधियों को देखता है। वह सीखता है: "आह, इंसान दुश्मन को देख रहा है, इसलिए वह दुश्मन महत्वपूर्ण है। इंसान आसमान में बादलों को अनदेखा कर रहा है, इसलिए मुझे भी उन्हें अनदेखा करना चाहिए।"
- परीक्षण के दौरान (असली गेम): रोबोट अब आई-ट्रैकिंग डेटा नहीं देखता। वह केवल स्क्रीन देखता है। लेकिन क्योंकि उसने प्रशिक्षण के दौरान सीखा था कि किन चीजों पर ध्यान देना है, अब वह अपने आप बैकग्राउंड के शोर को अनदेखा कर देता है।
यह व्यवहार में कैसे काम करता है
कल्पना कीजिए कि रोबोट Seaquest जैसा गेम खेल रहा है (जहाँ आप तैरते हैं और शूट करते हैं)।
- आंखें: रोबोट स्क्रीन को देखता है और उसमें 50 ऑब्जेक्ट्स देखता है। वह 50 तथ्यों की एक सूची बनाता है।
- गेज़ फ़िल्टर: रोबोट याद रखता है, "प्रशिक्षण में, इंसान केवल दुश्मनों और गोताखोरों को देख रहा था, बुलबुलों को नहीं।" इसलिए, वह उस स्मृति का उपयोग करके बुलबुलों के लिए "वॉल्यूम कम" करने और दुश्मनों के लिए "वॉल्यूम बढ़ाने" के लिए करता है।
- लॉजिक ब्रेन: अब, तथ्यों की एक साफ और केंद्रित सूची के साथ, लॉजिक ब्रेन अपने नियमों को लागू करता है: "यदि दुश्मन करीब है, तो फायर करो।"
- परिणाम: रोबोट एक चाल चलता है।
यह एक बड़ी बात क्यों है
पेपर ने एटाारी (Atari) गेम्स (जैसे Asterix और Seaquest) पर इस सिस्टम का परीक्षण किया और तीन बड़ी जीत दर्ज की:
- बेहतर प्रदर्शन: रोबोट अकेले "डीप लर्निंग" शिक्षक और "सिंबोलिक" शिक्षक दोनों की तुलना में बेहतर खेला।
- सैंपल एफिशिएंसी (नमूना दक्षता): इसने बहुत तेज़ी से सीखा। जहाँ अन्य रोबटों को अच्छा होने के लिए हजारों बार खेलने की आवश्यकता थी, इस रोबोट ने बहुत कम प्रयासों में महारत हासिल कर ली क्योंकि "गेज़" ने उसे तुरंत यह समझने में मदद की कि क्या महत्वपूर्ण है।
- जनरलाइजेशन (सामान्यीकरण): जब गेम बदला (जैसे, अचानक 1 के बजाय 3 दुश्मन आ गए), तो रोबोट घबराया नहीं। क्योंकि उसने केवल पिक्सेल पैटर्न को रटने के बजाय संबंधों (जैसे, "दुश्मन बाईं ओर है") को सीखा था, वह नई, अनदेखी स्थितियों को आसानी से संभाल सका।
संक्षेप में
यह पेपर एक ऐसा सिस्टम प्रस्तुत करता है जो एक रोबोट को एक "विजुअल ट्रांसलेटर" और एक "लॉजिकल रूल-मेकर" को जोड़कर गेम खेलना सिखाता है। इसका गुप्त हथियार मानव आई-ट्रैकिंग डेटा का उपयोग एक अस्थायी प्रशिक्षण मार्गदर्शक के रूप में करना है, ताकि रोबोट को यह सिखाया जा सके कि किन चीजों पर ध्यान देना है। प्रशिक्षित होने के बाद, रोबोट बिना किसी मानवीय आंखों की मदद के, नई स्थितियों में भी कुशलता से खेल सकता है। यह एक छात्र को यह दिखाकर अध्ययन करना सिखाने जैसा है कि पाठ्यपुस्तक के कौन से पन्ने सबसे महत्वपूर्ण हैं, ताकि वह प्रभावी ढंग से अध्ययन कर सके जब आप वहां मौजूद न हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।