← नवीनतम पेपर
🤖 machine learning

Intrinsic Vicarious Conditioning for Deep Reinforcement Learning

यह शोध पत्र 'इंट्रिन्सिक विकेरियस कंडीशनिंग' (Intrinsic Vicarious Conditioning) को प्रस्तुत करता है, जो मनोवैज्ञानिक साहित्य से प्रेरित एक स्मृति-आधारित आंतरिक पुरस्कार तंत्र है जो डीप रीइन्फोर्समेंट लर्निंग एजेंटों को उनकी नीतियों या रिवॉर्ड फंक्शन तक पहुंच के बिना प्रदर्शनों से सीखने में सक्षम बनाता है, जिससे विरल या गैर-वर्णनात्मक टर्मिनल स्थितियों वाले वातावरण में लो-शॉट और निरंतर सीखने की सुविधा मिलती है।

मूल लेखक: Rodney A Sanchez, Ferat Sahin, Alex Ororbia, Jamison Heard

प्रकाशित 2026-05-13
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Rodney A Sanchez, Ferat Sahin, Alex Ororbia, Jamison Heard

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक व्यस्त फुटपाथ पर चलना सिखा रहे हैं। पारंपरिक रोबोट लर्निंग में, रोबोट को चलने की कोशिश करनी होती है, गिरना होता है, कंप्यूटर स्कोर से "सजा" (punishment) मिलनी होती है, फिर उठना होता है और फिर से कोशिश करनी होती है। उसे ट्रायल और एरर (गलती और सुधार) के माध्यम से सीखना होता है। लेकिन क्या होगा अगर गिरने का मतलब है कि रोबोट हमेशा के लिए टूट जाएगा (एक "सिंगल-लाइफ" परिदृश्य)? वह क्रैश होकर सीखने का जोखिम नहीं उठा सकता।

यह पेपर रोबोट सीखने का एक नया तरीका पेश करता है जिसे इंट्रिन्सिक विकेरियस कंडिशनिंग (Intrinsic Vicarious Conditioning) कहा जाता है। क्रैश होने के बजाय, रोबोट दूसरों को देखकर सीखता है और उनके साथ जो हुआ उसके आधार पर एक "अंतर्मन की प्रतिक्रिया" (gut reaction) महसूस करता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं और उपमाओं (analogies) में यहाँ समझाया गया है:

मुख्य विचार: एक दोस्त की गलती से सीखना

एक बच्चे के बारे में सोचें जो अपने माता-पिता को गर्म स्टोव को छूते हुए देखता है। बच्चा खुद स्टोव को नहीं छूता। इसके बजाय, वह देखता है कि उसके माता-पिता ने अपना हाथ पीछे खींच लिया और दर्द की एक चीख सुनाई दी। बच्चा तुरंत सीख जाता है, "गर्म स्टोव = बुरा," बिना खुद जले।

रिनफोर्समेंट लर्निंग (जहाँ AI अच्छे कार्यों के लिए अंक प्राप्त करके सीखता है) की दुनिया में, यह आमतौर पर कठिन होता है। अधिकांश AI विधियों के लिए आवश्यक है कि रोबोट विशेषज्ञ द्वारा किए गए सटीक मूव्स को देखे या विशेषज्ञ के स्कोर के पीछे की सटीक गणित को जाने। यह नई विधि कहती है: "हमें विशेषज्ञ की खेल पुस्तिका (playbook) या उनके स्कोरकार्ड की आवश्यकता नहीं है। हमें बस यह देखने की आवश्यकता है कि उन्होंने क्या किया और परिणाम अच्छा था या बुरा।"

"विकेरियस कंडिशनिंग" के चार चरण

लेखकों ने एक मनोवैज्ञानिक ढांचे (कि मनुष्य देखकर कैसे सीखते हैं) को उधार लिया है और इसे चार चरणों वाले एक कंप्यूटर प्रोग्राम में बदल दिया है:

  1. अटेंशन (आंखें): रोबोट एक "डेमोंस्ट्रेटर" (एक अन्य एजेंट) का एक छोटा वीडियो क्लिप देखता है। उसे यह जानने की आवश्यकता नहीं है कि डेमोंस्ट्रेटर ने क्यों हलचल की; उसे बस यह देखने की आवश्यकता है कि उसने क्या किया।
  2. रिटेंशन (स्मृति): रोबोट उस व्यवहार का एक "स्नैपशॉट" अपनी मेमोरी बैंक में सहेज लेता है। वह परिणाम के "निर्णय" (verdict) को भी याद रखता है। परिणाम अच्छा (सकारात्मक) था या बुरा (नकारात्मक)?
    • उपमा: कल्पना कीजिए कि रोबोट अपनी डायरी में नोट लिखता है: "मैंने देखा कि एक कार दीवार में जा टकराई। निर्णय: बुरा।"
  3. रेप्रोडक्शन (दर्पण): जैसे ही रोबंड अपने आप चलने या गाड़ी चलाने की कोशिश करता है, वह लगातार अपने कार्यों की तुलना अपने मेमोरी बैंक से करता है।
    • उपमा: रोबोट अपने स्वयं के पथ को देखता है और पूछता है, "क्या यह उस 'बुरे कार' जैसा दिखता है जिसे मैंने पहले देखा था?" यदि उत्तर "हाँ" है, तो यह एक आंतरिक अलार्म को ट्रिगर करता है।
  4. रिनफोर्समेंट (अंतर्मन की भावना): यही जादुई हिस्सा है। यदि रोबोट देखता है कि वह कुछ ऐसा कर रहा है जो "बुरे कार" के समान है, तो वह खुद को एक नकारात्मक आंतरिक पुरस्कार (डर की भावना) देता है। यदि वह देखता है कि वह "अच्छी कार" जैसा कुछ कर रहा है, तो वह खुद को एक सकारात्मक आंतरिक पुरस्कार (उत्साह की भावना) देता है।
    • यह आंतरिक भावना एक मार्गदर्शक के रूप में कार्य करती है, जो रोबोट को खतरे से दूर और सुरक्षा की ओर ले जाती है, भले ही मुख्य गेम उसे क्रैश होने से बचने के लिए कोई अंक न दे रहा हो।

"इनहिबिशन" गेट (ब्रेक)

पेपर एक चतुर सुरक्षा स्विच पेश करता है जिसे इनहिबिशन थ्रेशोल्ड (inhibition threshold) कहा जाता है।

  • कल्पना कीजिए कि रोबोट की मेमोरी एक शोर वाला कमरा है। यदि रोबोट बहुत अधिक संवेदनशील है, तो उसे लग सकता है कि हर कदम "बुरे कार" जैसा है और वह जम जाएगा।
  • "थ्रेशोल्ड" एक वॉल्यूम नॉब की तरह है। रोबोट को "डर का संकेत" तभी मिलता है जब वह पूरी तरह सुनिश्चित (उच्च आत्मविश्वास) हो कि उसका वर्तमान कार्य उस बुरी स्मृति से मेल खाता है। यह गलत अलार्मों से होने वाली अपंगता को रोकता है।

उन्होंने इसका परीक्षण कैसे किया

शोधकर्ताओं ने इसे दो वीडियो गेम जैसे वातावरणों में परखा:

  1. फुटपाथ (बचाव/Avoidance):

    • सेटअप: एक रोबोट फुटपाथ पर चलता है। यदि वह किनारे से नीचे उतर जाता है, तो वह तुरंत मर जाता है (कोई चेतावनी नहीं, कोई स्कोर नहीं)।
    • समस्या: बिना मदद के, रोबोट बेतरतीब ढंग से घूमता रहता है और किनारे से गिर जाता है क्योंकि उसे कभी "दंड" का संकेत नहीं मिलता जब तक कि बहुत देर न हो जाए।
    • परिणाम: किसी के गिरने के कुछ उदाहरणों को देखकर, रोबोट ने किनारे के करीब आने पर "डर" महसूस करना सीख लिया। वह फुटपाथ पर बहुत अधिक समय तक रहा, भले ही गेम ने उसे कभी यह नहीं बताया कि "किनारे से मत गिरो।"

  2. कार रेसिंग (दृष्टिकोण और बचाव/Approach & Avoidance):

    • सेटअप: एक कार ट्रैक पर चलती है। गेम तेज़ चलने और सड़क के हर टाइल को हिट करने के लिए अंक देता है।
    • ट्विस्ट: गेम लापरवाह ड्राइविंग (टाइल्स को तेज़ी से हिट करना) को प्रोत्साहित करता है, लेकिन ट्रैक के किनारों पर घास है। यदि आप घास से टकराते हैं, तो आप क्रैश हो जाते हैं।
    • परिणाम:
      • एक "अच्छे ड्राइवर" को बीच की लेन में रहते हुए देखकर, रोबोट ने रूढ़िवादी (conservative) तरीके से गाड़ी चलाना सीखा। वह धीमा चला और कम टाइल्स को हिट किया (कम गेम पॉइंट्स मिले), लेकिन वह लापरवाह होकर जीतने की कोशिश करने वाले रोबोट्स की तुलना में तीन गुना अधिक समय तक जीवित रहा।
      • एक "बुरे ड्राइवर" को घास से टकराते हुए देखकर, रोबोट ने घास से बचना सीख लिया।

यह क्यों महत्वपूर्ण है

अधिकांश AI लर्निंग एक ऐसे छात्र की तरह है जिसे सामग्री सीखने के लिए 1,000 बार फेल होना पड़ता है। यह विधि एक ऐसे छात्र की तरह है जो अपने एक दोस्त को एक बार फेल होते देखता है और तुरंत सीख जाता है।

यह पेपर दावा करता है कि यह "सिंगल-लाइफ लर्निंग" की ओर एक बड़ा कदम है। वास्तविक दुनिया में, रोबोट (या सेल्फ-ड्राइविंग कार) अक्सर क्रैश होने और उससे सीखने का खर्च नहीं उठा सकते। उन्हें दूसरों के कुछ अवलोकनों से सीखना होगा, एक आंतरिक "अंतर्मन की भावना" का उपयोग करके सुरक्षित रहना होगा, बिना यह जाने कि विशेषज्ञ ड्राइवर की जटिल गणितीय सोच क्या है।

संक्षेप में: यह पेपर रोबोट को दूसरों को देखकर खतरे और सुरक्षा के लिए एक "छठी इंद्रिय" विकसित करना सिखाता है, जिससे उन्हें क्रैश होने की आवश्यकता के बिना खतरनाक वातावरण में जीवित रहने में मदद मिलती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →