🤖 machine learning

Q-Learning Lab: Teaching Reinforcement Learning Through Learner-Generated Trace Analysis

यह शोध पत्र Q-Learning Lab प्रस्तुत करता है, जो एक ब्राउज़र-आधारित शैक्षिक उपकरण है जो लाइव बेलमैन अपडेट्स को प्रदर्शित करके और छात्रों को अपने स्वयं के एजेंट ट्रेसेस को निर्यात और विश्लेषण करने में सक्षम बनाकर टैबुलर Q-लर्निंग के शिक्षण को बढ़ाता है, जिससे निष्क्रिय विज़ुअलाइज़ेशन को एक सक्रिय, डेटा-संचालित शिक्षण अनुभव में बदल दिया जाता है जिसे एल्गोरिद्मिक शुद्धता और शैक्षणिक डिज़ाइन के माध्यम से प्रमाणित किया गया है।

मूल लेखक: Ekkachai Jueng

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ekkachai Jueng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जादू का शो देख रहे हैं जहाँ एक रोबोट भूलभुलैया (maze) में रास्ता बनाना सीख रहा है। आमतौर पर, जादूगर (शिक्षक) बस रोबोट की ओर इशारा करता है और कहता है, "देखो! इसने रास्ता ढूंढ लिया!" आप रोबोट को चलते हुए देखते हैं, आप मैप पर रंगों को बदलते हुए देखते हैं, लेकिन वास्तविक सोच एक ब्लैक बॉक्स के भीतर होती है। आप रोबोट के दिमाग के अंदर की गणित, गलतियाँ या "आहा!" वाले क्षणों को कभी नहीं देख पाते।

यह शोध पत्र Q-Learning Lab पेश करता है, जो उस ब्लैक बॉक्स को खोलने वाला एक उपकरण है। यह ऐसा है जैसे आपको एक्स-रे चश्मे दे दिए गए हों जिससे आप रोबلة के दिमाग को वास्तविक समय में, चरण-दर-चरण काम करते हुए देख सकें।

जादुई ट्रिक: गणित को लाइव देखना

अधिकांश शिक्षण उपकरण सीखने के परिणाम दिखाते हैं। यह उपकरण उस नुस्खे (recipe) को दिखाता है जिसे अभी पकाया जा रहा है।

हर बार जब रोबोट एक कदम उठाता है, तो स्क्रीन पर एक विशेष पैनल प्रसिद्ध "बेलमैन समीकरण" (वह गणितीय सूत्र जो रोबोट को सिखाता है) को उस सटीक क्षण के वास्तविक नंबरों का उपयोग करके फिर से लिखता है। यह बिल्कुल वैसा ही है जैसे किसी शेफ को अपने सामने लिखते हुए देखना: "लक्ष्य के लिए 10 अंक जोड़ें, एक कदम के लिए 0.1 घटाएं, भविष्य के लिए 0.95 से गुणा करें..." आप ठीक से देख सकते हैं कि रोबोट ने दाएं मुड़ने के बजाय बाएं मुड़ने का निर्णय क्यों लिया, और क्या वह साहसी (एक्सप्लोरिंग/खोजबीन) हो रहा था या सतर्क (जो वह पहले से जानता था उसका उपयोग करना/एक्सप्लोइटिंग)।

"डू-इट-योरसेल्फ" डेटा लूप

यहाँ सबसे शानदार हिस्सा है: यह उपकरण आपको केवल देखने ही नहीं देता; यह आपको एक जासूस बनने की अनुमति भी देता है।

रोबोट चलाएं: आप एक 5x5 ग्रिड वर्ल्ड में रोबोट के साथ खेलते हैं। इसमें गड्ढे (बुरे), दीवारें (फंसी हुई) और एक लक्ष्य (अच्छा) हैं।
सुराग निर्यात (Export) करें: जब आप समाप्त कर लेते हैं, तो आप एक "ट्रेस" फ़ाइल डाउनलोड करने के लिए एक बटन क्लिक करते हैं। यह केवल एक वीडियो नहीं है; यह एक विशाल स्प्रेडशीट है जिसमें रोबोट द्वारा ली गई हर एक सोच, गलती और निर्णय शामिल है।
रहस्य सुलझाएं: आप उस फ़ाइल को एक स्प्रेडशीट प्रोग्राम में खोलते हैं और अपने स्वयं के ग्राफ बनाते हैं। आप देख सकते हैं कि रोबोट कहाँ फंस गया, उसका आत्मविश्वास कैसे बढ़ा, और क्यों वह कभी-कभी दीवार से टकरा गया।

लेखक इसे लर्न-एक्सपोर्ट-एनालाइज़ लूप (learn–export–analyze loop) कहते हैं। केवल एक शो देखने के बजाय, आप साक्ष्यों का विश्लेषण करने वाले व्यक्ति बन जाते हैं। यह एक निष्क्रिय फिल्म को एक सक्रिय जांच में बदल देता है।

यह शोध पत्र क्या सिद्ध करता है (और क्या नहीं)

लेखकों ने केवल एक सुंदर खिलौना नहीं बनाया; उन्होंने यह सुनिश्चित करने के लिए कि यह सच बोल रहा है, इसे एक कठोर स्ट्रेस टेस्ट से गुजारा है।

यह गणितीय रूप से सही है: उन्होंने रोबोट के दिमाग की तुलना एक "परफेक्ट" गणितीय समाधान (जिसे वैल्यू इटरेशन कहा जाता है) के साथ की। इन सिमुलेशन में, रोबोट द्वारा सीखा गया पथ 98.5% बार परफेक्ट पथ से मेल खाता था। जो मामूली त्रुटियां बची थीं, वे केवल उन स्थानों पर हुईं जहाँ रोबोट शायद ही कभी जाता था, जो वास्तविक जीवन में बिल्कुल अपेक्षित है।
सबक वास्तविक हैं: उन्होंने अपने लेसन प्लान के हर दावे का परीक्षण किया। उदाहरण के लिए, उन्होंने दिखाया कि यदि आप रोबोट को केवल तत्काल इनाम (एक विशिष्ट संख्या को 0 पर सेट करके) की परवाह करने के लिए कहते हैं, तो वह "मायोपिक" (अल्पदर्शी/दूरदर्शी न होना) हो जाता है और भूलभुलैया को हल करने में विफल रहता है। सिमुलेशन ने साबित किया कि यह हर बार होता है।
"ट्रैप" (जाल) टेस्ट: उन्होंने रोबोट को चकमा देने के लिए पुरस्कारों को बदलने वाला एक चतुर प्रयोग किया।
- परिदृश्य A: उन्होंने एक गड्ढे को उसकी वास्तविकता से थोड़ा बेहतर दिखाया। रोबोट उसमें गिर गया। लेखकों ने दिखाया कि यह इसलिए नहीं था क्योंकि रोबोट "बुरा" या सिस्टम को "हैक" कर रहा था; बल्कि इसलिए था क्योंकि रोबोट ने अभी तक वास्तविक लक्ष्य खोजने के लिए पर्याप्त खोजबीन (explore) नहीं की थी।
- परिदृश्य B: उन्होंने गड्ढे को इतना अच्छा बना दिया कि उसमें गिरना वास्तव में सबसे समझदारी भरा कदम था। रोबोट फिर से गिरा, लेकिन इस बार, वह एक टूटी हुई दुनिया के लिए सही काम कर रहा था।
- सबक: यह टूल छात्रों को एक ऐसे रोबोट के बीच अंतर देखने में मदद करता है जो आलसी है (जिसने पर्याप्त खोजबीन नहीं की) और एक ऐसे रोबोट के बीच जो गलत निर्देशों का सही ढंग से पालन कर रहा है।

यह शोध पत्र किन चीजों को खारिज करता है

लेखक इस बारे में बहुत स्पष्ट हैं कि यह टूल क्या नहीं है।

यह मानव छात्रों का अध्ययन नहीं है। उन्होंने स्पष्ट रूप से कहा है कि उन्होंने अभी तक वास्तविक कक्षाओं पर इसका परीक्षण नहीं किया है। उन्होंने यह नहीं मापा है कि क्या छात्रों के ग्रेड बढ़ गए हैं। वे भविष्य के अध्ययन के लिए इसे बचाकर रख रहे हैं।
यह जटिल, वास्तविक दुनिया के AI के लिए उपकरण नहीं है। यह कैमरों, सेल्फ-ड्राइविंग कारों या मल्टी-एजेंट गेम्स वाले रोबोट को नहीं संभालता है। यह पूरी तरह से एक सरल, नियत (deterministic) ग्रिड वर्ल्ड के लिए है। लेखकों का तर्क है कि जटिलता जोड़ने से वही गणित छिप जाएगा जिसे वे पढ़ाना चाहते हैं।
यह सभी सीखने की समस्याओं के लिए "जादुई समाधान" नहीं है। पेपर सुझाव देता है कि हालांकि यह टूल बुनियादी बातों को समझने के लिए महान है, लेकिन यह अपने आप AI अलाइनमेंट या डीप लर्निंग की कठिन समस्याओं को हल नहीं करता है।

निचोड़ (The Bottom Line)

Q-Learning Lab एक सिंगल-फ़ाइल, द्विभाषी (थाई/अंग्रेजी) टूल है जो बिना कुछ इंस्टॉल किए किसी भी वेब ब्राउज़र में चलता है। यह सुदृढीकरण लर्निंग (reinforcement learning) की अमूर्त गणित को एक मूर्त, निरीक्षण योग्य खेल में बदल देता है।

शोध पत्र का सुझाव है कि छात्रों को अपना डेटा उत्पन्न करने और उसका विश्लेषण करने की अनुमति देकर, हम "रोबोट को सीखते हुए देखने" से "सीखना कैसे काम करता है इसे समझने" की ओर बढ़ सकते हैं। सिमुलेशन पुष्टि करते हैं कि टूल सटीक है और इसके द्वारा सिखाए गए सबक एल्गोरिदम के वास्तविक गुण हैं, न कि केवल भाग्यशाली एनिमेशन। यह AI के अदृश्य तर्क को दृश्यमान बनाने की दिशा में एक कदम है, एक समय में एक स्प्रेडशीट के माध्यम से।

तकनीकी सारांश: क्यू-लर्निंग लैब (Q-Learning Lab)

समस्या विवरण
रीइन्फोर्समेंट लर्निंग (RL) स्नातक पाठ्यक्रमों में तेजी से केंद्रीय भूमिका निभा रहा है, फिर भी टैबुलर क्यू-लर्निंग (tabular Q-learning) का परिचय अक्सर बेलमैन अपडेट समीकरण (Bellman update equation) के अमूर्त प्रस्तुतीकरण पर निर्भर करता है। छात्र आमतौर पर नीति अभिसरण (जैसे, रंगीन ग्रिड सेल और तीर) को देखते हैं, लेकिन वे मान गणना (value computation) या क्रिया चयन (action selection) के यांत्रिक विवरणों को नहीं देख पाते हैं। मौजूदा शिक्षण उपकरण, जो बर्कले CS188 सूट से लेकर आधुनिक ब्राउज़र-आधारित प्लेग्राउंड तक विस्तृत हैं, सीखने के परिणाम को विज़ुअलाइज़ करते हैं लेकिन अपडेट प्रक्रिया को कोड के भीतर छिपा कर रखते हैं। यह अपारदर्शिता शिक्षार्थियों को विशिष्ट यांत्रिक प्रश्नों को समझने से रोकती है, जैसे कि एक चाल चलने से पहले किन Q-मानों का निरीक्षण किया गया था, क्या कोई क्रिया अन्वेषणात्मक (exploratory) थी या ग्रीडी (greedy), या कैसे विशिष्ट अवस्था संक्रमण (जैसे, दीवार से टकराना) टेम्पोरल-डिफरेंस (TD) त्रुटि को प्रभावित करते हैं।

कार्यप्रणाली
लेखक क्यू-लर्निंग लैब (Q-Learning Lab) प्रस्तुत करते हैं, जो एक सिंगल-फाइल, ब्राउज़र-आधारित, द्विभाषी (थाई/अंग्रेजी) उपकरण है जिसे क्यू-लर्निंग एल्गोरिदम को पूरी तरह से निरीक्षण योग्य बनाने के लिए डिज़ाइन किया गया है। यह प्रणाली एक नियत (deterministic) 5×5 ग्रिडवर्ल्ड पर संचालित होती है जिसमें एक स्टार्ट स्टेट, एक गोल (लक्ष्य), पिट्स (pits) और दीवारें हैं। कार्यप्रणाली तीन मुख्य डिज़ाइन विशेषताओं द्वारा परिभाषित है:

लाइव बेलमैन प्रतिस्थापन (Live Bellman Substitution): एक समर्पित पैनल प्रत्येक चरण पर वास्तविक संख्यात्मक मानों को चरों ( $r$ , $\gamma$ , $Q(s', a')$ , आदि) के साथ प्रतिस्थापित करके बेलमैन अपडेट समीकरण को रेंडर करता है। यह स्पष्ट रूप से TD त्रुटि, बूटस्ट्रैप टर्म, और यह दिखाता है कि टर्मिनल स्टेट या दीवार से टकराने (जहाँ $s' = s$ ) से अपडेट कैसे बदल जाता है।
निर्णय-पूर्ण ट्रेस लॉगिंग (Decision-Complete Trace Logging): प्रत्येक ट्रांज़िशन को चौदह फ़ील्ड के साथ लॉग किया जाता है, जिसमें पूर्ण प्री-एक्शन Q-रो, ग्रीडी argmax, अन्वेषण फ्लैग (यह संकेत देता है कि क्रिया $\epsilon$ -greedy के तहत रैंडम थी या ग्रीडी), TD टारगेट, और प्री/पोस्ट-अपडेट Q-मान शामिल हैं। यह लॉग एक मानव-पठनीय रीप्ले बफर के रूप में कार्य करता है।
लर्न-एक्सपोर्ट-एनालाइज़ लूप (Learn–Export–Analyze Loop): शिक्षार्थी पूरे ट्रेस को CSV फ़ाइल के रूप में निर्यात कर सकते हैं। यह छात्रों को अपने स्वयं के डेटासेट उत्पन्न करने में सक्षम बनाता है ताकि वे लर्निंग कर्व्स, वैल्यू हीटमैप्स और विज़िटेशन मैप्स को प्लॉट कर सकें, जिससे सीखने की प्रक्रिया को निष्क्रिय अवलोकन से बदलकर शिक्षार्थी-जनित डेटा पर आधारित चिंतनशील जांच में बदला जा सके।

यह उपकरण एक सिंगल HTML फ़ाइल (~600 पंक्तियाँ) के रूप में कार्यान्वित है जिसमें कोई बाहरी निर्भरता नहीं है, जिससे यह किसी भी आधुनिक ब्राउज़र में ऑफलाइन चलता है।

मुख्य योगदान

ज्ञानमीमांसीय बदलाव (Epistemic Shift): यह पेपर एल्गोरिदम के साथ शिक्षार्थी के संबंध को "एक अभिसरण प्रक्रिया के दर्शक" से बदलकर "एक रिकॉर्ड की गई प्रक्रिया के विश्लेषक" में बदलने का प्रस्ताव करता है।
शैक्षणिक उपकरण (Pedagogical Instrument): यह टूल कंस्ट्रक्शनिस्ट और अनुभवात्मक शिक्षण सिद्धांतों को एक मूर्त कलाकृति (ट्रेस डेटासेट) प्रदान करके संचालित करता है जिसे छात्र बना सकते हैं, निरीक्षण कर सकते हैं और विश्लेषण कर सकते हैं।
मानव विषयों के बिना तकनीकी सत्यापन: मानव अध्ययन के बजाय, यह पेपर तीन तकनीकी मूल्यांकनों के माध्यम से टूल का सत्यापन करता है:
1. सत्यता (Correctness): सीखे गए मानों और नीतियों की तुलना समान MDP पर वैल्यू-इटरेशन ग्राउंड ट्रुथ के साथ की गई है।
2. पुनरुत्पादकता (Reproducibility): हाइपरपैरामीटर स्वीप ( $\alpha$ , $\gamma$ , $\epsilon$ ) यह सत्यापित करने के लिए किए गए हैं कि क्या शैक्षणिक दावे (जैसे, मायोपिक डिस्काउंटिंग का प्रभाव) एल्गोरिदम के पुनरुत्पादक गुण हैं।
3. नैदानिक क्षमता (Diagnostic Capability): एक रिवॉर्ड-एडिटिंग अध्ययन दो व्यवहारिक रूप से समान लेकिन नैदानिक रूप से विपरीत विफलता मोड के बीच अंतर करने की टूल की क्षमता को प्रदर्शित करता है: अन्वेषण विफलता (समयपूर्व अभिसरण) बनाम वास्तविक रिवॉर्ड मिसस्पेसिफिकेशन।

परिणाम

एल्गोरिद्मिक शुद्धता: वैल्यू-इटरेशन ग्राउंड ट्रुथ ( $V^*$ ) के विरुद्ध, क्यू-लर्निंग कार्यान्वयन ने 10 रैंडम सीड्स पर नॉन-टर्मिनल स्टेट्स पर औसतन 98.5% समझौता प्राप्त किया। मान अनुमान में अधिकतम पूर्ण त्रुटि औसतन 0.34 थी, और अवशेष त्रुटियां (residual errors) शायद ही कभी विज़िट किए गए ऑफ-पाथ स्टेट्स तक सीमित थीं, जो एल्गोरिदम की ऑफ-पॉलिसी प्रकृति को सटीक रूप से दर्शाती हैं।
हाइपरपैरामीटर पुनरुत्पादकता: प्रयोगों ने पुष्टि की कि $\gamma=0$ कार्य को हल करने में विफल रहता है (मायोपिक व्यवहार), जबकि $\epsilon=1$ (शुद्ध अन्वेषण) अभी भी इष्टतम नीति की ओर अभिसरण करता है, जो क्यू-लर्निंग की ऑफ-पॉलिसी लर्निंग क्षमता को प्रदर्शित करता है।
नैदानिक अंतर (Diagnostic Distinction): रिवॉर्ड-एडिटिंग अध्ययन ने उन दो व्यवस्थाओं (regimes) को सफलतापूर्वक अलग किया जहाँ एजेंट एक पिट में समाप्त होता है:
- रेजीम A ( $R_{pit}=+5$ ): एजेंट एक पिट में अन्वेषण विफलता (स्थानीय इष्टतम तक समयपूर्व अभिसरण) के कारण समाप्त होता है, न कि इसलिए कि पिट इष्टतम है। वैल्यू-इटरेशन ग्राउंड ट्रुथ पुष्टि करता है कि गोल पथ अभी भी श्रेष्ठ है।
- रेजीम B ( $R_{pit}=+20$ ): एजेंट एक पिट में इसलिए समाप्त होता है क्योंकि रिवॉर्ड स्पेसिफिकेशन पिट को वास्तव में इष्टतम बनाता है। सीखी गई नीति संपादित MDP के लिए ग्राउंड-ट्रुथ इष्टतम नीति से मेल खाती है।
  यह अंतर स्पष्ट करता है कि RL एजेंटों का निदान करने के लिए व्यवहार की तुलना एक कंप्यूटेड ऑप्टिमम से करना आवश्यक है, न कि केवल व्यवहार को देखने से।

महत्व और दावे
पेपर का दावा है कि क्यू-लर्निंग लैब RL शिक्षा को एक एनीमेशन से जिसे देखा जाना है, एक ऐसे उपकरण में बदल देता है जो विश्लेषण के लिए डेटा उत्पन्न करता है। इसका महत्व टूल की उस क्षमता में निहित है जो बेलमैन अपडेट के "ब्लैक बॉक्स" को पारदर्शी बनाती है और शिक्षार्थियों को अपने स्वयं के प्रयोगों के चिंतनशील विश्लेषण में संलग्न करने के लिए एक तंत्र प्रदान करती है।

लेखक स्पष्ट रूप से कहते हैं कि पेपर का लक्ष्य तकनीकी और शैक्षणिक डिज़ाइन सत्यापन है, न कि सीखने के लाभों का मापन। उनका तर्क है कि टूल के दावों का तकनीकी सत्यापन भविष्य के कक्षा अध्ययनों के लिए एक पूर्व शर्त है। इस टूल को मल्टी-एजेंट अनुसंधान इन्फ्रास्ट्रक्चर के उन्नत प्रतिस्पर्धी के रूप में नहीं, बल्कि एक आधारभूत तैयारी के रूप में रखा गया है जो छात्रों को मल्टी-एजेंट सिस्टम की जटिलता का सामना करने से पहले अपडेट, अन्वेषण और रिवॉर्ड लेखकत्व (reward authorship) के यांत्रिकी को सिखाती है। लेखक विनम्र बने हुए हैं, यह नोट करते हुए कि टूल टैबुलर क्यू-लर्निंग और नियत ग्रिडवर्ल्ड तक सीमित है और भविष्य के कार्य में मानव विषयों के साथ कक्षा मूल्यांकन शामिल होगा।