Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning
यह शोध पत्र HeuristicEdu को प्रस्तुत करता है, जो एक दो-चरणीय सुदृढीकरण लर्निंग (reinforcement learning) ढांचा है जो Qwen2.5-7B मॉडल को सीधे उत्तर देने के बजाय एक सुकराती मार्गदर्शक (Socratic guide) के रूप में कार्य करने के लिए संरेखित करता है, जिससे ह्यूरिस्टिक रिवॉर्ड्स और ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन के माध्यम से स्कैफोल्डिंग प्रभावशीलता में महत्वपूर्ण सुधार और कॉन्सेप्ट लीकेज में कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कक्षा में बैठे हैं, और आप अपने शिक्षक से पूछते हैं, "आकाश नीला क्यों है?" यदि शिक्षक तुरंत आपको रेले स्कैटरिंग (Rayleigh scattering) समझाने वाला एक पाठ्यपुस्तक का पन्ना थमा देता है, तो आपने एक तथ्य तो जान लिया है, लेकिन आपने वास्तव में यह नहीं सीखा कि कैसे सोचना है। यह "बताने" और "सिखाने" के बीच का अंतर है। दशकों से, मनोवैज्ञानिक जानते हैं कि एक छात्र को एक जटिल विचार समझने में मदद करने का सबसे अच्छा तरीका एक सुकराती मार्गदर्शक (Socratic guide) की तरह कार्य करना है: उत्तर देने के बजाय, आप प्रश्नों की एक श्रृंखला पूछते हैं जो छात्र को स्वयं उत्तर खोजने के लिए प्रेरित करती है। यह एक हाइकिंग गाइड होने जैसा है जो रास्ते के निशान दिखाता है और पूछता है, "तुम्हें क्या लगता है कि उस पहाड़ी के ऊपर क्या होगा?" बजाय इसके कि वह बस कह दे, "शिखर उस दिशा में है।"
अब, आर्टिफिशियल इंटेलिजेंस (AI) को एक अत्यंत बुद्धिमान रोबोट छात्र के रूप में देखें जिसने पुस्तकालय की हर किताब पढ़ ली है। जब हम इस रोबोट को एक शैक्षिक परिवेश में रखते हैं, तो यह अक्सर "हाइकिंग गाइड" परीक्षण में विफल रहता है। क्योंकि यह जानकारी प्राप्त करने में इतना कुशल है, इसलिए यह तुरंत उत्तर देने लगता है, एक धैर्यवान शिक्षक के बजाय एक "प्रत्यक्ष उत्तर देने वाले" (Direct Answerer) की तरह व्यवहार करता है। यह शोध पत्र कंप्यूटर विज्ञान के एक कोने, "शैक्षिक AI" (Educational AI) का अन्वेषण करता है, जो विशेष रूप से इस बात पर ध्यान केंद्रित करता है कि कैसे इन विशाल भाषा मॉडलों को तथ्यों को उगलना बंद करने और छात्रों को जिज्ञासा के माध्यम से मार्गदर्शन करने के लिए पुन: प्रशिक्षित किया जाए। मुख्य विचार यह है कि केवल AI को बड़ा या अधिक स्मार्ट बनाना इसे ठीक नहीं करेगा; AI को विशेष रूप से रोकने और प्रश्न पूछने के लिए प्रशिक्षित करने की आवश्यकता है, एक ऐसा कौशल जिसके लिए केवल अधिक डेटा के बजाय एक विशेष प्रकार के "कोचिंग" की आवश्यकता होती है।
इस अध्ययन के पीछे के शोधकर्ताओं, शियाओकुन वांग और उनकी टीम ने एक AI मॉडल को, जिसका नाम Qwen2.5-7B है, एक सुकराती मार्गदर्शक बनने के लिए प्रशिक्षित करने का निर्णय लिया, जिसे वे HeuristicEdu कहते हैं। इस प्रक्रिया को दो-चरणीय प्रशिक्षण शिविर के रूप में समझें। पहले, उन्होंने AI को जिज्ञासु बच्चों और एक विज्ञान मंच के बीच हुई 797 वास्तविक बातचीत दिखाई, जिससे AI ने उत्तर देने के बजाय प्रश्न पूछने की बुनियादी बातें सीखीं। यह एक वार्म-अप सत्र की तरह है। लेकिन केवल अभ्यास पर्याप्त नहीं था। दूसरे, अधिक गहन चरण में, उन्होंने ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) नामक एक तकनीक का उपयोग किया। एक खेल की कल्पना करें जहाँ AI छात्र के प्रश्न के आठ अलग-अलग संभावित उत्तर उत्पन्न करता है। एक "जज" फिर तीन नियमों के आधार पर इन प्रतिक्रियाओं को स्कोर देता है: क्या इसने छात्र को अधिक सोचने के लिए प्रेरित किया? क्या इसने छात्र को जिज्ञासु बनाए रखा? और, महत्वपूर्ण रूप से, क्या इसने अनजाने में गुप्त उत्तर का खुलासा कर दिया? AI उन प्रतिक्रियाओं को पसंद करना सीखता है जो उच्चतम स्कोर करती हैं, जिससे धीरे-धीरे उसका व्यक्तित्व एक "सब कुछ जानने वाले" से बदलकर एक "मार्गदर्शक" में बदल जाता है।
टीम ने इस नए, प्रशिक्षित AI का परीक्षण 30 ऐसे प्रश्नों पर किया जो उसने पहले कभी नहीं देखे थे। परिणाम काफी उत्साहजनक थे। उनके प्रशिक्षित AI के सर्वश्रेष्ठ संस्करण ने बिना कभी भी प्रमुख वैज्ञानिक शब्दों को लीक किए, 63.3% प्रश्नों पर छात्रों को उत्तर तक पहुँचाने में सफलता प्राप्त की। इसके विपरीत, एक बहुत बड़े, अप्रशिक्षित AI मॉडल (Qwen-72B) पूरी तरह विफल रहा, जिसने 96.7% बार सीधे उत्तर दिए। यह सुझाव देता है कि केवल एक बड़ा मस्तिष्क होने से AI एक बेहतर शिक्षक नहीं बनता; इसे विशिष्ट व्यवहार संबंधी प्रशिक्षण की आवश्यकता होती है।
सबसे आश्चर्यजनक निष्कर्षों में से एक यह था कि शोधकर्ताओं ने AI को उत्तर "लीक" करने के लिए कैसे दंडित किया। शोधकर्ता उम्मीद कर रहे थे कि प्रशिक्षण के दौरान AI को स्पष्ट रूप से यह कहना कि "उत्तर मत बताओ" मदद करेगा। हालाँकि, उनके सिमुलेशन में, इस सख्त दंड को जोड़ने से AI मार्गदर्शन करने में और भी खराब हो गया। ऐसा हुआ कि जब AI गलत शब्द बोलने से बहुत अधिक डर गया, तो वह भ्रमित और कम आकर्षक हो गया। सबसे सफल संस्करण वह था जिसमें प्रशिक्षण चरण के दौरान यह सख्त दंड नहीं था, जो यह सुझाव देता है कि AI बेहतर तरीके से सीखता है जब उसे सीधे होने के लिए दंडित करने के बजाय जिज्ञासु और गहरा होने के लिए पुरस्कृत किया जाता है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि एक शक्तिशाली AI को एक महान शिक्षक में बदलने के लिए, हम केवल इसे बड़ा नहीं कर सकते या इसे "अच्छा बनने" के लिए नहीं कह सकते। हमें इसे एक विशिष्ट पुरस्कार प्रणाली के साथ प्रशिक्षित करना होगा जो उत्तर की "मंजिल" के बजाय खोज की "यात्रा" को महत्व देती है। हालांकि ये परिणाम कंप्यूटर सिमुलेशन और प्रश्नों के एक विशिष्ट सेट से आते हैं, वे AI ट्यूटर बनाने का एक नया और आशाजनक तरीका प्रदान करते हैं जो वास्तव में छात्रों को केवल तथ्यों को याद करने के बजाय सोचने का तरीका सिखाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।