EvalConvoLearn: An Open-Source Framework for Evaluating Grounded Learner Simulations in Tutoring Conversations
यह शोध पत्र EvalConvoLearn प्रस्तुत करता है, जो एक ओपन-सोर्स फ्रेमवर्क है जिसे प्रामाणिक संवाद डेटासेट के विरुद्ध शिक्षार्थी व्यवहार और संवादात्मक गुणवत्ता को मापकर, ट्यूटरिंग वार्तालापों में लार्ज लैंग्वेज मॉडल-आधारित शिक्षार्थी सिमुलेशन की निष्ठा (fidelity) का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आप एक रोबोट शिक्षक बना सकें जो कभी थकता नहीं, कभी गुस्सा नहीं करता, और जानता है कि गणित की एक कठिन समस्या को बिल्कुल सही तरीके से कैसे समझाना है। यही "AI ट्यूटर्स" के पीछे का सपना है। लेकिन इससे पहले कि हम अपने बच्चों को पढ़ाने के लिए किसी रोबलेट पर भरोसा कर सकें, हमें यह जानना होगा कि क्या यह वास्तव में उसी तरह सीख रहा है जैसे एक मानव छात्र सीखता है। यह कन्वर्सेशनल AI (संवादात्मक AI) और एजुकेशनल टेक्नोलॉजी (शैक्षिक तकनीक) का खेल का मैदान है। एक "सिम्युलेटेड लर्नर" (अनुकरित शिक्षार्थी) को एक डिजिटल कठपुतली के रूप में सोचें: यह एक कंप्यूटर प्रोग्राम है जिसे चैट में एक छात्र की तरह व्यवहार करने के लिए डिज़ाइन किया गया है। इसे गलतियाँ करनी चाहिए, सवाल पूछने चाहिए, और समय के साथ स्मार्ट होने के संकेत दिखाने चाहिए। वैज्ञानिक जो बड़ा सवाल पूछ रहे हैं, वह है: "क्या यह डिजिटल कठपुतली सिर्फ एक छात्र होने का नाटक कर रही है, या यह वास्तव में एक छात्र की तरह व्यवहार कर रही है?" यदि कठपुतली बहुत अधिक 'परफेक्ट' है, तो यह नए शिक्षण तरीकों के परीक्षण के लिए बेकार है। यदि यह बहुत अधिक अराजक है, तो यह केवल शोर है। हमें यह मापने का एक तरीका चाहिए कि ये डिजिटल छात्र कितने "असली" हैं, और यह शोध पत्र ठीक इसी बात को संबोधित करता है।
यहाँ पेश है EvalConvoLearn, एक नया ओपन-सोर्स टूलकिट जिसे बैप्टिस्ट मोरौ-पर्नेट (Baptiste Moreau-Pernet) द्वारा बनाया गया है। आप इस फ्रेमवर्क को डिजिटल छात्रों के लिए एक "सत्य परीक्षक" (truth detector) के रूप में देख सकते हैं। लेखक ने यह परीक्षण करने के लिए एक प्रणाली बनाई है कि क्या AI सिमुलेशन ट्यूटरिंग बातचीत में वास्तविक शिक्षार्थियों की तरह व्यवहार कर रहे हैं। केवल यह जाँचने के बजाय कि क्या AI सही उत्तर देता है, EvalConoloLearn दो मुख्य चीजों को देखता है: AI कैसे सीखता है और यह कैसे बात करता है।
सबसे पहले, फ्रेमवर्क "सीखने के व्यवहार" की जाँच करता है। यह पूछता है: क्या यह AI छात्र समय के साथ किसी कौशल में बेहतर होता है, ठीक वैसे ही जैसे एक वास्तविक मानव होता है? यह AI की प्रगति की तुलना वास्तविक ट्यूटरिंग सत्रों के वास्तविक डेटा से करता है ताकि यह देखा जा सके कि महारत हासिल करने की AI की राह प्रामाणिक दिखती है या नहीं। दूसरा, यह "संवादात्मक गुणवत्ता" की जाँच करता है। यह एक स्टाइल चेक की तरह है। क्या AI सही आवृत्ति (frequency) पर प्रश्न पूछता है? क्या यह वे गलतियाँ करता है जो वास्तविक बच्चे करते हैं? क्या यह बहुत अधिक बोलता है या बहुत कम? फ्रेमवर्क यह मापने के लिए स्कोर के एक सेट का उपयोग करता है कि AI के चैट पैटर्न वास्तविक छात्रों की अव्यवस्थित, वास्तविक दुनिया की बातचीत से कितने करीब हैं।
इसका परीक्षण करने के लिए, लेखक ने Eedi लर्निंग प्लेटफॉर्म के डेटा का उपयोग करके एक सिमुलेशन चलाया, जिसमें हजारों वास्तविक छात्र-ट्यूटर चैट शामिल हैं। उन्होंने दो अलग-अलग प्रकार के AI छात्र बनाए: एक जो पिछली बातचीत को एक सारांश के रूप में याद रखता है, और दूसरा जो "मास्टर किए गए कौशल" या "न कमाए गए कौशल" की एक सरल सूची रखता है। इसके बाद उन्होंने इन AI छात्रों को एक सिम्युलेटेड ट्यूटर के विरुद्ध खड़ा किया और देखा कि वे कैसे परस्पर क्रिया करते हैं।
परिणाम उम्मीद और वास्तविकता के बीच के मिश्रण थे। सिमुलेशन ने दिखाया कि AI छात्र मानवीय सीखने के पैटर्न की काफी अच्छी तरह से नकल कर सकते हैं, जिनके स्कोर बताते हैं कि वे वास्तविक वितरणों के करीब पहुँच रहे हैं। हालाँकि, शोध पत्र एक महत्वपूर्ण अंतर की ओर इशारा करता: इन सिमुलेशन में, AI छात्रों ने लगभग 90% समस्याओं को हल किया, जो वास्तविक छात्रों द्वारा आमतौर पर हासिल किए जाने वाले स्तर से 56 अंक अधिक है। दूसरे शब्दों में, डिजिटल कठपुतलियाँ बहुत अधिक स्मार्ट और बहुत अधिक 'परफेक्ट' थीं। वे पर्याप्त संघर्ष नहीं कर पा रही थीं। जबकि AI ने बातचीत के "बातचीत वाले हिस्से" को काफी अच्छी तरह से संभाला (यह देखते हुए कि मनुष्य कितनी बार सवाल पूछते हैं या गलतियाँ करते हैं), "सीखने वाला हिस्सा" बहुत आसान था।
शोध पत्र निष्कर्ष निकालता है कि हालांकि EvalConLoLearn इन सिमुलेशन के परीक्षण के लिए एक ठोस आधार है, लेकिन अभी भी बहुत काम करना बाकी है। लेखक का सुझाव है कि भविष्य के संस्करणों को AI छात्रों को अधिक संघर्ष करने की आवश्यकता है और शायद समीकरण को संतुलित करने के लिए सिम्युलेटेड ट्यूटर्स को अधिक स्मार्ट बनाने की आवश्यकता है। फिलहाल, यह फ्रेमवर्क शोधकर्ताओं को यह मापने के लिए एक स्पष्ट पैमाना देता है कि उनके डिजिटल छात्र वास्तविक चीज़ के कितने करीब हैं, यह सुनिश्चित करते हुए कि जब हम अंततः AI ट्यूटर्स को तैनात करें, तो वे ऐसे सिमुलेशन पर आधारित हों जो वास्तव में समझते हैं कि मनुष्य कैसे सीखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।