Beyond Benchmarking: Scenario-Based Evaluation of Large Language Models for Personalized Learning

एक कक्षा की शांत गूँज में, एक शिक्षक उस चुनौती का सामना करता है जो शिक्षा जितनी ही पुरानी है: प्रत्येक छात्र को ठीक उसी समय सटीक मदद कैसे दी जाए जिसकी उन्हें आवश्यकता है। तीस शिक्षार्थियों वाले एक कमरे में, कोई बुनियादी परिभाषा से भ्रमित हो सकता है जबकि दूसरा एक जटिल पहेली के लिए तैयार हो सकता है, फिर भी शिक्षक को अक्सर पूरे समूह से एक साथ बात करनी पड़ती है। दशकों से, शिक्षक एक ऐसी प्रणाली का सपना देखते रहे हैं जो हर बच्चे के लिए एक व्यक्तिगत ट्यूटर के रूप में कार्य कर सके, जो सटीक रूप से निदान कर सके कि मस्तिष्क कहाँ लड़खड़ाया है और आगे बढ़ने के लिए एक अनुकूलित मार्ग प्रदान कर सके। आज, लार्ज लैंग्वेज मॉडल्स (large language models) नामक शक्तिशाली कंप्यूटर प्रोग्राम इस क्षेत्र में प्रवेश कर चुके हैं, जो एक छात्र के काम को पढ़ने और अनुकूलित सलाह उत्पन्न करने का वादा करते हैं। लेकिन एक महत्वपूर्ण प्रश्न बना हुआ है: क्या ये प्रोग्राम वास्तव में यह समझते हैं कि कैसे सिखाया जाता है, या वे केवल एक शिक्षक की आवाज़ की नकल कर रहे हैं? हालांकि इन मॉडल्स का परीक्षण अक्सर सामान्य ज्ञान के प्रश्नों के उत्तर देने या गणित की समस्याओं को हल करने की उनकी क्षमता पर किया जाता है, ऐसे परीक्षण शायद ही कभी यह प्रकट करते हैं कि क्या वे वास्तव में एक संघर्षरत शिक्षार्थी के भ्रम को समझ सकते हैं या उस विशिष्ट व्यक्ति के लिए सही लगने वाला मार्गदर्शन दे सकते हैं।

शोधकर्ताओं की एक टीम ने इन मानक परीक्षणों से परे देखने और यह जांचने के लिए कि ये आर्टिफिशियल इंटेलिजेंस सिस्टम एक यथार्थवादी ट्यूटरिंग परिदृश्य में रखे जाने पर कैसा व्यवहार करते हैं, एक अध्ययन किया। उन्होंने एक नियंत्रित वातावरण बनाया जो एक पोस्ट-क्लास रिव्यु सेशन (कक्षा के बाद की समीक्षा सत्र) को दर्शाता था, जिसमें डेटा स्ट्रक्चर (data structures) के बारे में कुछ प्रश्न शामिल थे—जो कंप्यूटर विज्ञान का एक मौलिक विषय है जिसमें जानकारी को कैसे व्यवस्थित और संग्रहीत किया जाता है, इसका विवरण होता है। उन्होंने क्विज़ प्रश्नों का एक संग्रह और छात्र के वास्तविक उत्तर भी एकत्र किए, जिनमें से कुछ सही और कुछ गलत थे। मॉडल्स से केवल काम को ग्रेड करने के लिए कहने के बजाय, शोधकर्ताओं ने उन्हें एक ट्यूटर की भूमिका निभाने के लिए कहा। कार्य यह था कि वे छात्र की प्रतिक्रियाओं को पढ़ें, यह पता लगाएं कि छात्र ने किन विशिष्ट अवधारणाओं में महारत हासिल की है और कौन सी अभी भी अस्पष्ट हैं, उन विशिष्ट गलतफहमियों की पहचान करें जिनके कारण त्रुटियां हुईं, और फिर छात्र को सुधारने में मदद करने के लिए एक व्यक्तिगत योजना लिखें। एक निष्पक्ष तुलना सुनिश्चित करने के लिए, शोधकर्ताओं ने तीन अलग-अलग अग्रणी मॉडल्स को बिल्कुल समान निर्देश और एक ही छात्र डेटा दिया, और प्रत्येक को एक अद्वितीय ट्यूटरिंग प्रतिक्रिया तैयार करने के लिए कहा।

परिणामों का निर्णय करने के लिए, शोधकर्ता मानव विशेषज्ञों पर निर्भर नहीं रहे, जिनकी अलग-अलग राय हो सकती है या सीमित समय हो सकता है, बल्कि उन्होंने एक चौथे, अत्यधिक सक्षम मॉडल का उपयोग एक सुसंगत, निष्पक्ष निर्णायक के रूप में किया। इस निर्णायक ने विभिन्न प्रणालियों द्वारा उत्पन्न ट्यूटरिंग प्रतिक्रियाओं के जोड़ों को देखा और निर्णय लिया कि किस एक ने बेहतर मार्गदर्शन प्रदान किया। निर्णायक ने पांच विशिष्ट गुणों पर ध्यान केंद्रित किया: छात्र क्या जानता है, इसे पहचानने में ट्यूटर की कितनी सटीकता थी, छात्र की विशिष्ट गलतियों को पकड़ने में वह कितना सक्षम था, सलाह कितनी स्पष्ट और समझने में आसान थी, सुझाव कितने विशिष्ट और कार्रवाई योग्य थे, और क्या लहजा और कठिनाई का स्तर छात्र की वर्तमान समझ के अनुरूप था। इस तुलना को कई बार चलाने के बाद, शोधकर्ता एक स्पष्ट तस्वीर बना सके कि कौन सा मॉडल सबसे अधिक सहायक, शैक्षणिक रूप से सुदृढ़ फीडबैक देने की प्रवृत्ति रखता है।

परिणामों से पता चला कि ये मॉडल्स सभी एक जैसे नहीं हैं; वे शिक्षक के रूप में अलग-अलग व्यक्तित्व और ताकत प्रदर्शित करते हैं। एक मॉडल लगातार सबसे प्रभावी के रूप में उभरा, जो अक्सर तुलनाओं में जीत हासिल करता रहा क्योंकि उसने ऐसा फीडबैक दिया जो अत्यधिक संरचित, पढ़ने में आसान और ठोस, कार्रवाई योग्य कदमों जैसे कि विशिष्ट अभ्यास समस्याओं या अनुशंसित शिक्षण संसाधनों से भरपूर था। यह जटिल त्रुटियों को स्पष्ट, अलग बिंदुओं में तोड़ने में सक्षम था, जिससे छात्र के लिए यह देखना आसान हो गया कि वे कहाँ गलत हुए। दूसरा मॉडल अच्छा प्रदर्शन करता था लेकिन अक्सर एक अधिक संवादात्मक, कथा शैली की ओर झुका हुआ था, जिसे कुछ लोग आकर्षक पा सकते हैं लेकिन जिसमें कभी-कभी शीर्ष प्रदर्शन करने वाले की तरह तीक्ष्ण, संगठित स्पष्टता की कमी होती थी। हालाँकि, जबकि इस दूसरे मॉडल ने अक्सर प्रतिस्पर्धी आउटपुट दिए, वर्तमान प्रयोगात्मक सेटिंग के तहत इसका सापेक्ष लाभ स्पष्ट रूप से अलग नहीं था। तीसरा मॉडल आम तौर पर छोटी, अधिक सामान्य सलाह देता था जो मुख्य रूप से इस बात पर केंद्रित थी कि उत्तर सही है या गलत, और अक्सर उन गहरे तर्क संबंधी अंतरालों को मिस कर देता था जिन्हें एक अच्छा ट्यूटर पकड़ लेता।

महत्वपूर्ण रूप से, अध्ययन ने पाया कि एक मॉडल की सामान्य ज्ञान परीक्षणों पर उच्च स्कोर करने की क्षमता यह गारंटी नहीं देती कि वह एक अच्छा ट्यूटर होगा। शोधकर्ताओं ने देखा कि जिन मॉडल्स ने कंप्यूटर स्तर पर एक-दूसरे के सबसे समान दिखने वाला टेक्स्ट तैयार किया, वे आवश्यक रूप से वे नहीं थे जिन्होंने सबसे अच्छा शैक्षिक मार्गदर्शन प्रदान किया। यह सुझाव देता है कि जो गुण एक मॉडल को अच्छा वार्तालापी या अच्छा तथ्य-प्राप्तकर्ता बनाते हैं, वे उन गुणों से भिन्न हैं जो उसे एक अच्छा शिक्षक बनाते हैं। इस अध्ययन में शीर्ष प्रदर्शन करने वाला मॉडल केवल तथ्यों को दोहराता नहीं था; इसने छात्र की मानसिक स्थिति का अनुमान लगाने, एक त्रुटि के मूल कारण का निदान करने और सुधार के लिए एक तार्किक पथ बनाने की क्षमता का प्रदर्शन किया। अध्ययन बताता है कि आर्टिफिशियल इंटेलिजेंस को वास्तव में सीखने में सहायता करने के लिए कैसे समर्थन दे सकता है, इसे समझने के लिए हमें केवल यह देखना बंद करना होगा कि मशीनें शून्य में कितनी स्मार्ट हैं और यह देखना शुरू करना होगा कि वे एक विशिष्ट मानव को सीखने में मदद करने के दौरान कैसा व्यवहार करती हैं।

शोधकर्ताओं ने निष्कर्ष निकाला कि उनका दृष्टिकोण इन उपकरणों का मूल्यांकन करने का एक नया तरीका प्रदान करता है, जो अमूर्त स्कोर के बजाय शिक्षण के वास्तविक कार्य को प्राथमिकता देता है। एक वास्तविक ट्यूटरिंग सत्र का अनुकरण करके और आउटपुट की तुलना इस आधार पर करके कि वे छात्र की कितनी मदद करेंगे, उन्होंने उन अंतरों को उजागर किया जिन्हें मानक परीक्षण पूरी तरह से मिस कर देते। हालांकि अध्ययन एक विशिष्ट विषय और एक प्रकार के लर्निंग परिदृश्य तक सीमित था, यह भविष्य के अनुसंधान के लिए एक स्पष्ट ब्लूप्रिंट प्रदान करता है। यह दिखाता है कि हम यह परीक्षण करने के लिए सिस्टम बना सकते हैं कि क्या AI वास्तव में कक्षा में प्रवेश करने के लिए तैयार है, केवल यह पूछकर नहीं कि वह क्या जानता है, बल्कि यह देखकर कि वह किसी और को सीखने में कैसे मदद करता है। आगे का रास्ता इन मॉडल्स को अधिक विषयों, अधिक विविध छात्रों के माध्यम से परीक्षण करने और अंततः वास्तविक शिक्षकों और शिक्षार्थियों को शामिल करने की ओर जाता है ताकि यह देखा जा सके कि कंप्यूटर की सलाह वास्तविक कक्षा की अस्त-व्यस्त, अद्भुत वास्तविकता में कितनी खरी उतरती है।