FoundationalASSIST: An Educational Dataset for Foundational Knowledge Tracing and Pedagogical Grounding of LLMs
यह शोध पत्र FoundationalASSIST को प्रस्तुत करता है, जो 1.7 मिलियन विस्तृत छात्र अंतःक्रियाओं और K-12 मानकों के साथ संरेखण वाला एक व्यापक शैक्षिक डेटासेट है, जो यह प्रकट करता है कि वर्तमान सीमावर्ती (फ्रंटियर) LLMs में व्यक्तिगत शिक्षण के लिए आवश्यक विश्वसनीय ज्ञान अनुरेखण (नॉलेज ट्रेसिंग) और शैक्षणिक तर्क की क्षमताओं की काफी कमी है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बुद्धिमान, विद्वान रोबोट को एक मानव ट्यूटर बनना सिखाने की कोशिश कर रहे हैं। आप उसे गणित के हर लिखे गए प्रश्न का एक पुस्तकालय देते हैं और पूछते हैं, "क्या तुम समझ सकते हो कि एक छात्र कैसे सोचता है?"
यह शोध पत्र, FoundationalASSIST, वास्तविक डेटा के साथ इस प्रश्न का उत्तर देने का पहला प्रमुख प्रयास है। लेखकों ने रोबोटों के लिए एक विशाल नया "प्रशिक्षण मैनुअल" बनाया और फिर उपलब्ध सबसे स्मार्ट AI मॉडलों को परखने के लिए उन्हें मैदान में उतारा। उन्होंने क्या पाया, यहाँ सरल भाषा में समझाया गया है।
समस्या: रोबोट की आँखों पर पट्टी बंधी थी
वर्षों तक, शोधकर्ताओं ने पुराने डेटासेट का उपयोग करके AI को शिक्षा के बारे में सिखाने की कोशिश की। लेकिन वे डेटासेट एक फोन बुक की तरह थे जिसमें केवल नाम और फोन नंबर थे। वे AI को बताते थे: "छात्र 47829 ने प्रश्न 99 का सही उत्तर दिया।"
AI को यह पता ही नहीं था कि प्रश्न 99 किस बारे में था। क्या वह भिन्नों (fractions) के बारे में था? क्या वह एक घुमाया हुआ सवाल था? क्या छात्र ने सही उत्तर अनुमान लगाकर दिया था? AI की आँखों पर पट्टी बंधी थी। वह प्रश्नों को "पढ़" नहीं सकता था या छात्र की वास्तविक गलतियों को देख नहीं सकता था, इसलिए वह यह नहीं सीख सकता था कि छात्र कैसे सीखते हैं।
समाधान: एक नया, समृद्ध डेटासेट
लेखकों ने FoundationalASSIST बनाया। इसे पुराने फोन बुक से अपग्रेड करके एक कक्षा की पूरी वीडियो रिकॉर्डिंग में बदलने जैसा समझें।
केवल "सही/गलत" के बजाय, इस नए डेटासेट में शामिल है:
- वास्तविक प्रश्न: रोबोट मानव की तरह गणित के सवाल को पढ़ सकता है।
- वास्तविक उत्तर: यदि किसी छात्र ने "12" के बजाय "27" लिखा, तो रोबंड उस विशिष्ट गलती को देख सकता है।
- गलत विकल्प: यदि किसी छात्र ने A के बजाय B चुना, तो रोबोट देख सकता है कि वह किस "जाल" में फँसा है।
- पाठ्यक्रम मानचित्र (Curriculum Map): यह हर प्रश्न को आधिकारिक स्कूल मानकों (जैसे "6वीं कक्षा के भिन्न") से जोड़ता है।
उन्होंने 5,000 छात्रों के 1.7 मिलियन इंटरैक्शन एकत्र किए। यह पहली बार है जब किसी अंग्रेजी बोलने वाले AI को इस स्तर के विवरण तक पहुँच मिली है।
प्रयोग: रोबोटों को परखना
शोधकर्ताओं ने दुनिया के चार सबसे स्मार्ट AI मॉडलों (जैसे GPT-OSS, Llama, और Qwen) को इस नए डेटा का उपयोग करके चुनौतियों की एक श्रृंखला दी। उन्होंने दो मुख्य प्रकार के प्रश्न पूछे:
- "क्रिस्टल बॉल" टेस्ट (ज्ञान अनुरेखण - Knowledge Tracing): "इस छात्र के इतिहास के आधार पर, क्या वे अगला प्रश्न सही हल करेंगे? और वे वास्तव में क्या उत्तर लिखेंगे?"
- "शिक्षक की अंतर्दृष्टि" टेस्ट (शैक्षणिक आधार - Pedagogical Grounding): "इन दो प्रश्नों में से कौन सा कठिन है? कौन सा एक बुद्धिमान छात्र को संघर्ष करने वाले छात्र से अलग करने के लिए बेहतर है? छात्र अक्सर कौन सा गलत उत्तर चुनते हैं?"
परिणाम: रोबोट स्मार्ट हैं, लेकिन "मानव" रूप से स्मार्ट नहीं हैं
परिणाम आश्चर्यजनक और भविष्य के AI ट्यूटर्स के लिए थोड़े निराशाजनक थे।
1. "क्रिस्टल बॉल" धुंधली थी।
जब पूछा गया कि क्या छात्र प्रश्न सही हल करेगा, तो AI मॉडल एक सिक्के के उछाल (coin flip) से भी थोड़ा ही बेहतर प्रदर्शन कर पाए।
- उपमा: कल्पना कीजिए कि एक मौसम विज्ञानी हर दिन "धूप वाला मौसम" होने का अनुमान लगाता है। चूंकि इस डेटासेट में 51% समय धूप रहती है, इसलिए उसकी सटीकता 51% है। AI मॉडल केवल लगभग 56% सटीकता प्राप्त कर सके। वे वास्तव में छात्र को "सीख" नहीं रहे थे; वे केवल यह अनुमान लगा रहे थे कि "हाँ, वे इसे सही करेंगे।"
- पूर्वाग्रह (Bias): रोबोट आशावादी पूर्वाग्रह (Optimistically Biased) से ग्रस्त थे। जब कोई छात्र वास्तव में गलत करता था, तो AI लगभग हमेशा भविष्यवाणी करता था कि वे सही करेंगे। यह एक ऐसे माता-पिता की तरह है जो अपने बच्चे के संघर्ष को मानने से इनकार कर देता है क्योंकि वह केवल अच्छे ग्रेड देखना चाहता है।
2. "शिक्षक की अंतर्दृष्टि" मिश्रित थी।
- कठिनाई (Difficulty): रोबोट इसमें काफी अच्छे थे। वे बता सकते थे कि बड़े नंबरों वाला प्रश्न छोटे नंबरों वाले प्रश्न की तुलना में कठिन है। उन्होंने इसे लगभग 68% बार सही बताया।
- भेदभाव (Discrimination - सबसे बड़ी विफलता): यहीं पर रोबोट पूरी तरह विफल रहे। "भेदभाव" का अर्थ है: क्या यह प्रश्न वास्तव में बुद्धिमान बच्चों को संघर्ष करने वाले बच्चों से अलग करता है?
- उपमा: कल्पना कीजिए कि एक टेस्ट प्रश्न इतना कठिन है कि सभी उसमें फेल हो जाते हैं। एक मानव शिक्षक जानता है कि यह एक बुरा प्रश्न है क्योंकि यह नहीं बताता कि कौन बुद्धिमान है और कौन नहीं। हालाँकि, AI मॉडलों ने सोचा कि यह भयानक प्रश्न एक बहुत अच्छा प्रश्न है। वे इस कार्य में यादृच्छिक संभावना (Random Chance) से भी खराब प्रदर्शन कर गए। वे वास्तव में यह नहीं समझते कि एक प्रश्न को "नैदानिक" (Diagnostic) क्या बनाता है।
- सामान्य गलतियाँ: रोबोट यह अनुमान लगाने में ठीक थे कि छात्र सबसे अधिक कौन सा गलत उत्तर चुनते हैं (जैसे कि एक सामान्य गणितीय त्रुटि), लेकिन वे यह अनुमान लगाने में बहुत खराब थे कि छात्र कौन से गलत उत्तर कभी नहीं चुनते।
वे क्यों विफल हुए?
लेखक सरल तर्क का उपयोग करते हुए कुछ कारणों का सुझाव देते हैं:
- सफलता पर प्रशिक्षण: AI मॉडल टेक्स्टबुक और समाधान नियमावली पर प्रशिक्षित होते हैं। उन्होंने लाखों सही उत्तर देखे हैं। उन्होंने संघर्ष कर रहे छात्र की अस्त-व्यस्त, भ्रमित सोच को शायद ही कभी देखा है। वे उन शेफ की तरह हैं जिन्होंने केवल उत्तम व्यंजन चखे हैं और उन्हें नहीं पता कि जला हुआ भोजन कैसा दिखता है।
- कोई "छात्र मस्तिष्क" नहीं: पारंपरिक गणित मॉडल में प्रत्येक छात्र के लिए एक विशिष्ट "मेमोरी" होती है जो हर प्रश्न के साथ अपडेट होती है। ये AI मॉडल केवल पिछले प्रश्नों की एक लंबी सूची पढ़ते हैं। उनके पास यह कहने के लिए कोई अंतर्निहित तंत्र नहीं है कि, "आह, यह छात्र हमेशा 'एक' जोड़ने (carry the one) की गलती करता है।"
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि जबकि AI कविता लिखने और स्वयं गणित समस्याओं को हल करने में अद्भुत है, यह अभी तक एक व्यक्तिगत ट्यूटर बनने के लिए तैयार नहीं है।
यह विश्वसनीय रूप से भविष्यवाणी नहीं कर सकता कि छात्र कब संघर्ष कर रहा है, और यह एक ऐसा टेस्ट प्रश्न डिजाइन करने की सूक्ष्म कला को नहीं समझता जो यह प्रकट करे कि छात्र क्या जानता है। इससे पहले कि हम AI पर अपने स्कूलों को चलाने या अपने बच्चों को ट्यूशन देने के लिए भरोसा करें, हमें इसे मानव सफलता के बजाय मानवीय गलतियों को समझना सिखाना होगा।
लेखकों ने इस नए डेटासेट (FoundationalASSIST) को जारी किया है ताकि अन्य शोधकर्ता इन कमियों को सुधारने का प्रयास कर सकें, ठीक वैसे ही जैसे मूल "ASSISTments" डेटा ने पिछले दशक के लिए शोधकर्ताओं की मदद की थी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।