From Test-taking to Cognitive Scaffolding: A Pedagogical Diagnostic Benchmark for LLMs on English Standardized Tests
यह शोध पत्र ESTBook को प्रस्तुत करता है, जो 10,000 से अधिक अंग्रेजी मानकीकृत परीक्षण प्रश्नों का एक मल्टीमॉडल बेंचमार्क है जिसे संज्ञानात्मक स्कैफोल्डिंग (cognitive scaffolding) और विचलित करने वाले विकल्पों के तर्क (distractor rationales) के साथ समृद्ध किया गया है, ताकि LLM मूल्यांकन को सरल सटीकता से बदलकर मानवीय गलतफहमियों के निदान और शैक्षणिक तर्क में सुधार की ओर ले जाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को एक बड़े, महत्वपूर्ण परीक्षा जैसे कि SAT, GRE या TOEFL के लिए तैयार करने में मदद करने के लिए एक ट्यूटर (शिक्षक) को काम पर रख रहे हैं।
पुराना तरीका: "ब्लैक बॉक्स" ट्यूटर
अब तक, अधिकांश लोगों ने AI ट्यूटर्स का परीक्षण उसी तरह किया है जैसे वे एक कैलकुलेटर का परीक्षण करते हैं: वे एक प्रश्न पूछते हैं, और यदि AI सही उत्तर देता है, तो वे उसे एक गोल्ड स्टार देते हैं। यदि यह गलत होता है, तो वे एक लाल 'X' लगा देते हैं।
इस दृष्टिकोण की समस्या यह है कि यह एक शेफ (रसोइया) को केवल इस आधार पर आंकने जैसा है कि अंतिम व्यंजन का स्वाद कैसा है, बिना यह देखे कि उसने सब्जियां कैसे काटीं या सूप में मसाले कैसे डाले। एक AI शुद्ध भाग्य से, या अनुमान लगाकर, या किसी ऐसे "शॉर्टकट" का उपयोग करके सही उत्तर तक पहुँच सकता है जो इस एक प्रश्न के लिए तो काम करता है लेकिन अगले प्रश्न पर बुरी तरह विफल हो जाएगा। वह सही उत्तर तक पहुँच सकता है जबकि बीच के गणित या तर्क को पूरी तरह से गलत समझ रहा हो।
नया तरीका: "कॉग्निटिव एक्स-रे" (संज्ञानात्मक एक्स-रे)
यह शोधपत्र AI को परखने का एक नया तरीका पेश करता है, जिसे ESTBOOK कहा जाता है। केवल अंतिम उत्तर देखने के बजाय, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो AI के मस्तिष्क के लिए एक एक्स-रे मशीन की तरह काम करता है। वे हर टेस्ट प्रश्न को एक विशिष्ट "कॉग्निटिव ट्रेजेक्टरी" (संज्ञानात्मक पथ) में तोड़ देते हैं—यानी एक मानव विशेषज्ञ वास्तव में समस्या को कैसे हल करता है, उसका एक चरण-दर-चरण मानचित्र।
इसे समस्या-समाधान के लिए एक GPS की तरह समझें। केवल यह कहने के बजाय कि "आप गंतव्य पर पहुँच गए हैं," GPS अब कहता है:
- चरण 1: क्या आपने मानचित्र को सही ढंग से पढ़ा? (प्रश्न को समझना)
- चरण 2: क्या आपने सही रास्ता चुना? (गणित या तर्क तैयार करना)
- चरण 3: क्या आपने कार को सही ढंग से चलाया? (वास्तविक गणना करना)
- चरण 4: क्या आपने गड्ढों से बचाव किया? (चालाकी भरे गलत उत्तरों को अनदेखा करना)
उन्होंने क्या पाया
शोधकर्ताओं ने दुनिया के सबसे स्मार्ट AI मॉडल्स (जैसे GPT-5, Claude और Gemini) का टेक्स्ट, गणित, चार्ट और ऑडियो को कवर करने वाले 10,000 से अधिक वास्तविक परीक्षा प्रश्नों पर परीक्षण किया। यहाँ उनकी खोज दी गई है:
- "स्मार्ट लेकिन अस्थिर" (Smart but Flaky) की समस्या: AI शुरुआत और अंत में बहुत अच्छे होते हैं। वे आमतौर पर प्रश्न को समझ सकते हैं और एक अच्छा अंतिम वाक्य लिख सकते हैं। लेकिन वे अक्सर बीच में ही लड़खड़ा जाते हैं। वे गणित का समीकरण तो बिल्कुल सही बना सकते हैं लेकिन फिर एक मामूली अंकगणितीय गलती कर सकते हैं, या वे किसी "ट्रिकी" (चालाकी भरे) उत्तर से विचलित हो सकते हैं जो सुनने में सही लगता है लेकिन वास्तव में गलत होता है।
- डिस्ट्रैक्टर ट्रैप (भटकाने वाला जाल): बहुविकल्पीय परीक्षाओं में, गलत उत्तर (डिस्ट्रैक्टर्स) सामान्य मानवीय गलतियों को पकड़ने के लिए बनाए जाते हैं। अध्ययन में पाया गया कि AI इन जालों को पहचानने में आश्चर्यजनक रूप से खराब हैं। यदि कोई गलत उत्तर "तर्कसंगत" (plausible) लगता है, तो AI उसे स्वीकार कर लेता है, भले ही उसका तर्क टूटा हुआ हो। यह उस छात्र की तरह है जो एक गलत उत्तर में एक शब्द पहचानता है और सोचता है, "यह सही लग रहा है!" बिना संदर्भ की जांच किए।
- मल्टीमॉडल कन्फ्यूजन (बहु-रूप भ्रम): जब परीक्षण में विभिन्न प्रकार की जानकारी का मिश्रण शामिल होता है—जैसे एक जटिल ग्राफ देखते हुए एक पैराग्राफ पढ़ना—तो AI भ्रमित हो जाते हैं। वे अक्सर टेक्स्ट और नंबरों को मिला देते हैं, जैसे केक की तस्वीर देखते हुए रेसिपी पढ़ने की कोशिश करना और सामग्री को गलत समझना।
समाधान: AI को "अपना काम दिखाना" सिखाना
यह शोधपत्र केवल खामियों की ओर इशारा नहीं करता है; यह उन्हें ठीक करने का एक तरीका भी बताता है। शोधकर्ताओं ने पाया कि यदि वे AI को उत्तर देने से पहले एक सख्त, चरण-दर-चरण चेकलिस्ट (एक "कॉग्निटिव स्कैफोल्ड") का पालन करने के लिए मजबूर करते हैं, तो प्रदर्शन में काफी उछाल आता है।
- उपमा: कल्पना कीजिए कि एक छात्र जल्दी में निबंध लिखने की कोशिश करता है। उसे मुख्य विचार तो पता है लेकिन व्याकरण में गड़बड़ी हो जाती है। यदि आप उसे पहले एक रूपरेखा (outline) लिखने, फिर व्याकरण की जाँच करने और फिर निबंध लिखने के लिए मजबूर करते हैं, तो अंतिम परिणाम बहुत बेहतर होता है।
- परिणाम: इन विशिष्ट "मिटिगेशन स्ट्रैटेजीज़" (शमन रणनीतियों) का उपयोग करके (जैसे AI को उत्तर देने से पहले टेक्स्ट को उद्धृत करने के लिए मजबूर करना, या गणना करने से पहले गणितीय समीकरण लिखने के लिए कहना), AI बहुत अधिक विश्वसनीय हो गया और चालाकी भरे सवालों के जाल में फंसने की संभावना कम हो गई।
निष्कर्ष
यह शोधपत्र तर्क देता है कि AI को वास्तव में एक उपयोगी ट्यूटर बनाने के लिए, हमें केवल अंतिम स्कोर की परवाह नहीं करनी है। हमें चरणों को देखने की आवश्यकता है। जिस तरह एक मानव शिक्षक को यह जानने की आवश्यकता होती है कि छात्र कहाँ संघर्ष कर रहा है (क्या यह शब्दावली है? गणित है? या तर्क?), हमें AI का निदान उस विशिष्ट चरण पर करने की आवश्यकता है जहाँ वह विफल होता है।
शोधकर्ताओं ने एक विशाल नया टूलकिट (ESTBOOK) बनाया है जो बिल्कुल यही करता है, जो AI को एक "ब्लैक बॉक्स" से बदलकर—जो केवल उत्तरों का अनुमान लगाता है—एक पारदर्शी प्रणाली में बदल देता है जहाँ हम देख सकते हैं कि वह वास्तव में कैसे सोचता है, कहाँ अटकता है, और उसे मानव विशेषज्ञ की तरह सोचना कैसे सिखाया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।