From Execution to Education: A Bloom-Aligned Framework for Measuring Educational Control in LLMs
यह शोध पत्र LLMs में शैक्षिक नियंत्रण का मूल्यांकन करने के लिए एक ब्लूम-संरेखित (Bloom-aligned) ढांचे को प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि Qwen3-Next जैसे मॉडल प्रोग्रामिंग कार्यों की संज्ञानात्मक मांग (cognitive demand) को विश्वसनीय रूप से बढ़ाने में सक्षम हैं, वे इसे कम करने में संघर्ष करते हैं, जो यह दर्शाता है कि मजबूत निष्पादन प्रदर्शन विशिष्ट शिक्षण उद्देश्यों के लिए कार्यों को अनुकूलित करने की क्षमता की गारंटी नहीं देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट ट्यूटर है जो किसी भी इंसान से तेज़ कोड लिख सकता है। आप सोच सकते हैं, "शानदार! यह किसी को भी कुछ भी सिखा सकता है, है ना?" खैर, यह शोध पत्र सुझाव देता है कि जबकि वह रोबोट कोडिंग का जादूगर है, एक अच्छा शिक्षक होने के मामले में वह वास्तव में थोड़ा अनाड़ी है।
शोधकर्ताओं, पर्ड्यू यूनिवर्सिटी के यी झांग और जूलिया रेज़ ने यह देखने के लिए अध्ययन किया कि क्या ये AI मॉडल केवल समस्याओं को हल करने से कहीं अधिक कर सकते हैं। वे जानना चाहते थे कि क्या AI एक कठिन समस्या को लेकर उसे शुरुआती (beginner) के लिए आसान बना सकता है, या एक आसान समस्या को विशेषज्ञ के लिए कठिन बना सकता है, जबकि मूल पाठ (lesson) को समान रखा जाए। वे इसे "शैक्षिक नियंत्रण" (educational control) कहते हैं।
इसका परीक्षण करने के लिए, उन्होंने Qwen3-Next नामक एक शक्तिशाली AI परिवार के दो संस्करणों का उपयोग किया। एक "जनरल" (General) मॉडल (जो हर चीज़ में अच्छा है), और दूसरा "कोडर" (Coder) मॉडल (जो प्रोग्रामिंग में विशेषज्ञ है)। उन्होंने उन्हें 2,520 प्रोग्रामिंग कार्य दिए और उनसे कठिनाई को चार विशिष्ट तरीकों से बदलने के लिए कहा: "कठिन" बनाना, "आसान" बनाना, "उच्च" सोच के स्तर को लक्षित करना, या "निम्न" सोच के स्तर को लक्षित करना। उन्होंने ब्लूम्स टैक्सोनॉमी (Bloom's Taxonomy) नामक एक प्रसिद्ध शिक्षण चार्ट का उपयोग किया, जो स्मृति (स्तर 1) से लेकर नए विचार बनाने (स्तर 6) तक की सोच को रैंक करता है।
बड़ी हैरानी: "केवल ऊपर जाने वाला" लिफ्ट (The "Up-Only" Elevator)
यहाँ मुख्य निष्कर्ष है: AI मॉडल चीजों को कठिन बनाने में शानदार हैं, लेकिन चीजों को आसान बनाने में वे बहुत खराब हैं।
AI की कठिनाई बदलने की क्षमता को एक ऐसी लिफ्ट की तरह समझें जिसमें केवल "ऊपर" का बटन है। जब शोधकर्ताओं ने मॉडलों को कार्य को "कठिन" बनाने या "उच्च" सोच के स्तर को लक्षित करने के लिए कहा, तो लिफ्ट पूरी तरह से ऊपर चली गई।
- जब कार्यों को कठिन (Harder) बनाने के लिए कहा गया, तो जनरल मॉडल सोचने के पैमाने पर औसतन 1.762 स्तर ऊपर गया, और कोडर मॉडल 1.582 स्तर ऊपर गया।
- जब उच्च (Higher) स्तरों (जैसे "बनाना" या "मूल्यांकन करना") को लक्षित करने के लिए कहा गया, तो जनरल मॉडल 79.2% बार सफल रहा, और कोडर मॉडल 63.4% बार सफल रहा।
लेकिन जब उन्होंने "नीचे" का बटन दबाया? लिफ्ट या तो बहुत कम हिली, या कभी-कभी गलत दिशा में चली गई।
- जब कार्यों को आसान (Easier) बनाने के लिए कहा गया, तो मॉडलों ने उन्हें वास्तव में थोड़ा अधिक कठिन बना दिया! जनरल मॉडल के कार्य 0.194 स्तर ऊपर चले गए, और कोडर मॉडल के 0.715 स्तर ऊपर चले गए।
- जब निम्न (Lower) स्तरों (जैसे "याद रखना" या "समझना") को लक्षित करने के लिए कहा गया, तो मॉडल बुरी तरह विफल रहे। जनरल मॉडल केवल 29.2% बार सफल रहा, और कोडर मॉडल केवल 25.1% बार।
ऐसा क्यों हो रहा है?
शोधकर्ताओं ने AI के "मस्तिष्क" (इसके आंतरिक कोड स्तरों) और इसके द्वारा उपयोग किए गए शब्दों को देखकर यह पता लगाया कि क्या हो रहा था।
ऐसा प्रतीत होता है कि AI के पास सरलता लाने की कोशिश करते समय "ओवर-इंजीनियरिंग" करने की आदत है। जब इसे कार्य को सरल बनाने के लिए कहा जाता है, तो कठिन सोच वाले हिस्सों को हटाने के बजाय, AI केवल अधिक फॉर्मेटिंग या अतिरिक्त निर्देश जोड़ देता है। यह एक ऐसे शेफ की तरह है जिसे एक जटिल व्यंजन को सरल बनाने के लिए कहा गया है, तो जटिल मसालों को हटाने के बजाय, वह केवल चम्मच पकड़ने का तरीका समझाने के लिए एक लंबी रेसिपी लिख देता है। मूल कठिनाई वैसी ही रहती है, लेकिन सतह अलग दिखती है।
"जनरल" मॉडल और "कोडर" मॉडल के मस्तिष्क के अंदर भी अलग-अलग व्यवहार थे:
- जनरल मॉडल ने अपने स्तरों के बीच में (लगभग स्तर 29 पर) "कठिन" और "आसान" निर्देशों के बीच एक स्पष्ट अलगाव दिखाया। ऐसा लगा कि वह कठिनाई की अवधारणा को अच्छी तरह समझता है, भले ही वह "आसान" वाले हिस्से को पूरी तरह से निष्पादित न कर सके।
- कोडर मॉडल थोड़ा भ्रमित था। इसे "कठिन" और "आसान" निर्देशों को अलग करने में संघर्ष करना पड़ा (इसके आंतरिक संकेत बहुत मिले-जुले थे)। हालांकि, जब "उच्च" बनाम "निम्न" सोच के स्तरों की बात आई, तो इसने बहुत गहरे स्तरों (स्तर 36) तक प्रतीक्षा की जब उसने एक स्पष्ट अंतर बनाया, जो यह दर्शाता है कि यह जनरल मॉडल की तुलना में इन अवधारणाओं को अलग तरह से प्रोसेस करता है।
यह पेपर किसे खारिज करता है
यह पेपर स्पष्ट रूप से इस विचार का खंडन करता है कि कोडिंग समस्याओं को हल करने में अच्छा होने का मतलब है कि आप पढ़ाने में भी अच्छे हैं। सिर्फ इसलिए कि एक AI कोडिंग टेस्ट (जैसे HumanEval बेंचमार्क) पास कर सकता है, इसका मतलब यह नहीं है कि वह किसी छात्र के लिए पाठ को अनुकूलित (adapt) कर सकता है। लेखक सुझाव देते हैं कि "सीखने का भ्रम" (illusion of learning) तब होता है जब AI तुरंत सटीक उत्तर दे देता है, जिससे वह "उत्पादक संघर्ष" (productive struggle) को छोड़ देता है जिसकी छात्रों को वास्तवв में सीखने के लिए आवश्यकता होती है।
वे कितने आश्वस्त हैं?
लेखक अपने सिमुलेशन के आधार पर परिणामों की दिशा को लेकर बहुत आश्वस्त हैं। उन्होंने इसे तीन कोडिंग बेंचमार्क (BigCodeBench, LiveCodeBench, और SWE-Bench-Verified) से 2,520 कार्यों में मापा। उन्होंने ग्रेडिंग के लिए दूसरे AI (Claude-3.5-Haiku) का उपयोग किया, जो एक टेस्ट सेट पर मानव विशेषज्ञों के साथ 95% बार सहमत था।
हालाँकि, वे सावधानी बरतते हुए कहते हैं कि यह दो विशिष्ट मॉडलों के बीच एक "नियंत्रित तुलना" (controlled comparison) है। वे यह दावा नहीं करते कि यह दुनिया के हर AI के लिए सच है, लेकिन यह एक मजबूत संकेत है कि वर्तमान AI मॉडलों में जटिल बनाने के बजाय सरल बनाने का एक अंतर्निहित पूर्वाग्रह (bias) है। वे सुझाव देते हैं कि AI को एक वास्तविक ट्यूटर बनाने के लिए, हमें इस "केवल ऊपर जाने वाले" लिफ्ट को ठीक करने की आवश्यकता है ताकि यह वास्तव में शुरुआती लोगों की जरूरतों के अनुसार संज्ञानात्मक भार (cognitive load) को कम कर सके, न कि केवल प्रॉम्प्ट में अधिक शब्द जोड़ सके।
संक्षेप में: ये AI मॉडल जटिलता जोड़ने में माहिर हैं, लेकिन वे वर्तमान में इसे कम करने के लिए संघर्ष कर रहे हैं। यदि आप एक ऐसा रोबोट ट्यूटर चाहते हैं जो वास्तव में एक शुरुआती व्यक्ति की जरूरतों के अनुसार खुद को ढाल सके, तो हमें अभी भी काफी काम करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।