Error as a Lens: Probing LLM Reasoning through Synthetic Misconception Generation
यह शोध पत्र ब्लूम के पांच-वर्ग वर्गीकरण (taxonomy) के अनुरूप लक्षित सिंथेटिक छात्र गलत धारणाओं (misconceptions) को उत्पन्न करने के लिए जनरेशन (Generation) और एग्जामिनेशन (Examination) एजेंटों का उपयोग करने वाले एक ढांचे को प्रस्तुत करता है, जो लेबल किए गए त्रुटि डेटा की कमी को संबोधित करता है और यह प्रदर्शित करता है कि वर्ग-संगत त्रुटियों को उत्पन्न करना मनमाने ढंग से गलत उत्तर उत्पन्न करने की तुलना में काफी अधिक चुनौतीपूर्ण है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो एक ऐसे छात्र की मदद करने की कोशिश कर रहे हैं जो बार-बार एक ही विशेष प्रकार की गलती करता रहता है। शायद वह जोड़ करते समय हमेशा 'एक हासिल लेना' भूल जाता है, या शायद वह क्षेत्रफल (area) और परिधि (perimeter) के सूत्र में भ्रमित हो जाता है। उन्हें प्रभावी ढंग से पढ़ाने के लिए, आपको ऐसे अभ्यास प्रश्नों की आवश्यकता है जो ठीक उन्हीं उनकी कमजोरियों को लक्षित करें।
समस्या यह है कि वास्तविक छात्रों की गलतियाँ प्राप्त करना कठिन है। गोपनीयता कानूनों और नैतिक नियमों के कारण स्कूल "बच्चे कैसे असफल होते हैं" इसका कोई विशाल डेटाबेस साझा नहीं कर सकते।
यह शोध पत्र एक समाधान प्रस्तावित करता है: AI से एक ऐसे छात्र की तरह व्यवहार करने के लिए कहें जो विशिष्ट गलतियाँ करता है। लेकिन एक पेंच है: आधुनिक AI सही उत्तर देने में बहुत अच्छा है, और यह गलत उत्तर देने में भी बहुत अच्छा है। लेकिन AI को जानबूझकर एक विशिष्ट, संरचित गलती करने के लिए तैयार करना बहुत अधिक कठिन है।
यहाँ बताया गया है कि उन्होंने इसे कैसे हल किया, एक रचनात्मक उपमा (analogy) के माध्यम से समझाया गया है।
"शेफ और फूड क्रिटिक" की उपमा
इस AI सिस्टम को दो अलग-अलग भूमिकाओं वाले एक किचन (रसोई) के रूप में सोचें:
जेनरेशन एजेंट (GA) शेफ है।
शेफ का काम एक व्यंजन बनाना (गणित या विज्ञान की समस्या हल करना) है। लेकिन एक बेहतरीन व्यंजन बनाने के बजाय, शेफ को एक विशिष्ट निर्देश दिया जाता है: "ऐसा व्यंजन बनाएं जिसका स्वाद ऐसा हो जैसे उसमें नमक डालना भूल गए हों।"- चुनौती: यदि आप शेफ को केवल कहें, "नमकीन व्यंजन बनाएं," तो वे शायद उस पर नमक की पूरी बाल्टी डाल देंगे (एक रैंडम त्रुटि)। यदि आप उनसे कहें, "ऐसा व्यंजन बनाएं जिसका स्वाद 'नमक भूल जाने' जैसा हो," तो वे गलती से एक बेहतरीन व्यंजन बना सकते हैं क्योंकि वे खाना बनाने में बहुत कुशल हैं।
एग्जामिनेशन एजेंट (EA) फूड क्रिटिक (खाद्य समीक्षक) है।
क्रिटिक व्यंजन को चखता है। उनके पास दो प्रश्न हैं:- "क्या यह व्यंजन वास्तव में खराब (गलत उत्तर) है?"
- "क्या इसका स्वाद बिल्कुल 'नमक भूल जाने' जैसा है (विशिष्ट त्रुटि प्रकार), या शेफ ने बस बेतरतीब ढंग से गड़बड़ी कर दी?"
- यदि क्रिटिक कहता है, "नहीं, इसका स्वाद तो 'मिर्च भूल जाने' जैसा है," तो व्यंजन को शेफ के पास फिर से प्रयास करने के लिए वापस भेज दिया जाता है।
"खराब खाना बनाने" के पाँच प्रकार
शोधकर्ताओं ने केवल "खराब भोजन" नहीं मांगा। उन्होंने मानव सीखने की प्रक्रिया के आधार पर पांच विशिष्ट तरीकों की एक सूची बनाई कि कैसे एक छात्र (या शेफ) विफल हो सकता है:
- फिसलन (मानसिक टाइपो): शेफ को रेसिपी पता है लेकिन गलती से उसके हाथ से चम्मच गिर जाता है। (जैसे, 9 के बजाय 6 लिख देना)।
- गायब सामग्री (ज्ञान की कमी): शेफ को नहीं पता कि "बेकिंग सोडा" क्या होता है।
- गलत धारणा (गलत विश्वास): शेफ को लगता है कि चीनी चीजों को नमकीन बनाती है क्योंकि उसके पिछले अनुभव ऐसे रहे हैं।
- गलत रेसिपी (गलत चुनाव): शेफ केक बनाने के लिए सूप की रेसिपी का उपयोग करने की कोशिश करता है।
- अंधा बिंदु (संरचनात्मक अंधापन): शेफ यह नहीं समझता कि सामग्रियां आपस में कैसे क्रिया करती हैं। वह सोचता है कि ओवन का समय और तापमान अलग-अलग, असंबंधित चीजें हैं, न कि एक प्रणाली।
उन्होंने क्या खोजा
टीम ने सैकड़ों कठिन विज्ञान और गणित के प्रश्नों पर इस "शेफ और क्रिटिक" सिस्टम का परीक्षण किया। यहाँ उन्हें क्या पता चला:
- यह आपकी सोच से अधिक कठिन है: AI को एक विशिष्ट प्रकार की गलती करने के लिए तैयार करना, किसी भी गलती को करने के लिए तैयार करने की तुलना में बहुत कठिन है। यह एक मास्टर पियानो वादक को गलती से गलत नोट बजाने के बजाय, एक विशिष्ट गलत नोट बजाने के लिए कहने जैसा है।
- "आंसर ग्राउंडिंग" का तरीका: सिस्टम तब सबसे अच्छा काम करता था जब शेफ (GA) को पहले सही उत्तर देखने की अनुमति दी जाती थी, लेकिन उसे उस सही उत्तर से एक विशिष्ट तरीके से अलग होने के लिए कहा जाता था। यह ऐसा है जैसे कहना, "यहाँ एक आदर्श केक है। अब, कृपया एक ऐसा केक बनाएं जो दिखने में तो एकदम सही हो लेकिन उसमें एक विशिष्ट दोष हो।"
- क्रिटिक महत्वपूर्ण है: "क्रिटिक" (EA) अनिवार्य था। दूसरे AI द्वारा काम की जाँच किए बिना, शेफ अक्सर या तो रैंडम गलतियाँ करता या गलती से सही उत्तर दे देता।
- सबसे कठिन गलती: "ब्लाइंड स्पॉट" (स्ट्रक्चरल ब्लाइंडनेस) सबसे कठिन त्रुटि थी जिसे उत्पन्न करना था। यह सबसे जटिल गलती है, जहाँ सोचने का पूरा तरीका ही गलत है, न कि केवल एक छोटी सी गणना की त्रुटि। यहाँ तक कि स्मार्ट AI भी इसे सफलतापूर्वक दिखाने के लिए संघर्ष कर रहा था।
- अधिक जानकारी हमेशा बेहतर नहीं होती: शेф को अतिरिक्त कुकबुक्स या अधिक उदाहरण देने से ज्यादा मदद नहीं मिली। मुख्य बात फीडबैक लूप थी: शेफ व्यंजन बनाता है -> क्रिटिक कहता है "नहीं, फिर से कोशिश करो" -> शेफ फिर से प्रयास करता है।
परिणाम
लेखकों ने एक "रेसिपी" (फ्रेमवर्क) बनाई है जो हजारों इन विशिष्ट, लक्षित गलतियों को उत्पन्न कर सकती है। उन्होंने इसे एक उपकरण के रूप में जारी किया है ताकि शिक्षक और शोधकर्ता वास्तविक छात्र डेटा की आवश्यकता के बिना अभ्यास सामग्री बना सकें।
संक्षेप में: उन्होंने एक सुपर-स्मार्ट AI को एक भ्रमित छात्र होने का नाटक करने के लिए धोखा देने का तरीका खोज निकाला है, विशेष रूप से उन तरीकों से जिनसे वास्तविक छात्र भ्रमित होते हैं, ताकि हम उन्हें सीखने में मदद करने के लिए बेहतर उपकरण बना सकें। उन्होंने यह एक AI को गलती करने के लिए और दूसरे AI को एक सख्त जज के रूप में कार्य करने के लिए कहकर किया, ताकि यह सुनिश्चित हो सके कि गलती सही प्रकार की गलत ही हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।