LLM Reasoning Predicts When Models Are Right: Evidence from Coding Classroom Discourse
यह शोध पत्र प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) द्वारा उत्पन्न तर्क का उपयोग शैक्षिक संवाद में उनके अपने निर्देशात्मक मूव वर्गीकरणों की शुद्धता की भविष्यवाणी करने के लिए प्रभावी ढंग से किया जा सकता है, जो स्वचालित विश्लेषण में गुणवत्ता नियंत्रण के लिए एक स्केलेबल विधि प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
"कॉन्फिडेंट लायर" (आत्मविश्वासी झूठा) की समस्या: कैसे जानें कि क्या एक AI वास्तव में सोच रहा है या सिर्फ अनुमान लगा रहा है
कल्पना कीजिए कि आपने हज़ारों पन्नों के क्लासरूम ट्रांसक्रिप्ट्स (कक्षा के विवरणों) को छाँटने के लिए एक उच्च शिक्षित सहायक को काम पर रखा है। आप उनसे हर उस बार को लेबल करने के लिए कहते हैं जब एक शिक्षक "गहन सोच" (deep thinking) वाला प्रश्न पूछता है बनाम एक "साधारण तथ्य" वाला प्रश्न।
वह सहायक अविश्वसनीय रूप से तेज़ है, लेकिन एक पेच है: कभी-कभी वह आपसे झूठ बोलता है। इसलिए नहीं कि वह दुर्भावनापूर्ण है, बल्कि इसलिए क्योंकि वह "हैलुसिनेट" (hallucinating) कर रहा है—वह एक ऐसा पैटर्न देख लेता है जो वहाँ है ही नहीं और आत्मविश्वास के साथ आपको गलत उत्तर दे देता है। इससे भी बुरा यह है कि वे अक्सर अपने उत्तर के लिए एक "कारण" भी देते हैं जो सुनने में तो समझदार लगता है लेकिन वास्तव में केवल खोखली बातें होती हैं।
कॉर्नेल यूनिवर्सिटी के शोधकर्ताओं द्वारा लिखा गया यह शोध पत्र एक शानदार प्रश्न पूछता है: क्या हम इस बात को समझने के लिए कि AI खुद को कैसे समझा रहा है, यह देख सकते हैं कि वह सच बोल रहा है या बस मनगढ़ंत बातें बना रहा है?
मुख्य खोज: "डिटेक्टिव बनाम परफॉर्मर" (जासूस बनाम कलाकार)
शोधकर्ताओं ने पाया कि जब AI सही होता है, तो वह एक डिटेक्टिव (जासूस) की तरह व्यवहार करता है। जब वह गलत होता है, तो वह एक परफॉर्मर (कलाकार) की तरह व्यवहार करता है।
1. डिटेक्टिव (सही AI)
जब AI सही उत्तर देता है, तो उसका स्पष्टीकरण एक छोटी, सटीक पुलिस रिपोर्ट की तरह होता है। वह "कनेक्टिव टिश्यू" (जोड़ने वाले शब्दों) का उपयोग करता है—जैसे "क्योंकि" (because), "इसलिए" (therefore), या "निहित है" (implies)। वह सीधे सबूत की ओर इशारा करता है: "शिक्षक ने 'क्यों' पूछा, इसलिए यह एक तर्कपूर्ण कदम है।" यह संक्षिप्त, तथ्यों पर आधारित और बिना समय बर्बाद करने वाला होता है।
2. परफॉर्मर (गलत AI)
जब AI गलत होता है, तो वह एक ऐसे अभिनेता की तरह व्यवहार करने लगता है जो मंच पर अपनी लाइनें भूल गया है। अपनी गलती को छिपाने के लिए, वह "बड़बड़ाना" (waffling) शुरू कर देता है।
- "मुझे लगता है" का जाल: सबूतों की ओर इशारा करने के बजाय, वह अपने बारे में बात करने लगता है। वह "मुझे एहसास होता है" (I realize), "मुझे लगता है" (I think), या "मैं समझता हूँ" (I understand) जैसे शब्दों का उपयोग करता है। वह वास्तव में बुद्धिमान होने के बजाय "बुद्धिमत्ता" का प्रदर्शन (performing smartness) कर रहा होता है।
- "शायद" की ढाल: वह "हेजिंग" (हिचकिचाहट वाले) शब्दों का उपयोग करता है—"हो सकता है" (might), "हो सकता है" (could), "संभवतः" (possibly)—एक भाषाई सुरक्षा कवच के रूप में। यह अनिवार्य रूप से कह रहा है, "मुझे यकीन नहीं है, लेकिन यहाँ एक फैंसी दिखने वाला अनुमान है।"
- शब्दों का जाल (Word Salad): वह बहुत अधिक बातूनी हो जाता है। वह कम कहने के लिए बहुत अधिक शब्दों का उपयोग करता है, और अपनी गलती को परिष्कृत दिखने वाले वाक्यों के ढेर के नीचे दबाने की कोशिश करता है।
"स्मोक डिटेक्टर" (धुआं पहचानने वाला यंत्र) समाधान
शोधकर्ताओं ने केवल यह पैटर्न ही नहीं खोजा; उन्होंने AI की गलतियों के लिए एक "स्मोक डिटेक्टर" भी बनाया।
उन्होंने एक अलग, छोटे कंप्यूटर प्रोग्राम (एक क्लासिफायर) को प्रशिक्षित किया जो AI के स्पष्टीकरणों को पढ़ सके। यह प्रोग्राम क्लासरूम के विषय की परवाह नहीं करता है; यह केवल स्पष्टीकरण के भाव (vibe) को देखता है।
यदि स्पष्टीकरण लंबा है, "शायद" से भरा है, और इसमें बहुत अधिक "मुझे लगता है" जैसे कथनों का उपयोग किया गया है, तो स्मोक डिटेक्टर बीप बीप बीप! करता है। यह उस विशिष्ट उत्तर को चिह्नित करता है जिसे किसी इंसान द्वारा दोबारा जांचने की आवश्यकता है।
परिणाम प्रभावशाली थे: यह "स्मोक डिटेक्टर" AI की अधिकांश गलतियों को पकड़ने में सक्षम था (0.83 का F1 स्कोर प्राप्त किया, जिसका सरल भाषा में अर्थ है कि यह बहुत विश्वसनीय है)।
यह क्यों मायने रखता है?
शिक्षा की दुनिया में, हम छात्रों के सीखने के तरीके का विश्लेषण करने के लिए AI का उपयोग करते हैं। यदि कोई AI एक शिक्षक की मददगार टिप्पणी को "अनुपयोगी" के रूप में गलत तरीके से लेबल कर देता है, तो यह शिक्षण में सुधार कैसे किया जाए, इस पर आधारित पूरे अध्ययन को खराब कर सकता है।
यह शोध पत्र डेटा की विशाल मात्रा का विश्लेषण करने के लिए AI का उपयोग करने का एक तरीका प्रदान करता है, जबकि एक "सुरक्षा जाल" भी मौजूद रहता है। यह हमें बताता है कि हमें यह जानने के लिए कि AI भ्रमित है, उसके "मस्तिष्क" के अंदर झांकने की आवश्यकता नहीं है; हमें बस यह सुनने की आवश्यकता है कि वह कैसे बात करता है।
निष्कर्ष: यदि AI एक वैज्ञानिक ("यह हुआ क्योंकि...") होने के बजाय एक दार्शनिक ("मुझे लगता है कि शायद...") की तरह बहुत अधिक बातें करने लगे, तो समझ लीजिए कि उसके काम की जांच करने का समय आ गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।