💬 NLP

Beyond Skepticism: Evaluating LLMs Pedagogical Intent Reasoning with the Adaptive Pedagogical Vigilance Framework

यह शोध पत्र एडेप्टिव पेडागोगिकल विजिलेंस (APV) फ्रेमवर्क प्रस्तुत करता है, जो एक बेयसियन औपचारिकता (Bayesian formalism) है जो बड़े भाषा मॉडलों (Large Language Models) की शैक्षणिक इरादे को समझने और निर्देशात्मक सामग्री को एक्सपोज़र-आधारित सामग्री से अलग करने की क्षमता को महत्वपूर्ण रूप से बढ़ाता है, जिससे विश्वसनीय एआई-सहायता प्राप्त शिक्षण प्रणालियों के विकास को आगे बढ़ाया जा सकता है।

मूल लेखक: Minghao Chen, Ruihan Zhou, Jiayi Tang, Zihan Xu, Bowen Huang, Yuxin Liu

प्रकाशित 2026-07-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minghao Chen, Ruihan Zhou, Jiayi Tang, Zihan Xu, Bowen Huang, Yuxin Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: AI को एक भोला छात्र नहीं, बल्कि एक समझदार छात्र बनाना सिखाना

कल्पना कीजिए कि आप एक कक्षा में बैठे हैं। कभी-कभी, एक शिक्षक आपको एक संकेत देता है क्योंकि वे वास्तव में चाहते हैं कि आप सीखें। अन्य समय में, कोई सहपाठी "गलती से" नकल की पर्ची गिरा सकता है, या कोई सेल्सपर्सन आपको कोर्स बेचने के लिए एक "मुफ्त टिप" दे सकता है।

इंसान स्वाभाविक रूप से इस अंतर को समझने में माहिर होते हैं। हमारे पास एक मानसिक "रडार" (जिसे सतर्कता/vigilance कहा जाता है) होता है जो पूछता है: "यह व्यक्ति मुझे यह क्यों बता रहा है? क्या वे मेरी मदद करने की कोशिश कर रहे हैं, या उनका कोई छिपा हुआ एजेंडा है?"

यह शोध पत्र तर्क देता है कि वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs)—जो चैटबॉट्स के पीछे का दिमाग हैं—इसमें बहुत खराब हैं। वे या तो बहुत भरोसेमंद (सब कुछ मान लेने वाले) होते हैं या बहुत संदेही (सब कुछ संदेह की दृष्टि से देखने वाले)। वे वक्ता के इरादे (intent) के आधार पर अपने विश्वास को समायोजित करना नहीं जानते।

इसे ठीक करने के लिए, लेखकों ने APV (Adaptive Pedagogical Vigilance) नामक एक नई प्रणाली बनाई है। APV को एक "अनुवादक" के रूप में समझें जो AI को एक शिक्षक के शब्दों के पीछे के छिपे हुए उद्देश्यों को समझने में मदद करता है।

मुख्य तंत्र: "मन पढ़ने वाला" इंजन

यह पेपर एक गणितीय उपकरण पेश करता है जिसे Pedagogical Intent Inference Engine (PIIE) कहा जाता है।

उपमा: जासूस और शेफ (रसोइया)
कल्पना कीजिए कि AI एक जासूस है जो यह पता लगाने की कोशिश कर रहा है कि एक शेफ (शिक्षक) क्या पका रहा है।

शेफ का लक्ष्य: शेफ चाहता है कि जासूस एक स्वादिष्ट भोजन (अच्छा शिक्षण) प्राप्त करे या शायद केवल अपने कौशल का प्रदर्शन करे (प्रदर्शन)।
सुराग: शेफ जासूस को एक विशिष्ट सामग्री (निर्देश) देता है।
पुराना तरीका: AI केवल उस सामग्री को देखता है और कहता है, "यह एक टमाटर है।" उसे इस बात की परवाह नहीं है कि शेफ ने उसे यह क्यों दिया।
APV का तरीका: AI, PIIE का उपयोग करके यह पूछता है: "क्या शेफ मुझे यह टमाटर इसलिए दे रहा है क्योंकि वह चाहता है कि मैं खाना बनाना सीखूँ (Pedagogy), या उसने इसे बस काउंटर पर गलती से गिरा दिया (Exposure)?"

PIIE एक बेयसियन कैलकुलेटर (Bayesian Calculator) की तरह कार्य करता है। यह केवल अनुमान नहीं लगाता; यह गणितीय रूप से संभावनाओं को तौलता है। यह निम्नलिखित पर विचार करता है:

शैली (Genre): क्या यह एक औपचारिक पाठ है या एक अनौपचारिक बातचीत?
दृष्टिकोण (Stance): क्या शिक्षक सख्त है (ग्रेड पर केंद्रित) या मिलनसार (दीर्घकालिक विकास पर केंद्रित)?
प्रोत्साहन (Incentives): क्या शिक्षक को छात्र की सफलता के लिए इनाम मिलता है, या वे केवल अच्छा दिखने की कोशिश कर रहे हैं?

इन कारकों की गणना करके, AI यह तय कर सकता है कि उसे जानकारी पर कितना भरोसा करना चाहिए।

परीक्षण के तीन स्तर

शोधकर्ताओं ने इस प्रणाली का परीक्षण तीन "स्तरों" में किया, जैसे कि एक वीडियो गेम हो, ताकि यह देखा जा सके कि क्या यह वास्तव में काम करता है।

स्तर 1: "अंतर पहचानो" परीक्षण

परिदृश्य: AI को एक वाक्य का अनुवाद करने के लिए कहा जाता है। उसे एक "शिक्षक" से मदद मिलती है।
ट्विस्ट: कभी-कभी, शिक्षक जानबूझकर AI को सुधारता है (Pedagogy)। अन्य समय में, शिक्षक बस अपना स्वयं का अनुवाद दिखाता है (Exposure)।
परिणाम: APV के बिना, AI दोनों मामलों में समान रूप से अपना निर्णय बदल लेता है। APV के साथ, AI यह सीखने में सक्षम होता है कि, "मैं जानबूझकर किए गए सुधार पर भरोसा करूँगा, लेकिन आकस्मिक सुधार को अनदेखा कर दूँगा।" वह अंतर पहचानने में बहुत बेहतर हो गया।

स्तर 2: "चरित्र भूमिका-निर्वाह" परीक्षण

परिदृश्य: AI चार अलग-अलग व्यक्तित्वों वाले चार "ट्यूटर्स" से मिलता है:
1. एक सख्त परीक्षा-तैयारी करने वाला जो उच्च स्कोर चाहता है।
2. एक मिलनसार बातचीत करने वाला साथी जो केवल बातचीत चाहता है।
3. एक प्रतिस्पर्धी जो जीतना चाहता है।
4. एक सहायक जो चाहता है कि AI सीखे।
कार्य: AI को यह अनुमान लगाना होता है कि प्रत्येक ट्यूटर वास्तव में क्या चाहता है और उनके सुझाव पर कितना भरोसा करना चाहिए।
परिणाम: APV प्रणाली ने मानव निर्णय के साथ लगभग पूरी तरह से (95.8% सहसंबंध) मेल खाया। इसने महसूस किया कि एक सख्त ट्यूटर की सलाह एक मिलनसार ट्यूटर से अलग होती है, और इसने अपने विश्वास को उसी के अनुसार समायोजित किया। अन्य AI मॉडल भ्रमित हो गए और सभी के साथ एक जैसा व्यवहार किया।

स्तर 3: "वास्तविक दुनिया" परीक्षण

परिदृश्य: शोधकर्ताओं ने वास्तविक ऑनलाइन भाषा वीडियो और मंचों (forums) से वास्तविक ट्रांसक्रिप्ट ली। ये अव्यवस्थित, प्राकृतिक बातचीत हैं, न कि साफ-सुथले लैब प्रयोग।
परिणाम: यहीं अधिकांश AI मॉडल विफल हो जाते हैं। जब डेटा अव्यवस्थित हो गया, तो सामान्य मॉडल तर्कहीन हो गए। हालाँकि, APV सिस्टम ने अपना धैर्य बनाए रखा। यह अभी भी एक वास्तविक वीडियो ट्रांसक्रिप्ट को देख सकता था और कह सकता था, "यह व्यक्ति एक कोर्स बेचने की कोशिश कर रहा है," या "यह व्यक्ति व्याकरण का नियम ईमानदारी से सिखा रहा है," और अपने विश्वास स्तर को समायोजित कर सकता था।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

पेपर का दावा है कि इस ढांचे का उपयोग करके, AI मॉडल अधिक विश्वसनीय शिक्षार्थी बनते हैं।

वे "हाँ में हाँ मिलाने वाले" (Yes-Men) नहीं रहते: वे केवल अच्छा दिखने के लिए उपयोगकर्ता की हर बात से अंधाधुंध सहमत होना बंद कर देते हैं (एक समस्या जिसे "sycophancy" कहा जाता है)।
वे "आलोचनात्मक विचारक" बनते हैं: वे एक सहायक शिक्षक और उन्हें हेरफेर करने की कोशिश करने वाले व्यक्ति के बीच अंतर कर सकते हैं।
वे सुदृढ़ (Robust) हैं: भले ही डेटा शोर भरा हो या स्थिति जटिल हो, APV सिस्टम विफल नहीं होता है।

"सीक्रेट सॉस" (एब्लेशन स्टडी)

लेखकों ने परीक्षण किया कि यदि वे APV प्रणाली के हिस्सों को हटा दें तो क्या होगा। उन्होंने पाया कि गणितीय संरचना (PIIE) सबसे महत्वपूर्ण हिस्सा थी।

यदि आप "प्रोत्साहन" (शिक्षक क्या चाहता है) वाला हिस्सा हटा देते हैं, तो AI भ्रमित हो जाता है।
यदि आप "दृष्टिकोण" (शिक्षक कैसा महसूस करता है) वाला हिस्सा हटा देते हैं, तो AI भ्रमित हो जाता है।
लेकिन यदि आप पूरे गणितीय इंजन को हटा देते हैं, तो सिस्टम पूरी तरह से ध्वस्त हो जाता है। यह साबित करता है कि AI को मानवीय उद्देश्यों को समझने के लिए केवल एक साधारण प्रॉम्प्ट की नहीं, बल्कि एक औपचारिक "नियम पुस्तिका" की आवश्यकता है।

सारांश

संक्षेप में, यह पेपर AI को एक ऐसे भोले छात्र से बदलकर एक सतर्क छात्र बनने की शिक्षा देता है जो पूछता है, "रुको, तुम मुझे यह क्यों बता रहे हो?" मानव उद्देश्यों का विश्लेषण करने के लिए एक गणितीय इंजन का उपयोग करके, AI सही समय पर सही लोगों पर भरोसा करना सीखता है, जिससे वह शैक्षिक सेटिंग्स में बहुत अधिक स्मार्ट बन जाता है।

तकनीकी सारांश: संदेहवाद से परे – एडैप्टिव पेडागोगिकल विजिलेंस फ्रेमवर्क के साथ LLMs की शैक्षणिक इरादा तर्क क्षमता का मूल्यांकन

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को शैक्षिक और संचारिक संदर्भों में स्वायत्त एजेंटों के रूप में तेजी से तैनात किया जा रहा है। हालांकि, वर्तमान साक्ष्य बताते हैं कि उनमें प्रेरक सतर्कता (motivational vigilance) का अभाव है—जो कि सूचना के स्रोत के अंतर्निहित उद्देश्यों, प्रोत्साहनों और इरादों का अनुमान लगाने के लिए सूचना का आकलन करने की मानवीय क्षमता है। जबकि मनुष्य परोपकारी सलाह और हेरफेर वाली संचार के बीच अंतर कर पाते हैं, LLMs अक्सर "सिक्कोफैंसी" (sycophancy - सत्य के बजाय उपयोगकर्ता के संरेखण को प्राथमिकता देना) प्रदर्शित करते हैं और "जेलब्रेकिंग" (ill-motivated निर्देशों का पालन करना) के प्रति संवेदनशील होते हैं। ये विफलताएं प्रशिक्षण प्रतिमानों (जैसे RLHF) से उत्पन्न होती हैं जो निर्देश-अनुसरण और उपयोगकर्ता संतुष्टि को अनुकूलित करने पर ध्यान केंद्रित करते हैं, जबकि वक्ता के प्रोत्साहनों के रणनीतिक मूल्यांकन की उपेक्षा करते हैं।

यह शोध एक महत्वपूर्ण अंतराल की पहचान करता है: अनुसंधान समुदाय के पास शैक्षणिक इरादे (pedagogical intent) के बारे में तर्क करने की क्षमता को व्यापक रूप से मापने और बढ़ाने के लिए एक व्यवस्थित ढांचे का अभाव है—विशेष रूप से, जानबूझकर शिक्षण (पेडागोजी) और आकस्मिक जोखिम (incidental exposure) के बीच अंतर करने, और शिक्षक के रुख और प्रोत्साहनों के आधार पर विश्वास को कैलिब्रेट करने की क्षमता।

2. कार्यप्रणाली: एडैप्टिव पेडागोगिकल विजिलेंस (APV) फ्रेमवर्क

लेखक एडैप्टिव पेडागोगिकल विजिलेंस (APV) फ्रेमवर्क का प्रस्ताव करते हैं, जो एक कम्प्यूटेशनल फॉर्मलिज्म है जो सतर्कता को केवल अंधाधुंध संदेह के रूप में नहीं, बल्कि इरादा अनुमान (intent inference) के माध्यम से सीखने के परिणामों को अनुकूलित करने वाले एक अनुकूलन योग्य संज्ञानात्मक तंत्र के रूप में पुनर्व्याख्या करता है।

2.1 औपचारिक कोर: द पेडागोगिकल इंटेंट इन्फरेंस इंजन (PIIE)

यह फ्रेमवर्क एक बेयसियन मॉडल (Bayesian model) पर आधारित है जो शैक्षणिक इरादे को एक लेटेंट स्ट्रक्चरल वेरिएबल (latent structural variable) के रूप में मानता है। यह अनुवाद कार्य के संदर्भ में एक शिक्षक ( $T$ ) और एक छात्र ( $S$ ) के बीच परस्पर क्रिया को मॉडल करता है।

लेटेंट कॉन्फ़िगरेशन ( $\theta$ ): शिक्षक का व्यवहार एक लेटेंट कॉन्फ़िगरेशन $\theta = (G, \tau, R_T, R_S)$ $θ = (G, τ, R_{T}, R_{S})$ द्वारा नियंत्रित होता है, जिसमें शामिल हैं:
- $G$ (Genre/प्रकार): जानबूझकर शिक्षण (स्पष्ट शिक्षण) बनाम आकस्मिक जोखिम (अनजाने डेटा)।
- $\tau$ (Stance/रुख): एक निरंतर चर $[0, 1]$ जो शिक्षक के फोकस को दर्शाता है, जो विशुद्ध रूप से प्रदर्शन-उन्मुख ( $\tau \to 0$ ) से लेकर विकासात्मक ( $\tau \to 1$ ) तक है।
- $R_T, R_S$ (Rewards/पुरस्कार): शिक्षक और छात्र के लिए प्रोत्साहन संरचनाएं (जैसे, कार्य सटीकता, सीखने की दक्षता)।
शिक्षक नीति (Teacher Policy): शिक्षक शिक्षण उपयोगिता $U_{Teach}$ को अधिकतम करने के लिए निर्देशात्मक सामग्री $I$ का चयन करता है, जो $\tau$ के आधार पर छात्र और शिक्षक के पुरस्कारों का एक भारित मिश्रण (weighted blend) है। शिक्षक को एक 'नाइव' (naive) छात्र के बारे में तर्क करते हुए मॉडल किया गया है जो विश्वासों को शाब्दिक रूप से अपडेट करता है।
छात्र अनुमान (PIE): सतर्क छात्र (LLM) $I$ के आधार पर वास्तविक शिक्षण अवस्था $w$ का अनुमान लगाने के लिए बेयसियन अनुमान (Bayesian inference) करता है। महत्वपूर्ण रूप से, छात्र अज्ञात $\theta$ पर मार्जलिनाइजेशन (marginalize) करता है:
$P_S(w|I) \propto P_S(w) \sum_{\theta} P_T(I|w, \theta) P_S(\theta)$
इसके लिए LLM को नेस्टेड इन्फरेंस (nested inference) करने की आवश्यकता होती: यह समझना कि $w$ के लिए $I$ साक्ष्य होने की संभावना क्या है, यह जानने के लिए कि शिक्षक के लक्ष्य, संसाधन और छात्र के बारे में उनके विश्वास क्या हैं।

2.2 पदानुक्रमित मूल्यांकन प्रोटोकॉल (Hierarchical Evaluation Protocol)

इस फ्रेमवर्क को तीन स्तरों में स्थापित किया गया है ताकि LLM क्षमताओं का क्रमिक परीक्षण किया जा सके:

स्तर 1 (Genre Discrimination): अनुवाद कार्य में जानबूझकर सुधारात्मक फीडबैक और आकस्मिक जोखिम के बीच अंतर करने की क्षमता का आकलन करना, यह मापना कि जेनर $G$ के आधार पर विश्वास अपडेट कैसे भिन्न होते हैं।
स्तर 2 (Structured Configuration Reasoning): $\theta$ के विशिष्ट घटकों (पेडागोगिकल स्टांस $\tau$ और प्रोत्साहन $R_T$ ) के प्रति संवेदनशीलता को मापना। LLMs को एक "इन्फ्लुएंस स्कोर", "परसीव्ड इन्सेंटिव स्कोर" और "परसीव्ड स्टांस" का अनुमान लगाने के लिए प्रॉम्प्ट किया जाता है, जो ग्राउंड-ट्रुथ मानों और एक मानक बेयसियन मॉडल के विरुद्ध सह-संबंधित (correlated) होते हैं।
स्तर 3 (Generalization to Authentic Discourse): नियंत्रित विनेट (vignettes) के बिना, इंस्ट्रक्टर के उद्देश्यों का अनुमान लगाने और सीखने की उपयोगिता की भविष्यवाणी करने के लिए वास्तविक दुनिया के डेटा (ट्रांसक्राइब्ड ट्यूटोरियल, फीडबैक वीडियो, फोरम) पर लागू करके पारिस्थितिक वैधता (ecological validity) का मूल्यांकन करना।

3. मुख्य परिणाम

प्रमुख LLMs (GPT-4o, Claude 3.5 Sonnet, Gemini 2.0, Llama श्रृंखला, आदि) पर प्रत्यक्ष और चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग का उपयोग करके प्रयोग किए गए।

स्तर 1 (Genre Discrimination): APV-निर्देशित मॉडल्स ने शैक्षणिक और जोखिम-आधारित सामग्री के बीच सबसे स्पष्ट और तर्कसंगत भेदभाव प्रदर्शित किया। उन्होंने सहकारी और प्रतिस्पर्धी सेटिंग्स के बीच विश्वास में बदलाव के सबसे बड़े अंतर को दिखाया, जो इंगित करता है कि वे प्रोत्साहन संरचनाओं के आधार पर विश्वास को उचित रूप से नियंत्रित करने में सक्षम हैं। APV मॉडल्स ने शैक्षणिक फीडबैक के तहत सबसे कम माध्य पूर्ण बदलाव (0.33) प्राप्त किया, जबकि वे तटस्थ साक्ष्य के प्रति खुले रहे, जो इष्टतम सतर्क व्यवहार का प्रतिनिधित्व करता है।
स्तर 2 (Structured Reasoning): APV ने अत्याधुनिक प्रदर्शन (state-of-the-art performance) हासिल किया, जो एक मानक बेयसियन मॉडल ( $r = 0.937$ ) और मानव निर्णयों ( $r = 0.958$ ) के साथ उच्चतम सहसंबंध दिखाता है। इसने फर्स्ट-पर्सन और असिस्टेंट दोनों दृष्टिकोणों में रीजनिंग-विशेषज्ञ मॉडल्स (जैसे, o1, DeepSeek-R1) को भी पीछे छोड़ दिया। उल्लेखनीय रूप से, APV ने प्रोत्साहन और ट्रस्ट/स्टेक दोनों आयामों में संतुलित उच्च-निष्ठा (high-fidelity) अनुमान दिखाया।
स्तर 3 (Naturalistic Generalization): पारिस्थितिक रूप से वैध सेटिंग्स में, जहाँ बेसलाइन मॉडल्स का तर्कसंगत मॉडल्स के साथ सहसंबंध तेजी से गिर जाता है (अक्सर शून्य के करीब), APV ने मजबूत सहसंबंध ( $r \approx 0.287 - 0.345$ ) बनाए रखा। इसके अलावा, APV द्वारा की गई शिक्षार्थी सुधार ( $\Delta$ BLEU) की भविष्यवाणियां विशेषज्ञ निर्णयों ( $r=0.41$ ) के साथ बेसलाइन्स की तुलना में काफी अधिक सहसंबंध रखती हैं।
एब्लेशन अध्ययन (Ablation Studies): फ्रेमवर्क के किसी भी घटक (Genre, Stance, Incentives, या PIIE संरचना) को हटाने से सांख्यिकीय रूप से महत्वपूर्ण प्रदर्शन गिरावट आई। PIIE संरचना को हटाने से सबसे बड़ी गिरावट (18.3%) हुई, जो पुष्टि करती है कि बेयसियन औपचारिकता एक वास्तविक इंडक्टिव बायस (inductive bias) प्रदान करती है न कि केवल एक सरल प्रॉम्प्ट इंजीनियरिंग ट्रिक के रूप में कार्य करती है।

4. महत्व और दावे

यह शोध दावा करता है कि यह शैक्षणिक उद्देश्यों की समझ को समझने और बढ़ाने के लिए एक एकीकृत ढांचा (unified framework) स्थापित करता है। इसके प्राथमिक योगदान हैं:

सतर्कता का औपचारिकीकरण (Formalization of Vigilance): यह सतर्कता को केवल सामाजिक संदेह के रूप में मानने के बजाय, इसे पेडागोगिकल इंटेंट इन्फरेंस इंजन (PIIE) के माध्यम से सीखने को अनुकूलित करने के लिए एक अनुकूलन योग्य तंत्र के रूप में पुनर्गठित करता है।
अनुभवजन्य आधार (Empirical Baseline): यह लक्ष्य-निर्देशित संचार संदर्भों के भीतर LLMs के सामाजिक तर्क (social reasoning) के मूल्यांकन के लिए एक नया औपचारिक और अनुभवजन्य आधार प्रदान करता है, यह प्रदर्शित करते हुए कि स्पष्ट कम्प्यूटेशनल विवरण मॉडल के प्रदर्शन को महत्वपूर्ण रूप से सुधार सकते हैं।
मजबूती (Robustness): यह ढांचा LLMs को प्राकृतिक, शोर वाले शैक्षिक विमर्श में मजबूत सतर्कता बनाए रखने में सक्षम बनाता है जहाँ मानक प्रॉम्प्टिंग विधियाँ विफल हो जाती हैं।
मानव संरेखण (Human Alignment): मानव निर्णयों के साथ उच्च सहसंबंध यह सुझाव देता है कि यह ढांचा मानव शैक्षणिक तर्क के वास्तविक पहलुओं को पकड़ता है, जो AI व्यवहार और मानव सामाजिक संज्ञान के बीच के अंतर को पाटता है।

लेखक निष्कर्ष निकालते हैं कि शिक्षक की उपयोगिता और छात्र के अनुमान की प्रक्रिया को स्पष्ट रूप से औपचारिक बनाना शैक्षिक सेटिंग्स में AI सिस्टम के लिए एक शक्तिशाली इंडक्टिव बायस प्रदान करता है, जो अधिक विश्वसनीय AI-सहायता प्राप्त शिक्षण प्रणालियों का मार्ग प्रशस्त करता है।