💬 NLP

PsyScore: A Psychometrically-Aware Framework for Trait-Adaptive Essay Scoring and ZPD-Scaffolded Feedback

PsyScore एक साइकोमेट्रिकली-जागरूक ढांचा है जो सटीक क्षमता अनुमान और दक्षता-स्तर-अनुकूलित मार्गदर्शन प्रदान करने के लिए एक 'ट्रे़ट-एडैप्टिव न्यूरल IRT स्कोरर' को 'ZPD-स्कैफोल्डेड फीडबैक जनरेटर' के साथ एकीकृत करके स्वचालित निबंध स्कोरिंग और निर्देशात्मक फीडबैक को एकीकृत करता है।

मूल लेखक: Wei Xia, Jin Wu, Haoran Shi, Xiangyu Wang, Chanjin Zheng

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wei Xia, Jin Wu, Haoran Shi, Xiangyu Wang, Chanjin Zheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो छात्रों के निबंधों का ढेर जाँच रहे हैं। आपके पास दो मुख्य काम हैं:

ग्रेड देना: यह तय करना कि निबंध कितना अच्छा है।
फीडबैक देना: छात्र को बताना कि वे कैसे सुधार कर सकते हैं।

आमतौर पर, कंप्यूटर ये दोनों काम अलग-अलग करते हैं। ग्रेडिंग रोबोट एक "ब्लैक बॉक्स" है जो एक नंबर तो देता है लेकिन अपने गणित को अच्छी तरह से समझा नहीं पाता। फीडबैक रोबोट (एक फैंसी AI) अच्छे पैराग्राफ लिखता है, लेकिन यह अक्सर एक नौसिखिए और एक विशेषज्ञ के साथ एक जैसा व्यवहार करता है, जिससे दी जाने वाली सलाह या तो बहुत सरल होती है या बहुत भ्रमित करने वाली।

PsyScore एक नया कंप्यूटर सिस्टम है जो इसे जोड़कर ठीक करता है। इसे एक स्मार्ट ट्यूटर की तरह समझें जो जानता है कि आप सीखने की सीढ़ी पर ठीक कहाँ खड़े हैं।

यह कैसे काम करता है, इसे तीन सरल भागों में विभाजित किया गया है:

1. "मेडिकल डायग्नोसिस" (द स्कोरर)

सिर्फ एक ग्रेड का अनुमान लगाने के बजाय, PsyScore एक डॉक्टर की तरह काम करता है जो निदान (डायग्नोसिस) देता है।

पुराना तरीका: एक मानक AI एक निबंध को देखता है और कहता है, "यह 10 में से 7 है।" उसे यह नहीं पता होता कि क्यों या क्या वह संख्या सांख्यिकीय रूप से विश्वसनीय है।
PsyScore का तरीका: यह एक विशेष गणितीय उपकरण का उपयोग करता है जिसे IRT (आइटम रिस्पॉन्स थ्योरी) कहा जाता है। कल्पना कीजिए कि यह एक बहुत ही सटीक पैमाना है। यह छात्र के छिपे हुए "क्षमता स्तर" (जिसे हम θ या "थेटा" कहते हैं) को मापता है।
- यह केवल एक स्कोर नहीं देता; यह पता लगाता है कि प्रश्न कितने कठिन थे और छात्र उन्हें हल करने में कितना कुशल है।
- यह सिस्टम को छात्र की ताकत और कमजोरियों का एक स्पष्ट, वैज्ञानिक मानचित्र प्रदान करता है, न कि केवल एक अस्पष्ट अनुमान।

2. "पर्सनलाइज्ड कोच" (द फीडबैक जनरेटर)

एक बार जब सिस्टम के पास वह "मेडिकल डायग्नोसिस" (छात्र का क्षमता स्तर) आ जाता है, तो यह एक ऐसे कोच की तरह कार्य करता है जो ज़ोन ऑफ़ प्रॉक्सिमल डेवलपमेंट (ZPD) को जानता है।

ZPD क्या है? इसे सीखने के लिए "गोल्डिलॉक्स ज़ोन" (सही स्थिति) के रूप में सोचें। यह वह 'स्वीट स्पॉट' है जहाँ कार्य इतना कठिन हो कि वह चुनौतीपूर्ण हो, लेकिन इतना कठिन भी न हो कि वह असंभव हो जाए।
PsyScore इसका उपयोग कैसे करता है:
- यदि छात्र संघर्ष कर रहा है (निम्न क्षमता): सिस्टम एक सख्त लेकिन सहायक शिक्षक की तरह व्यवहार करता है। यह कहता है, "यहाँ वह सटीक नियम है जिसे आपने तोड़ा है। इस विशिष्ट वाक्य को ठीक करें।" यह सीधे, स्पष्ट निर्देश देता है।
- यदि छात्र ठीक-ठाक कर रहा है (मध्यम क्षमता): सिस्टम एक मार्गदर्शक की तरह व्यवहार करता है। यह कहता है, "आप बहुत अच्छा कर रहे हैं, लेकिन अगले स्तर तक पहुँचने के लिए यहाँ अधिक विवरण जोड़ने का प्रयास करें।" यह उन्हें ऊपर चढ़ने में मदद करने के लिए स्कैफोल्डिंग (सहायता संरचना) प्रदान करता है।
- यदि छात्र एक विशेषज्ञ है (उच्च क्षमता): सिस्टम एक बहस करने वाले साथी की तरह व्यवहार करता है। यह पूछता है, "क्या आपने यहाँ अधिक जटिल तर्क देने का प्रयास किया होता?" यह उन्हें बुनियादी गलतियों को सुधारने के बजाय अपनी शैली को परिष्कृत करने की चुनौती देता है।

सिस्टम ड्राफ्ट लिखने के लिए विभिन्न AI "कोचों" की एक टीम का उपयोग करता है, और फिर एक "हेड कोच" AI उन्हें एक पूर्ण, व्यक्तिगत संदेश में जोड़ देता है जो छात्र के सटीक स्तर से मेल खाता है।

3. "क्वालिटी कंट्रोल" (द इवैल्यूएटर)

हमें कैसे पता चलेगा कि यह प्रणाली वास्तव में काम करती है? शोधकर्ताओं ने केवल यह नहीं पूछा कि "क्या फीडबैक अच्छा है?" उन्होंने इसे दो चतुर तरीकों से परखा:

"टेस्ट ऑफ टेस्ट" (स्वाद परीक्षण): उन्होंने अन्य AI को PsyScore के फीडबैक की तुलना मानक AI के फीडबैक से करने के लिए कहा। उन्होंने पूछा, "कौन सा अधिक उपयोगी है? कौन सा अधिक विशिष्ट है?" PsyScore लगभग हर बार जीत गया।
"सिमुलेशन" (अनुकरण): उन्होंने एक नकली छात्र रोबोट बनाया। उन्होंने रोबोट को एक निबंध दिया, फिर उसे फीडबैक दिया, और रोबोट को निबंध फिर से लिखने के लिए कहा।
- जब रोबोट ने PsyScore के फीडबैक का उपयोग किया, तो उसके स्कोर में काफी सुधार हुआ (विशेष रूप से यदि वह एक कमजोर छात्र के रूप में शुरू हुआ था)।
- जब उसने मानक फीडबैक का उपयोग किया, तो उसमें बहुत कम सुधार हुआ। इससे यह सिद्ध हुआ कि PsyScore की सलाह वास्तव में छात्रों को सीखने में मदद करती है।

बड़ी तस्वीर (The Big Picture)

यह पेपर दावा करता है कि इस "साइकोमेट्रिकली जागरूक" ढांचे का उपयोग करके, उन्होंने दो चीजें हासिल कीं:

बेहतर ग्रेड: उनकी स्कोरिंग प्रणाली पिछले शीर्ष-स्तरीय सिस्टम की तुलना में अधिक सटीक है।
बेहतर लर्निंग: फीडबैक केवल सामान्य बातें नहीं हैं; यह छात्र की विशिष्ट मानसिक स्थिति के अनुरूप है, जिससे उन्हें तेजी से सुधार करने में मदद मिलती है।

संक्षेप में, PsyScore छात्रों को केवल डेटा पॉइंट के रूप में देखना बंद करता है और उन्हें विशिष्ट आवश्यकताओं वाले शिक्षार्थियों के रूप में देखता है, यह सुनिश्चित करने के लिए गणित का उपयोग करता है कि सलाह निष्पक्ष और सहायक दोनों हो।

तकनीकी सारांश: PsyScore

समस्या विवरण

वर्तमान स्वचालित निबंध मूल्यांकन (Automated Essay Scoring - AES) प्रणालियाँ नैदानिक मूल्यांकन (diagnostic assessment) और निर्देशात्मक प्रतिक्रिया (instructional feedback) के बीच एक गंभीर विखंडन का सामना कर रही हैं। जबकि न्यूरल स्कोरिंग मॉडल उच्च भविष्य कहनेवाला सटीकता प्राप्त करते हैं, वे अक्सर "ब्लैक बॉक्स" के रूप में कार्य करते हैं जिनमें मनोवैज्ञानिक मापन व्याख्यात्मकता (psychometric interpretability) और वैधता का अभाव होता है। इसके विपरीत, लार्ज लैंग्वेज मॉडल (LLM) आधारित फीडबैक जनरेटर, हालांकि प्रवाहपूर्ण होते हैं, आमतौर पर क्षमता-अज्ञेय (ability-agnostic) होते हैं। वे शिक्षार्थी की दक्षता स्तर या उनके समीपवर्ती विकास क्षेत्र (Zone of Proximal Development - ZPD) को ध्यान में रखने में विफल रहते हैं, जिसके परिणामस्वरूप ऐसी प्रतिक्रिया मिलती है जो उन्नत शिक्षार्थियों के लिए अत्यधिक प्रक्रियात्मक होती है या नौसिखियों के लिए बहुत अमूर्त होती है। यह विच्छेद AES प्रणालियों को प्रभावी रचनात्मक लूप (formative loops) के रूप में कार्य करने से रोकता है जहाँ मापन सीधे लक्षित निर्देशात्मक स्कैफोल्डिंग (instructional scaffolding) को सूचित करता है।

कार्यप्रणाली: PsyScore ढांचा

PsyScore एक मनोवैज्ञानिक रूप से जागरूक ढांचे का प्रस्ताव करता है जो एक साझा लेटेंट क्षमता प्रतिनिधित्व (shared latent ability representation) के माध्यम से स्कोरिंग और फीडबैक को एकीकृत करता है। इस वास्तुकला में तीन कसकर जुड़े हुए मॉड्यूल शामिल हैं:

1. ट्रेट-अनुकूली न्यूरल GPCM स्कोरर (Trait-Adaptive Neural GPCM Scorer)

यह मॉड्यूल लेखन के विभिन्न गुणों (traits) में छात्र की क्षमता ( $\theta$ ) का अनुमान लगाने के लिए न्यूरल आर्किटेक्चर में आइटम रिस्पॉन्स थ्योरी (IRT) को एकीकृत करता है।

लेटेंट क्षमता अनुमान (Latent Ability Estimation): एक BERT-आधारित एनकोडर प्रासंगिक निरूपण (contextual representations) निकालता है, जिन्हें एक स्केलर लेटेंट क्षमता $\theta$ पर प्रोजेक्ट किया जाता है। संख्यात्मक स्थिरता सुनिश्चित करने और मानक IRT धारणाओं ( $\theta \sim N(0,1)$ ) के साथ संरेखित करने के लिए, एक हार्ड क्लिपिंग बाधा $\theta$ को $[-3.0, 3.0]$ अंतराल तक सीमित करती है।
GPCM संभाव्यता मॉडलिंग: सिस्टम डिस्क्रीट स्कोर श्रेणियों को असाइन करने की संभावना को मॉडल करने के लिए एक ग्रेडेड पार्शियल क्रेडिट मॉडल (GPCM) का उपयोग करता है। संभाव्यता $P(y=k|\theta, a_t, b_t)$ को सीखने योग्य विभेदन मापदंडों ( $a_t$ ) और स्टेप डिफिकल्टी थ्रेशोल्ड्स ( $b_t$ ) का उपयोग करके गणना की जाती है।
इनिशियलाइजेशन रणनीति: GPCM लॉस लैंडस्केप की नॉन-कॉन्वेक्सिटी को संबोधित करने के लिए, लेखक एक ग्रिड-सर्च इनिशियलाइजेशन रणनीति का उपयोग करते हैं। विभेदन और कठिनाई मापदंडों के इष्टतम प्रायर्स (priors) को मोड कोलैप्स को रोकने के लिए हाइपरपैरामीटर स्पेस पर प्री-कंप्यूट किया जाता है। इन्फरेंस के दौरान, एक मजबूत डायग्नोस्टिक वेक्टर $D_x = \{\bar{\theta}, \bar{a}, \bar{b}\}$ बनाने के लिए $k$ -fold एन्सेम्बल्स के मापदंडों को एकत्रित किया जाता है।

2. ZPD-स्कैफोल्डेड फीडबैक जनरेटर (ZPD-Scaffolded Feedback Generator)

यह मॉड्यूल एक मल्टी-एजेंट फ्यूजन आर्किटेक्चर के माध्यम से डायग्नोस किए गए क्षमता पैरामीटर $\theta$ पर शैक्षणिक रणनीतियों को कंडीशन करता है।

ZPD-संरेखित रणनीति मैपिंग: एक नियतात्मक मैपिंग फंक्शन $\theta$ $θ$ को विशिष्ट शैक्षणिक नियंत्रण टोकन में अनुवादित करता है:
- स्पष्ट सुधार (Explicit Correction) ( $\theta < -1.0$ ): संघर्ष कर रहे शिक्षार्थियों के लिए, बुनियादी बातों के लिए प्रत्यक्ष सुधारों पर ध्यान केंद्रित करना।
- स्कैफोल्डिंग (Scaffolding) ( $\theta \in [-1.0, 1.0]$ ): विकसित हो रहे शिक्षार्थियों के लिए, प्रशंसा और लक्षित सुधार क्षेत्रों के बीच संतुलन बनाना।
- सोक्रेटिक प्रश्न पूछना (Socratic Questioning) ( $\theta > 1.0$ ): उन्नत शिक्षार्थियों के लिए, अलंकारिक विश्लेषण (rhetorical analysis) और तर्क पर ध्यान केंद्रित करना।
मल्टी-एजेंट कंसेंसस: तीन विषम LLMs (Llama-4-Scout, Qwen3-235B, GPT-4o) असाइन की गई रणनीति के आधार पर ड्राफ्ट फीडबैक उत्पन्न करते हैं। एक श्रेष्ठ फ्यूजन मॉडल (DeepSeek-V3.1) इन ड्राफ्ट्स को एकत्रित करता है, जो डायग्नोस्टिक वेक्टर $D_x$ के साथ निरंतरता के लिए अनुकूलित होता है, ताकि सिमेंटिक संघर्षों को हल किया जा सके और यह सुनिश्चित किया जा सके कि भाषाई जटिलता शिक्षार्थी के ZPD के अनुरूप हो।

3. बहु-परिप्रेक्ष्य फीडबैक मूल्यांकन रणनीति (Multi-Perspective Feedback Evaluation Strategy)

यह ढांचा फीडबैक की गुणवत्ता का तीन स्तरों पर मूल्यांकन करता है:

वरीयता-आधारित तुलना: सापेक्ष शैक्षणिक गुणवत्ता (विशिष्टता, कार्यक्षमता, शैक्षणिक मूल्य) को मापने के लिए डबल-ब्लाइंड प्रोटोकॉल का उपयोग करके स्वतंत्र LLM जजों (GPT-5, Gemini-3-pro) द्वारा युग्मवार रैंकिंग।
सिमुलेशन-आधारित संशोधन: एक "स्टूडेंट एजेंट" जो विशिष्ट दक्षता प्रोफाइल पर कंडीशन किया गया है, फीडबैक के आधार पर निबंधों को संशोधित करता है। संज्ञानात्मक स्कैफोल्डिंग प्रभावकारिता को मापने के लिए नॉर्मलाइज्ड रिवीजन गेन ( $\Delta S_{norm}$ ) की गणना की जाती है, जो अलग-अलग स्कोरिंग स्केल से होने वाले पूर्वाग्रह को समाप्त करता है।
मानव विशेषज्ञ मूल्यांकन: वरिष्ठ शिक्षा विशेषज्ञ 5-पॉइंट लिकर्ट स्केल का उपयोग करके पांच आयामों (अनुकूलनशीलता, कार्यक्षमता, विशिष्टता, सटीकता, स्वर) पर फीडबैक का आकलन करते हैं।

मुख्य परिणाम

प्रयोग ASAP++ डेटासेट (8 प्रॉम्प्ट, 11 ट्रेड्स) पर 6:2:2 स्प्लिट का उपयोग करके किए गए थे।

स्कोरिंग प्रदर्शन: PsyScore-AES ने एक नया स्टेट-ऑफ-द-आर्ट औसत क्वाड्रेटिक वेटेड कप्पा (QWK) 0.747 प्राप्त किया, जो सबसे मजबूत बेसलाइन (SaMRL-large, 0.722) से बेहतर है। यह 8 में से 6 प्रॉम्प्ट और 11 में से 10 ट्रेड आयामों में प्रथम स्थान पर रहा। विशेष रूप से, इसने Voice जैसे व्यक्तिपरक गुणों पर महत्वपूर्ण सुधार दिखाया (ArTS के 0.619 के मुकाबले 0.740)।
एब्लेशन स्टडीज: IRT मॉड्यूल को हटाने (w/o-IRT) से प्रदर्शन 0.747 से गिरकर 0.705 हो गया, जो मनोवैज्ञानिक अंशांकन (psychometric calibration) की आवश्यकता की पुष्टि करता है।
फीडबैक गुणवत्ता:
- युग्मवार तुलना: PsyScore-AEF ने सामान्य-उद्देश्य वाले LLMs (GPT-4o, Llama-3) के विरुद्ध कार्यक्षमता (Actionability) में 90% से अधिक जीत दर हासिल की।
- सिमुलेशन परिणाम: कम-दक्षता वाले छात्रों ( $\theta < -1$ ) ने PsyScore के साथ 17.38% का नॉर्मलाइज्ड गेन दिखाया, जबकि No-IRT बेसलाइन के लिए यह 6.07% था। उच्च-दक्षता वाले लाभ मामूली (1.11%) थे, जो एक सीलिंग इफेक्ट को दर्शाता है।
- विशेषज्ञ मूल्यांकन: PsyScore सभी आयामों में सभी LLM बेसलाइन्स से काफी बेहतर रहा ( $p < .001$ ), जबकि No-IRT वेरिएंट ने अनुकूलनशीलता और सटीकता में उल्लेखनीय गिरावट दिखाई।
मजबूती (Robustness): ढांचे ने विभिन्न IRT इनिशियलाइजेशन सेटिंग्स में उच्च स्थिरता प्रदर्शित की, जिसमें प्रॉम्प्ट स्तर पर भिन्नता गुणांक (CV) 1.67% था, जो 5% स्थिरता थ्रेशोल्ड से काफी नीचे है।

महत्व और योगदान

पेपर तीन प्राथमिक योगदानों का दावा करता है:

मनोवैज्ञानिक अंशांकन (Psychometric Calibration): न्यूरल IRT मॉडलों के लिए एक ट्रेट-अनुकूली इनिशियलाइजेशन रणनीति का परिचय जो विभेदन और कठिनाई मापदंडों को मनोवैज्ञानिक प्रायर्स के साथ संरेखित करता है, जिससे व्याख्यात्मकता और मजबूती बढ़ती है।
शैक्षणिक संरेखण (Pedagogical Alignment): एक ZPD-स्कैफोल्डेड मल्टी-एजेंट फीडबैक ढांचा जो जेनरिक फीडबैक से आगे बढ़कर डायग्नोस की गई शिक्षार्थी क्षमता ( $\theta$ ) पर निर्देशात्मक रणनीतियों को कंडीशन करता है।
अनुभवजन्य अंतर्दृष्टि (Empirical Insight): एक दोहरी-स्तरीय मूल्यांकन यह प्रदर्शित करता है कि मनोवैज्ञानिक निदान को जेनेरेटिव फीडबैक के साथ एकीकृत करने से न केवल बेहतर स्कोरिंग सटीकता मिलती है, बल्कि अधिक प्रभावी शिक्षण परिणाम भी मिलते हैं, विशेष रूप से कम-दक्षता वाले शिक्षार्थियों के लिए।

लेखक निष्कर्ष निकालते हैं कि PsyScore AES को स्थिर, योगात्मक स्कोरिंग (summative scoring) से अनुकूली निर्देशात्मक स्कैफोल्डिंग की ओर ले जाकर उन्नत करता है, और एक ऐसे शैक्षिक AI के लिए 'फॉर्मेटिव टर्न' की वकालत करता है जहाँ मापन और निर्देश एक साझा लेटेंट स्पेस के माध्यम से एकीकृत होते हैं।

सीमाएं

पेपर कई बाधाओं को स्वीकार करता है:

कंप्यूटेशनल ओवरहेड: मल्टी-एजेंट कंसेंसस तंत्र इन्फरेंस लेटेंसी (विलंबता) को बढ़ाता है, जो वास्तविक समय के कक्षा कार्यान्वयन को सीमित करता है।
एनोटेशन निर्भरता: ट्रेट-अनुकूली स्कोरर को सूक्ष्म विश्लेतिक लेबल (जैसे Voice, Organization) की आवश्यकता होती, जो समग्र-केवल (holistic-only) कॉर्पोरा की तुलना में परिचालन स्थितियों में दुर्लभ हैं।
पारिस्थितिक वैधता (Ecological Validity): सिमुलेटेड रिवीजन प्रोटोकॉल फीडबैक के प्रति आदर्श पालन को मानता है और वास्तविक दुनिया की प्रेरणा संबंधी गतिशीलता (motivational dynamics), एपिस्टेमिक ट्रस्ट, या संज्ञानात्मक थकान का मॉडल नहीं करता है।