Multi model deliberation improves the stability of automated scoring by large language models across genres and assessment contexts

तकनीकी सारांश: स्वचालित स्कोरिंग स्थिरता के लिए बहु-मॉडल विचार-विमर्श (Multi-Model Deliberation)

समस्या विवरण
यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) स्वचालित निबंध मूल्यांकन में आशाजनक प्रदर्शन करते हैं, लेकिन स्कोरिंग की अस्थिरता और क्रॉस-कॉन्टेक्स्ट वैलिडेशन (संदर्भ-आधारित सत्यापन) की कमी उनके शैक्षिक मूल्यांकन में व्यावहारिक उपयोग को बाधित करती है। मौजूदा शोध मुख्य रूप से प्रेडिक्टिव एक्यूरेसी (मानव रेटर्स के साथ सहमति) को प्राथमिकता देता है, लेकिन अक्सर विश्वसनीयता (reliability) की अनदेखी करता है—विशेष रूप से, एक ही प्रतिक्रिया का बार-बार मूल्यांकन करते समय मॉडल की निरंतरता। संभाव्यता जनरेटर (probabilistic generators) के रूप में, LLMs मानव रेटर की थकान के समान स्टोकेस्टिक परिवर्तनशीलता (stochastic variability) पेश करते हैं, जो शैक्षिक निष्पक्षता और वैधता के लिए खतरा है। शास्त्रीय मापन सिद्धांत (classical measurement theory) यह मानता है कि विश्वसनीयता, वैधता के लिए एक पूर्व शर्त है; एक ऐसा उपकरण जो एक ही प्रतिक्रिया के लिए अलग-अलग स्कोर देता है, वैध निष्कर्षों का समर्थन नहीं कर सकता। इसके अतिरिक्त, पारंपरिक एन्सेम्बल विधियाँ (जैसे सरल औसत) "संज्ञानात्मक अंशांकन" (cognitive calibration) को बढ़ावा देने में विफल रहती हैं, क्योंकि वे सूचना विनिमय या तर्कसंगत संवाद को सुगम बनाए बिना केवल पृथक निर्णयों को एकत्रित करती हैं।

कार्यप्रणाली
यह अध्ययन सामूहिक बुद्धिमत्ता सिद्धांत (collective intelligence theory) पर आधारित एक बहु-मॉडल विचार-विमर्श ढांचे (Multi-Model Deliberation Framework) का प्रस्ताव करता है। यह ढांचा तीन विषम (heterogeneous), ओपन-सोर्स चीनी LLMs: Baichuan2-13B, Qwen2.5-14B, और ChatGLM4-9B को शामिल करते हुए स्वचालित स्कोरिंग को एक विचार-विमर्श प्रक्रिया के रूप में पुनर्गठित करता है। यह प्रक्रिया तीन क्रमिक चरणों में संचालित होती है:

1. स्वतंत्र स्कोरिंग (R1): मॉडल एक प्रतिक्रिया को अलग से स्कोर करते हैं, प्रारंभिक स्कोर और तर्क (rationales) उत्पन्न करते हैं।
2. सूचना विनिमय (R2): मॉडल्स को अन्य दो मॉडल्स के स्कोर और तर्क प्रस्तुत किए जाते हैं। उन्हें प्रतिक्रिया का पुनर्मूल्यांकन करने के लिए प्रेरित किया जाता है, जिसमें नए साक्ष्य के आधार पर अपने स्कोर को समायोजित करने या अपने मूल निर्णय को बनाए रखने का विकल्प होता है।
3. अंतिम पुष्टि (R3): मॉडल्स को R2 से प्राप्त सभी समायोजन और तर्क प्राप्त होते हैं और वे एक निश्चित अंतिम स्कोर प्रस्तुत करते हैं।

इस ढांचे का मूल्यांकन सामान्यीकरण और स्थिरता का परीक्षण करने के लिए दो पूरक डेटासेट पर किया गया:

• ASAP-AES कॉर्पस: एक सार्वजनिक बेंचमार्क जिसमें आठ लेखन प्रॉम्प्ट्स में वितरित लगभग 13,000 K-12 छात्र निबंध शामिल हैं। इस अध्ययन के लिए, प्रत्येक आठ प्रॉम्प्ट्स से पांच निबंधों को जानबूझकर चुना गया (ऊपरी, मध्य और निचले स्कोर सेगमेंट को कवर करते हुए) ताकि 40 निबंधों का एक टेस्ट सेट बनाया जा सके, जिसमें प्रति निबंध 30 ट्रायल (7,350 ट्रेट-लेवल ऑब्जर्वेशन) किए गए।
• जर्नलिज्म कॉर्पस: एक चीनी विश्वविद्यालय जर्नलिज्म कोर्स से प्राप्त वास्तविक प्रतिक्रियाएं (10 निबंध, प्रति निबंध 100 ट्रायल, 9,000 स्कोरिंग रिकॉर्ड) जिन्हें एक विशेषज्ञ मानव रेटर द्वारा स्कोर किया गया था।

अध्ययन ने प्रस्तावित विचार-विमर्श एन्सेम्बल की तुलना सिंगल-मॉडल बेसलाइन्स, सिंपल मीन/मीडियन एन्सेम्बल्स, और पोस्ट-डेलिब्रेशन सिंगल-मॉडल स्कोरिंग से की। इसमें कन्वर्जेंस (अभिसरण) के लिए क्रॉस-मॉडल मीन एब्सोल्यूट एरर (MAE), स्थिरता के लिए कोएफिशिएंट ऑफ वेरिएशन (CV), और मानव स्कोर के साथ रैंक-ऑर्डर कोरिलेशन जैसे मेट्रिक्स का उपयोग किया गया।

मुख्य परिणाम

• असहमति में महत्वपूर्ण कमी: ASAP-AES कॉर्पस पर, सभी प्रॉम्प्ट्स में इंटर-मॉडल असहमति (MAE) R1 से R3 तक काफी कम हो गई (Holm-corrected p < 0.001)। संचित प्रभाव आकार (pooled effect size) बड़ा था (Cohen's dz = 1.08), और रैंक-बाइसेरियल कोरिलेशन 0.92 था, जो दर्शाता है कि विचार-विमर्श ने शैली या रूब्रिक स्केल की परवाह किए बिना निरंतर अभिसरण (convergence) कराया।
• बढ़ी हुई स्थिरता: जर्नलिज्म कॉर्पस पर, विचार-विमर्श एन्सेम्बल के लिए कोएफिशिएंट ऑफ वेरिएशन (CV) बेसलाइन के 7.29% से गिरकर 2.78% हो गया, जो 61.9% का सापेक्ष सुधार (t(9) = 7.98, p < 0.001) दर्शाता है। यह सुधार सरल एन्सेम्बल रणनीतियों (जिन्होंने CV को 40.8% कम किया) और पोस्ट-डेलिब्रेशन सिंगल-मॉडल स्कोरिंग (34.2% सुधार) से काफी बेहतर था, जो विचार-विमर्श और एकत्रीकरण के बीच एक सहक्रियात्मक प्रभाव (synergistic effect) को प्रदर्शित करता है।
• राउंड डिकंपोजिशन: अभिसरण प्रभाव को दो खंडों में विभाजित किया गया। सूचना-विनिमय चरण (R1 से R2) ने कुल अभिसरण का लगभग दो-तिहाई (66–69%) हिस्सा कवर किया, जबकि अंतिम पुष्टि चरण (R2 से R3) ने शेष एक-तिहाई (31–34%) योगदान दिया। दोनों चरणों को सांख्यिकीय रूप से महत्वपूर्ण और गैर-अनावश्यक पाया गया।
• मॉडल विषमता और व्यवहार: तीनों मॉडल्स ने विभिन्न डेटासेट्स पर विशिष्ट और सुसंगत भूमिकाएँ निभाईं। Baichuan2 एक रूढ़िवादी "एंकर" के रूप में कार्य करता है जिसमें न्यूनतम स्कोर परिवर्तन होता है; Qwen एक "सक्रिय एडजेस्टर" के रूप में कार्य करता है, जो अक्सर स्कोर को ऊपर की ओर संशोधित करता है; और ChatGLM एक "मजबूत जज" के रूप में कार्य करता है, जो एडजस्टमेंट और 'ग्रुपथिंक' (समूह सोच) के प्रतिरोध के बीच संतुलन बनाता है। इस विषमता ने समयपूर्व अभिसरण को रोका।
• मानव स्कोर के साथ संरेखण: जबकि विचार-विमर्श ने परिशुद्धता (स्थिरता) में सुधार किया, इसने मानव रेटर्स के सापेक्ष पूर्ण स्कोर में व्यवस्थित उर्ध्वगामी बदलाव (systematic upward shift) भी उत्पन्न किया (जैसे, 100-पॉइंट जर्नलिज्म स्केल पर +13.46 अंक)। हालांकि, मानव स्कोर के साथ रैंक-ऑर्डर पत्राचार काफी हद तक संरक्षित रहा (जर्नलिज्म कॉर्पस पर Spearman ρ = 0.75)। अध्ययन ने प्रदर्शित किया कि इस व्यवस्थित पूर्वाग्रह को मानव एंकर्स के विरुद्ध मानक लीनियर कैलिब्रेशन के माध्यम से ठीक किया जा सकता है, जिससे मीन एब्सोल्यूट एरर (MAE) में 50.3% की कमी आई।

प्रमुख योगदान

1. स्कोरिंग विश्वसनीयता को नया रूप देना: यह अध्ययन शुद्ध प्रेडिक्टिव एक्यूरेसी से हटकर मेजरमेंट रिलायबिलिटी (मापन विश्वसनीयता) पर ध्यान केंद्रित करता है, जो एक ऐसा विचार-विमर्श ढांचा प्रस्तावित करता है जो संख्यात्मक त्रुटि निरसन (numerical error cancellation) के बजाय सक्रिय संज्ञानात्मक अंशांकन के माध्यम से स्थिरता प्राप्त करता है।
2. अनुभवजन्य सत्यापन (Empirical Validation): यह विभिन्न भाषाओं (चीनी/अंग्रेजी), शैलियों (तर्कपूर्ण/कथात्मक), और मूल्यांकन पैमानों में ढांचे की प्रभावशीलता का ठोस प्रमाण प्रदान करता है, जो बहु-मॉडल विचार-विमर्श की सामान्यीकरण क्षमता को प्रमाणित करता है।
3. तंत्र लक्षण वर्णन (Mechanism Characterization): यह शोध विषम मॉडलों के विशिष्ट अभिसरण पैटर्न और समायोजन व्यवहारों को स्पष्ट करता है, यह प्रकट करता है कि सूचना विनिमय अधिकांश अभिसरण को संचालित करता है जबकि अंतिम पुष्टि चरण आवश्यक स्थिरता प्रदान करता है।

महत्व और दावे
यह शोध दावा करता है कि बहु-मॉडल विचार-विमर्श स्वचालित स्कोरिंग की स्थिरता को काफी बढ़ाता है, जिससे LLMs उन शैक्षिक मूल्यांकनों के लिए अधिक व्यवहार्य हो जाते हैं जहाँ निरंतरता अत्यंत महत्वपूर्ण है। लेखक तर्क देते हैं कि जबकि विचार-विमर्श स्कोर की परिशुद्धता (precision) में सुधार करता है, यह स्वतः ही वैधता (validity - मानव मानकों के साथ पूर्ण संरेखण) की गारंटी नहीं देता है। इसलिए, इस ढांचे को एक परिशुद्धता-बढ़ाने वाले लेयर के रूप में प्रस्तुत किया गया है जिसे उच्च-दांव वाले अनुप्रयोगों के लिए मानव-आधारित अंशांकन (human-anchored calibration) के साथ जोड़ा जाना चाहिए। अध्ययन निष्कर्ष निकालता है कि ऐसा सिस्टम फॉर्मेटिव असेसमेंट का समर्थन कर सकता है और ग्रेडिंग वर्कलोड को कम कर सकता है, बशर्ते कि मानव पेशेवर निर्णय मूल्यांकन प्रक्रिया के केंद्र में रहे और व्यवस्थित पूर्वाग्रहों को अंशांकन के माध्यम से प्रबंधित किया जाए। निष्कर्ष बताते हैं कि विषम मॉडलों की "सामूहिक बुद्धिमत्ता", जब विचार-विमर्श के माध्यम से संरचित होती है, तो सरल एकत्रीकरण या सिंगल-मॉडल दृष्टिकोण की तुलना में अधिक विश्वसनीय स्वचालित स्कोरिंग का मार्ग प्रशस्त करती है।