← नवीनतम पेपर
🤖 AI

Human-in-the-Loop Benchmarking of Heterogeneous LLMs for Automated Competency Assessment in Secondary Level Mathematics

यह शोध पत्र नेपाल में स्वचालित माध्यमिक-स्तर के गणित मूल्यांकन के लिए विषम (heterogeneous) एलएलएम (LLMs) का मूल्यांकन करने हेतु एक बहु-आयामी रूब्रिक का उपयोग करते हुए एक ह्युमन-इन-द-लूप बेंचमार्किंग फ्रेमवर्क प्रस्तुत करता है, जो यह प्रकट करता है कि मानव विशेषज्ञों के साथ सहमति प्राप्त करने के लिए मॉडल का पैमाना (scale) तुलना में निर्देश बाधाओं (instruction constraints) के साथ स्थापत्य अनुकूलता (architectural compatibility) अधिक महत्वपूर्ण है और यह निष्कर्ष निकालता है कि ये मॉडल स्वायत्त प्रमाणन के बजाय सहायक साक्ष्य निष्कर्षण (assistive evidence extraction) के लिए सबसे उपयुक्त हैं।

मूल लेखक: Jatin Bhusal, Nancy Mahatha, Aayush Acharya, Raunak Regmi

प्रकाशित 2026-04-30
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Jatin Bhusal, Nancy Mahatha, Aayush Acharya, Raunak Regmi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ऐसी कक्षा की कल्पना करें जहाँ शिक्षक कागजी कार्रवाई में डूबे हुए हैं। केवल छात्रों को एक संख्या (जैसे "85%") देने के बजाय, वे एक विस्तृत रिपोर्ट कार्ड देना चाहते हैं जो कहता है, "आप 'क्यों' को समझते हैं," "आप 'गणना' करने में माहिर हैं," और "आप विचारों को 'जोड़' सकते हैं।" इसे क्षमता-आधारित शिक्षा (Competency-Based Education) कहा जाता है। यह ग्रेडिंग का एक बहुत समृद्ध तरीका है, लेकिन इसे मैन्युअल रूप से करना अविश्वसनीय रूप से कठिन और समय लेने वाला है।

यह शोध पत्र एक सरल प्रश्न पूछता है: क्या आर्टिफिशियल इंटेलिजेंस (AI) इस भारी काम को करने में शिक्षकों की मदद कर सकता है?

यहाँ उनके प्रयोग की कहानी दी गई है, जिसे सरल भाषा में समझाया गया है:

1. सेटअप: "इंसान बनाम रोबोट" परीक्षण

नेपाल के शोधकर्ताओं ने इसे कक्षा 10वीं के गणित (मैट्रिक्स, ज्यामिति और त्रिकोणमिति जैसे कठिन विषयों वाला विषय) पर परखने का निर्णय लिया।

  • छात्र: उन्होंने वास्तविक छात्रों के 33 हस्तलिखित गणित परीक्षण लिए।
  • मानवीय निर्णायक (Human Judges): दो विशेषज्ञ गणित शिक्षकों ने इन परीक्षणों को ग्रेड किया। उन्होंने केवल सही उत्तर ही नहीं देखा; उन्होंने चार विशिष्ट कौशलों का न्याय करने के लिए एक बहुत ही सख्त "नियम पुस्तिका" (रूब्रिक) का उपयोग किया:
    1. समझ (Comprehension): क्या वे प्रश्न को समझ पाए?
    2. ज्ञान (Knowledge): क्या उन्हें तथ्य पता थे?
    3. प्रवाह (Fluency): क्या वे गणित के चरणों को सही ढंग से कर सके?
    4. व्यवहार/सहसंबंध (Behavior/Correlation): क्या वे विभिन्न विचारों को जोड़ सकते थे?
  • AI निर्णायक: उन्होंने उन्हीं परीक्षणों को ग्रेड करने के लिए चार अलग-अलग AI मॉडलों को एक ही नियम पुस्तिका के साथ खड़ा किया।
    • ईगल (Eagle): एक छोटा, तेज़ AI (एक धावक की तरह)।
    • ओरियन (Orion): एक विशाल, शक्तिशाली AI जिसमें बहुत अधिक मस्तिष्क शक्ति है (एक हेवीवेट चैंपियन की तरह)।
    • नोवा (Nova): एक स्मार्ट, कुशल AI जो एक विशेष "टीम" संरचना का उपयोग करता है (एक विशेषज्ञ टीम की तरह)।
    • लाइरा (Lyra): एक शीर्ष स्तर का AI जिसका उपयोग रेफरी के रूप में किया गया।

2. ट्विस्ट: बड़ा होना हमेशा बेहतर नहीं होता

आमतौर पर, हम मानते हैं कि सबसे बड़ा, सबसे शक्तिशाली AI (ओरियन) जीतेगा। लेकिन परिणाम आश्चर्यजनक थे, जैसे कि एक विशाल सुमो पहलवान एक छोटे पत्थर से टकराकर लड़खड़ा जाए जबकि एक फुर्तीला नर्तक आसानी से निकल जाए।

  • "विशालकाय" (Orion) विफल रहा: अत्यधिक "मस्तिष्क शक्ति" (70 बिलियन पैरामीटर्स) होने के बावजूद, ओरियन भ्रमित हो गया। वह मानव शिक्षकों से इतना असहमत था कि उनके बीच सहमति का गणित स्कोर वास्तव में ऋणात्मक (negative) था। यह एक ऐसे रोबोट की तरह था जिसने टेस्ट ग्रेड करने की कोशिश की लेकिन अपने स्वयं के नियम बना लिए जिनका कोई अर्थ नहीं था।
  • "विशेषज्ञ" (Nova) जीता: छोटा, अधिक कुशल AI (नोवा) सबसे अच्छा प्रदर्शन करने में सफल रहा। वह मानव शिक्षकों के साथ 38% बार सहमत हुआ (जिसे इस सख्त दुनिया में "उचित/Fair" माना जाता है)। इसने बड़े AI की तुलना में निर्देशों का बेहतर पालन किया।

सबक: इस विशिष्ट कार्य में, नियमों का पालन करना एक बड़े दिमाग होने से अधिक महत्वपूर्ण था। विशाल AI अपनी जटिलता के कारण "विचलित" हो गया, जबकि विशेष AI अपने काम पर टिका रहा।

3. समाधान: "ह्यूमन-इन-द-लूप" (मानव की भागीदारी)

शोध पत्र निष्कर्ष निकालता है कि हमें अभी AI को पूरी तरह से शिक्षक की नौकरी लेने देने की अनुमति नहीं देनी चाहिए। AI अभी अंतिम निर्णायक बनने के लिए तैयार नहीं है।

इसके बजाय, AI को एक अत्यधिक कुशल इंटर्न (प्रशिक्षु) के रूप में सोचें।

  • इंटर्न (AI): छात्र के काम को जल्दी से स्कैन करता है, अच्छे हिस्सों को उजागर करता है, और नियम पुस्तिका के आधार पर ग्रेड का सुझाव देता है।
  • बॉस (मानव शिक्षक): इंटर्न के सुझावों को देखता है, कठिन हिस्सों की दोबारा जांच करता है, और अंतिम निर्णय लेता है।

यह "ह्यूमन-इन-द-लूप" दृष्टिकोण का अर्थ है कि AI सबूत खोजने का भारी काम करता है, लेकिन निष्पक्षता सुनिश्चित करने के लिए "विश्वसनीयता की ढाल" मानव के पास रहती है।

4. इसका क्या अर्थ है (और क्या नहीं)

  • यह क्या है: एक प्रमाण कि AI शिक्षकों को छात्रों के काम से पैटर्न पहचानने और साक्ष्य निकालने में मदद कर सकता है, जिससे ग्रेडिंग प्रक्रिया तेज़ और अधिक विस्तृत हो सकती है।
  • यह क्या नहीं है: एक ऐसी प्रणाली जो शिक्षकों को बदलने या अपने आप अंतिम प्रमाण पत्र जारी करने के लिए तैयार है। शोध पत्र स्पष्ट रूप से चेतावनी देता है कि यदि हम AI को अकेले ग्रेड करने देते हैं, तो यह गलतियाँ (Hallucinations) कर सकता है या पक्षपाती हो सकता है क्योंकि हमें हमेशा यह नहीं पता होता कि इसने अपने निष्कर्ष तक कैसे पहुँचा (ब्लैक बॉक्स समस्या)।

संक्षेप में: शोधकर्ताओं ने पुराने ढर्रे की ग्रेडिंग और भविष्य के बीच एक पुल बनाया है। उन्होंने पाया कि हालांकि AI अभी जहाज का कप्तान नहीं है, फिर भी यह एक शानदार नाविक बन सकता है, बशर्ते कि इंसान अभी भी पहिया थामे रखे।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →