Perceive AI: A Dual-Head Parametric Prototype Architecture with Adversarial Consistency Guardrails for Automated Short Answer Assessment
यह शोध पत्र Perceive AI को प्रस्तुत करता है, जो एक नवीन एंड-टू-एंड फ्रेमवर्क है जो स्वचालित लघु उत्तर ग्रेडिंग के लिए एक डुअल-हेड पैरामीट्रिक प्रोटोटाइप आर्किटेक्चर और एडवर्सरियल कंसिस्टेंसी गार्डरेल्स का लाभ उठाता है ताकि प्रभावी रूप से अप्रासंगिक सबमिशन को फ़िल्टर करते हुए सुदृढ़, प्रॉम्प्ट-अवेयर स्कोरिंग प्राप्त की जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक शिक्षा के परिदृश्य में, लघु उत्तर वाले प्रश्न वास्तविक समझ को मापने के लिए एक स्वर्ण मानक बने हुए हैं। बहुविकल्पीय परीक्षाओं के विपरीत, जिन्हें अक्सर अनुमान लगाने या पैटर्न पहचानने के माध्यम से हल किया जा सकता है, एक लघु उत्तर के लिए छात्र को विचारों को संश्लेषित करने, एक तर्क गढ़ने और अपने शब्दों में एक विचार को व्यक्त करने की आवश्यकता होती है। दशकों से, इस प्रक्रिया में सबसे बड़ी बाधा मानवीय श्रम रही है। हजारों इन खुले-अंत वाले उत्तरों को ग्रेड करना धीमा, महंगा और विसंगतियों से भरा होता है; दो अलग-अलग शिक्षक अपनी स्वयं की व्यक्तिपरक व्याख्याओं के आधार पर एक ही निबंध को अलग-अलग अंक दे सकते हैं। इसे हल करने के लिए, शोधकर्ताओं ने आर्टिफिशियल इंटेलिजेंस की ओर रुख किया है, विशेष रूप से उन प्रणालियों की ओर जो स्वचालित रूप से टेक्स्ट को पढ़ने और ग्रेड देने के लिए डिज़ाइन की गई हैं। हालांकि, इस तकनीक के शुरुआती प्रयासों में अक्सर एक गंभीर खामी देखी गई: वे बहुत आसानी से धोखा खा जाते थे। एक कंप्यूटर प्रोग्राम एक सुंदर लिखे गए पैराग्राफ को उच्च ग्रेड दे सकता था जो पूछे गए प्रश्न से पूरी तरह से अप्रासंगिक था, केवल इसलिए क्योंकि शब्द जटिल थे और वाक्य संरचना उत्तम थी। इसे 'सिमेंटिक ड्रिफ्ट' (semantic drift) कहा जाता है, जहाँ सिस्टम लेखन की विषय-वस्तु के बजाय उसकी शैली पर ध्यान केंद्रित करता है।
इसलिए, चुनौती एक ऐसा स्वचालित ग्रेडर बनाने की है जो न केवल शब्दों को पढ़े, बल्कि प्रश्न और उत्तर के बीच के विशिष्ट संबंध को भी समझे। यूनिवर्सिटी ऑफ सरगोधा के शोधकर्ताओं द्वारा विकसित 'परसीव एआई' (Perceleive AI) नामक एक नया ढांचा इसे हल करने का प्रयास करता है, जो एक साधारण टेक्स्ट मैचर के बजाय एक सतर्क शिक्षक की तरह कार्य करने वाली प्रणाली बनाता है। शोधकर्ताओं ने महसूस किया कि मानक ग्रेडिंग मॉडल अक्सर विफल हो जाते हैं क्योंकि वे प्रत्येक प्रश्न के साथ ऐसा व्यवहार करते हैं जैसे कि वे सभी समान हों, या वे बाहरी डेटाबेस पर निर्भर होते हैं जो व्यावहारिक होने के लिए बहुत धीमे होते हैं। इसके बजाय, उन्होंने एक एकीकृत प्रणाली डिजाइन की जो पाठ्यक्रम के प्रत्येक एकल प्रश्न के अद्वितीय "आकार" को सीखती है और साथ ही यह भी जाँचती है कि छात्र का उत्तर वास्तव में वहां के अनुकूल है या नहीं। उनके कार्य का मूल एक दोहरी-स्तरीय पद्धति है: प्रणाली का एक भाग यह मूल्यांकन करता है कि उत्तर ग्रेडिंग मानदंडों में कितनी अच्छी तरह फिट बैठता है, जबकि दूसरा, स्वतंत्र भाग एक सख्त द्वारपाल (gatekeeper) के रूप में कार्य करता है, जो ग्रेड देने से पहले यह सत्यापित करता है कि उत्तर प्रॉम्प्ट के लिए प्रासंगिक भी है या नहीं।
शोधकर्ताओं ने इस प्रणाली का परीक्षण लगभग 33,000 छात्र प्रतिक्रियाओं वाले एक विशाल डेटासेट पर किया, जिसमें 644 विभिन्न प्रश्न शामिल थे, जो विषयों और कठिनाई स्तरों की एक विस्तृत श्रृंखला को कवर करते हैं। परिणाम दर्शाते हैं कि यह नया आर्किटेक्चर पिछले तरीकों की तुलना में काफी बेहतर प्रदर्शन करता है, विशेष रूप से सिस्टम को "गेम" करने या उसे चकमा देने की कोशिश करने वाले छात्रों को पकड़ने की इसकी क्षमता में। पारंपरिक मॉडलों में, यदि कोई छात्र लेक्चर ट्रांसक्रिप्ट या किसी पूरी तरह से अलग विषय पर पैराग्राफ सबमिट करता था, तो एआई अभी भी उच्च ग्रेड दे सकता था क्योंकि टेक्स्ट परिष्कृत दिखता था। हालांकि, 'परसीव एआई' ने इन अप्रासंगिक सबमिशनों को सफलतापूर्वक पहचाना और 99.10% सटीकता दर के साथ उन्हें खारिज करते हुए, इच्छानुसार फेलिंग ग्रेड दिया। यह एक ऐसी प्रक्रिया के माध्यम से प्राप्त किया गया है जो प्रशिक्षण के दौरान गतिशील रूप से "नकारात्मक" उदाहरण उत्पन्न करती है, जो अनिवार्य रूप से मॉडल को यह सिखाती है कि गलत उत्तर कैसा दिखता है, जिसे एक ही बैच के डेटा के भीतर प्रश्नों और उत्तरों को आपस में मिलाकर सीखा जाता है। यह प्रणाली को सही प्रश्न के अच्छे उत्तर और गलत प्रश्न के अच्छे उत्तर के बीच अंतर सीखने के लिए मजबूर करता है।
धोखा देने वालों को पकड़ने के अलावा, यह प्रणाली वैध छात्रों के लिए ग्रेडिंग की निष्पक्षता और निरंतरता में सुधार करती है। प्रश्न और ग्रेड स्तर दोनों को एक साझा गणितीय स्थान (shared mathematical space) में मैप करने की विधि का उपयोग करके, मॉडल यह समझ सकता है कि एक कठिन भौतिकी प्रश्न के लिए "बी" ग्रेड, एक सरल इतिहास प्रश्न के लिए "बी" ग्रेड से अलग दिखना चाहिए। यह बिना किसी अलग, विशाल डेटाबेस को स्टोर किए किया जाता है, जो सिस्टम को तेज़ और कुशल बनाए रखता है। शोधकर्ताओं ने पाया कि उनका मॉडल मिलीसेकंड में उत्तरों को प्रोसेस कर सकता है, जिससे यह बड़े ऑनलाइन क्लासरूम में वास्तविक समय के उपयोग के लिए व्यवहार्य हो जाता है। सिस्टम 'लेबल स्मूथिंग' नामक एक तकनीक को भी शामिल करता है, जो इस बात को स्वीकार करता है कि "ए" और "बी" के बीच की रेखा अक्सर धुंधली और व्यक्तिपरक होती है, जिससे एआई को अपने निर्णयों में अत्यधिक आत्मविश्वासी होने से रोका जा सके।
यह अध्ययन प्रदर्शित करता है कि स्वचालित ग्रेडिंग सरल कीवर्ड मिलान से आगे बढ़कर समझ के एक अधिक मजबूत रूप तक पहुँच सकती है। मुख्य निष्कर्ष यह है कि एक समर्पित निरंतरता जांच (consistency check) के साथ एक मानक ग्रेडिंग इंजन को जोड़कर, सिस्टम प्रतिकूल इनपुट या जटिल, असंतुलित डेटासेट का सामना करने पर भी उच्च सटीकता बनाए रख सकता है। शोधकर्ताओं ने देखा कि मॉडल ने केवल ग्रेड की भविष्यवाणी करना नहीं सीखा; इसने प्रश्न के संदर्भ का सम्मान करना सीखा। जब निरंतरता द्वार (consistency gate) ने निर्धारित किया कि एक उत्तर अप्रासंगिक है, तो उसने ग्रेडिंग इंजन को ओवरराइड कर दिया ताकि फेलिंग स्कोर सुनिश्चित किया जा सके, जो प्रभावी रूप से एक सुरक्षा जाल के रूप में कार्य करता है। यह दृष्टिकोण सुझाव देता है कि शैक्षिक मूल्यांकन का भविष्य पूरी तरह से मानवीय निर्णय को बदलने में नहीं, बल्कि ऐसे उपकरण बनाने में है जो प्रारंभिक स्क्रीनिंग का भारी काम संभाल सकें और किनारे के मामलों (edge cases) को मानवीय समीक्षा के लिए चिह्नित कर सकें। यह कार्य व्यक्तिगत शिक्षा को व्यापक स्तर पर ले जाने के लिए एक विश्वसनीय आधार प्रदान करता है, यह सुनिश्चित करता है कि छात्रों को मिलने वाला फीडबैक वास्तव में उनके द्वारा लिखे गए कंटेंट पर आधारित हो, न कि केवल इस पर कि उन्होंने कितनी अच्छी तरह लिखा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।