Quality-Conditioned Agreement in Automated Short Answer Scoring: Mid-Range Degradation and the Impact of Task-Specific Adaptation
यह अध्ययन प्रकट करता है कि जहाँ स्वचालित लघु उत्तर स्कोरिंग मॉडल स्पष्ट रूप से सही या गलत प्रतिक्रियाओं पर अच्छा प्रदर्शन करते हैं, वहीं वे मध्यम-श्रेणी के, आंशिक रूप से सही उत्तरों पर मानव विशेषज्ञों के साथ सहमति में महत्वपूर्ण गिरावट प्रदर्शित करते हैं, जो एक ऐसी सीमा है जो फ्यू-शॉट लार्ज लैंग्वेज मॉडल्स में सबसे गंभीर है और कार्य-विशिष्ट अनुकूलन बढ़ने के साथ सुधरती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपनी जीव विज्ञान (biology) की कक्षा के लघु निबंधों (short essays) का एक ढेर ग्रेड कर रहे हैं। आपके पास एक बहुत ही विशिष्ट चेकलिस्ट (एक रूब्रिक) है यह देखने के लिए कि क्या छात्रों को समझ है कि धूम्रपान या एनीमिया व्यायाम को कैसे प्रभावित करते हैं। कुछ निबंध एकदम सही हैं; कुछ पूरी तरह से गलत हैं; लेकिन कई "बीच के स्तर" के हैं—वे कुछ अंक सही पाते हैं लेकिन कुछ अन्य चीजें छोड़ देते हैं।
यह शोध पत्र कंप्यूटर को यह ग्रेडिंग करने का काम सिखाने के बारे में है, और इसने यह पता लगाया कि वर्तमान AI उन "बीच के" निबंधों को संभालने के तरीके में एक आश्चर्यजनक खामी रखता है।
पात्रों का परिचय
शोधकर्ताओं ने विभिन्न "ग्रेडर्स" के बीच एक प्रतियोगिता आयोजित की:
- मानव विशेषज्ञ: वास्तविक जीव विज्ञान शिक्षक जो विषय को अंदर और बाहर से जानते हैं।
- "विशेषज्ञ" (Specialized) AI: एक कंप्यूटर मॉडल जिसे विशेष रूप से सैकड़ों पिछले छात्र निबंधों पर प्रशिक्षित किया गया था (जैसे कि एक छात्र जिसने इस विशिष्ट परीक्षा के लिए कड़ी मेहनत की हो)।
- "सामान्यज्ञ" (Generalist) AI (LLMs): सुपर-स्मार्ट भाषा मॉडल (जैसे GPT-4, GPT-5, और Claude) जो दुनिया के बारे में बहुत कुछ जानते हैं लेकिन उन्होंने इस विशिष्ट परीक्षा का अध्ययन नहीं किया है। उन्हें ग्रेड करने के कुछ उदाहरण (जिसे "फ्यू-शॉट" प्रॉम्प्टिंग कहा जाता है) दिए गए थे और बाकी काम करने के लिए कहा गया था।
बड़ी खोज: "मिडल-रेंज" समस्या
शोधकर्ताओं ने पाया कि सभी ग्रेडर्स परफेक्ट निबंधों और बेकार निबंधों को पहचानने में उत्कृष्ट थे।
- चरम सीमाएँ (The Extremes): यदि कोई निबंध एक उत्कृष्ट कृति थी या एक पूर्ण आपदा थी, तो AI और मानव लगभग पूरी तरह से सहमत थे। अंतर देखना आसान था।
- मध्य (The Middle): यहीं पर चीजें उलझ गईं। जब एक निबंध "ठीक-ठाक" था लेकिन उसमें कुछ गलतियाँ और कुछ सही हिस्से थे, तो AI संघर्ष करने लगा।
इसे "मिडल-रेंज डिग्रेडेशन" (Mid-Range Degradation) कहा जाता है।
इसे ऐसे समझें:
कल्पना कीजिए कि एक रंग स्पेक्ट्रम है।
- शुद्ध सफेद (परफेक्ट उत्तर): AI इसे तुरंत देख लेता है।
- शुद्ध काला (गलत उत्तर): AI इसे तुरंत देख लेता है।
- धूसर रंग के शेड्स (आंशिक उत्तर): AI भ्रमित हो जाता है। वह सोच सकता है कि एक "हल्का ग्रे" निबंध "सफेद" है, या एक "गहरा ग्रे" निबंध "काला" है।
हालाँकि, मानव विशेषज्ञ भ्रमित नहीं हुए। उन्होंने "ग्रे" निबंधों को भी उतना ही सटीक रूप से ग्रेड किया जितना कि "सफेद" और "काले" निबंधों को।
"प्रशिक्षण" मायने रखता है
अध्ययन ने दिखाया कि AI को इस विशिष्ट कार्य पर जितना अधिक "प्रशिक्षित" किया गया, वह मध्य क्षेत्रों को संभालने में उतना ही बेहतर होता गया।
- "विशेषज्ञ" AI (सैकड़ों उदाहरणों पर प्रशिक्षित) मध्य निबंधों पर सबसे अच्छा प्रदर्शन करता है, जो लगभग मानव के बराबर है।
- "सामान्यज्ञ" AI (केवल कुछ उदाहरण दिए गए) मध्य निबंधों पर सबसे खराब प्रदर्शन करता है। AI को जितने कम उदाहरण दिए गए, वह कठिन और आंशिक उत्तरों पर उतना ही अधिक लड़खड़ाया।
यह क्यों मायने रखता है?
लेखक तर्क देते हैं कि यह एक निष्पक्षता का मुद्दा है।
जो छात्र "बीच के स्तर" पर होते हैं, वे आमतौर पर वे होते हैं जो सीख रहे होते हैं और अपनी समझ विकसित कर रहे होते हैं। उन्हें सुधार के लिए सबसे सटीक फीडबैक की सबसे अधिक आवश्यकता होती है।
- यदि AI एक "मध्यम" निबंध को गलत ग्रेड करता है, तो यह संघर्ष कर रहे छात्र को यह बता सकता है कि वह एकदम सही है (गलत आत्मविश्वास देना) या एक अच्छे छात्र को यह बता सकता है कि वह असफल हो रहा है (निराश करना)।
- AI मूल रूप से सीखने की प्रक्रिया की बारीकियों के प्रति "अंधा" है, जबकि एक मानव शिक्षक इसे स्पष्ट रूप से देख सकता है।
प्रस्तावित समाधान
यह पत्र भविष्य के लिए एक "हाइब्रिड" दृष्टिकोण का सुझाव देता है:
- AI को स्पष्ट उत्तरों (परफेक्ट वाले और पूरी तरह से गलत वाले) को ग्रेड करने दें क्योंकि वह वहां तेज़ और सटीक है।
- "मध्यम" उत्तरों को मानव शिक्षक के पास भेजें।
- जैसे-जैसे अधिक डेटा एकत्र किया जाता है, AI को अधिक विशिष्ट रूप से प्रशिक्षित करें ताकि वह अंततः अपने आप "मध्यम" उत्तरों को संभाल सके।
संक्षेप में
शोध पत्र निष्कर्ष निकालता है कि हालांकि AI छात्र के प्रदर्शन के "बुकएंड्स" (पूर्ण सफलता या पूर्ण विफलता) को पहचानने में महान है, लेकिन वर्तमान में यह उन छात्रों की जटिल वास्तविकता को संभालने में संघर्ष करता है जो "बीच में" हैं। निष्पक्ष और सटीक होने के लिए, हमें या तो AI को अधिक विशिष्ट प्रशिक्षण देना होगा या उन कठिन, आंशिक उत्तरों के लिए मानव को प्रक्रिया में शामिल रखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।