AI-based scoring systematically underestimates conceptual understanding of linguistically weak students' explanations in physics
यह अध्ययन प्रकट करता है कि एआई-आधारित स्कोरिंग सिस्टम भाषाई रूप से कमजोर भौतिकी के छात्रों की वैचारिक समझ को व्यवस्थित रूप से कम आंकते हैं, एक ऐसा भाषाई पूर्वाग्रह जो मानव विशेषज्ञों की प्रवृत्तियों को दर्शाता है और उच्च-दांव वाले मूल्यांकनों में बहुभाषी शिक्षार्थियों के लिए महत्वपूर्ण जोखिम पैदा करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: "क्या यह छात्र वास्तव में समझता है कि ब्रह्मांड कैसे काम करता है?" आपके पास एकमात्र सुराग एक हस्तलिखित नोट है। यह भौतिक विज्ञान (फिजिक्स) के शिक्षकों की दैनिक वास्तविकता है। वे छात्र के मस्तिष्क के भीतर झाँककर यह नहीं देख सकते कि वहां क्या चल रहा है; वे केवल उन शब्दों के माध्यम से समझ का आकलन कर सकते हैं जो छात्र लिखते हैं। लेकिन यहाँ पेच यह है: लिखना अपने आप में एक अलग कौशल है। एक छात्र यह बहुत अच्छी तरह से समझ सकता है कि ध्वनि दीवार के माध्यम से कैसे यात्रा करती है, लेकिन वह इसे समझाने में विफल हो सकता है क्योंकि उसके वाक्य अटपटे हैं या उसकी शब्दावली सीमित है। इसके विपरीत, एक छात्र एक सुंदर और परिष्कृत निबंध लिख सकता है जो सुनने में बुद्धिमान लगता है, लेकिन वास्तव में वह निरर्थक बातों से भरा होता है। दशकों से, विशेषज्ञों ने जाना है कि मानव शिक्षक कभी-कभी इस बात में फंस जाते हैं, और अनजाने में उन छात्रों को कम अंक दे देते हैं जो केवल लिखने में अच्छे नहीं हैं, भले ही वे छात्र भौतिक विज्ञान को अच्छी तरह समझते हों।
अब, नए जासूसों का आगमन हुआ है: आर्टिफिशियल इंटेलिजेंस (AI)। स्कूल निबंधों को ग्रेड देने के लिए AI का उपयोग करने लगे हैं क्योंकि यह तेज़, सुसंगत है और थकता नहीं है। लेकिन कक्षा के ऊपर एक बड़ा सवाल मंडरा रहा है: क्या AI, "स्मार्ट विचारों" को "खराब लेखन" से अलग करने में एक मानव शिक्षक से बेहतर है? यदि AI भी एक थके हुए शिक्षक की तरह व्याकरण की कमी से आसानी से भ्रमित हो जाता है, तो हम एक ऐसा ग्रेडिंग सिस्टम बना रहे हैं जो उन छात्रों को अनुचित रूप से दंडित करता है जो अभी विज्ञान की भाषा सीख रहे हैं, उनकी चुप्पी या लड़खड़ाहट को बुद्धिमत्ता की कमी समझकर। यह वही पहेली है जिसे जर्मनी में शोधकर्ताओं की एक टीम ने सुलझाने का निर्णय लिया।
शोधकर्ताओं ने यह देखने के लिए एक बड़ा प्रयोग किया कि क्या AI एक ऐसे छात्र के बीच अंतर कर सकता है जो भौतिक विज्ञान नहीं समझता और एक ऐसे छात्र के बीच जो भौतिक विज्ञान समझता है लेकिन उसका लेखन खराब है। उन्होंने जर्मनी के नौवीं कक्षा के छात्रों के 116 निबंध एकत्र किए। छात्रों को एक अंतरिक्ष भ्रमण (स्पेसवॉक) के परिदृश्य की व्याख्या करने के लिए कहा गया था: अंतरिक्ष के निर्वात (वैक्यूम) में अंतरिक्ष यात्री एक-दूसरे को चिल्लाकर क्यों नहीं सुन सकते, लेकिन वे एक-दूसरे को तब क्यों सुन सकते हैं जब वे अपने हेलमेट को आपस में सटाते हैं?
सबसे पहले, मानव विशेषज्ञों ने इन निबंधों को दो बार ग्रेड किया। एक बार, उन्होंने "वैचारिक समझ" (क्या उन्होंने भौतिक विज्ञान को सही समझा?) के लिए स्कोर दिया। अलग से, उन्होंने "भाषाई गुणवत्ता" (जर्मन व्याकरण और शब्दावली कैसी थी?) के लिए स्कोर दिया। इसने एक आदर्श नियंत्रण समूह बनाया जहाँ "बुद्धिमत्ता" और "लेखन कौशल" को स्वतंत्र रूप से मापा गया था।
फिर, उन्होंने इन निबंधों को नौ अलग-अलग AI "मस्तिष्कों" में डाला। कुछ पारंपरिक मशीन लर्निंग मॉडल थे (पुराने ज़माने का AI जो ग्रेड किए गए हजारों पेपर पढ़कर सीखता है), और अन्य लार्ज लैंग्वेज मॉडल्स (LLMs) थे (चैटबॉट्स के पीछे वाले फैंसी नए AI जो तर्क कर सकते हैं और निर्देशों का पालन कर सकते हैं)। AI का काम सरल था: निबंध को देखना और "वैचारिक समझ" के स्कोर का अनुमान लगाना।
परिणाम थोड़े चौंकाने वाले थे। AI आमतौर पर अपने काम में अच्छा था, और वह 67% से 78% बार मानव विशेषज्ञों के साथ सहमत हुआ। हालाँकि, जब शोधकर्ताओं ने इसकी गलतियों को करीब से देखा, तो एक स्पष्ट पैटर्न उभर कर आया। AI में एक व्यवस्थित खामी थी। जब किसी छात्र ने कम भाषाई गुणवत्ता वाला स्पष्टीकरण लिखा (अटपटे वाक्य, सरल शब्द), तो AI उनके ज्ञान को कम आंकने की अधिक संभावना रखता था। दूसरे शब्दों में, AI ने एक ऐसे छात्र को देखा जिसके विचार महान थे लेकिन लेखन बिखरा हुआ था, और उसने सोचा, "इस छात्र को भौतिक विज्ञान नहीं पता," जिससे उसे मानव विशेषज्ञ की तुलना में कम स्कोर मिला।
दिलचस्प बात यह है कि इसके विपरीत उतनी बार नहीं हुआ। यदि किसी छात्र ने सुंदर लेखन किया लेकिन उसके भौतिक विज्ञान के विचार कमजोर थे, तो AI ने लगातार उसके स्कोर को बढ़ा-चढ़ाकर नहीं दिखाया। यह पूर्वाग्रह विशेष रूप से खराब लेखन के लिए एक दंड था। यह हर जगह हुआ, चाहे वह एक पारंपरिक मशीन लर्निंग मॉडल हो या एक अत्याधुनिक लार्ज लैंग्वेज मॉडल। इससे कोई फर्क नहीं पड़ता था कि आप कौन सा "मस्तिष्क" उपयोग कर रहे हैं; वे सभी बिखरे हुए शब्दों के पीछे के स्मार्ट विचारों को खोजने में संघर्ष करते हुए प्रतीत होते थे।
शोधकर्ताओं ने पाया कि लेखन की गुणवत्ता में प्रत्येक गिरावट के लिए, AI द्वारा छात्र के भौतिक विज्ञान के ज्ञान को कम आंकने की संभावना लगभग 1.3 से लगभग 4 गुना बढ़ गई। यह सुझाव देता है कि समस्या केवल एक विशिष्ट प्रकार के AI कोड की गड़बड़ी नहीं है। इसके बजाय, यह स्वयं कार्य की एक मौलिक कठिनाई प्रतीत होती है। क्योंकि हम छात्र के विचारों को केवल उनकी भाषा के माध्यम से देख सकते हैं, इसलिए यह बताना अविश्वसनीय रूप से कठिन है—एक सुपर-स्मार्ट कंप्यूटर के लिए भी—कि भाषा खराब है क्योंकि विचार खराब हैं, या भाषा इसलिए खराब है क्योंकि लेखक अभी खुद को व्यक्त करना सीख रहा है।
अध्ययन निष्कर्ष निकालता है कि जबकि AI एक शक्तिशाली उपकरण है, वर्तमान में इसमें वही "भाषा पूर्वाग्रह" (लैंग्वेज बायस) है जिससे मानव शिक्षक वर्षों से जूझ रहे हैं। यह शब्दावली की कमी को समझ की कमी समझने की प्रवृत्ति रखता है। यह एक गंभीर चिंता है, विशेष रूप से उन छात्रों के लिए जो एक ऐसी भाषा में भौतिक विज्ञान सीख रहे हैं जो उनकी पहली भाषा नहीं है। यदि स्कूल इन उच्च-दांव वाले निर्णयों (जैसे अंतिम परीक्षा के ग्रेड) के लिए इन AI प्रणालियों का उपयोग बिना इस पूर्वाग्रह को ठीक किए करना शुरू करते हैं, तो वे व्यवस्थित रूप से बहुभाषी शिक्षार्थियों को दंडित करने का जोखिम उठाते हैं, उनके शब्दों के संघर्ष को विज्ञान के संघर्ष के रूप में गलत पढ़ सकते हैं। शोध पत्र सुझाव देता है कि जब तक हम ऐसा AI नहीं बना सकते जो वास्तव में इन भाषाई अंतरों के प्रति मजबूत हो, हमें इसके उपयोग के बारे में बहुत सावधान रहने की आवश्यकता है, शायद इसे एक अंतिम निर्णायक के बजाय एक सहायक के रूप में उपयोग करना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।