Interpretability from the Ground Up: Stakeholder-Centric Design of Automated Scoring in Educational Assessments
यह शोध पत्र चार मुख्य सिद्धांतों (निष्ठा, आधारभूतता, पता लगाने की क्षमता और विनिमेयता) को परिभाषित करके व्याख्यात्मक स्वचालित स्कोरिंग के लिए एक हितधारक-केंद्रित दृष्टिकोण प्रस्तावित करता है और एनालिटिकस्कोर (AnalyticScore) ढांचे के माध्यम से यह प्रदर्शित करता है कि ऐसे व्याख्यात्मक सिस्टम अत्याधुनिक ब्लैक-बॉक्स मॉडल के समान सटीकता प्राप्त कर सकते हैं और मानव एनोटेशन व्यवहारों के साथ निकटता से संरेखित हो सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो सैकड़ों निबंधों को ग्रेड दे रहे हैं। आप हर एक को विस्तार से नहीं पढ़ सकते, इसलिए आप मदद के लिए एक रोबोट को काम पर रखते हैं। लेकिन यहाँ एक समस्या है: रोबोट आपको एक ग्रेड देता है, लेकिन वह यह नहीं बताता कि क्यों। वह बस कहता है, "इस निबंध को B मिलता है।"
यदि कोई छात्र पूछता है, "मुझे B क्यों मिला?" या कोई अभिभावक पूछता है, "क्या यह निष्पक्ष है?", तो रोबोट के पास कोई उत्तर नहीं होता। यह एक "ब्लैक बॉक्स" (black box) है। इससे विश्वास का संकट पैदा होता है।
यह शोध पत्र ऐसे ग्रेडिंग रोबोट बनाने का एक नया तरीका पेश करता है जो पारदर्शी, निष्पक्ष और व्याख्यात्मक (explainable) हैं। लेखक उनके समाधान को ANALYTICSCORE कहते हैं।
यहाँ उनके विचार का सरल विवरण दिया गया है, जिसमें कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है।
1. समस्या: "जादुई डिब्बा" बनाम "कांच का घर"
वर्तमान में, अधिकांश AI ग्रेडर जादुई डिब्बों (Magic Boxes) की तरह हैं। आप एक निबंध डालते हैं, और एक ग्रेड बाहर आता है। आपको जादू पर भरोसा करना पड़ता है, लेकिन आप देख नहीं सकते कि अंदर गियर कैसे घूम रहे हैं। यदि रोबोट गलती करता है (जैसे किसी विशेष लेखन शैली के प्रति पक्षपाती होना), तो किसी को नहीं पता कि इसे कैसे ठीक किया जाए।
लेखक तर्क देते हैं कि हमें इसके बजाय कांच के घर (Glass Houses) बनाने की आवश्यकता है। आपको अंदर जाने में सक्षम होना चाहिए, यह देखने के लिए कि रोबोट वास्तव में कैसे सोच रहा है, और यदि यह गलत हो जाए तो इसमें सुधार करने के लिए कदम भी उठाना चाहिए।
2. समाधान: एक अच्छे रोबोट के लिए चार नियम (FGTI)
एक "कांच के घर" वाले ग्रेडर को बनाने के लिए, लेखकों ने चार नियम बनाए, जिन्हें वे FGTI कहते हैं। इन्हें एक भरोसेमंद रोबोट के लिए बिल्डिंग कोड के रूप में समझें:
- वफादार (Faithful - सत्यवादी): रोबोट का स्पष्टीकरण वही होना चाहिए जो उसने वास्तव में किया है।
- उपमा: कल्पना कीजिए कि एक शेफ कहता है, "मैंने नमक डाला क्योंकि मैं इसे नमकीन चाहता था।" यदि रोबोट ने नमक इसलिए डाला क्योंकि वह भ्रमित था, तो वह झूठ है। स्पष्टीकरण वास्तविक कारण होना चाहिए, न कि बाद में बनाई गई कोई कहानी।
- आधारित (Grounded - साक्ष्य संग्रहकर्ता): रोबोट को छात्र के काम के विशिष्ट, दृश्य भागों पर आधारित होना चाहिए जिसे एक इंसान की ओर इशारा करके दिखाया जा सके।
- उपमा: यह कहने के बजाय कि, "यह एक B जैसा महसूस होता है," रोबोट को कहना चाहिए, "आपने 'प्रकाश संश्लेषण' (photosynthesis) का सही उल्लेख किया, लेकिन आप 'क्लोरोफिल' (chlorophyll) वाले हिस्से को छोड़ गए।" यह निबंध के वास्तविक वाक्यों की ओर इशारा करता है।
- ट्रेस करने योग्य (Traceable - चरण-दर-चरण मार्गदर्शिका): रोबोट का तर्क चरणों की एक स्पष्ट श्रृंखला होनी चाहिए, जैसे कि एक रेसिपी।
- उपमा: यदि आप एक रेसिपी का पालन करते हैं और केक जल जाता है, तो आप चरणों को देख सकते हैं: "ओह, मैंने इसे 30 मिनट के बजाय 60 मिनट तक पकाया।" आप देख सकते हैं कि प्रक्रिया कहाँ गलत हुई।
- परिवर्तनीय (Interchangeable - मानव प्रतिस्थापन): यदि आवश्यक हो, तो एक इंसान को रोबोट की प्रक्रिया के किसी भी चरण को संभालने में सक्षम होना चाहिए।
- उपमा: यदि रोबोट का "सॉस मिक्सर" टूट जाता है, तो एक मानव शेफ हाथ से सॉस मिलाने के लिए आगे आ सकता है। अंतिम व्यंजन (ग्रेड) अभी भी उसी तरह बनाया जाता है, बस उस विशिष्ट भाग पर एक मानव हाथ होता है।
3. यह कैसे काम करता है: तीन-चरणीय फैक्ट्री
लेखकों ने एक सिस्टम बनाया है जिसे ANALYTICSCORE कहा जाता है, जो निबंधों को ग्रेड देने के लिए तीन-चरणों वाली फैक्ट्री की तरह कार्य करता है:
- चरण 1: जासूस (सुराग निकालना)
रोबोट निबंध और प्रश्न को पढ़ता है, फिर विशिष्ट "सुरागों" या "विश्लेषणात्मक घटकों" को निकालता है।- उदाहरण: यदि प्रश्न पांडा के बारे में है, तो रोबोट इन सुरागों की तलाश करेगा: "क्या उन्होंने उल्लेख किया कि पांडा बांस खाते हैं?" या "क्या उन्होंने उल्लेख किया कि पांडा चीन में रहते हैं?" यह इन सुरागों को स्पष्ट रूप से सूचीबद्ध करता है।
- चरण 2: स्कोरकार्ड (विशेषताओं का निर्धारण)
रोबोट उन सुरागों के विरुद्ध निबंध की जाँच करता है। वह अनुमान नहीं लगाता; वह बॉक्स चेक करता है।- उदाहरण: "सुराग 1: बांस का उल्लेख किया गया? हाँ। सुराग 2: चीन का उल्लेख किया गया? नहीं।" यह निबंध को सरल, मानव-पठनीय तथ्यों की एक चेकलिस्ट में बदल देता है।
- चरण 3: न्यायाधीश (स्कोरिंग)
रोबोट उस चेकलिस्ट को लेता है और एक अंतिम स्कोर देने के लिए एक सरल गणितीय सूत्र (जैसे कि भारित औसत/weighted average) लागू करता है। क्योंकि चेकलिस्ट सरल है, एक इंसान इसे देखकर कह सकता है, "रुको, यदि उन्होंने चीन का उल्लेख नहीं किया, तो उन्हें पूरे अंक नहीं मिलने चाहिए," और गणित इस बात को सिद्ध करता है।
4. क्या यह काम कर गया?
लेखकों ने एक बड़े डेटासेट (ASAP-SAS) से वास्तविक छात्र निबंधों पर इस प्रणाली का परीक्षण किया।
- सटीकता (Accuracy): रोबोट सही ग्रेड देने में सबसे अच्छे "ब्लैक बॉक्स" रोबोटों (जादुई डिब्बों) के लगभग बराबर था। यह केवल थोड़ा सा (10 में से 0.06 अंक) पीछे था, जो कि एक बहुत छोटा अंतर है।
- विश्वास (Trust): जब उन्होंने मनुष्यों को वही "चेकलिस्ट" कार्य करने के लिए कहा जो रोबोट ने किया था, तो मनुष्य और रोबोट एक-दूसरे के साथ बहुत अच्छी तरह से सहमत थे। यह साबित करता है कि रोबोट केवल अनुमान नहीं लगा रहा है; यह उन्हीं चीजों को देख रहा है जिन्हें इंसान देखते हैं।
5. यह क्यों महत्वपूर्ण है
यह शोध पत्र एक बड़ा बदलाव लाता है क्योंकि यह ध्यान "रोबोट कितना स्मार्ट है?" से हटाकर "हम रोबोट पर भरोसा कैसे कर सकते हैं?" पर केंद्रित करता है।
- छात्रों के लिए: उन्हें ऐसा फीडबैक मिलता है जिसे वे वास्तव में समझ सकते हैं ("आप इस विशिष्ट बिंदु को भूल गए")।
- शिक्षकों के लिए: वे ग्रेड पर भरोसा कर सकते हैं क्योंकि वे तर्क को देख सकते हैं।
- समाज के लिए: यह रोबोट के "रेसिपी" की जांच करके पक्षपात को रोकता है ताकि यह सुनिश्चित किया जा सके कि वह छात्रों के साथ अनुचित व्यवहार नहीं कर रहा है।
संक्षेप में: लेखकों ने एक ऐसा ग्रेडिंग रोबोट बनाया है जो न केवल उत्तर देता है, बल्कि अपना होमवर्क भी दिखाता है। यह साबित करता है कि हम उच्च-तकनीकी, तेज़ ग्रेडिंग रख सकते हैं जो निष्पक्ष, पारदर्शी और मानव-अनुकूल भी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।