Confidence Estimation in Automatic Short Answer Grading with LLMs
यह शोधपत्र एक हाइब्रिड कॉन्फिडेंस फ्रेमवर्क का प्रस्ताव करता है जो स्वचालित लघु उत्तर ग्रेडिंग के लिए मॉडल-आधारित संकेतों को डेटासेट-व्युत्पन्न एलेटोरिक अनिश्चितता (aleatoric uncertainty) के साथ जोड़ता है ताकि अधिक विश्वसनीय कॉन्फिडेंस अनुमान प्राप्त किए जा सकें और एकल-स्रोत दृष्टिकोणों की तुलना में चयनात्मक ग्रेडिंग प्रदर्शन में सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक कक्षा है जहाँ एक रोबोट शिक्षक छात्रों द्वारा लिखे गए लघु उत्तरों को ग्रेड देने की कोशिश कर रहा है। वह रोबोट बहुत बुद्धिमान है (यह एक लार्ज लैंग्वेज मॉडल या LLM है), लेकिन वह पूर्ण नहीं है। कभी-कभी वह भ्रमित हो जाता है, और कभी-कभी छात्र का उत्तर ही अस्पष्ट या समझने में कठिन होता है।
बड़ी समस्या यह है: रोबोट को कैसे पता चलता है कि वह अनिश्चित है? यदि रोबोट कहता है, "मैं 90% निश्चित हूँ कि यह उत्तर सही है," लेकिन वास्तव में वह गलत है, तो यह खतरनाक है। लक्ष्य यह सिखाना है कि रोबोट कैसे कहे, "मैं इस बारे में निश्चित नहीं हूँ, एक इंसान को इसे देखना चाहिए।"
शोधकर्ताओं ने इसे कैसे हल किया, इसका सरल विवरण यहाँ दिया गया है:
1. रोबोट के आत्मविश्वास को मापने के तीन तरीके
शोधकर्ताओं ने यह परीक्षण करने के लिए तीन अलग-अलग तरीकों का उपयोग किया कि रोबोट अपने आत्मविश्वास को कैसे बताता है:
- "ईमानदारी" विधि (Verbalizing): उन्होंने सीधे रोबary से पूछा, "0 से 1 के पैमाने पर, आप कितने आश्वस्त हैं?" रोबोट ने बस एक संख्या बना दी।
- समस्या: रोबोट उस छात्र की तरह है जो गलत होने पर भी आत्मविश्वासी रहता है। वह अपनी क्षमताओं को बढ़ा-चढ़ाकर बताने की प्रवृत्ति रखता है।
- "आंतरिक गणित" विधि (Latent): उन्होंने रोबोट के आंतरिक गणित को देखा। जब रोबोट कोई उत्तर चुनता है, तो वह हर उस संभावित शब्द की संभावना (probability) की गणना करता है जो वह अगला बोल सकता है। उन्होंने इन नंबरों का उपयोग आत्मविश्वास का अनुमान लगाने के लिए किया।
- समस्या: यह वास्तव में सबसे खराब तरीका था। रोबोट का आंतरिक गणित वास्तविकता से बिल्कुल मेल नहीं खाता था।
- "दोबारा जाँच" विधि (Consistency): उन्होंने एक ही प्रश्न को थोड़ी अलग सेटिंग्स के साथ पाँच बार पूछा। यदि रोबोट ने हर बार एक ही उत्तर दिया, तो उन्होंने माना कि वह आश्वस्त है। यदि उसने अपना मन बदला, तो उन्होंने माना कि वह अनिश्चित है।
- परिणाम: यह ठीक था, लेकिन पूर्ण नहीं।
2. गायब कड़ी: "भ्रमित करने वाला प्रश्न" कारक
शोधकर्ताओं को एहसास हुआ कि केवल रोबोट का आत्मविश्वास ही एकमात्र चीज़ नहीं थी जो मायने रखती थी। कभी-कभी, प्रश्न स्वयं या छात्र का उत्तर स्वाभाविक रूप से भ्रमित करने वाला होता है, चाहे रोबोट कितना भी बुद्धिमान क्यों न हो।
- उपमा: कल्पना कीजिए कि एक छात्र लिखता है, "आकाश नीला है क्योंकि समुद्र है।" यह एक अजीब, संदिग्ध वाक्य है। यहाँ तक कि एक मानव शिक्षक भी इस बात पर बहस कर सकता है कि अंक दिए जाएँ या नहीं। इसे एलेटोरिक अनिश्चितता (Aleatoric Uncertainty) कहा जाता है (डेटा से आने वाली अनिश्चितता)।
- समाधान: शोधकर्ताओं ने यह मापने के लिए एक प्रणाली बनाई कि छात्र के उत्तर कितने "अव्यवस्थित" थे। उन्होंने समान दिखने वाले उत्तरों को एक साथ समूहबद्ध किया। यदि एक समूह के समान उत्तरों में मनुष्यों द्वारा दिए गए "सही" और "गलत" ग्रेड का मिश्रण था, तो उस समूह को "अत्यधिक भ्रमित करने वाला" लेबल किया गया।
3. "हाइब्रिड" सुपर-कॉन्फिडेंस
शोधकर्ताओं ने रोबोट के अपने आत्मविश्वास संकेतों को इस नए "भ्रमित करने वाले प्रश्न" के माप के साथ जोड़ा।
- रूपक: सोचिए कि रोबोट एक मौसम विज्ञानी है।
- रोबोट का आंतरिक आत्मविश्वास मौसम विज्ञानी के कहने जैसा है, "मेरा कंप्यूटर मॉडल कहता है कि बारिश होगी।"
- डेटासेट की अनिश्चितता बाहर खिड़की से देखने जैसी है और कहना, "लेकिन आकाश वास्तव में साफ और धूप वाला है।"
- यदि आप केवल कंप्यूटर मॉडल को सुनते हैं, तो आप बिना ज़रूरत के छाता लेकर निकल सकते हैं। लेकिन यदि आप मॉडल को वास्तविक आकाश की स्थितियों के साथ मिलाते हैं, तो आपको बेहतर पूर्वानुमान मिलता है।
अपने रोबोट के "मुझे लगता है कि मैं जानता हूँ" को "यह प्रश्न वास्तव में कठिन है" वाले डेटा के साथ मिलाकर, उन्होंने एक हाइब्रिड कॉन्फिडेंस स्कोर बनाया।
4. क्या हुआ? (परिणाम)
शोधकर्ताओं ने अपने इस नए हाइब्रिड स्कोर का पुराने तरीकों के विरुद्ध परीक्षण किया:
- बेहतर छँटाई: जब उन्होंने हाइब्रिड स्कोर का उपयोग करके "संदिग्ध" उत्तरों को फ़िल्टर किया और उन्हें मनुष्यों के पास भेजा, तो रोबोट शेष उत्तरों को बहुत अधिक बार सही बताता था। यह एक क्लब के बाउंसर की तरह था जो नकली आईडी को पहचानने में बहुत बेहतर है।
- अधिक ईमानदार: पुराने तरीके अक्सर झूठ बोलते थे (वे कहते थे कि वे 90% निश्चित हैं जबकि वे केवल 60% निश्चित थे)। हाइब्रिड स्कोर बहुत अधिक ईमानदार था। यदि इसने 80% कहा, तो यह वास्तव में 80% बार सही था।
5. यह क्यों महत्वपूर्ण है
शोध पत्र निष्कर्ष निकालता है कि यह जानने के लिए कि क्या रोबोट सही है, आप केवल उसके आंतरिक अहसासों पर भरोसा नहीं कर सकते। आपको यह भी देखना होगा कि छात्र के उत्तर कितने अव्यवस्थित या संदिग्ध हैं।
इस हाइब्रिड कॉन्फिडेंस का उपयोग करके, स्कूल सुरक्षित रूप से अधिकांश उत्तरों को स्वचालित रूप से ग्रेड करने के लिए AI का उपयोग कर सकते हैं, जबकि वास्तव में भ्रमित करने वाले या जोखिम भरे उत्तरों को मानव शिक्षकों के पास भेज सकते हैं। इससे शिक्षकों का समय बचता है और छात्रों को निष्पक्ष ग्रेड मिलते हैं, क्योंकि AI को ठीक से पता होता है कि उसे कब कहना है, "मुझे इसमें मदद की ज़रूरत है।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।