When Can We Trust LLM Graders? Calibrating Confidence for Automated Assessment
यह शोध पत्र यह प्रदर्शित करता है कि विश्वसनीय स्वचालित ग्रेडिंग भविष्यवाणियों की पहचान करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को उनके आत्मविश्वास को स्वयं रिपोर्ट करने के लिए कहना, सेल्फ-कंसिस्टेंसी वोटिंग की तुलना में अधिक लागत प्रभावी और सुव्यवस्थित विधि है, जो प्रभावी चयनात्मक स्वचालन (selective automation) को सक्षम बनाता है जहाँ उच्च-आत्मविश्वास वाले आउटपुट को स्वचालित रूप से संसाधित किया जाता है जबकि अनिश्चित मामलों को मानव समीक्षा के लिए चिह्नित किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने छात्रों के निबंधों को ग्रेड देने के लिए एक बहुत ही बुद्धिमान, लेकिन कभी-कभी अति-आत्मविश्वासी रोबोट ट्यूटर को काम पर रखा है। यह रोबोट तेज़ और सस्ता है, लेकिन कभी-कभी यह गलतियाँ भी कर देता है। असली सवाल यह नहीं है कि "हम रोबोट को और स्मार्ट कैसे बनाएं?" बल्कि यह है कि, "हम वास्तव में रोबोट पर कब भरोसा कर सकते हैं, और कब हमें दोबारा जांच करने के लिए एक मानव शिक्षक को बुलाना चाहिए?"
यह शोध पत्र ठीक यही पता लगाने के लिए एक मार्गदर्शिका की तरह है। शोधकर्ताओं ने रोबोट से यह पूछने के तीन अलग-अलग तरीकों का परीक्षण किया कि, "तुम अपने ग्रेड को लेकर कितने आश्वस्त हो?" यह देखने के लिए कि कौन सा तरीका सबसे ईमानदार जवाब देता है।
यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:
"क्या आप सुनिश्चित हैं?" पूछने के तीन तरीके
शोधकर्ताओं ने रोबट पर तीन अलग-अलग "कॉन्फिडेंस चेक" आजमाए:
"स्व-रिपोर्ट" (Self-Reported) विधि (रोबोट से पूछना):
- यह कैसे काम करता है: आप बस रोबोट से पूछते हैं, "1 से 10 के पैमाने पर, आप इस बात को लेकर कितने आश्वस्त हैं कि यह उत्तर सही है?" और वह आपको एक संख्या देता है।
- उपमा: यह एक छात्र से पूछने जैसा है, "तुम इस गणित के सवाल को लेकर कितने निश्चित हो?" और उसकी बात को सच मान लेना।
- परिणाम: यह विजेता रहा। आश्चर्यजनक रूप से, केवल रोबोट से उसके आत्मविश्वास के स्तर को बताने के लिए कहना, यह अनुमान लगाने का सबसे सटीक तरीका था कि वह सही था या गलत। यह ईमानदार, सस्ता और तेज़ था।
"स्व-निरंतरता" (Self-Consistency) विधि (रोबोट को दोबारा सोचने के लिए कहना):
- यह कैसे काम करता है: आप रोबोट को एक ही समस्या को पांच अलग-अलग बार हल करने के लिए कहते हैं। यदि वह चार या पांच बार एक ही उत्तर देता है, तो आप मान लेते हैं कि वह आश्वस्त है। यदि वह अपना विचार बदलता है, तो वह अनिश्चित है।
- उपमा: यह एक छात्र को एक ही गणित के सवाल को पांच बार हल करने के लिए कहने जैसा है। यदि वे हर बार एक ही उत्तर प्राप्त करते हैं, तो आप उन पर भरोसा करते हैं। यदि वे बार-बार अपना उत्तर बदलते रहते हैं, तो आप जानते हैं कि वे भ्रमित हैं।
- परिणाम: यह तरीका महंगा और धीमा था (इसे चलाने में 5 गुना अधिक समय लगा) लेकिन इसने केवल एक बार पूछने की तुलना में वास्तव में बेहतर परिणाम नहीं दिए। यह एक ऐसे डबल-चेक के लिए भुगतान करने जैसा था जिसने वास्तव में कोई मदद नहीं की।
"टोकन प्रोबेबिलिटी" (Token Probability) विधि (रोबोट का मन पढ़ना):
- यह कैसे काम करता है: यह उस आंतरिक गणित को देखता है जिसका उपयोग रोबोट बोलने से पहले "हाँ" और "नहीं" के बीच निर्णय लेने के लिए करता है। यह उसके आंतरिक कोड के आधार पर संभावनाओं की गणना करता है।
- उपमा: यह बिना कुछ कहे यह अनुमान लगाने जैसा है कि एक छात्र कितना निश्चित है, जैसे कि उसकी धड़कन की गति या उसके हाथों का पसीना मापकर।
- परिणाम: यह ठीक था, लेकिन सीधे रोबोट से पूछने जितना अच्छा नहीं था।
बड़ी आश्चर्यजनक बातें
1. बड़ा होना हमेशा "अधिक ईमानदार" नहीं होता।
शोधकर्ताओं ने विभिन्न आकार के रोबोटों (4-बिलियन पैरामीटर वाले छोटे मॉडल से लेकर 120-बिलियन पैरामीटर वाले विशाल मॉडल तक) का परीक्षण किया।
- अच्छी खबर: बड़े रोबोट निश्चित रूप से ज़्यादा स्मार्ट थे (उन्होंने अधिक उत्तर सही दिए)।
- बुरी खबर: बड़ा होना उन्हें उनके आत्मविश्वास के बारे में ईमानदार बनाने के लिए पर्याप्त नहीं था। एक विशाल रोबोट अभी भी आत्मविश्वास के साथ गलत हो सकता था। हालाँकि, परीक्षण किया गया सबसे बड़ा रोबोट (GPT-OSS-120B) स्मार्ट होने और यह जानने दोनों में सबसे अच्छा था कि वह कब सही है।
2. "कॉन्फिडेंस फ्लोर" (अति-आत्मविश्वास का जाल)
शोधकर्ताओं ने एक अजीब चीज़ देखी: रोबोट लगभग हमेशा बहुत आत्मविश्वासी थे।
- उपमा: एक मौसम भविष्यवक्ता की कल्पना करें जो कहता है "बारिश होगी" 90% बार, भले ही आसमान साफ हो। वे शायद ही कभी कहते हैं, "मैं केवल 40% सुनिश्चित हूँ।"
- समस्या: क्योंकि रोबмots इतने "टॉप-स्केव्ड" (top-skewed) हैं (वे हमेशा उच्च आत्मविश्वास स्कोर देते हैं), आप केवल एक नियम सेट नहीं कर सकते जैसे "90% से ऊपर की किसी भी चीज़ पर भरोसा करें।" वह नियम विफल हो जाएगा क्योंकि रोबोट शायद ही कभी 50% से नीचे जाता है। आपको रोबोट की विशिष्ट आदतों के आधार पर अपने भरोसे को कैलिब्रेट (calibrate) करना होगा।
व्यावहारिक निष्कर्ष: "चयनात्मक स्वचालन" (Selective Automation)
तो, हम इसे वास्तविक दुनिया में कैसे उपयोग कर सकते हैं?
इसे एक हवाई अड्डे पर सुरक्षा जांच (security checkpoint) की तरह सोचें।
- उच्च आत्मविश्वास: यदि रोबोट कहता है, "मुझे 95% यकीन है कि इस छात्र ने पास किया है," और हमारे परीक्षणों से पता चलता है कि रोबोट आमतौर पर उस स्तर पर सही होता है, तो हम ग्रेड को स्वचालित रूप से आगे जाने देते हैं।
- कम/अनिश्चित आत्मविश्वास: यदि रोबोट कहता है, "मुझे केवल 60% यकीन है," या यदि रोबोट कठिन सवालों पर अति-आत्मविश्वासी होने के लिए जाना जाता है, तो हम उसे फ्लैग (flag) कर देते हैं। हम ग्रेड को फेंकते नहीं हैं; हम बस उसे एक मानव शिक्षक के त्वरित अवलोकन के लिए भेज देते हैं।
मुख्य निचोड़ (The Bottom Line)
आपको ग्रेडिंग को स्वचालित करने के लिए एक आदर्श रोबोट बनाने की आवश्यकता नहीं है। आपको बस एक ऐसे रोबोट की आवश्यकता है जो आपको बता सके कि वह कब अनिश्चित है।
शोध पत्र निष्कर्ष निकालता है कि सबसे सरल दृष्टिकोण सबसे अच्छा काम करता है: बस रोबोट से पूछें कि वह कितना आश्वस्त है। यदि आप उस विशिष्ट रोबोट के व्यवहार के आधार पर अपना "ट्रस्ट थ्रेशोल्ड" (भरोसे की सीमा) सही ढंग से सेट करते हैं, तो आप आसान ग्रेड को स्वचालित कर सकते हैं और मानव शिक्षकों को कठिन कार्यों के लिए बचा सकते हैं, जिससे पूरी प्रणाली तेज़ और निष्पक्ष बन जाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।