CapBencher: Give Your LLM Benchmark a Built-in Alarm for Test-Set Overfitting
CapBencher एक नवीन बेंचमार्किंग फ्रेमवर्क है जो ग्राउंड-ट्रूथ लेबल्स को अस्पष्ट करने के लिए कई तार्किक रूप से सही उत्तर प्रकाशित करके टेस्ट-सेट ओवरफिटिंग को कम करता है और मूल्यांकन गेमिंग का पता लगाता है, जिससे एक सैद्धांतिक सटीकता सीमा स्थापित होती है जिसे कोई भी मॉडल पार करने पर डेटा लीकेज का संकेत देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जिसने दुनिया की सबसे कठिन गणित परीक्षा बनाने में वर्षों बिताए हैं। आप यह देखना चाहते हैं कि आपके छात्र (AI मॉडल) समय के साथ कितने बुद्धिमान हो रहे हैं। लेकिन एक बहुत बड़ी समस्या है: यदि आप परीक्षा और उसका उत्तर कुंजी (answer key) इंटरनेट पर प्रकाशित करते हैं, तो छात्र वास्तव में गणित सीखने के बजाय केवल उत्तरों को रट सकते हैं। वे सही स्कोर पाने के लिए शिक्षक से संकेत मांगकर धोखाधड़ी भी कर सकते हैं। इसे "ओवरफिटिंग" (overfitting) या "डेटा कंटैमिनेशन" (data contamination) कहा जाता है, और यह टेस्ट को बर्बाद कर देता है।
आमतौर पर, शिक्षक उत्तरों को छिपाने के लिए परीक्षा को एक बंद कमरे में रखते हैं और केवल ग्रेडिंग के लिए छात्रों को अपने उत्तर जमा करने की अनुमति देते हैं। लेकिन स्मार्ट छात्र अभी भी शिक्षक से पूछकर धोखाधड़ी कर सकते हैं, "क्या मैंने प्रश्न 5 का सही उत्तर दिया?" और अपने उत्तरों को फीडबैक के आधार पर बदल सकते हैं।
CapBencher परीक्षा प्रकाशित करने का एक नया, चतुर तरीका है जो प्रश्नों को छिपाए बिना इस धोखाधड़ी को रोकता है। यह कैसे काम करता है, यहाँ एक सरल उपमा (analogy) दी गई है:
द "रैंडमाइज्ड आंसर" ट्रिक (यादृच्छिक उत्तर की चाल)
कल्पना कीजिए कि आपके पास एक गणित का प्रश्न है: "3 गुना 6 क्या है?"
असली उत्तर 18 है।
एक सामान्य परीक्षा में, आप प्रश्न और उत्तर "18" प्रकाशित करते हैं। यदि कोई छात्र इसे रट लेता है, तो वह सही उत्तर दे देता है।
CapBencher के साथ, शिक्षक परीक्षा प्रकाशित करने से पहले नियम बदल देते हैं। शिक्षक छात्रों को बताते हैं:
"समस्या को हल करें, लेकिन अपना अंतिम उत्तर लिखने से पहले, आपको अपने परिणाम में या तो 1 जोड़ना होगा या 1 घटाना होगा।"
तो, यदि छात्र सही गणित (18) की गणना करता है (18), तो उसे एक सिक्का उछालना होगा:
- हेड्स (Heads): 19 लिखें।
- टेल्स (Tails): 17 लिखें।
प्रकाशित परीक्षा में अब प्रश्न और संभावित "सही" उत्तरों (17 या 19) की एक सूची शामिल है, लेकिन किसी को नहीं पता कि उस विशिष्ट छात्र ने परीक्षा के दिन कौन सा उत्तर चुना था।
द "सीलिंग" (अलार्म सिस्टम)
यहीं पर जादू होता है। क्योंकि उत्तर यादृच्छिक (randomized) है, इसलिए एक जीनियस छात्र भी जो गणित को पूरी तरह से जानता है, वह टेस्ट में 100% अंक नहीं प्राप्त कर सकता। वे केवल लगभग 50% सही हो सकते हैं (क्योंकि उनके पास सही यादृच्छिक संख्या चुनने का 50/50 मौका है)।
यह पेपर "बेयस एक्यूरेसी" (Bayes Accuracy) या "सीलिंग" (Ceiling) कहता है। यह वह पूर्ण अधिकतम स्कोर है जो कोई भी प्राप्त कर सकता है यदि वे ईमानदारी से गणित हल कर रहे हैं।
अलार्म:
- सामान्य छात्र: लगभग 50% (या उससे कम, यदि वे गणित में अच्छे नहीं हैं) स्कोर करते हैं।
- धोखेबाज छात्र: यदि किसी छात्र ने गुप्त रूप से विशिष्ट यादृच्छिक उत्तरों को रट लिया है (उदाहरण के लिए, उन्हें पता है कि शिक्षक ने इस प्रश्न के लिए हमेशा "19" चुना था), तो वे 50% से अधिक स्कोर करेंगे।
यदि छात्र सीलिंग से ऊपर स्कोर करता है, तो अलार्म बज जाता है! यह एक सांख्यिकीय निश्चितता है कि उन्होंने केवल गणित हल नहीं किया है; उन्होंने निश्चित रूप से विशिष्ट टेस्ट डेटा को रट लिया है। यह ऐसा ही है जैसे किसी छात्र को एक ऐसे टेस्ट में 100% अंक मिलें जहाँ शिक्षक ने हर बार उत्तर यादृच्छिक रूप से बदल दिए थे।
यह अन्य तरीकों से बेहतर क्यों है?
यह पेपर कैपबेंचर (CapBencher) की तुलना धोखाधड़ी पकड़ने के अन्य तरीकों से करता है:
- "कैनरी" (Canary) विधि: यह परीक्षा के निर्देशों में एक गुप्त शब्द छिपाने जैसा है। यदि कोई छात्र उस शब्द को दोहराता है, तो वह पकड़ा जाता है। लेकिन एक स्मार्ट धोखेबाज उस गुप्त शब्द को हटाने से पहले ही बाकी हिस्से को रट सकता है। CapBencher में यह कमजोरी नहीं है; "धोखाधड़ी" स्कोर में ही बुनी गई है।
- "दिमाग के अंदर देखना": कुछ तरीके यह देखने के लिए आवश्यक हैं कि AI का आंतरिक कोड कैसा व्यवहार कर रहा है। CapBencher तब भी काम करता है जब AI एक "ब्लैक बॉक्स" (आप यह नहीं देख सकते कि वह कैसे सोचता है) हो। आपको केवल अंतिम स्कोर देखने की आवश्यकता होती है।
क्या यह अभी भी बुद्धिमत्ता को मापता है?
आपको चिंता हो सकती है: "यदि उत्तर यादृच्छिक हैं, तो हमें कैसे पता चलेगा कि कौन वास्तव में अधिक स्मार्ट है?"
यह पेपर दिखाता है कि स्मार्ट मॉडल डम (कम बुद्धिमान) मॉडल की तुलना में उच्च स्कोर करते हैं, यादृच्छिकरण के बावजूद।
- यदि मॉडल A गणित में मॉडल B से बेहतर है, तो मॉडल A यादृच्छिक टेस्ट में अभी भी उच्च स्कोर करेगा।
- यह पेपर गणितीय रूप से सिद्ध करता है कि आप "यादृच्छिक स्कोर" (randomized score) ले सकते हैं और गणना कर सकते हैं कि "वास्तविक स्कोर" क्या रहा होगा। यह बिल्कुल वैसा ही है जैसे यह जानना कि एक छात्र ने एक ऐसे टेस्ट में 45% प्राप्त किया जहाँ उत्तर बदले गए थे, और यह अनुमान लगाना कि वह सामान्य टेस्ट में 90% प्राप्त करता।
निष्कर्ष (The Bottom Line)
CapBencher AI बेंचमार्क प्रकाशित करने का एक तरीका है जो एक अंतर्निहित झूठ पकड़ने वाले यंत्र (lie detector) की तरह कार्य करता है।
- यह उत्तरों में थोड़ी सी यादृच्छिकता जोड़कर अधिकतम संभव स्कोर को कम कर देता है।
- यह वास्तविक उत्तरों को छिपाए रखता है।
- यदि कोई AI अधिकतम संभव स्कोर से अधिक स्कोर करता है, तो यह एक स्पष्ट और अकाट्य संकेत है कि AI ने टेस्ट डेटा को रट लिया है और वह धोखाधड़ी कर रहा है।
यह शोधकर्ताओं को अपनी कठिन परीक्षाओं को इंटरनेट पर खुले तौर पर प्रकाशित करने की अनुमति देता है, बिना इस डर के कि भविष्य के AI मॉडल केवल उत्तरों को रट लेंगे और अपनी बुद्धिमत्ता का दिखावा करेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।