Position: Science of AI Evaluation Requires Item-level Benchmark Data
यह स्थिति पत्र (position paper) यह तर्क देता है कि एआई मूल्यांकन के एक कठोर विज्ञान को स्थापित करने के लिए प्रणालीगत वैधता विफलताओं को दूर करने हेतु आइटम-स्तरीय बेंचमार्क डेटा को अपनाना आवश्यक है, जो इस दावे का समर्थन करने के लिए अंतर-विषयक विश्लेषण और साक्ष्य-केंद्रित मूल्यांकन के लिए एक नए रिपॉजिटरी, ओपनइवल (OpenEval) का परिचय देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "रिपोर्ट कार्ड" की समस्या
कल्पना कीजिए कि आप एक माता-पिता हैं जो यह तय करने की कोशिश कर रहे हैं कि अपने बच्चे को किस स्कूल में भेजना है। स्कूल आपको एक कागज का टुकड़ा थमाते हैं जिस पर अंतिम ग्रेड लिखा है: "95%"।
- स्कूल A को 95% इसलिए मिले क्योंकि उन्होंने आपके बच्चे को जटिल कैलकुलस (calculus) हल करना सिखाया।
- स्कूल B को 95% इसलिए मिले क्योंकि उन्होंने आपके बच्चे को फॉन्ट साइज के पैटर्न पहचानकर मल्टीपल-चॉइस टेस्ट में सही उत्तर का अनुमान लगाना सिखाया।
यदि आप केवल अंतिम "95%" संख्या देखते हैं, तो आप अंतर नहीं कर पाएंगे। आप अपने बच्चे को स्कूल B में भेज सकते हैं, यह सोचकर कि वह गणित का जीनियस है, केवल यह पता चलने पर कि वास्तव में उसे गणित करना नहीं आता।
यह AI मूल्यांकन की वर्तमान स्थिति है। हमारे पास AI मॉडल हैं (जैसे स्कूल) और हमारे पास "बेंचमार्क" हैं (जैसे टेस्ट)। वर्तमान में, हम ज्यादातर केवल अंतिम स्कोर (95%) देखते हैं। इस पेपर के लेखक तर्क देते हैं कि यह खतरनाक है, खासकर जब हम स्वास्थ्य सेवा, कानून या वित्त जैसी गंभीर चीजों के लिए AI का उपयोग करना चाहते हैं।
मुख्य तर्क: केवल ग्रेड नहीं, "उत्तर पुस्तिका" को देखें
पेपर का तर्क है कि AI को वास्तव में समझने के लिए, हमें आइटम-लेवल डेटा (Item-level data) की आवश्यकता है।
- वर्तमान तरीका: हम कुल स्कोर देखते हैं। "AI ने इतिहास की परीक्षा में 80% प्राप्त किया।"
- प्रस्तावित तरीका: हम उन विशिष्ट प्रश्नों को देखते हैं जिन्हें AI ने सही या गलत बताया। "AI ने गृहयुद्ध (Civil War) से संबंधित प्रश्नों पर 100% प्राप्त किया लेकिन शीत युद्ध (Cold War) के बारे में 0% प्राप्त किया, और उसने हर राष्ट्रपति संबंधी प्रश्न पर 'वॉशिंगटन' का उत्तर दिया।"
लेखकों का कहना है कि व्यक्तिगत प्रश्नों (आइटम्स) और AI द्वारा दिए गए विशिष्ट उत्तरों को देखे बिना, हम अंधेरे में तीर चला रहे हैं। हमें यह नहीं पता कि AI बुद्धिमान है, या उसने केवल टेस्ट के उत्तर रट लिए हैं।
हमें इसकी आवश्यकता क्यों है? (तीन बड़ी समस्याएँ)
पेपर तीन मुख्य कारणों की पहचान करता है कि केवल अंतिम स्कोर देखना क्यों गलत है:
1. "लीक हुआ उत्तर कुंजी" की समस्या (डेटा कंटैमिनेशन/Data Contamination)
कल्पना कीजिए कि एक छात्र ने परीक्षा से पहले गलती से टेस्ट के प्रश्न देख लिए। उसने उत्तर याद कर लिए। परीक्षा के दिन, उसे पूर्ण अंक मिलते हैं।
- समस्या: AI मॉडल विशाल मात्रा में इंटरनेट डेटा पर प्रशिक्षित होते हैं। अक्सर, "टेस्ट प्रश्न" (बेंचमार्क) उस डेटा में पहले से ही मौजूद होते हैं। AI "सोच" नहीं रहा है; वह केवल उस चीज़ को याद कर रहा है जो उसने प्रशिक्षण के दौरान देखी थी।
- समाधान: यदि हमारे पास आइटम-लेवल डेटा है, तो हम विशिष्ट प्रश्नों को देख सकते हैं और कह सकते हैं, "अरे, यह प्रश्न बिल्कुल वैसा ही दिखता है जैसा ट्रेनिंग डेटा में था। चलिए इसे हटा देते हैं।" बिना विशिष्ट प्रश्नों के, हम इस धोखाधड़ी को नहीं पकड़ सकते।
2. "पुराने टेक्स्टबुक" की समस्या (सैचुरेशन/Saturation)
कल्पना कीजिए कि 1990 का एक गणित का टेस्ट है। आज के छात्र इसे आसानी से पास कर लेंगे क्योंकि उनके पास कैलकुलेटर और बेहतर शिक्षण पद्धतियां हैं। टेस्ट अब बुद्धिमत्ता का सही पैमाना नहीं रह गया है; यह बहुत आसान हो गया है।
- समस्या: AI इतनी तेजी से स्मार्ट हो रहा है कि पुराने बेंचमार्क "सैचुरेट" (तृप्त) हो रहे हैं। हर AI उन पर 100% प्राप्त कर रहा है, जिससे टेस्ट यह बताने में असमर्थ हो जाता है कि वास्तव में कौन बेहतर है।
- समाधान: आइटम-लेवल डेटा देखकर, शोधकर्ता यह देख सकते हैं कि कौन से प्रश्न बहुत आसान हैं और उन्हें कठिन प्रश्नों से बदल सकते हैं, जिससे टेस्ट प्रासंगिक बना रहे।
3. "नकली कौशल" की समस्या (वैलिडिटी/Validity)
कल्पना कीजिए कि ड्राइविंग टेस्ट है जहाँ कार को केवल एक सीधी रेखा में चलना होता है। यदि कार पास हो जाती है, तो क्या इसका मतलब है कि वह एक अच्छा ड्राइवर है? नहीं, इसका मतलब केवल यह है कि वह सीधा चल सकती है।
- समस्या: कई AI टेस्ट गलत चीजें मापते हैं। एक AI "रीजनिंग" (तर्क) टेस्ट पास कर सकता है न कि इसलिए कि वह तर्क कर रहा है, बल्कि इसलिए क्योंकि उसने सही उत्तर तक पहुँचने के लिए कोई शॉर्टकट (ट्रिक) ढूँढ लिया है।
- समाधान: आइटम-लेवल विश्लेषण शोधकर्ताओं को मनोविज्ञान (Psychology) (मानव परीक्षणों का विज्ञान) के उपकरणों का उपयोग करने की अनुमति देता है ताकि यह देखा जा सके कि क्या कोई टेस्ट वास्तव में वही माप रहा है जिसका वह दावा करता है।
समाधान: मनोविज्ञान से उधार लेना
पेपर सुझाव देता है कि AI शोधकर्ताओं को यह मानकर नहीं चलना चाहिए कि उन्होंने परीक्षण का आविष्कार शून्य से किया है, बल्कि उन्हें साइकोमेट्रिक्स (Psychometrics) (वह क्षेत्र जो SAT, IQ टेस्ट और मेडिकल परीक्षाओं को डिजाइन करता है) से उधार लेना चाहिए।
मनोवैज्ञानिकों ने व्यक्तिगत टेस्ट प्रश्नों का विश्लेषण करने के लिए 100 वर्षों से अधिक समय बिताया है। वे पूछते हैं:
- "क्या यह प्रश्न बहुत कठिन है?"
- "क्या यह प्रश्न वास्तव में 'तर्क' को मापता है या केवल 'शब्दावली' को?"
- "यदि कोई छात्र इस प्रश्न का गलत उत्तर देता है, तो क्या इसका मतलब है कि वह अवधारणा को नहीं समझता है?"
लेखकों का कहना है कि AI को भी ऐसा ही करने की आवश्यकता है। वे चाहते हैं कि प्रत्येक AI बेंचमार्क प्रश्न को एक मनोवैज्ञानिक परीक्षण आइटम की तरह माना जाए, ताकि यह सुनिश्चित करने के लिए डेटा का विश्लेषण किया जा सके कि टेस्ट निष्पक्ष, सटीक और वास्तव में "बुद्धिमत्ता" को माप रहा है या केवल "याद रखने की क्षमता" को।
नया टूल: OpenEval
इसे साकार करने के लिए, लेखक OpenEval नामक एक नई लाइब्रेरी लॉन्च कर रहे हैं।
- इसे उत्तर पुस्तिकाओं के सार्वजनिक पुस्तकालय की तरह समझें।
- केवल AI के अंतिम स्कोर को प्रकाशित करने के बजाय, शोधकर्ता विशिष्ट प्रश्न, AI के विशिष्ट उत्तर और प्रत्येक प्रश्न के स्कोर अपलोड करेंगे।
- यह पूरे समुदाय को डेटा की गहराई में जाने, "लीक" हुए प्रश्नों को खोजने, "ट्रिक्स" को पकड़ने और बेहतर टेस्ट बनाने की अनुमति देता है।
सारांश: आपको इसकी परवाह क्यों करनी चाहिए?
यदि हम इस "आइटम-लेवल" दृष्टिकोण पर नहीं स्विच करते हैं:
- हम AI पर बहुत अधिक भरोसा करेंगे: हमें लग सकता है कि एक AI डॉक्टर है क्योंकि उसने एक टेस्ट पास किया है, लेकिन हो सकता है कि उसने केवल टेस्ट के उत्तर रटे हों।
- हम पैसा बर्बाद करेंगे: कंपनियाँ ऐसे AI सिस्टम खरीदेंगी जो वास्तव में उनके विशिष्ट कार्यों के लिए काफी कमज़ोर हैं।
- प्रगति रुक जाएगी: हमें पता ही नहीं चलेगा कि AI वास्तव में किस चीज़ में अच्छा है, इसलिए हम इसे प्रभावी ढंग से सुधार नहीं पाएंगे।
निचोड़ (Bottom Line): यह पेपर "अंतिम ग्रेड" देखने के बजाय "उत्तर पुस्तिका" देखने का आह्वान है। विवरणों को देखकर ही हम एक ऐसा विश्वसनीय, सुरक्षित और वास्तव में बुद्धिमान AI विज्ञान बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।