Pitfalls of Evaluating Language Models with Open Benchmarks
यह शोध पत्र यह प्रदर्शित करता है कि ओपन लैंग्वेज मॉडल बेंचमार्क डेटा लीकेज और हेरफेर के प्रति संवेदनशील हैं, जैसा कि उन मॉडलों से सिद्ध होता है जो सार्वजनिक टेस्ट सेट्स पर ओवरफिट हो जाते हैं और सामान्यीकरण करने में विफल रहते हैं, जिससे विश्वसनीय मूल्यांकन सुनिश्चित करने के लिए निजी या गतिशील मूल्यांकन विधियों की ओर बदलाव आवश्यक हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "खुली किताब" का जाल
कल्पना कीजिए कि आप एक शिक्षक हैं जो अपने छात्रों की बुद्धिमत्ता का परीक्षण करना चाहते हैं। निष्पक्ष और पारदर्शी होने के लिए, आप परीक्षा से पहले सार्वजनिक पुस्तक में परीक्षा के सटीक प्रश्न और उत्तर प्रकाशित करने का निर्णय लेते हैं। आप सोचते हैं, "बहुत बढ़िया! हर कोई पढ़ाई कर सकता है, और हम देख सकते हैं कि कौन सबसे अच्छा सीखता है।"
यह शोध पत्र तर्क देता है कि आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, इस "खुली किताब" वाले दृष्टिकोण में एक बहुत बड़ा दोष है। क्योंकि परीक्षा के प्रश्न सार्वजनिक हैं, इसलिए कुछ छात्र (या इस मामले में AI मॉडल) वास्तव में विषय को नहीं सीख रहे हैं। इसके बजाय, वे उत्तर कुंजी (answer key) को रट रहे हैं।
शोधकर्ता इन AI मॉडलों को "चीटिंग मॉडल" (धोखेबाज मॉडल) कहते हैं। वे दिखाते हैं कि कैसे एक छोटा, सरल AI भी केवल विशिष्ट प्रश्नों को रटकर एक प्रसिद्ध परीक्षा में पूर्ण अंक प्राप्त कर सकता है, बिना अवधारणाओं (concepts) को समझे। जब आप उन्हें एक नया प्रश्न देते हैं जो थोड़ा अलग दिखता है, तो वे बुरी तरह विफल हो जाते हैं।
प्रयोग: "चीटर्स" का निर्माण
शोधकर्ता यह सिद्ध करना चाहते थे कि सिस्टम को "गेम" करना (धोखा देना) कितना आसान है। उन्होंने इसके लिए सुपर-शक्तिशाली, महंगे AI सुपरकंप्यूटर का उपयोग नहीं किया। इसके बजाय, उन्होंने छोटे, हल्के AI मॉडल (जैसे एक छोटे दिमाग वाला छात्र) बनाए और उन्हें सीधे सार्वजनिक परीक्षा प्रश्न खिला दिए।
उन्होंने HELM नामक एक लोकप्रिय टेस्ट सूट का उपयोग किया, जो चिकित्सा, कानून, गणित और कहानी कहने जैसे 10 विभिन्न विषयों को कवर करता है।
परिणाम चौंकाने वाले थे:
- धोखा (The Cheat): जब छोटे AI ने परीक्षा के प्रश्नों को रट लिया, तो उसने उन विशिष्ट प्रश्नों पर 90% से 99% अंक प्राप्त किए। उसने दुनिया के सबसे उन्नत AI मॉडलों को भी पीछे छोड़ दिया।
- वास्तविकता की जाँच (The Reality Check): जैसे ही शोधकर्ताओं ने AI को एक नया प्रश्न दिया जिसे उसने पहले नहीं देखा था, उसका स्कोर गिरकर 1% से भी कम हो गया। यह उस छात्र की तरह था जिसने पिछले साल के गणित के टेस्ट के उत्तर रट लिए थे लेकिन इस साल के टेस्ट में एक भी सवाल हल नहीं कर सका।
उपमा (The Analogy):
कल्पना कीजिए कि एक छात्र एक नाटक की पटकथा (script) रट लेता है। यदि आप उनसे रटी हुई पंक्तियाँ बोलने को कहें, तो वे एक प्रतिभाशाली अभिनेता की तरह लगेंगे। लेकिन यदि आप उन्हें एक नए पात्र के साथ एक दृश्य में अभिनय (improvise) करने को कहें, तो वे सुन्न पड़ जाएंगे। यह शोध पत्र दिखाता है कि कई AI लीडरबोर्ड "असली अभिनेताओं" के बजाय "स्क्रिप्ट रटने वालों" से भरे हुए हैं।
प्रस्तावित समाधान: "पैराफ्रेस" (Paraphrase) कवच
शोधकर्ताओं ने पूछा: "क्या हम इस धोखाधड़ी को रोक सकते हैं?"
उन्होंने एक सरल बचाव का प्रयास किया: पैराफ्रेसिंग (Paraphrasing)।
प्रश्न पूछने के बजाय, "फ्रांस की राजधानी क्या है?" (मूल प्रश्न), उन्होंने इसे बदलकर, "कौन सा शहर फ्रांस के सरकार के केंद्र के रूप में कार्य करता है?" (पैराफ्रेज किया गया प्रश्न) कर दिया। अर्थ वही है, लेकिन शब्द अलग हैं।
परिणाम:
- छोटे चीट्स (The Small Cheats): छोटे, रटने वाले AI पूरी तरह विफल रहे। वे प्रश्न को पहचान नहीं सके क्योंकि शब्द अलग थे।
- बड़े AI (The Big AIs): बड़े, अधिक स्मार्ट AI ने पुनर्गठित किए गए प्रश्नों को बहुत बेहतर तरीके से संभाला। वे वास्तव में अवधारणा को समझते हुए प्रतीत हुए, न कि केवल विशिष्ट शब्दों को।
पेंच (The Catch):
शोधकर्ताओं ने फिर पूछा, "क्या होगा यदि चीटर्स को इस कवच के बारे में पता चल जाए?"
उन्होंने छोटे "चीटिंग" मॉडलों को हजारों पुनर्गठित (reworded) प्रश्नों पर प्रशिक्षित किया। एक बार जब चीटर्स ने सीख लिया कि प्रश्नों को बदला जाएगा, तो वे अनुकूलित हो गए। उन्होंने पुनर्ग lebih (rewording) के पैटर्न को रट लिया और अपने उच्च स्कोर वापस पा लिए।
सबक:
एक सरल ट्रिक (जैसे प्रश्नों को फिर से लिखना) कुछ समय के लिए काम करती है, लेकिन यदि चीटर्स को पता हो कि यह ट्रिक आने वाली है, तो वे इसे हराने के लिए भी सीख सकते हैं। यह एक सुरक्षा गार्ड की तरह है जो एक विशिष्ट प्रकार के हथियार की जांच करता है; एक अपराधी बस एक अलग प्रकार का हथियार लेकर आएगा या उसे बेहतर तरीके से छिपा देगा।
तीन मुख्य निष्कर्ष
शोध पत्र AI रैंकिंग देखने वाले किसी भी व्यक्ति के लिए तीन सरल सबक के साथ समाप्त होता है:
- उच्च स्कोर का अर्थ हमेशा उच्च बुद्धिमत्ता नहीं होता: सिर्फ इसलिए कि कोई AI सार्वजनिक लीडरबोर्ड पर नंबर 1 है, इसका मतलब यह नहीं है कि वह स्मार्ट है। हो सकता है कि वह केवल विशिष्ट परीक्षा प्रश्नों को रटने में बहुत अच्छा हो।
- खुली परीक्षाएँ असुरक्षित हैं: टेस्ट डेटा को सार्वजनिक करना पारदर्शिता के लिए अच्छा है, लेकिन यह रटने के माध्यम से "धोखाधड़ी" के द्वार खोलता है। हम केवल स्थिर (static), खुले परीक्षणों पर भरोसा नहीं कर सकते।
- हमें गतिशील (Dynamic) परीक्षणों की आवश्यकता है: AI को वास्तव में मापने के लिए, हमें ऐसे परीक्षणों की आवश्यकता है जो बदलते रहें, निजी रहें, या तुरंत (on the fly) उत्पन्न हों। हमें एक ऐसी प्रणाली चाहिए जहाँ "चीटर्स" केवल उत्तर कुंजी को रट न सकें क्योंकि कुंजी हर बार बदल जाती है।
सारांश
शोध पत्र चेतावनी देता है कि AI मॉडल्स को रैंक करने का हमारा वर्तमान तरीका टूटा हुआ है। परीक्षा को रटकर धोखा देना बहुत आसान है। हालांकि प्रश्नों को फिर से लिखने जैसे सरल सुधार थोड़े मददगार होते हैं, लेकिन वे स्थायी समाधान नहीं हैं। यह जानने के लिए कि क्या कोई AI वास्तव में स्मार्ट है, हमें स्थिर, खुले परीक्षणों का उपयोग करना बंद करना होगा और गतिशील, कठिन और अप्रत्याशित चुनौतियों का उपयोग शुरू करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।