LLMEval-Fair: A Large-Scale Longitudinal Study on Robust and Fair Evaluation of Large Language Models
LLMEval-Fair एक गतिशील मूल्यांकन ढांचा है जो 220k स्नातक-स्तरीय प्रश्नों के एक प्रोप्रायटरी बैंक और एक स्वचालित, संदूषण-प्रतिरोधी पाइपलाइन का उपयोग करता है ताकि लार्ज लैंग्वेज मॉडल्स का सुदृढ़, निष्पक्ष और अनुदैर्ध्य मूल्यांकन प्रदान किया जा सके जो स्थिर बेंचमार्क की सीमाओं को दूर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप छात्रों के एक समूह की बुद्धिमत्ता को मापने की कोशिश कर रहे हैं। अतीत में, शिक्षकों (और AI शोधकर्ताओं) ने एक स्थिर, सार्वजनिक परीक्षा (static, public exam) का उपयोग किया है जिसे सभी ने पहले ही देख लिया था।
समस्या क्या है? छात्र (AI मॉडल) नकल कर रहे थे। उन्होंने उत्तरों को रट लिया, उत्तर कुंजियों (answer keys) को झाँक लिया, या परीक्षा शुरू होने से पहले अपनी पाठ्यपुस्तकों में प्रश्न ढूँढ लिए। इसलिए, जब वे परीक्षा में 100% अंक प्राप्त करते हैं, तो इसका मतलब यह नहीं है कि वे प्रतिभाशाली हैं; इसका मतलब केवल यह है कि वे रटने (memorization) में अच्छे हैं।
यह शोध पत्र AI को परखने का एक नया तरीका पेश करता है जिसे LLMEval-Fair कहा जाता है। इसे एक विशाल, गुप्त, गतिशील परीक्षा कक्ष (dynamic exam hall) के रूप में समझें जो हर बार आपके प्रवेश करने पर बदल जाता है।
यह कैसे काम करता है, इसके विवरण को सरल उपमाओं (analogies) का उपयोग करके यहाँ दिया गया है:
1. "गुप्त प्रश्न बैंक" (अब कोई नकल नहीं)
- पुराना तरीका: कल्पना कीजिए कि गणित की एक परीक्षा है जहाँ प्रश्न स्कूल के बाहर एक सूचना पट्ट (billboard) पर लगे हैं। छात्र परीक्षा से पहले उस पट्ट से उत्तरों की नकल कर सकते हैं।
- नया तरीका (LLMEval-Fair): शोधकर्ताओं ने 2,20,000 स्नातक-स्तरीय प्रश्नों वाला एक विशाल, निजी तिजोरी (vault) बनाई है। ये प्रश्न ताश की एक गड्डी की तरह हैं जिसे लगातार फेंटा और बढ़ाया जा रहा है।
- यह कैसे काम करता है: जब कोई AI मॉडल परीक्षा देने आता है, तो सिस्टम उसे पूरी गड्डी नहीं देता। यह उस विशिष्ट सत्र के लिए यादृच्छिक रूप से (randomly) 1,000 अद्वितीय प्रश्न निकालता है। क्योंकि प्रश्न निजी हैं और चयन यादृच्छिक है, AI उत्तरों को पहले से याद नहीं कर सकता। यह एक ऐसी परीक्षा में उपस्थित होने जैसा है जहाँ शिक्षक टोपी में से प्रश्न निकालता है जिसे किसी और ने नहीं देखा है।
2. "एंटी-चीटिंग फोर्सफील्ड" (नकल विरोधी सुरक्षा कवच)
- समस्या: गुप्त प्रश्नों के बावजूद, स्मार्ट AI सिस्टम को धोखा देने की कोशिश कर सकते हैं, जैसे कि एक ही प्रश्न दो बार पूछना या उत्तर चुराने की कोशिश करना।
- समाधान: सिस्टम एक दो-परत वाला सुरक्षा कवच (two-layer security shield) उपयोग करता है:
- बाहरी परत (द बाउंसर): डिजिटल आईडी कार्ड (जिसे JWT कहा जाता है) का उपयोग करती है ताकि यह सुनिश्चित हो सके कि केवल अधिकृत मॉडल ही प्रवेश करें और वे अन्य मॉडलों के साथ डेटा का आदान-प्रदान न कर सकें।
- आंतरिक परत (द स्ट्रिक्ट प्रॉक्टर): यह परत प्रश्नों के प्रवाह पर नज़र रखती है। यह सुनिश्चित करती है कि मॉडल उन्हें क्रम में हल करे, यह रोकता है कि मॉडल अनुमति से अधिक प्रश्न न पूछे, और डेटा स्ट्रीम में छिपे किसी भी "संकेत" या उत्तर कुंजी को हटा देता है। यह एक ऐसे निरीक्षक (proctor) की तरह है जो आपकी हर हरकत पर नज़र रखता है और यह सुनिश्चित करता है कि आप अपने पड़ोसी के पेपर में न झाँक सकें।
3. "निष्पक्ष रैंकिंग प्रणाली" (खेल की उपमा)
- समस्या: यदि मॉडल A को "चिकित्सा" के प्रश्न मिलते हैं और मॉडल B को "इतिहास" के, तो आप उनकी तुलना कैसे करेंगे? पारंपरिक परीक्षण केवल 100 में से एक स्कोर देते हैं, जो अनुचित है यदि प्रश्न अलग-अलग हों।
- समाधान: एक कच्चे स्कोर (raw score) के बजाय, वे एक सापेक्ष रैंकिंग प्रणाली (Relative Ranking System) का उपयोग करते हैं (जैसे शतरंज में Elo रेटिंग या वीडियो गेम में ELO सिस्टम)।
- कल्पना कीजिए कि एक रेफरी (एक उन्नत AI जिसे "LLM-as-a-Judge" कहा जाता है) दो मॉडलों को उसी सेट के प्रश्नों का उत्तर देते हुए देखता है।
- रेफरी केवल यह नहीं कहता कि "आपने 85 अंक प्राप्त किए।" वे कहते हैं, "मॉडल A ने इस मामले में मॉडल B से बेहतर उत्तर दिया।"
- मॉडलों की आपस में तुलना करके, सिस्टम एक निष्पक्ष लीडरबोर्ड बनाता है जो स्थिर रहता है भले ही प्रश्न बदल जाएं। यह यह कहने जैसा है कि, "इस विशिष्ट दौड़ में, धावक A ने धावक B को हराया," बजाय इसके कि केवल उनके व्यक्तिगत समय को देखा जाए, जो मौसम के आधार पर भिन्न हो सकता है।
4. उन्होंने क्या पाया? (बड़ा खुलासा)
शोधकर्ताओं ने लगभग 60 विभिन्न AI मॉडलों पर 30 महीनों तक यह "गुप्त परीक्षा" चलाई। यहाँ उनकी खोजें दी गई हैं:
- सीलिंग इफेक्ट (The Ceiling Effect): अधिकांश मॉडल 90% के आसपास एक "कांच की छत" (glass ceiling) से टकरा जाते हैं। वे अविश्वसनीय रूप से स्मार्ट हैं, लेकिन वे गहरे, विशिष्ट ज्ञान (जैसे जटिल चिकित्सा या सैन्य इतिहास) के साथ संघर्ष करते हैं क्योंकि वे वास्तविक समझ के बजाय पैटर्न पर निर्भर करते हैं।
- "सोचने" वाला मोड जादुई नहीं है: कुछ मॉडलों में एक विशेष "सोचने" वाला मोड होता है (जैसे बोलने से पहले सोचने के लिए रुकना)। अध्ययन में पाया गया कि इससे केवल बहुत मामूली वृद्धि हुई। यह उत्तर देने से पहले एक गहरी सांस लेने वाले छात्र जैसा है—यह थोड़ा मदद करता है, लेकिन यह ज्ञान की कमी को ठीक नहीं करता है।
- स्थिर परीक्षण (Static Tests) टूट चुके हैं: पुराने, सार्वजनिक बेंचमार्क (जैसे MMLU या C-Eval) अत्यधिक दूषित (contaminated) थे। जो मॉडल उन सार्वजनिक परीक्षणों पर प्रतिभाशाली दिखते थे, वे वास्तव में केवल "नकल" कर रहे थे क्योंकि उन्होंने उन प्रश्नों को पहले ही देख लिया था। जब नए, गुप्त LLMEval-Fair पर परीक्षण किया गया, तो उनकी रैंकिंग काफी गिर गई।
- ओपन सोर्स अब बराबरी कर रहा है: आश्चर्यजनक रूप से, ओपन-सोर्स मॉडल (जैसे DeepSeek) अब सबसे महंगे, क्लोज्ड-सोर्स दिग्गजों (जैसे GPT-4 या Claude) के समान प्रदर्शन कर रहे हैं।
निष्कर्ष
LLMEval-Fair लीक किए गए उत्तरों वाले पॉप क्विज़ से एक सुरक्षित, यादृच्छिक और निरंतर बदलते हुए फाइनल एग्जाम की ओर बढ़ने जैसा है।
यह सिद्ध करता है कि AI की बुद्धिमत्ता को वास्तव में जानने के लिए, हम केवल सार्वजनिक लीडरबोर्ड पर स्कोर को देखकर काम नहीं चला सकते। हमें एक ऐसे सिस्टम की आवश्यकता है जो प्रश्नों को बदले, नकल को रोके और मॉडलों की आपस में निष्पक्ष रूप से तुलना करे। यह हमें ऐसा AI बनाने में मदद करता है जो वास्तव में स्मार्ट हो, न कि केवल परीक्षा रटने में कुशल।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।