An Interpretable and Scalable Framework for Evaluating Large Language Models
यह शोध पत्र पारंपरिक आइटम रिस्पॉन्स थ्योरी (Item Response Theory) विधियों की कम्प्यूटेशनल और स्थिरता संबंधी सीमाओं को दूर करने के लिए मेजराइजेशन-मिनिमाइजेशन (majorization-minimization) सिद्धांत पर आधारित एक स्केलेबल और व्याख्या योग्य ढांचे का प्रस्ताव करता है, जो विविध बेंचमार्क पर लार्ज लैंग्वेज मॉडल्स के कुशल और सटीक मूल्यांकन को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप 2,000 छात्रों (लार्ज लैंग्वेज मॉडल्स) की एक क्लास को हजारों सवालों (बेंचमार्क आइटम्स) वाली एक विशाल परीक्षा पर ग्रेड करने की कोशिश कर रहे हैं।
पुराना तरीका: "औसत स्कोर" का जाल
वर्तमान में, अधिकांश लोग इन AI मॉडल्स को केवल यह गिनकर ग्रेड करते हैं कि उन्होंने कितने सवाल सही किए और उसे कुल सवालों से विभाजित कर देते हैं। यह कुछ ऐसा है जैसे कहना, "छात्र A ने 85% सही किया, छात्र B ने 84% सही किया, इसलिए छात्र A बेहतर है।"
लेकिन इस पेपर के लेखक इस सरल गणित के बारे में दो बड़ी समस्याओं की ओर इशारा करते हैं:
- AI थोड़ा अस्थिर (jittery) है: यदि आप एक ही AI से वही सवाल दोबारा पूछते हैं, तो वह पहली बार सही और दूसरी बार गलत उत्तर दे सकता है, सिर्फ इसलिए क्योंकि वह टेक्स्ट कैसे जेनरेट करता है इसमें भिन्नता होती है। यह एक ऐसे छात्र की तरह है जो प्रतिभाशाली तो है लेकिन कभी-कभी उसका दिन खराब होता है या वह शब्द गलत पढ़ लेता है। पुराना तरीका इन संयोगों (flukes) को वास्तविक तथ्य मान लेता है।
- सभी सवाल समान नहीं होते: एक मानक परीक्षा में, कुछ सवाल बहुत आसान "मुफ्त के अंक" होते हैं, और कुछ अविश्वसनीय रूप से कठिन। पुराना तरीका "1+1" के सवाल को "क्वांटम फिजिक्स" के सवाल के समान मानता है। यह मान लेता है कि हर सवाल का मूल्य ठीक एक अंक है, जो टेस्ट की वास्तविक कठिनाई और छात्र के वास्तविक कौशल को छिपा देता है।
नया विचार: "मनोवैज्ञानिक की रिपोर्ट कार्ड"
लेखक मानव मनोविज्ञान से ली गई एक विधि का उपयोग करने का प्रस्ताव देते हैं जिसे आइटम रिस्पॉन्स थ्योरी (IRT) कहा जाता है। इसे केवल एक स्कोर के रूप में नहीं, बल्कि एक विस्तृत नैदानिक (diagnostic) रिपोर्ट के रूप में सोचें।
एक साधारण नंबर के बजाय, यह विधि तीन छिपी हुई चीजों को समझने की कोशिश करती है:
- छात्र की क्षमता (Ability): AI वास्तव में कितना स्मार्ट है?
- सवाल की कठिनाई (Difficulty): यह विशिष्ट सवाल कितना कठिन था?
- सवाल का विभेदन (Discrimination): यह सवाल एक स्मार्ट AI और एक कम समझ वाले AI के बीच अंतर करने में कितना अच्छा था? (कुछ सवाल इतने आसान होते हैं कि कम समझ वाले AI भी उन्हें सही कर लेते हैं, इसलिए वे रैंकिंग के लिए बहुत उपयोगी नहीं होते)।
पुराने "मनोवैज्ञानिक" टूल्स के साथ समस्या
इन छिपी हुई विशेषताओं की गणना करने के लिए उपयोग की जाने वाली पारंपरिक गणितीय प्रक्रिया अविश्वसनीय रूप से धीमी और अस्थिर है। यह एक विशाल जिग्सॉ पहेली (jigsaw puzzle) को हल करने जैसा है जहाँ टुकड़े अपना आकार बदलते रहते हैं। यदि आप इसे 2,000 छात्रों और 10,000 सवालों पर आज़माते हैं, तो कंप्यूटर क्रैश हो सकता है या इसे पूरा करने में हफ्तों लग सकते हैं। यह डेटा के अस्त-व्यस्त होने पर भी भ्रमित हो जाता है (जैसे कि यदि कोई AI टाइमआउट के कारण उत्तर देने में विफल रहता है)।
समाधान: "स्मार्ट असेंबली लाइन" (cBMM)
लेखकों ने एक नया, सुपर-फास्ट फ्रेमवर्क बनाया है जिसे cBMM (Constrained Block Majorization-Minimization) कहा जाता है।
यहाँ एक रचनात्मक उपमा (analogy) दी गई है कि यह कैसे काम करता है:
कल्पना कीजिए कि आप पुर्जों के ढेर से एक बहुत बड़ा, जटिल फर्नीचर (मूल्यांकन) असेंबल करने की कोशिश कर रहे हैं।
- पुराना तरीका: आप सभी पुर्जों को एक साथ अपने हाथों में पकड़ने की कोशिश करते हैं, यह समझने की कोशिश करते हुए कि हर एक पेंच कहाँ जाएगा। आप थक जाते हैं, पुर्जे गिरा देते हैं, और इसमें बहुत समय लगता है।
- नया तरीका (cBMM): आप काम को छोटे, प्रबंधनीय चरणों में तोड़ देते हैं। पहले आप केवल पैरों को असेंबल करते हैं, फिर टेबलटॉप को, फिर दराजों को। आप इसे एक लूप में करते हैं, हर बार थोड़ा बेहतर होते जाते हैं। क्योंकि प्रत्येक चरण सरल है और एक सख्त नियम का पालन करता है, आप कभी अटकते नहीं हैं, और आप एक अंश समय में अपना काम पूरा कर लेते हैं।
उन्होंने क्या पाया
लेखकों ने वास्तविक दुनिया के डेटा पर इस नए "असेंबली लाइन" का परीक्षण किया, जिसमें प्रसिद्ध MATH-500 बेंचमार्क और Hugging Face Open LLM Leaderboard (जो हजारों मॉडल्स को ट्रैक करता है) शामिल हैं।
- यह बिजली की तरह तेज है: उनकी विधि अगली सर्वश्रेष्ठ विधियों की तुलना में 40 से 80 गुना तेज़ थी। कुछ मामलों में, जहाँ अन्य विधियाँ क्रैश हो गईं या हार मान गईं, उनकी विधि सुचारू रूप से चलती रही।
- यह अधिक सटीक है: क्योंकि यह इतनी स्थिर है, यह अस्त-व्यस्त डेटा से भ्रमित नहीं हुई। इसने पुराने तरीकों की तुलना में मॉडल्स की "वास्तविक" क्षमताओं को बेहतर ढंग से पहचाना।
- यह छिपे हुए सत्यों को उजागर करता है:
- स्केलिंग लॉ (Scaling Laws): उन्होंने पुष्टि की कि बड़े मॉडल्स आम तौर पर बेहतर प्रदर्शन करते हैं, जैसा कि वैज्ञानिकों ने पहले से ही अनुमान लगाया था।
- सवाल की गुणवत्ता: उन्होंने पाया कि लोकप्रिय बेंचमार्क में कुछ सवाल वास्तव में "कचरा" (junk) हैं—वे अच्छे और बुरे मॉडल्स के बीच अंतर करने में मदद नहीं करते हैं। उनकी विधि इन बेकार सवालों को स्वचालित रूप से पहचान सकती है।
- रैंकिंग में बदलाव: जब उन्होंने अपने नए तरीके का उपयोग किया, तो पुराने "औसत स्कोर" तरीके की तुलना में शीर्ष AI मॉडल्स की रैंकिंग में थोड़ा बदलाव आया। कुछ मॉडल्स जो औसत दिख रहे थे, सवालों की कठिनाई को ध्यान में रखने के बाद अचानक बहुत अधिक स्मार्ट दिखने लगे।
संक्षेप में
यह पेपर हमें AI को ग्रेड करने का एक नया, तेज़ और स्मार्ट तरीका देता है। केवल सही उत्तर गिनने के बजाय, यह एक कुशल शिक्षक की तरह कार्य करता है जो समझता है कि कुछ सवाल कठिन होते हैं और छात्र (AI) के अच्छे और बुरे दिन होते हैं। यह यह सब बिना कंप्यूटर को क्रैश किए करता है, जिससे हम मिनटों में हजारों मॉडल्स का मूल्यांकन हजारों टेस्ट पर कर सकते हैं, न कि हफ्तों में।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।