Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation
यह शोध पत्र यह प्रदर्शित करके स्थिर लार्ज लैंग्वेज मॉडल रैंकिंग की धारणा को चुनौती देता है कि अनुमानित टोकन बजट (inference token budgets) में परिवर्तन मॉडल के प्रदर्शन और क्रम को महत्वपूर्ण रूप से बदल देता है, जो गैर-एकदिष्ट व्यवहार (non-monotonic behaviors), रैंकिंग प्रतिवर्तन (ranking reversals) और मॉडल पूरकता (model complementarity) को प्रकट करता है जिसके लिए बजट-सशर्त मूल्यांकन प्रोटोकॉल की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल पुस्तकालय में हैं जहाँ की किताबें 'लार्ज लैंग्वेज मॉडल' (LLMs) नामक सुपर-स्मार्ट रोबोटों द्वारा लिखी गई हैं। ये रोबोट लगभग सब कुछ पढ़ सकते हैं और गणित, विज्ञान और इतिहास के सवालों के जवाब दे सकते हैं। लंबे समय तक, "सबसे अच्छा" रोबोट चुनने की कोशिश करने वाले लोग बस उनसे एक सवाल पूछते थे और देखते थे कि कौन सबसे पहले सही जवाब देता है। उन्होंने मान लिया था कि अगर रोबोट A, रोबोट B से एक टेस्ट में बेहतर था, तो वह हमेशा बेहतर ही रहेगा, चाहे स्थिति कुछ भी हो। यह एक दौड़ को केवल इस आधार पर आंकने जैसा था कि कौन फिनिश लाइन पर पहले पहुँचा, बिना इस बात की परवाह किए कि उन्हें दौड़ने के लिए कितना समय दिया गया था।
लेकिन यहाँ एक मोड़ है: ये रोबट केवल तुरंत "सोच" नहीं लेते। वे अपना उत्तर एक बार में एक शब्द करके लिखते हैं, जैसे विचारों की एक लंबी श्रृंखला। उन्हें जितने अधिक शब्दों को लिखने की अनुमति दी जाती है, वे उत्तर देने से पहले उतना ही अधिक "सोच" सकते हैं। शब्दों की इस सीमा को "टोकन बजट" कहा जाता है। इसे एक छात्र को टेस्ट देने के लिए अलग-अलग समय देने जैसा समझें। कुछ छात्रों को कठिन पहेली सुलझाने के लिए बहुत समय चाहिए हो सकता है, जबकि कुछ छात्र भ्रमित हो सकते हैं यदि उन्हें बहुत अधिक समय दिया जाए और वे ज़रूरत से ज़्यादा सोचने लगते हैं। बड़ा सवाल वैज्ञानिकों के लिए यह है: क्या "सबसे अच्छा" रोबोट तब भी सबसे अच्छा रहता है जब हम समय की सीमा बदल देते हैं? या क्या विजेता इस बात पर निर्भर करता है कि हम उन्हें कितना सोचने के लिए छोड़ते हैं? वैज्ञानिक बिल्कुल यही पता लगाना चाहते थे।
"ओवरथिंकिंग" (ज़रूरत से ज़्यादा सोचने) की समस्या: क्यों ज़्यादा समय हमेशा बेहतर नहीं होता
इस अध्ययन में, शोधकर्ताओं ने यह देखने के लिए एक विशाल प्रयोग किया कि चार अलग-अलग AI मॉडल तीन कठिन टेस्ट पर कैसा प्रदर्शन करते हैं: ग्रेड-स्कूल गणित, प्रतियोगिता-स्तर का गणित, और स्नातक-स्तर (graduate-level) के विज्ञान के प्रश्न। उन्होंने मॉडल्स को केवल चलने नहीं दिया; बल्कि उन्हें विशिष्ट मात्रा में "सोचने" (टोकन में मापा गया) के बाद रुकने के लिए मजबूर किया। उन्होंने सात अलग-अलग सीमाएँ टेस्ट कीं, जो बहुत कम 64 टोकन (बहुत कम सोचने का समय) से लेकर एक बड़े 4,096 टोकन (बहुत अधिक सोचने का समय) तक थीं।
उन्होंने जो खोजा वह यह है कि एक एकल "सर्वश्रेष्ठ" मॉडल का विचार एक मिथक है। मॉडल्स की रैंकिंग पूरी तरह से इस बात पर निर्भर करके बदल जाती थी कि उन्हें कितना समय दिया गया था।
"ओवरथिंकिंग" का आश्चर्य
आप सोच सकते हैं कि रोबोट को सोचने के लिए अधिक समय देने से उसे सही उत्तर पाने में हमेशा मदद मिलेगी। लेकिन शोधकर्ताओं ने पाया कि कुछ अजीब हुआ: कभी-कभी, मॉडल को अधिक टोकन देने से वास्तव में उसका उत्तर गलत हो जाता था। वे इसे "ओवरथिंकिंग" कहते हैं।
कल्पना कीजिए कि एक छात्र को गणित के एक सवाल का जवाब पता है। यदि आप उसे 10 मिनट देते हैं, तो वह उसे सही ढंग से लिख देता है। लेकिन यदि आप उसे 30 मिनट देते हैं, तो वह खुद पर संदेह करना शुरू कर सकता है, अपना उत्तर बदल सकता है, और अंत में गलत उत्तर के साथ समाप्त कर सकता है। अध्ययन में पाया गया कि यह 3% से 19% प्रश्नों के लिए हुआ। इससे भी बुरा यह था कि यह समस्या स्वयं प्रश्नों की नहीं थी; यह प्रत्येक रोबोट के लिए विशिष्ट थी। एक ऐसा प्रश्न जिसने एक मॉडल को "ओवरथिंक" करने और विफल होने के लिए मजबूर किया, वह दूसरे मॉडल के लिए पूरी तरह से ठीक हो सकता था। यह वैसा ही है जैसे कोई व्यक्ति भाषण तैयार करने के लिए बहुत अधिक समय मिलने पर घबरा सकता है, जबकि दूसरा व्यक्ति इसमें निपुण होता है।
रैंकिंग का बड़ा बदलाव
इस कारण से, दौड़ का "विजेता" लगातार बदलता रहा।
- आसान गणित टेस्ट (GSM8K) पर, एक बड़ा मॉडल (LLaMA-3.3 70B) मध्यम समय (256 टोकन) दिए जाने पर चैंपियन था। लेकिन जैसे ही उन्होंने मॉडल्स को अधिक समय दिया (4,096 टोकन तक), एक छोटा मॉडल (GPT-OSS 20B) आगे निकल गया और वहीं बना रहा।
- सबसे कठिन विज्ञान टेस्ट (GPQA) पर, सबसे छोटा मॉडल (LLaMA-3 8B) वास्तव में तब सबसे अच्छा था जब समय कम था (256–512 टोकन)। लेकिन जैसे-जैसे समय बढ़ा, बड़े मॉडल्स ने बराबरी कर ली और अंततः शीर्ष स्थान के लिए टाई हो गए।
इसका मतलब है कि यदि आप आज एक लीडरबोर्ड देखते हैं जो कहता है "मॉडल X सबसे अच्छा है," तो वह कथन केवल एक विशिष्ट समय के लिए ही सत्य है। यदि आप समय की सीमा बदलते हैं, तो मॉडल X अचानक सबसे खराब भी हो सकता है।
"ओरेकल" गैप: हमें एक स्मार्ट स्विच की आवश्यकता क्यों है?
शोधकर्ताओं ने यह भी पूछा: "यदि हम जादुई रूप से हर एक प्रश्न के लिए सही मॉडल चुन सकें, तो हम कितना बेहतर प्रदर्शन करेंगे?" उन्होंने एक सैद्धांतिक "ओरेकल" (एक आदर्श चयनकर्ता) बनाया जो प्रत्येक विशिष्ट प्रश्न और समय सीमा के लिए सबसे अच्छे मॉडल को चुनता था।
परिणाम चौंकाने वाले थे। कठिन विज्ञान टेस्ट पर, यह परफेक्ट सेलेक्टर एक अकेले चलते हुए सबसे अच्छे मॉडल की तुलना में 27.8 प्रतिशत अंक अधिक सही उत्तर प्राप्त कर सकता था। यहाँ तक कि आसान गणित टेस्ट पर भी, अंतर महत्वपूर्ण था (16.9 अंक तक)। यह साबित करता है कि कोई भी एक रोबोट हर चीज़ में अच्छा नहीं है। कभी छोटा रोबोट सबसे अच्छा होता है, कभी बड़ा रोबोट, और कभी-कभी वे सभी गलत होते हैं।
क्या हम एक स्मार्ट स्विच बना सकते हैं?
टीम ने एक "राउटर" बनाने की कोशिश की—एक स्मार्ट सिस्टम जो एक प्रश्न को देखता है और समय की सीमा को देखता है, फिर तय करता है कि कौन सा रोबत उत्तर देगा।
- एक ही प्रकार के टेस्ट के भीतर: जब उन्होंने राउटर को गणित के सवालों पर प्रशिक्षित किया और गणित के सवालों पर ही टेस्ट किया, तो इसने बहुत अच्छा काम किया। "समय सीमा" को एक सुराग के रूप में उपयोग करने से सही रोबोट चुनने में मदद मिली, जिससे सटीकता में 1.6 से 5.7 अंक का सुधार हुआ।
- विभिन्न टेस्ट्स के बीच: लेकिन जब उन्होंने गणित से विज्ञान के सवालों में स्विच करने के लिए उसी राउटर का उपयोग करने की कोशिश की, तो वह भ्रमित हो गया। गणित के लिए जो "समय सीमा" के सुराग काम करते थे, वे विज्ञान के लिए काम नहीं आए। वास्तव में, उन सुरागों का उपयोग करने से डोमेन स्विच करते समय राउटर का प्रदर्शन 1.2 अंक से खराब हो गया। यह सुझाव देता है कि "कितना समय आपके पास है" और "सही उत्तर प्राप्त करना" के बीच का संबंध हर विषय के लिए अलग होता है।
निष्कर्ष
इस पेपर का मुख्य सबक सरल लेकिन शक्तिशाली है: कोई भी एक "सर्वश्रेष्ठ" AI मॉडल नहीं है। "कौन सा मॉडल सबसे अच्छा है?" का उत्तर पूरी तरह से इस पर निर्भर करता है कि "आप उन्हें कितना सोचने के लिए देते हैं।"
यदि आप फोन के लिए एक ऐप बना रहे हैं जहाँ आप AI को बहुत कम समय दे सकते हैं, तो एक छोटा, तेज़ मॉडल आपका चैंपियन हो सकता है। यदि आप एक सर्वर चला रहे हैं जहाँ आप AI को घंटों तक सोचने के लिए दे सकते हैं, तो एक अलग, बड़ा मॉडल जीत सकता है। मॉडल्स को रैंक करने का पुराना तरीका—बस एक विजेता चुनना—टूटा हुआ है। इसके बजाय, हमें कहना चाहिए, "मॉडल A छोटे उत्तरों के लिए सबसे अच्छा है, मॉडल B लंबे उत्तरों के लिए सबसे अच्छा है, और कभी-कभी, यदि आप उन्हें बहुत अधिक समय देते हैं, तो वे बस गड़बड़ी कर सकते हैं।"
शोधकर्ता सुझाव देते हैं कि भविष्य में, हमें केवल एक स्कोर माँगने के बजाय विभिन्न समय सीमाओं पर मॉडल्स के प्रदर्शन को रिपोर्ट करना शुरू करना चाहिए। और यदि हम इन मॉडल्स का प्रभावी ढंग से उपयोग करना चाहते हैं, तो हमें ऐसे स्मार्ट सिस्टम की आवश्यकता है जो जानते हों कि कब छोटे, त्वरित विचारक को बुलाना है और कब बड़े, धीमे विचारक को बुलाना है—क्योंकि घड़ी शुरू होते ही विजेता बदल जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।