How Inference Compute Shapes Frontier LLM Evaluation
यह शोध पत्र प्रदर्शित करता है कि फ्रंटियर LLM का प्रदर्शन इन्फरेंस-टाइम कंप्यूट बजट और मूल्यांकन प्रोटोकॉल के प्रति अत्यधिक संवेदनशील है, यह तर्क देते हुए कि बेंचमार्क को उपलब्ध कंप्यूट के फलन (function) के रूप में क्षमताओं को रिपोर्ट करना चाहिए बजाय उन प्रतिबंधात्मक निश्चित बजटों पर निर्भर रहने के जो मॉडल की क्षमता को कम करके दिखा सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक टीम के प्रतिभाशाली जासूसों का परीक्षण कर रहे हैं ताकि यह देख सकें कि सबसे अच्छा कौन है। अतीत में, आप उन्हें एक सख्त नियम दे सकते थे: "आपके पास 10 मिनट हैं और अपना उत्तर लिखने का एक ही मौका है।" यदि वे विफल हो जाते, तो आप कहते, "यह जासूस पर्याप्त अच्छा नहीं है।"
लेकिन यह शोध पत्र तर्क देता है कि यह तरीका अनुचित है। यह सुझाव देता है कि कुछ जासूसों को बस अधिक समय, अपने काम की जांच करने के लिए दूसरा मौका, या एक संकेत की आवश्यकता थी कि उनका पहला अनुमान गलत था। यदि आप उन्हें ये चीजें देते, तो वे रहस्य को पूरी तरह से सुलझा सकते थे।
शोधकर्ताओं ने इस विचार का परीक्षण दुनिया के सबसे उन्नत AI मॉडल (जासूसों) का उपयोग करके सात बहुत कठिन चुनौतियों पर किया, जिनमें कंप्यूटर कोड लिखना और उन्नत गणित की समस्याओं को हल करने से लेकर चिकित्सा मामलों का निदान करना और साइबर सुरक्षा प्रणालियों को हैक करना शामिल है।
यहाँ उन्होंने जो पाया है, उसे सरल भाषा में समझाया गया है:
1. "समय सीमा" का जाल (The "Time Limit" Trap)
अधिकांश AI परीक्षण मॉडलों के लिए "सोचने के समय" (टोकन) का एक सख्त सीमा निर्धारित करते हैं। शोधकर्ताओं ने पाया कि कई कठिन कार्यों के लिए, यह सीमा AI को ठीक उसी समय रोक देती है जब वह कुछ समझने ही वाला होता है।
- उपमा: कल्पना कीजिए कि एक छात्र गणित की परीक्षा दे रहा है। उसे समस्या हल करना आता है, लेकिन शिक्षक 10 मिनट के बाद परीक्षा रोक देते हैं। छात्र को फेल कर दिया जाता है, इसलिए नहीं कि वह गणित नहीं जानता, बल्कि इसलिए क्योंकि उसका समय समाप्त हो गया।
- परिणाम: जब शोधकर्ताओं ने AI मॉडलों को बहुत अधिक समय (सामान्य से 30 गुना अधिक) दिया, तो उन्नत गणित और साइबर सुरक्षा जैसे कठिन कार्यों पर उनके स्कोर में काफी वृद्धि हुई। हालांकि, कुछ कार्यों पर (जैसे कुछ सॉफ्टवेयर इंजीनियरिंग समस्याएं), मॉडलों ने सामान्य समय सीमा के भीतर जितना संभव था उतना पहले ही हल कर लिया था, इसलिए अधिक समय देने से ज्यादा मदद नहीं मिली।
2. "दूसरा मौका" प्रभाव (The "Second Chance" Effect)
शोधकर्ताओं ने यह भी परीक्षण किया कि यदि वे विफल प्रयास के बाद AI को फिर से प्रयास करने की अनुमति देते हैं तो क्या होता है।
- उपमा: एक वीडियो गेम के बारे में सोचें। यदि आप मर जाते हैं, तो क्या आप बस हार जाते हैं? या क्या आपको फिर से शुरू करने और एक अलग रणनीति आजमाने का मौका मिलता है?
- परिणाम: AI को "रीस्टार्ट" करने या नया उत्तर सबमिट करने की अनुमति देने से लगभग हर टेस्ट में स्कोर में सुधार हुआ।
- संकेत के साथ: यदि AI को बताया गया, "वह उत्तर गलत था, फिर से प्रयास करें," तो वह सही समाधान खोजने में बहुत बेहतर हो गया, विशेष रूप से लंबे, जटिल कार्यों पर।
- बिना संकेत के: यदि AI को बिना यह जाने कि वह सही था या गलत, खुद से अनुमान लगाने के लिए छोड़ दिया गया, तो उसमें सुधार तो हुआ, लेकिन उतना नहीं।
- सावधानी: कुछ परीक्षणों पर, AI को सही होने के लिए केवल एक या दो प्रयासों की आवश्यकता थी। अन्य पर, उसे अंततः सफल होने के लिए 10 या 15 बार प्रयास करने की आवश्यकता थी।
3. एक ही नियम सब पर लागू नहीं होता (One Size Does Not Fit All)
सबसे महत्वपूर्ण खोज यह है कि विभिन्न प्रकार की समस्याओं को अलग-अलग प्रकार की "मदद" की आवश्यकता होती है।
- उपमा: कल्पना कीजिए कि आपके पास एक टूलबॉक्स है। हथौड़ा कीलों के लिए बहुत अच्छा है, लेकिन पेंचों के लिए बेकार है। आप हर चीज़ पर हथौड़ा लगाकर यह उम्मीद नहीं कर सकते कि वह काम करेगा।
- परिणाम:
- साइबर सुरक्षा और गणित: इन कार्यों को अधिक समय और अधिक प्रयासों की बहुत आवश्यकता थी। AI ने काम करने के साथ-साथ बेहतर प्रदर्शन किया।
- चिकित्सा निदान (Medical Diagnosis): इस कार्य में अधिक समय देने से बहुत अधिक सुधार नहीं हुआ। ऐसा लगा कि AI एक ऐसी सीमा पर पहुँच गया जहाँ अधिक सोचने से कोई मदद नहीं मिली।
- सॉफ्टवेयर इंजीनियरिंग: इन कार्यों में अधिक समय देने से थोड़ा सुधार हुआ, लेकिन मुख्य रूप से उन्हें फिर से प्रयास करने की अनुमति देने की आवश्यकता थी।
4. नए मॉडल अलग हैं (Newer Models Are Different)
शोधकर्ताओं ने अलग-अलग वर्षों के मॉडल (पुराने बनाम नए संस्करण) का परीक्षण किया।
- उपमा: पुराने मॉडलों को जूनियर जासूसों के रूप में सोचें जिन्हें एक केस सुलझाने के लिए बहुत अधिक समय और कई संकेतों की आवश्यकता होती है। नए मॉडल वरिष्ठ जासूसों की तरह हैं; वे कठिन मामले सुलझा सकते हैं और अधिक विश्वसनीय हैं, लेकिन वे जरूरी नहीं कि अपने समय का उपयोग करने में तेज़ हों।
- परिणाम: नए मॉडल केवल अपने समय का उपयोग करने में "तेज़" नहीं हुए। इसके बजाय, वे बेहतर हुए:
- कठिन कार्यों को अनलॉक करना: वे उन समस्याओं को हल कर सके जिन्हें पुराने मॉडल छू भी नहीं सकते थे।
- अधिक विश्वसनीय होना: जब वे किसी समस्या को हल करते थे, तो दूसरी कोशिश में उनके गलती करने की संभावना कम होती थी।
- दिलचस्प बात यह है कि नवीनतम मॉडलों को कभी-कभी इतने "दूसरे मौकों" की आवश्यकता नहीं होती क्योंकि वे पहली बार में ही सही उत्तर पा लेते हैं।
मुख्य निष्कर्ष
यह शोध पत्र तर्क देता है कि हम एक सख्त समय सीमा वाले एकल परीक्षण के एकल स्कोर से AI की वास्तविक बुद्धिमत्ता का निर्णय नहीं ले सकते।
- स्कोर नियमों पर निर्भर करता है: एक AI का स्कोर इस बात पर बदल जाता है कि आप उसे कितना समय देते हैं, क्या आप उसे फिर से प्रयास करने देते हैं, और क्या आप उसे बताते हैं कि वह सही है या गलत।
- सिफारिश: यह कहने के बजाय कि "मॉडल X का स्कोर 80% है," हमें कहना चाहिए कि "मॉडल X 1 मिनट में 80% स्कोर करता है, लेकिन 10 मिनट में 95% स्कोर करता है।" यह इस बात की बहुत स्पष्ट तस्वीर देता है कि AI वास्तव में क्या करने में सक्षम है, विशेष रूप से सुरक्षा और नीतिगत निर्णयों के लिए जहाँ हमें इन प्रणालियों की अधिकतम क्षमता जानने की आवश्यकता है, न कि केवल दबाव में उनके प्रदर्शन की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।