OckBench: Measuring the Efficiency of LLM Reasoning
यह शोध पत्र OckBench प्रस्तुत करता है, जो तर्क (reasoning) और कोडिंग कार्यों में लार्ज लैंग्वेज मॉडल्स की सटीकता और टोकन दक्षता का संयुक्त रूप से मूल्यांकन करने वाला पहला बेंचमार्क है, जो वर्तमान मॉडल्स में महत्वपूर्ण अक्षमताओं को उजागर करता है और टोकन उपयोग को अनुकूलित करने की ओर एक प्रतिमान परिवर्तन (paradigm shift) का समर्थन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल पहेली को हल करने के लिए दो लोगों को काम पर रख रहे हैं।
व्यक्ति A पहेली को देखता है, एक पल के लिए सोचता है, और कहता है, "उत्तर 42 है।"
व्यक्ति B संख्याओं के इतिहास, तर्क के दर्शन और अपनी बचपन की यादों के बारे में 50 पन्नों का निबंध लिखने में तीन घंटे बिता देता है और अंत में फुसफुसाते हुए कहता है, "उत्तर 42 है।"
दोनों लोगों ने सही उत्तर दिया। लेकिन यदि आपको उन्हें बोले गए शब्दों के आधार पर भुगतान करना पड़ता, तो व्यक्ति B आपको बहुत महंगा पड़ता, बहुत समय लेता और बहुत अधिक ऊर्जा बर्बाद करता।
यह शोध पत्र, OckBench, अनिवार्य रूप से एक रिपोर्ट कार्ड है जो AI मॉडलों को केवल इस आधार पर आंकना बंद करता है कि क्या वे सही उत्तर देते हैं। इसके बजाय, यह इस बात पर आंकता है कि वे वहां तक कितनी कुशलता से पहुँचते हैं। यह AI पर "ओकम के रेज़र" (Occam’s Razor) लागू करता है: इकाइयों को अनावश्यक रूप से बढ़ाना नहीं चाहिए। दूसरे शब्दों में, जब 10 शब्दों से काम चल सकता है, तो 1,000 शब्दों का उपयोग न करें।
यहाँ शोधकर्ताओं द्वारा की गई खोजों का सरल विवरण दिया गया है:
1. समस्या: "बातूनी" AI टैक्स
वर्तमान AI बेंचमार्क बहुविकल्पीय परीक्षाओं की तरह हैं जिन्हें केवल इस बात से फर्क पड़ता है कि आपने सही अक्षर पर गोला लगाया है या नहीं। उन्हें इससे कोई फर्क नहीं पड़ता कि वहां तक पहुँचने के लिए आपने हाशिए में उपन्यास तो नहीं लिख दिया।
शोधकर्ताओं ने देखा कि आधुनिक AI मॉडल (जैसे GPT-5.5 या Claude) तर्क करने में बहुत अच्छे हो गए हैं, लेकिन वे अविश्वसनीय रूप से वाचाल भी हो गए हैं। वे समस्याओं को हल करने के लिए भारी मात्रा में टेक्स्ट ("रीजनिंग ट्रेसेस") उत्पन्न करते हैं। यह महंगा है। हर अतिरिक्त शब्द पैसे खर्च करता है, प्रतीक्षा समय बढ़ाता है और अधिक बिजली जलाता है।
2. समाधान: OckBench और OckScore
इस कमी को दूर करने के लिए, टीम ने OckBench बनाया। यह गणित, कोडिंग और विज्ञान के 200 कठिन प्रश्नों का एक विशिष्ट सेट है।
लेकिन यहाँ एक ट्रिक है: उन्होंने केवल यादृच्छिक प्रश्न नहीं चुने। उन्होंने एक "डिफरेंशिएशन फ़िल्टर" का उपयोग किया। उन्होंने विशेष रूप से ऐसे प्रश्न चुने जहाँ कुछ AI छोटे, स्मार्ट उत्तर देते हैं और अन्य लंबे, बड़बड़ाने वाले उत्तर देते हैं। यह "दक्षता अंतर" (efficiency gap) को उजागर करता है।
उन्होंने एक नया स्कोर भी बनाया जिसे OckScore कहा जाता है।
- पुराना तरीका: स्कोर = सटीकता (Accuracy)।
- OckScore: स्कोर = सटीकता माइनस बहुत अधिक शब्दों के लिए दंड (penalty)।
इसे गोल्फ स्कोर की तरह समझें। आप कम संख्या (उच्च सटीकता) चाहते हैं, लेकिन यदि पुट को डालने के लिए आप 20 बार प्रहार करते हैं (बहुत अधिक टोकन), तो आपका स्कोर खराब हो जाता है। सर्वश्रेष्ठ खिलाड़ी एक या दो प्रहार में ही इसे डाल देते हैं।
3. तीन बड़ी खोजें
खोज 1: "ओवरथिंकिंग टैक्स"
आप मान सकते हैं कि छोटे, सस्ते AI मॉडल हमेशा आपकी जेब के लिए बेहतर होते हैं। OckBench दिखाता है कि यह अक्सर गलत होता है।
छोटे मॉडल अक्सर "ओवरथिंकिंग टैक्स" से ग्रस्त होते हैं। क्योंकि वे उतने बुद्धिमान नहीं होते, इसलिए वे बहुत अधिक बोलकर इसकी भरपाई करने की कोशिश करते हैं। वे बड़बड़ाते हैं, खुद को दोहराते हैं, और किसी उत्तर को खोजने के लिए टेक्स्ट की विशाल दीवारें उत्पन्न करते हैं।
- उदाहरण: एक छोटा मॉडल प्रति शब्द कुछ पैसे खर्च कर सकता है, लेकिन क्योंकि वह एक समस्या को हल करने के लिए 1,00,000 शब्द लिखता है, इसलिए अंततः यह उस स्मार्ट मॉडल की तुलना में अधिक महंगा पड़ता है जो इसे 5,000 शब्दों में हल कर देता है।
खोज 2: ओपन बनाम क्लोज्ड गैप
"क्लोज्ड" मॉडल्स (जैसे OpenAI या Anthropic के) और "ओपन-वेट" मॉडल्स (जैसे DeepSeek या Qwen, जो जनता के लिए उपलब्ध हैं) के बीच एक बड़ा अंतर है।
- क्लोज्ड मॉडल्स: ये कुशल सर्जनों की तरह हैं। वे सीधे समस्या के केंद्र पर प्रहार करते हैं।
- ओपन मॉडल्स: ये उत्साही इंटर्न की तरह हैं। वे सही उत्तर पाने में बेहतर हो रहे हैं, लेकिन वे अभी भी बहुत बातूनी हैं।
शोध पत्र दिखाता है कि एक ओपन मॉडल की सटीकता क्लोज्ड मॉडल के समान हो सकती है, लेकिन वहां तक पहुँचने के लिए वह 26 गुना अधिक शब्दों का उपयोग कर सकता है। यह संसाधनों की भारी बर्बादी है।
खोज 3: "प्रति-टोकन इंटेलिजेंस"
शोधकर्ताओं ने एक नया शब्द गढ़ा है: "प्रति-टोकन इंटेलिजेंस" (Per-Token Intelligence)। यह मापता है कि AI द्वारा उत्पन्न प्रत्येक शब्द में कितनी "बुद्धिमत्ता" भरी हुई है।
- उच्च प्रति-टोकन इंटेलिजेंस: AI केवल वही कहता है जो आवश्यक है। सघन, सटीक, कुशल।
- कम प्रति-टोकन इंटेलिजेंस: AI खाली जगह को फालतू बातों से भर देता है। विरल, दोहराव वाला, अक्षम।
आश्चर्यजनक रूप से, सबसे स्मार्ट मॉडलों में उच्च प्रति-टोकन इंटेलिजेंस होती है। जैसे-जैसे मॉडल अधिक स्मार्ट होते जाते हैं, वे वास्तव में अपने जवाबों में छोटे होते जाते हैं क्योंकि उन्हें बड़बड़ाने की आवश्यकता नहीं होती।
4. क्या हम इसे ठीक कर सकते हैं?
हाँ। शोध पत्र दिखाता है कि हम मॉडलों को बिना मूर्ख बनाए कम बातूनी बनाना सिखा सकते हैं।
- मॉडल्स का मिश्रण: एक "सोचने वाले" (thinking) मॉडल को मानक मॉडल के साथ मिलाकर, वे सटीकता को स्थिर रखते हुए शब्द गणना को आधा कर सके।
- प्रशिक्षण: मॉडलों को खुद को बहुत लंबा होने के लिए दंडित करने के लिए प्रशिक्षित करके (जैसे एक शिक्षक का कहना, "संक्षिप्त रहें!"), वे "ओवरथिंकिंग टैक्स" को कम कर सकते हैं।
निचोड़
शोध पत्र का तर्क है कि AI समुदाय को अपनी मानसिकता बदलने की आवश्यकता है। हमें केवल यह नहीं पूछना चाहिए, "क्या AI ने सही उत्तर दिया?" हमें यह भी पूछना चाहिए, "क्या वह हमारे समय, पैसे और बिजली को बर्बाद किए बिना वहां पहुँचा?"
भविष्य में, सर्वश्रेष्ठ AI केवल सबसे स्मार्ट नहीं होगा; वह सबसे संक्षिप्त भी होगा। जैसा कि शीर्षक से पता चलता है, हमें ओकम के रेज़र को लागू करने की आवश्यकता है: टोकनों को आवश्यकता से अधिक न बढ़ाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।