More Accurate or More Efficient? Evaluating Locally Deployed Compact Open-Weight Language Models for Mathematical Reasoning
यह शोध पत्र गणितीय तर्क पर स्थानीय रूप से तैनात कॉम्पैक्ट ओपन-वेट लैंग्वेज मॉडल्स के लिए एक नियंत्रित मूल्यांकन ढांचा प्रस्तुत करता है, जो यह प्रदर्शित करता है कि मॉडल चयन के लिए केवल सटीकता पर्याप्त नहीं है क्योंकि यह महत्वपूर्ण ट्रेड-ऑफ को उजागर करता है जहाँ विशिष्ट डेटासेट पर Qwen3:4b की उच्च सटीकता के बावजूद Gemma3:4b बेहतर ऊर्जा दक्षता प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
पिछले कुछ वर्षों में, कंप्यूटरों ने इतनी कुशलता से पढ़ना और लिखना सीख लिया है जो लगभग मानवीय महसूस होती है। ये सिस्टम, जिन्हें लार्ज लैंग्वेज मॉडल्स (large language models) के रूप में जाना जाता है, वाक्यों में अगले शब्द की भविष्यवाणी करके कहानियाँ लिख सकते हैं, समस्याओं को हल कर सकते हैं और प्रश्नों के उत्तर दे सकते हैं, जो उन्होंने टेक्स्ट की विशाल मात्रा से सीखे गए पैटर्न पर आधारित होता है। लंबे समय तक, इन शक्तिशाली उपकरणों का उपयोग करने का एकमात्र तरीका इंटरनेट के माध्यम से किसी तकनीकी कंपनी के स्वामित्व वाले विशाल सर्वर फार्म को प्रश्न भेजना था। लेकिन एक नया रुझान इस गतिशीलता को बदल रहा है। शोधकर्ता और डेवलपर्स अब इन मॉडल्स के छोटे संस्करणों को डाउनलोड करने और उन्हें सीधे अपने कंप्यूटर पर चलाने में सक्षम हैं, ठीक वैसे ही जैसे कोई मानक सॉफ्टवेयर प्रोग्राम इंस्टॉल किया जाता है। यह बदलाव महत्वपूर्ण लाभ प्रदान करता है: आपका डेटा आपके मशीन पर निजी रहता है, आपको प्रति प्रश्न भुगतान नहीं करना पड़ता है, और आप बिना इंटरनेट कनेक्शन के भी इस तकनीक का उपयोग कर सकते हैं। हालांकि, इन प्रोग्रामों को स्थानीय रूप से चलाने के साथ नई चुनौतियाँ भी आती हैं। जब कोई मॉडल आपके अपने हार्डवेयर पर चलता है, तो वह बिजली की खपत करता है, गर्मी पैदा करता है और सोचने में समय लेता है। केवल इसलिए कि एक मॉडल लैपटॉप पर चलने के लिए पर्याप्त छोटा है, इसका मतलब यह नहीं है कि वह दैनिक उपयोग के लिए पर्याप्त कुशल है।
फ्लोरिडा इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं की एक टीम ने इन स्थानीय मॉडल्स को चलाने के वास्तविक दुनिया के समझौतों (trade-offs) को समझने के लिए प्रयास किया। वे यह जानना चाहते थे कि क्या सबसे सटीक मॉडल ही सबसे कुशल भी था, या क्या काम के लिए सबसे अच्छे टूल को चुनने के लिए गति, ऊर्जा और शुद्धता के बीच संतुलन बनाना आवश्यक था। इसका उत्तर खोजने के लिए, उन्होंने एक विशिष्ट प्रकार के कार्य पर ध्यान केंद्रित किया: गणितीय तर्क (mathematical reasoning)। गणित के प्रश्न इस प्रकार के परीक्षण के लिए आदर्श हैं क्योंकि उनके स्पष्ट और वस्तुनिष्ठ उत्तर होते हैं। एक रचनात्मक लेखन प्रॉम्प्ट के विपरीत जहाँ "सही" उत्तर व्यक्तिपरक होता है, एक गणित की समस्या या तो सही समाधान देती है या नहीं देती। शोधकर्ताओं ने तीन संक्षिप्त मॉडल्स का चयन किया, जिनमें से प्रत्येक में पांच बिलियन से कम पैरामीटर (जो मॉडल के आकार और जटिलता का एक पैमाना है) थे। गूगल, माइक्रोसॉफ्ट और अलीबाबा द्वारा विकसित इन मॉडल्स को इसलिए चुना गया क्योंकि वे बिना किसी विशेष, महंगे उपकरण के मानक उपभोक्ता कंप्यूटरों पर चलाने के लिए पर्याप्त छोटे हैं।
टीम ने एक निष्पक्ष तुलना सुनिश्चित करने के लिए एक कठोर प्रयोग डिजाइन किया। उन्होंने आठवीं कक्षा के अंकगणित से लेकर विश्वविद्यालय स्तर के कैलकुलस और उन्नत सांख्यिकी तक गणित के तीन अलग-अलग सेट एकत्र किए। फिर उन्होंने ये बिल्कुल समान प्रश्न तीनों मॉडल्स को दिए, और उन सभी को एक ही कंप्यूटर पर समान सेटिंग्स के साथ चलाया। महत्वपूर्ण रूप से, उन्होंने केवल इस बात पर ध्यान नहीं दिया कि मॉडल्स ने सही उत्तर दिया या नहीं। उन्होंने यह भी मापा कि प्रत्येक प्रश्न को हल करने में कितना समय लगा, मॉडल ने वहां तक पहुँचने के लिए कितने शब्द उत्पन्न किए, और प्रक्रिया के दौरान कंप्यूटर के ग्राफिक्स कार्ड ने कितनी विद्युत ऊर्जा की खपत की। उन्होंने अपेक्षित परिणाम या संख्या से मेल खाने के लिए अतिरिक्त टेक्स्ट या फॉर्मेटिंग को हटाकर, अंतिम उत्तरों की स्वचालित रूप से जांच करने के लिए एक प्रणाली बनाई। इसने उन्हें वास्तविक तर्क संबंधी त्रुटियों को सरल फॉर्मेटिंग गलतियों से अलग करने की अनुमति दी।
परिणामों ने सटीकता और दक्षता के बीच एक आश्चर्यजनक विच्छेद (disconnect) को प्रकट किया। कोई भी एकल मॉडल सब कुछ करने में सर्वश्रेष्ठ नहीं था। अलीबाबा द्वारा विकसित एक मॉडल ने आठवीं कक्षा के गणित और उन्नत सांख्यिकी परीक्षणों पर उच्चतम सटीकता प्राप्त की। गूगल के एक अन्य मॉडल ने कैलकुलस की समस्याओं पर सर्वश्रेष्ठ प्रदर्शन किया। तीसरा मॉडल, माइक्रोसॉफ्ट का, सभी तीन श्रेणियों में काफी संघर्ष करता दिखा, जिसे बहुत कम उत्तर सही मिले। हालांकि, जब शोधकर्ताओं ने ऊर्जा दक्षता को देखा, तो रैंकिंग नाटकीय रूप से बदल गई। गूगल का मॉडल बिजली के उपयोग के मामले में स्पष्ट विजेता था। बिजली की प्रत्येक इकाई के उपयोग के बदले, उसने अलीबाबा के मॉडल की तुलना में लगभग तीन गुना अधिक सही उत्तर दिए। अलीबाबा का मॉडल, जो अक्सर सबसे सटीक था, अपने उत्तर देने के लिए काफी अधिक समय और ऊर्जा की आवश्यकता रखता था, जिससे वह समाधान तक पहुँचने के लिए अनावश्यक रूप से बहुत अधिक टेक्स्ट उत्पन्न करता था। माइक्रोसॉफ्ट का मॉडल, कुछ मामलों में कम ऊर्जा-गहन होने के बावजूद, इतना गलत था कि उसकी दक्षता के लाभ अप्रासंगिक थे।
अध्ययन ने इन मॉडल्स को कैसे कॉन्फ़िगर किया जाता है, इसके महत्व पर भी प्रकाश डाला। अलीबाबा मॉडल में एक "सोचने" (thinking) मोड है जहाँ वह उत्तर देने से पहले समस्या पर विचार करने के लिए रुकता है। शोधकर्ताओं ने अन्य मॉडल्स के साथ निष्पक्ष तुलना सुनिश्चित करने के लिए इस फीचर को अक्षम कर दिया, क्योंकि अन्य मॉडल्स में ऐसी क्षमता नहीं है। उन्होंने नोट किया कि इस चुनाव ने अलीबाबा मॉडल की सटीकता को उसके "सोचने" वाले मोड के प्रदर्शन की तुलना में कम किया होगा, लेकिन परीक्षण की स्थितियों को सुसंगत रखने के लिए यह आवश्यक था। इसके अलावा, शोधकर्ताओं ने पाया कि माइक्रोसॉफ्ट मॉडल का निम्न प्रदर्शन इस कारण नहीं था कि कंप्यूटर उत्तर पढ़ने में विफल रहा। सिस्टम ने लगभग हर प्रतिक्रिया से उत्तर सफलतापूर्वक निकाला, जिसका अर्थ था कि खराब परिणाम मॉडल द्वारा गलत समाधान प्रदान करने के कारण थे, न कि परीक्षण प्रक्रिया की विफलता के कारण।
अंततः, यह शोध प्रदर्शित करता है कि जो कोई भी अपने स्वयं के हार्डवेयर पर इन मॉडल्स को चलाना चाहता है, उसके लिए सटीकता ही एकमात्र पैमाना नहीं है। एक मॉडल जो थोड़ा कम सटीक है लेकिन ऊर्जा और समय का एक अंश ही उपयोग करता है, वह सीमित कंप्यूटिंग संसाधनों वाले छात्र या छोटी टीम के लिए बेहतर विकल्प हो सकता है। निष्कर्ष बताते हैं कि स्थानीय उपयोग के लिए कोई एक "सर्वश्रेष्ठ" मॉडल नहीं है। इसके बजाय, सही चुनाव पूरी तरह से विशिष्ट कार्य और उपयोगकर्ता के हार्डवेयर की सीमाओं पर निर्भर करता है। यदि लक्ष्य उच्चतम सटीकता के साथ जटिल कैलकुलस समस्याओं को हल करना है, तो एक मॉडल को प्राथमिकता दी जा सकती है। यदि लक्ष्य बैटरी जीवन या बिजली की बचत करते हुए सैकड़ों प्रश्नों को तेजी से संसाधित करना है, तो एक अलग मॉडल तार्किक विकल्प बन जाता है। यह अध्ययन निर्णय लेने के लिए एक स्पष्ट, प्रलेखित पद्धति प्रदान करता है, जो केवल सटीकता स्कोर से आगे बढ़कर यह समझने की ओर ले जाता है कि ये उपकरण वास्तविक दुनिया में वास्तव में कैसे प्रदर्शन करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।