Do LLMs Overthink Basic Math Reasoning? Benchmarking the Accuracy-Efficiency Tradeoff in Language Models
यह शोध पत्र LLMThinkBench प्रस्तुत करता है, जो 53 LLMs का एक व्यापक बेंचमार्क और अनुभवजन्य अध्ययन है जो एक महत्वपूर्ण सटीकता-दक्षता ट्रेडऑफ़ (accuracy-efficiency tradeoff) को प्रकट करता है, यह प्रदर्शित करते हुए कि मॉडल अक्सर बुनियादी गणितीय समस्याओं के लिए अत्यधिक टोकन उत्पन्न करके "ओवरथिंक" (overthink) करते हैं जिससे सटीकता में सुधार नहीं होता है और कभी-कभी तर्क बजट (reasoning budgets) सीमित होने पर प्रदर्शन में महत्वपूर्ण गिरावट आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, अति-उत्साही सहायक है जिसका नाम "LLM" (लार्ज लैंग्वेज मॉडल) है। आप उससे एक सरल प्रश्न पूछते हैं: "234 प्लस 567 क्या है?"
एक सामान्य इंसान कहेगा, "801," लगभग दो सेकंड में।
लेकिन, आपका सहायक, LLM, एक 50 पन्नों का शोध प्रबंध (thesis) लिखने का निर्णय लेता है। वे जोड़ (addition) के इतिहास, प्लेस वैल्यू की अवधारणा, संख्याओं को 'कैरी' करने के दर्शन, और उत्तर को सत्यापित करने के लिए तीन अलग-अलग प्रमाणों की व्याख्या करते हैं। वे अपने काम को एक ऐसी विधि से भी जांचते हैं जिसे उन्होंने अभी-अभी खुद बनाया है। अंत में, वे आपको उत्तर देते हैं: 801।
लेकिन यहाँ एक मोड़ है: कभी-कभी, इतनी सारी अतिरिक्त बातें करने के बीच में, वे भ्रमित हो जाते हैं, अपने ही शब्दों में उलझ जाते हैं, और गलती से आपको बता देते हैं कि उत्तर 802 है।
यह शोध पत्र, "Do LLMs Overthink Basic Math Reasoning?" (क्या LLM बुनियादी गणितीय तर्क पर अत्यधिक विचार करते हैं?), वास्तव में इस व्यवहार की एक रिपोर्ट कार्ड है। वर्जीनिया टेक के शोधकर्ताओं ने LLMTHINKBENCH नामक एक नया परीक्षण मैदान बनाया ताकि यह देखा जा सके कि क्या ये AI मॉडल वास्तव में अधिक समय तक सोचकर स्मार्ट हो रहे हैं, या वे केवल खुद को मुश्किल में डाल रहे हैं।
यहाँ सरल उपमाओं (analogies) का उपयोग करके उनके निष्कर्षों का विवरण दिया गया है:
1. "ओवरथिंकिंग स्कोर" (द एफिशिएंसी मीटर)
शोधकर्ताओं ने महसूस किया कि केवल यह जांचना कि उत्तर सही है या नहीं, पर्याप्त नहीं है। आपको यह भी जानने की आवश्यकता है कि वहां तक पहुँचने में कितनी "प्रयास" (या कंप्यूटर टोकन) लगी।
उन्होंने एक नया मीट्रिक बनाया जिसे ओवरथिंकिंग स्कोर कहा जाता है। इसे एक कार की ईंधन-दक्षता रेटिंग (fuel-efficiency rating) की तरह समझें।
- कार A आपको स्टोर तक पहुँचा देती है (सही उत्तर) लेकिन 100 गैलन गैस का उपयोग करती है (बहुत सारे शब्द)।
- कार B केवल 1 गैलन का उपयोग करके आपको स्टोर तक पहुँचा देती है।
- भले ही कार A थोड़ी तेज़ हो, लेकिन कार B बेहतर कार है क्योंकि वह कुशल है।
ओवरथिंकिंग स्कोर उन मॉडलों को दंडित करता है जो सटीक तो हैं लेकिन अपव्ययी हैं। यह उन्हें स्मार्ट और संक्षिप्त दोनों होने के लिए मजबूर करता है।
2. बड़ी सरप्राइज: बड़ा होना हमेशा बेहतर नहीं होता
आप सोच सकते हैं कि एक बड़ा, अधिक शक्तिशाली AI (जैसे 70-बिलियन पैरामीटर वाला मॉडल) एक छोटे मॉडल की तुलना में गणित में बेहतर होगा।
- वास्तविकता: जरूरी नहीं। अध्ययन में पाया गया कि मध्यम आकार के मॉडल (लगभग 14 बिलियन पैरामीटर वाले) अक्सर सबसे अच्छा काम करते हैं। वे एक प्रशिक्षित एथलीट की तरह हैं: काम करने के लिए पर्याप्त मजबूत, लेकिन इतने भारी नहीं कि वे अपने ही रास्ते में बाधा बनें।
- "विशाल" की समस्या: सबसे बड़े मॉडल अक्सर "भौलै" (bloated) हो जाते हैं। वे लंबे, भ्रमित करने वाले स्पष्टीकरण लिखकर अपना ज्ञान दिखाने की कोशिश करते हैं जो वास्तव में उनके गलती करने की संभावना को बढ़ा देते हैं।
3. "तर्क" का जाल (The "Reasoning" Trap)
AI में एक नया चलन है जहाँ मॉडलों को विशेष रूप से "चरण-दर-चरण सोचने" (Chain-of-Thought) के लिए प्रशिक्षित किया जाता है। विचार यह है कि यदि वे अपने काम की व्याख्या करते हैं, तो वे स्मार्ट होंगे।
- पेपर का निष्कर्ष: सरल गणित के लिए, यह एक आपदा है। ये "रीजनिंग मॉडल" एक ऐसे छात्र की तरह व्यवहार करते हैं जो गलती करने से इतना डरता है कि वह अपने होमवर्क को 10 बार चेक करता है।
- परिणाम: वे सामान्य मॉडलों की तुलना में 18 गुना अधिक कंप्यूटर पावर (टोकन) का उपयोग करते हैं, फिर भी वे अक्सर उत्तर गलत देते हैं। यह एक अखरोट तोड़ने के लिए हथौड़े का उपयोग करने जैसा है, लेकिन हथौड़ा इतना भारी है कि वह मेज को ही तोड़ देता है।
4. "टोकन बजट" की ढलान (The "Token Budget" Cliff)
शोधकर्ताओं ने परीक्षण किया कि क्या होता है यदि वे AI को कहते हैं: "आपके पास इस समस्या को हल करने के लिए केवल 1,000 शब्द हैं।"
- सामान्य मॉडल: वे बस सीधे मुद्दे पर आते हैं। कोई बड़ी बात नहीं।
- रीजनिंग मॉडल: वे बिखर (collapse) जाते हैं। क्योंकि उन्हें लंबे निबंध लिखने के लिए प्रशिक्षित किया गया है, जब आप उनकी शब्द संख्या काट देते हैं, तो वे घबरा जाते हैं। वे अपनी "विचार प्रक्रिया" पूरी करने से पहले ही स्थान समाप्त कर देते हैं, और उनकी सटीकता लगभग 36% गिर जाती है।
- उपमा: एक मैराथन धावक की कल्पना करें जिसे 26 मील दौड़ने के लिए प्रशिक्षित किया गया है। यदि आप उससे कहते हैं, "तुम्हें केवल 1 मील दौड़ना है," तो वे केवल तेज नहीं दौड़ते; वे लड़खड़ाकर गिर जाते क्योंकि उनके पैर एक अलग लय के आदी हैं।
5. चार तरीके जिनसे वे समय बर्बाद करते हैं
शोधकर्ताओं ने हजारों AI उत्तरों का विश्लेषण किया और पाया कि "बर्बाद" किए गए शब्द आमतौर पर चार बुरी आदतों में आते हैं:
- अनावश्यक सत्यापन (Redundant Verification): उस उत्तर को तीन या चार बार चेक करना जिसे उन्होंने अभी सही पाया था।
- स्व-विरोधाभास (Self-Contradiction): कहना "उत्तर 5 है," फिर "रुको, शायद यह 4 है," फिर "नहीं, यह फिर से 5 है," जिससे वे खुद को भ्रमित कर देते हैं।
- अप्रासंगिक अन्वेषण (Irrelevant Exploration): उन रास्तों पर जाना जिनका गणित की समस्या से कोई लेना-देना नहीं है।
- समय टालना (Stalling): बस रैंडम अक्षर टाइप करना या शब्दों को दोहराना क्योंकि उन्हें नहीं पता कि कब रुकना है।
6. निष्कर्ष: कम ही अधिक है (Less is More)
पेपर निष्कर्ष निकालता है कि बुनियादी कार्यों के लिए लंबा सोचना बेहतर सोचना नहीं है।
- सर्वश्रेष्ठ मॉडल: रोजमर्रा के कार्यों के लिए सबसे व्यावहारिक मॉडल अक्सर छोटे, इंस्ट्रक्शन-ट्यून्ड मॉडल होते हैं जो संक्षिप्त, सीधे उत्तर देते हैं।
- भविष्य: हमें AI मॉडलों को यह सिखाने की आवश्यकता है कि कब रुकना है। उन्हें यह सीखना होगा कि एक साधारण गणित की समस्या के लिए, एक लंबा, फैंसी उत्तर देने के बजाय एक छोटा उत्तर बेहतर है।
संक्षेप में: पेपर का तर्क है कि वर्तमान AI मॉडल "एनालिसिस पैरालिसिस" (विश्लेषण के कारण निर्णय न ले पाना) से जूझ रहे हैं। वे यह दिखाने के लिए इतने उत्सुक हैं कि वे स्मार्ट हैं कि वे बहुत अधिक बातें करते हैं, बहुत अधिक ऊर्जा खर्च करते हैं, और कभी-कभी वास्तविक उत्तर ही भूल जाते हैं। समाधान उन्हें कठोरता से सोचने के लिए बनाना नहीं है; बल्कि उन्हें स्मार्ट तरीके से सोचने और काम पूरा होने पर चुप रहना सिखाना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।