Decomposing Reasoning Efficiency in Large Language Models
यह शोध पत्र एक ट्रेस-ऑप्शनल (trace-optional) ढांचे को प्रस्तुत करता है जो बड़े भाषा मॉडलों (large language models) की तर्क दक्षता को व्याख्यात्मक कारकों—जैसे कि पूर्णता (completion), सशर्त शुद्धता (conditional correctness), और शब्दबहुलता (verbosity)—में विभाजित करता है ताकि यह प्रकट किया जा सके कि सटीकता और टोकन दक्षता अक्सर भिन्न होती हैं और अलग-अलग बाधा प्रोफाइल (bottleneck profiles) द्वारा संचालित होती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप जटिल पहेलियों को हल करने के लिए एक पेशेवर शोधकर्ता (researcher) को काम पर रख रहे हैं। आप उन्हें प्रति घंटे के हिसाब से भुगतान करते हैं।
यदि आप उनकी अंतिम रिपोर्ट देखते हैं और पाते हैं कि उन्होंने सही उत्तर दिया है, तो आप सोच सकते हैं, "बहुत बढ़िया!" लेकिन क्या होगा यदि उन्होंने उस एक उत्तर तक पहुँचने के लिए 10 घंटे तक बड़बड़ाने, खुद को दोहराने और एक ही नोट्स को बार-बार जाँचने में बिता दिए? या, क्या होगा यदि वे अविश्वसनीय रूप से तेज़ और संक्षिप्त थे, लेकिन उन्होंने केवल इसलिए सही उत्तर दिया क्योंकि उन्होंने अनुमान (guess) लगा लिया था?
वर्तमान में, जब हम AI मॉडल (जैसे ChatGPT या DeepSeek) का परीक्षण करते हैं, तो हम मुख्य रूप से केवल अंतिम ग्रेड देखते हैं: क्या उन्होंने सही उत्तर दिया? यह शोध पत्र तर्क देता है कि बुद्धिमत्ता को मापने का यह एक आलसी तरीका है। यह कहता है कि हमें दक्षता (Efficiency) को देखने की आवश्यकता है: AI ने सत्य तक पहुँचने के लिए कितने "मस्तिष्क बल" (टोकन) बर्बाद किए?
समस्या: "बातूनी जीनियस" बनाम "तेज़ अनुमान लगाने वाला"
शोधकर्ताओं ने पाया कि दो AI मॉडलों का सटीक प्रदर्शन स्कोर (accuracy score) समान हो सकता है, लेकिन उनके काम करने का तरीका पूरी तरह से अलग हो सकता है।
इसे ऐसे समझें जैसे दो छात्र गणित की परीक्षा दे रहे हों:
- छात्र A (अति-विचार करने वाला - The Overthinker): वे हर उत्तर सही पाते हैं, लेकिन वे हर प्रश्न के लिए तीन पन्नों के रफ नोट्स लिखते हैं, अक्सर एक ही चरणों को दोहराते हैं। वे बुद्धिमान हैं, लेकिन वे अविश्वसनीय रूप से महंगे और धीमे हैं।
- छात्र B (जुआरी - The Gambler): वे पाँच मिनट में परीक्षा समाप्त कर देते हैं, लेकिन वे केवल आधे उत्तर सही पाते हैं क्योंकि उन्होंने जल्दबाजी की और अनुमान लगाया। वे तेज़ हैं, लेकिन अविश्वसनीय हैं।
यदि हम केवल अंतिम स्कोर देखते हैं, तो हम इस तथ्य को अनदेखा कर देते हैं कि छात्र A आपके पैसे बर्बाद कर रहा है और छात्र B आपका समय बर्बाद कर रहा है।
समाधान: "दक्षता एक्स-रे" (The Efficiency X-Ray)
लेखकों ने AI की तर्क प्रक्रिया को "एक्स-रे" करने का एक नया तरीका बनाया है। केवल अंतिम उत्तर देखने के बजाय, वे AI के प्रदर्शन को तीन विशिष्ट "बर्बादी श्रेणियों" में विभाजित करते हैं:
- "साँस फूलने वाला" कारक (Truncation): क्या AI अपने ही विचारों में इतना खो गया कि वह उत्तर पूरा करने से पहले ही टोकन (स्थान) खत्म होने की कगार पर पहुँच गया? यह एक धावक की तरह है जो फिनिश लाइन से ठीक 10 फीट पहले ही ढह जाता है।
- "तर्क अंतराल" (Logic Gap/Logic Robustness): यदि AI उत्तर पूरा भी करता है, तो क्या वह वास्तव में सोच रहा है, या वह केवल आत्मविश्वास के साथ गलत हो रहा है? यह "स्मार्ट" गलतियों को "मूर्खतापूर्ण" गलतियों से अलग करता है।
- "शब्दों का फालतू भार" (Verbal Fluff/Verbosity): यह सबसे दिलचस्प हिस्सा है। शोधकर्ताओं ने पाया कि कुछ मॉडलों का एक विशाल "ओवरहेड" होता है। वे कार्य के लिए आवश्यक शब्दों से कहीं अधिक शब्दों का उपयोग करते हैं।
"सिग्नल बनाम शोर" का परीक्षण
जब शोधकर्ता AI की "आंतरिक मोनोलॉग" (reasoning trace) को देख सकते थे, तो वे और भी गहराई में गए। उन्होंने "सिग्नल"—वास्तविक उपयोगी चरणों—बनाम "शोर" (Noise) की तलाश की।
उन्होंने "शोर" के तीन प्रकार पाए जो मानसिक स्टेटिक (static) की तरह कार्य करते हैं:
- टूटा हुआ रिकॉर्ड (Repetition): AI एक लूप में फंस जाता है, बार-बार एक ही बात कहता है (जैसे, "मुझे जाँच करने दें... मुझे जाँच करने दें... मुझे जाँच करने दें...")।
- नकलची (Prompt Copying): AI वास्तव में समस्या को हल करने के बजाय प्रश्न को ही खुद को वापस दोहरा देता है।
- बड़बड़ाने वाला (Off-topic): AI उन चीजों के बारे में बात करता है जिनका पहेली से कोई लेना-देना नहीं है।
यह क्यों मायने रखता है?
यह केवल गणित के बारे में नहीं है; यह तकनीक के भविष्य के बारे में है।
जैसे-जैसे हम "रीजनिंग मॉडल्स" (ऐसे AI जो बोलने से पहले "सोचते" हैं) की ओर बढ़ रहे हैं, वे अधिक महंगे और बिजली का अधिक उपयोग करने वाले होने जा रहे हैं। यदि हमें यह नहीं पता कि AI इतने अधिक टोकन क्यों उपयोग कर रहा है, तो हमें यह नहीं पता चलेगा कि इसे कैसे ठीक किया जाए।
इस "एक्स-रे" पद्धति का उपयोग करके, डेवलपर्स देख सकते हैं कि वास्तव में क्या ठीक करने की आवश्यकता है:
- यदि AI लॉजिक-लिमिटेड (Logic-Limited) है, तो उन्हें इसे बेहतर प्रशिक्षण देने की आवश्यकता है।
- यदि AI वर्बोसिटी-लिमिटेड (Verbosity-Limited) है, तो उन्हें इसे संक्षिप्त होना सिखाने की आवश्यकता है।
- यदि AI कॉन्टेक्स्ट-लिमिटेड (Context-Limited) है, तो उन्हें इसे एक बड़ी "वर्किंग मेमोरी" देने की आवश्यकता है।
संक्षेप में: यह शोध पत्र AI को "बुद्धिमान लेकिन महंगे और बड़बड़ाने वाले" से बदलकर "बुद्धिमान, सटीक और कुशल" बनाने के लिए टूलकिट प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।