💬 NLP

SmartThinker: Progressive Chain-of-Thought Length Calibration for Efficient Large Language Model Reasoning

SmartThinker एक नवीन GRPO-आधारित विधि है जो बड़े रीजनिंग मॉडल्स में रेडंडेंसी (अनावश्यकता) और ओवरथिंकिंग को कम करने के लिए प्रशिक्षण के दौरान चेन-ऑफ-थॉट की लंबाई को गतिशील रूप से कैलिब्रेट करती है, जिससे जटिल बेंचमार्क पर सटीकता में सुधार या उसे बनाए रखते हुए महत्वपूर्ण टोकन संपीड़न (कंप्रेशन) प्राप्त होता है।

मूल लेखक: Chenzhi Hu, Qinzhe Hu, Yuhang Xu, Junyi Chen, Ruijie Wang, Shengzhong Liu, Jianxin Li, Fan Wu, Guihai Chen

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chenzhi Hu, Qinzhe Hu, Yuhang Xu, Junyi Chen, Ruijie Wang, Shengzhong Liu, Jianxin Li, Fan Wu, Guihai Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ SmartThinker पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के साथ समझाया गया है।

समस्या: "ज़्यादा सोचने वाला" (Overthinker) छात्र

कल्पना कीजिए कि एक प्रतिभाशाली छात्र गणित की परीक्षा दे रहा है। जब वह एक कठिन सवाल देखता है, तो वह लिखना शुरू करता है। लेकिन केवल हल करने के बजाय, वह एक लूप में फंस जाता है:

"रुको, शायद मुझे यह कोशिश करनी चाहिए..."
"नहीं, रुको, क्या होगा अगर मैं वह कोशिश करूँ?"
"मुझे अपना पहला स्टेप फिर से चेक कर लेना चाहिए..."
"दरअसल, मुझे एक तीसरा तरीका भी आज़माना चाहिए..."

वह पन्ने दर पन्ने सोचता रहता है। अंततः, उसे सही उत्तर मिल जाता है, लेकिन उसने एक घंटा बर्बाद कर दिया और एक पूरी नोटबुक भर दी। इससे भी बुरा यह है कि कभी-कभी वे एक सरल समस्या (जैसे "2+2") पर भी बहुत ज़्यादा सोच-विचार करते हैं और अपनी ही बातों में उलझकर गलत उत्तर तक पहुँच जाते हैं।

AI की दुनिया में, ये "छात्र" लार्ज रीजनिंग मॉडल्स (LRMs) हैं। वे कठिन समस्याओं को हल करने में माहिर हैं, लेकिन वे अक्सर "ओवरथिंकिंग" (ज़रूरत से ज़्यादा सोचने) का शिकार होते हैं। वे बहुत अधिक शब्द (टोकन्स) जेनरेट करते हैं, जिससे बहुत पैसा और समय खर्च होता है, और कभी-कभी उनकी सटीकता (accuracy) भी कम हो जाती है।

पुराना समाधान: "एक ही नियम सबके लिए" (One-Size-Fits-All) पेनल्टी

शोधकर्ताओं ने AI को छोटा (संक्षिप्त) बनने की शिक्षा देकर इसे ठीक करने की कोशिश की। उन्होंने GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन) नामक एक विधि का उपयोग किया। इसे एक शिक्षक की तरह समझें जो क्लास को ग्रेड देता है।

पुराना नियम: "यदि आपका उत्तर सही है, लेकिन आपने 5 पन्ने से ज़्यादा लिखे हैं, तो मैं आपको खराब ग्रेड दूँगा। यदि आपने 2 पन्ने लिखे, तो आपको बोनस मिलेगा।"
खामी: यह नियम बहुत कठोर है।
- यदि समस्या आसान है, तो 2 पन्ने ठीक हैं।
- यदि समस्या कठिन है (जैसे कि कोई जटिल भौतिकी की पहेली), तो 2 पन्ने पर्याप्त नहीं हैं! इसे सही करने के लिए आपको 10 पन्नों की ज़रूरत है।
- पुराने नियम ने छात्र को कठिन समस्या पर 10 पन्ने लिखने के लिए दंडित किया, भले ही उसने उत्तर सही दिया हो। इससे AI गहराई से सोचने से डरने लगा, जिससे गलत उत्तर मिलने लगे।

नया समाधान: SmartThinker

लेखकों ने SmartThinker बनाया, जो AI को यह सिखाने का एक स्मार्ट तरीका है कि उसे कितना सोचना चाहिए। एक कठोर नियम के बजाय, SmartThinker एक डायनेमिक कोच (गतिशील प्रशिक्षक) की तरह काम करता है जो छात्र के प्रदर्शन को वास्तविक समय में देखता है।

यह दो मुख्य चीजें करता है:

1. "स्वीट स्पॉट" ढूँढना (Dynamic Length Calibration)

कल्पना कीजिए कि कोच एक ही समस्या को हल करने वाले छात्रों के एक समूह को देखता है।

कुछ छात्रों ने 100 शब्द लिखे और गलत हो गए।
कुछ ने 1,000 शब्द लिखे और सही हो गए।
कुछ ने 500 शब्द लिखे और सही हो गए।

कोच सिर्फ यह नहीं कहता कि "छोटा लिखो।" वे इष्टतम लंबाई (optimal length) की गणना करते हैं।

यदि समस्या आसान है, तो "स्वीट स्पॉट" 200 शब्द हो सकता है।
यदि समस्या कठिन है, तो "स्वीट स्पॉट" 800 शब्द हो सकता है।

SmartThinker इस परफेक्ट लंबाई को खोजने के लिए थोड़े गणित (गौसियन डिस्ट्रीब्यूशन) का उपयोग करता है। फिर यह AI को धीरे से संकेत देता है: "आपने इस समस्या के लिए 1,500 शब्द लिखे। स्वीट स्पॉट 800 है। अगली बार कोशिश करें कि आप 800 के करीब पहुँचें, लेकिन इससे नीचे न जाएँ।"

2. "निष्पक्षता" कोच (Dynamic Reward Coefficient)

यह दूसरा चतुर तरीका है। पुराने सिस्टम में, यदि कोई छात्र एक लंबा, सही उत्तर लिखता था, तो उसे लंबा होने के कारण "नेगेटिव स्कोर" मिल सकता था। यह अनुचित और भ्रमित करने वाला है।

SmartThinker एक डायनेमिक कोएफिशिएंट (गतिशील गुणांक) जोड़ता है। इसे एक सुरक्षा जाल (safety net) की तरह समझें।

यदि AI उत्तर सही पाता है, तो कोच यह सुनिश्चित करता है कि "लंबाई की पेनल्टी" कभी भी "सटीकता के बोनस" से अधिक न हो जाए।
कोच कहता है: "तुमने सही उत्तर दिया! भले ही तुम थोड़े ज़्यादा शब्द लिखे, फिर भी तुम विजेता हो। हम तुम्हें इतना दंडित नहीं करेंगे कि तुम कठिन समस्याओं को हल करना ही छोड़ दो।"

यह AI को कठिन सवालों पर हार मानने या संक्षिप्त होने के चक्कर में जवाब देने से रोकता है।

परिणाम: स्मार्ट और तेज़

पेपर ने कठिन गणितीय बेंचमार्क (जैसे AIME प्रतियोगिता) पर इसका परीक्षण किया। यहाँ हुआ:

कम बर्बादी: AI ने बिना मतलब की बातें करना बंद कर दिया। इसने अपने सोचने की लंबाई को 52.6% तक कम कर दिया (मूल रूप से, इसने वही काम करने के लिए आधा लिखना शुरू कर दिया)।
बेहतर सटीकता: क्योंकि AI को कठिन समस्याओं पर छोटा होने के लिए मजबूर नहीं किया गया, इसलिए इसने वास्तव में ज़्यादा सवाल सही हल किए (कठिन टेस्ट पर 16.6% तक का सुधार)।
बेहतर संरचना: AI की सोच अधिक केंद्रित हो गई। इसने खुद को दोहराना ("रुको, मुझे फिर से कोशिश करने दो...") बंद कर दिया और उन मुख्य चरणों पर ध्यान केंद्रित करना शुरू किया जो वास्तव में समस्या को हल करते हैं।

सारांश

SmartThinker एक ऐसे कोच की तरह है जो AI छात्र को सिखाता है:

सरल चीजों पर ज़्यादा न सोचें: जब समस्या आसान हो, तो संक्षिप्त रहें।
कठिन चीजों पर कम न सोचें: जब समस्या कठिन हो, तो अपना समय लें।
संतुलन बनाए रखें: सीखें कि सबसे अच्छा परिणाम पाने के लिए इस विशिष्ट समस्या के लिए कितनी सोच की आवश्यकता है।

ऐसा करके, AI तेज़, सस्ता और आश्चर्यजनक रूप से स्मार्ट हो जाता है।

तकनीकी सारांश: SmartThinker

समस्या विवरण
लार्ज रीजनिंग मॉडल्स (LRMs), जैसे कि OpenAI o1 और DeepSeek-R1, जटिल कार्यों पर लंबी चेन-ऑफ-थॉट (CoT) रीजनिंग पाथ का उपयोग करके उच्च सटीकता प्राप्त करते हैं। हालाँकि, विस्तृत रीजनिंग ट्रेसेस पर यह निर्भरता "ओवरथिंकिंग" (अत्यधिक सोचने) की घटना को जन्म देती है, जहाँ मॉडल अनावश्यक रूप से विस्तृत और जटिल श्रृंखलाएँ उत्पन्न करते हैं जो समस्या की वास्तविक जटिलता से कहीं अधिक होती हैं। इसके परिणामस्वरूप महत्वपूर्ण कम्प्यूटेशनल ओवरहेड होता है और, विरोधाभासी रूप से, यह रीजनिंग त्रुटियों या "नेगेटिव रिटर्न्स" (नकारात्मक प्रतिफल) का कारण बन सकता है जहाँ एक इष्टतम बिंदु से अधिक लंबाई बढ़ने पर सटीकता कम हो जाती है।

इसे Group Relative Policy Optimization (GRPO) का उपयोग करके कम करने के मौजूदा प्रयास आमतौर पर स्थिर लंबाई-रिवॉर्ड (static length-reward) डिजाइनों का उपयोग करते हैं। ये विधियाँ समस्या की विभिन्न कठिनाइयों या प्रतिक्रिया लंबाई के विशिष्ट वितरण के अनुकूल होने में विफल रहती हैं। फलस्वरूप, वे दो मुख्य समस्याओं से ग्रस्त हैं:

ओवर-कंप्रेशन (अत्यधिक संपीड़न): स्थिर दंड (static penalties) कठिन समस्याओं के लिए वैध, आवश्यक रीजनिंग पाथ को काटने के लिए मजबूर कर सकते हैं, जिससे सटीकता में गिरावट आती है।
अनुचित दंड (Unwarranted Penalization): निश्चित रिवॉर्ड गुणांक (fixed reward coefficients) सही लेकिन लंबी ट्राजेक्टरीज को नकारात्मक लाभ (negative advantages) दे सकते हैं, जिससे उन्हें गलत ट्राजेक्टरीज के साथ भ्रमित किया जाता है और आवश्यक खोजपूर्ण रीजनिंग (exploratory reasoning) को दबा दिया जाता है।

कार्यप्रणाली: SmartThinker
लेखक SmartThinker का प्रस्ताव करते हैं, जो एक GRPO-आधारित कुशल रीजनिंग विधि है जो प्रोग्रेसिव CoT लंबाई अंशांकन (progressive CoT length calibration) का उपयोग करती है। यह दृष्टिकोण किसी दिए गए प्रॉम्प्ट के लिए इष्टतम रीजनिंग लंबाई का गतिशील रूप से अनुमान लगाने और उसके अनुसार रिवॉर्ड सिग्नल को समायोजित करने के लिए डिज़ाइन किया गया है। कार्यप्रणाली में तीन मुख्य घटक शामिल हैं:

संभाव्यता आधारित इष्टतम लंबाई अनुमान (Probabilistic Optimal Length Estimation):
पिछले कार्यों (जैसे ShorterBetter) में किए गए सबसे छोटे सही ट्राजेक्टरी के ह्यूरिस्टिक चयन के बजाय, SmartThinker रीजनिंग लंबाई और शुद्धता के बीच के संबंध को मॉडल करता है। यह मानता है कि प्रतिक्रिया लंबाई का सामान्य वितरण और सही प्रतिक्रियाओं के लिए लंबाई का वितरण दोनों गॉसियन प्रोफाइल (Gaussian profiles) का पालन करते हैं। बेयसियन अनुमान (Bayesian inference) का उपयोग करते हुए, यह विधि इष्टतम लंबाई ( $l_{opt}$ ) की गणना करने के लिए एक प्रमेय व्युत्पन्न करती है जो सही उत्तर की सशर्त संभावना ( $Pr(r_{acc}=1 | l, q; \theta)$ ) को अधिकतम करती है। यह $l_{opt}$ प्रत्येक प्रश्न के लिए सैम्पल किए गए ट्राजेक्टरी समूह के आधार पर रोलआउट चरण के दौरान गतिशील रूप से अनुमानित किया जाता है।
गतिशील लंबाई रिवॉर्ड (Dynamic Length Reward):
लंबाई रिवॉर्ड ( $r_{len}$ ) चुनिंदा रूप से लागू किया जाता है। यह केवल उन सही ट्राजेक्टरीज को दंडित करता है जो अनुमानित इष्टतम लंबाई ( $l_{opt}$ ) से अधिक होती हैं। गलत ट्राजेक्टरीज को कोई लंबाई रिवॉर्ड नहीं मिलता है। यह सुनिश्चित करता है कि मॉडल को अत्यधिक रीजनिंग को संकुचित करने के लिए निर्देशित किया जाए, बिना उसे ऐसी रीजनिंग को छोटा करने के लिए मजबूर किए जो पहले से ही समस्या की कठिनाई के लिए उपयुक्त है।
गतिशील लंबाई-रिवॉर्ड गुणांक (Dynamic Length-Reward Coefficient):
यह सुनिश्चित करने के लिए कि सही ट्राजेक्टरीज का नॉर्मलाइज्ड एडवांटेज नकारात्मक न हो (जिससे GRPO उन्हें दबा देगा), लेखक एक गतिशील गुणांक ( $\Lambda$ ) पेश करते हैं। यह गुणांक गलत ट्राजेक्टरीज के अनुपात और समूह के भीतर लंबाई रिवॉर्ड के वितरण के आधार पर गणना किया जाता है। यह सुनिश्चित करता है कि किसी भी सही ट्राजेक्टरी के लिए कुल रिवॉर्ड समूह के माध्य (mean) के सापेक्ष गैर-नकारात्मक बना रहे, जिससे वैध लेकिन लंबी रीजनिंग पाथ सुरक्षित रहती है और साथ ही दक्षता को भी बढ़ावा मिलता है।

प्रमुख योगदान

रिवॉर्ड सीमाओं की पहचान: पेपर विश्लेषण करता है कि कैसे GRPO-आधारित कुशल रीजनिंग में स्थिर रिवॉर्ड डिजाइन विभिन्न समस्या कठिनाइयों के बीच लंबाई और सटीकता के बीच गतिशील संतुलन को समझने में विफल रहते हैं।
संभाव्यता आधारित लंबाई अनुमान: लेखक एक नवीन विधि प्रस्तावित करते हैं जो लंबाई वितरण को गॉसियन प्रोफाइल के रूप में मॉडल करके प्रत्येक प्रश्न के लिए इष्टतम रीजनिंग लंबाई का अनुमान लगाती है, जो अंधाधुंध लीनियर पेनल्टी के स्थान पर एक सिद्धांत आधारित संभाव्य उद्देश्य (probabilistic objective) का उपयोग करती है।
डायनामिक कैलिब्रेशन मैकेनिज्म: एक गतिशील लंबाई-रिवॉर्ड गुणांक का परिचय जो गारंटी देता है कि सही ट्राजेक्टरीज को दंडित नहीं किया जाएगा, जिससे ओवरथिंकिंग को दबाने और आवश्यक गहराई को दबाने के बीच प्रभावी ढंग से अंतर किया जा सके।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोगों से पता चलता है कि यह विधि दक्षता और सटीकता दोनों में सुधार करती है।

प्रायोगिक परिणाम
SmartThinker का मूल्यांकन विभिन्न स्केल के बेस मॉडल्स (DeepSeek-R1-Distill-Qwen-1.5B/7B और Qwen3-4B-Thinking-2507) पर गणितीय बेंचमार्क (MATH500, AIME25, AMC23) के माध्यम से किया गया।

दक्षता: इस विधि ने रीजनिंग टोकन में 52.6% तक लंबाई संपीड़न (length compression) प्राप्त किया।
सटीकता: AIME25 जैसे चुनौतीपूर्ण बेंचमार्क पर, SmartThinker ने 16.6% तक सापेक्ष सटीकता सुधार हासिल किया।
प्रशिक्षण दक्षता: यह विधि अन्य RL-आधारित बेसलाइन्स की तुलना में कम प्रशिक्षण चरणों (जैसे 1.5B के लिए 150 स्टेप्स, 7B के लिए 75) के साथ बेहतर प्रदर्शन तक पहुँच गई।
सामान्यीकरण (Generalization): MMLU, MathQA, LiveCodeBench, और HumanEval पर आउट-ऑफ-डोमेन (OOD) परीक्षणों ने दिखाया कि दक्षता लाभ और सटीकता सुधार गैर-गणितीय डोमेन में भी सामान्यीकृत होते हैं।
CoT संरचना: रीजनिंग संरचना के विश्लेषण से पता चला कि SmartThinker "विकल्पों की खोज" (exploring alternatives) और "पुनरावृत्ति" (repetition) को कम करता है जबकि "महत्वपूर्ण रीजनिंग" (pivotal reasoning) के अनुपात को बढ़ाता है, जो एक अधिक संरचित और कुशल विचार प्रक्रिया का संकेत देता है।

महत्व और दावे
पेपर का दावा है कि SmartThinker LRM रीजनिंग में दक्षता और सटीकता के बीच के अंतर को प्रभावी ढंग से पाटता है। स्थिर, 'वन-साइज-फिट्स-ऑल' लंबाई दंड से हटकर, यह विधि मॉडल्स को समस्या की विशिष्ट कठिनाई के अनुसार अपनी रीजनिंग गहराई को अनुकूलित करने की अनुमति देती है। लेखक का तर्क है कि यह दृष्टिकोण मॉडल्स को आवश्यकतानुसार "गहरा सोचने" (think deeply) में सक्षम बनाता है जबकि सरल कार्यों पर "ओवरथिंकिंग" से बचाता है, जिससे एक ऐसा संतुलन प्राप्त होता है जो स्थिर विधियाँ नहीं कर सकतीं। यह कार्य रेखांकित करता है कि उचित रिवॉर्ड आवंटन, स्पष्ट प्रोसेस रिवॉर्ड के बिना भी, CoT रीजनिंग की संरचनात्मक गुणवत्ता में महत्वपूर्ण सुधार कर सकता है।

सीमाएं
लेखक स्वीकार करते हैं कि यह विधि आउटकम-आधारित रिवॉर्ड्स पर निर्भर करती है और इसमें सूक्ष्म (fine-grained) प्रोसेस रिवॉर्ड सुपरविजन की कमी है, जो रीजनिंग के मध्यवर्ती चरणों के दौरान लाभकारी पैटर्न खोजने की क्षमता को सीमित करती है। इसके अतिरिक्त, ओपन-एंडेड प्रश्नों पर प्रदर्शन का आकलन करना कठिन बना हुआ है, और मानक कार्यान्वयन के अलावा अन्य GRPO वेरिएंट्स पर इसकी प्रयोज्यता के लिए और अधिक सत्यापन की आवश्यकता है।