💬 NLP

Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning

यह शोध पत्र स्टेप-वाइज एडेप्टिव पेनलाइजेशन (SWAP) का प्रस्ताव करता है, जो एक सूक्ष्म-स्तरीय सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) ढांचा है जो सही उत्तर में उनके योगदान के आधार पर कम-महत्वपूर्ण तर्क चरणों को गतिशील रूप से लंबाई दंड (लेंथ पेनल्टी) आवंटित करता है, जिससे प्रदर्शन से समझौता किए बिना तर्क की लंबाई में 64.3% की कमी और सटीकता में 5.7% का सुधार प्राप्त होता है।

मूल लेखक: Xintong Li, Sha Li, Rongmei Lin, Hongye Jin, Linwei Li, Hejie Cui, Sarah Zhang, Chia-Yuan Chang, Kewei Cheng, Besnik Fetahu, Priyanka Nigam, Jingbo Shang, Bing Yin

प्रकाशित 2026-03-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xintong Li, Sha Li, Rongmei Lin, Hongye Jin, Linwei Li, Hejie Cui, Sarah Zhang, Chia-Yuan Chang, Kewei Cheng, Besnik Fetahu, Priyanka Nigam, Jingbo Shang, Bing Yin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल गणितीय समस्या को हल करने के लिए एक बेहद बुद्धिमान लेकिन बहुत अधिक बोलने वाले सलाहकार (कंसल्टेंट) को काम पर रख रहे हैं।

समस्या: वह सलाहकार जो बोलना बंद नहीं करता
आपका सलाहकार अविश्वसनीय रूप से स्मार्ट है। यदि आप उनसे पूछते हैं, "मैं इस समीकरण को कैसे हल करूँ?" तो वे ज़ोर से सोचना शुरू कर देते हैं। लेकिन यहाँ एक पेंच है: वे ज़रूरत से ज़्यादा सोचने (overthink) लगते हैं। वे संख्याओं के इतिहास को समझाने में 10 मिनट बिता सकते हैं, फिर अपने काम की तीन बार जाँच करने में 5 मिनट लगा सकते हैं, और अंत में उत्तर लिखने में 2 मिनट।

हालाँकि उत्तर सही होता है, लेकिन यह "ज़ोर से सोचना" (जिसे Chain-of-Thought कहा जाता है) निम्नलिखित कारणों से समस्याग्रस्त है:

महँगा: उन सभी शब्दों को उत्पन्न करने के लिए कंप्यूटर चलाना बहुत पैसा और समय खर्च करता है।
जोखिम भरा: वे जितना अधिक बोलते हैं, उतनी ही अधिक संभावना होती है कि वे गलती से कुछ गलत कह दें या भ्रमित हो जाएँ (hallucinate)।
अकुशल: उनमें से अधिकांश शब्द केवल "फालतू बातें" (fluff) या दोहराव होते हैं। केवल कुछ ही वाक्य वास्तव में समाधान की ओर बढ़ते हैं।

इसे ठीक करने के पिछले प्रयास एक "कुंद हथौड़े" (blunt hammer) की तरह थे। उन्होंने सलाहकार को कहा, "आप कुल 5 मिनट तक ही बोल सकते हैं।" परिणाम यह हुआ कि सलाहकार घबरा गया, समय सीमा के भीतर रहने के चक्कर में अपने सबसे अच्छे विचारों को ही बीच में ही छोड़ दिया, और गलत उत्तर दे दिया।

समाधान: SWAP (एक स्मार्ट एडिटर)
यह शोध पत्र एक नई विधि पेश करता है जिसे SWAP (Step-wise Adaptive Penalization) कहा जाता है। SWAP को एक "समय-सीमा लागू करने वाले" के रूप में नहीं, बल्कि एक सुपर-स्मार्ट एडिटर के रूप में सोचें जो वास्तविक समय में सलाहकार को सुनता है।

SWAP कैसे काम करता है, इसे एक सरल उदाहरण से समझते हैं:

1. "प्रगति मीटर" (मूल्य मापना)

कल्पना कीजिए कि सलाहकार शिखर (सही उत्तर) तक पहुँचने के लिए एक पहाड़ पर चढ़ रहा है।

उच्च-मूल्य वाले कदम (High-Value Steps): कुछ कदम खड़ी चढ़ाई की तरह होते हैं जो आपको शिखर के 100 फीट करीब ले जाते हैं। ये "Aha!" क्षण हैं।
कम-मूल्य वाले कदम (Low-Value Steps): अन्य कदम केवल गोल-गोल घूमने, अपने जूतों के फीते चेक करने, या बादलों को निहारने जैसे हैं। ये आपको शिखर के करीब नहीं ले जाते।

SWAP के पास एक विशेष मीटर है जो मापता है कि प्रत्येक वाक्य उत्तर की ओर कितनी प्रगति करता है। यदि कोई वाक्य प्रगति नहीं करता है, तो मीटर स्थिर रहता है।

2. "स्मार्ट टैक्स" (जुर्माना पुनर्वितरण)

यदि सलाहकार बहुत अधिक बोलता है, तो SWAP को उन्हें रोकने के लिए एक "पेनल्टी" (जुर्माना) लगाना होगा।

पुराना तरीका (कुंद हथौड़ा): जुर्माना हर वाक्य पर समान रूप से लगाया जाता है। यह "Aha!" क्षणों को भी उतना ही दंडित करता है जितना कि "जूते के फीते चेक करने" को। सलाहकार डर जाता है और बहुत जल्दी बोलना बंद कर देता है, जिससे वह समाधान खो देता है।
SWAP का तरीका (स्मार्ट टैक्स): SWAP "प्रगति मीटर" को देखता है।
- यदि कोई वाक्य "जूते के फीते चेक करने" जैसा था (कम मूल्य), तो SWAP उस पर भारी जुर्माना लगाता है।
- यदि कोई वाक्य "खड़ी चढ़ाई" जैसा था (उच्च मूल्य), तो SWAP उसे छूट देता है या बहुत मामूली जुर्माना लगाता है।

परिणाम यह है कि मॉडल जूते के फीते और बादलों के बारे में बात करना बंद करना सीख जाता है, लेकिन पहाड़ के रास्ते के बारे में बात करना जारी रखता है। वे कम शब्दों में, तेज़ गति से, और सही उत्तर के साथ शिखर तक पहुँचते हैं।

3. "सुरक्षा जाल" (परिणाम बनाम प्रक्रिया)

SWAP मॉडल को प्रशिक्षित करने के लिए दो प्रकार के फीडबैक का उपयोग करता है:

आउटकम रिवॉर्ड (Outcome Reward): "क्या आपने सही उत्तर प्राप्त किया?" (अंतिम ग्रेड)।
प्रोसेस रिवॉर्ड (Process Reward): "क्या आपने कुशल मार्ग अपनाया?" (होमवर्क की गुणवत्ता)।

SWAP इन दोनों को जोड़ता है। यह "स्मार्ट टैक्स" तभी लागू करता है जब अंतिम उत्तर सही होता है। यह सुनिश्चित करता है कि मॉडल आलसी न बने और समय बचाने के लिए बस उत्तर का अनुमान न लगाने लगे। इसे कुशल रूप से सही होना चाहिए।

परिणाम

जब शोधकर्ताओं ने गणित की समस्याओं पर इसका परीक्षण किया:

छोटे उत्तर: मॉडल्स ने अपने सोचने के समय को औसतन 64% कम कर दिया। कल्पना कीजिए कि एक 10 मिनट का भाषण एक संक्षिप्त 3 मिनट के स्पष्टीकरण में बदल गया।
बेहतर सटीकता: आश्चर्यजनक रूप से, मॉडल्स ने वास्तव में अधिक प्रश्न सही हल किए (5.7% की वृद्धि)। "फालतू बातों" को हटाकर, वे अपनी ही बड़बड़ाहट से भ्रमित होने से बच गए।

संक्षेप में

SWAP AI मॉडल्स को बिना लापरवाह हुए संक्षिप्त होना सिखाता है। यह एक कुत्ते को हर पत्ते पर भौंकने (अनावश्यक कदम) से रोकने, लेकिन गिलहरी दिखने पर भौंकने (आवश्यक तर्क) के लिए प्रशिक्षित करने जैसा है। परिणाम एक स्मार्ट, तेज़ और सस्ता AI है जो सीधे मुद्दे पर आता है।

यहाँ शोध पत्र "Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज रीजनिंग मॉडल्स (LRMs) अक्सर "ओवरथिंकिंग" (overthinking) से ग्रस्त होते हैं, जहाँ वे अत्यधिक लंबी 'चेन-ऑफ-थॉट' (CoT) उत्पन्न करते हैं, जिससे सटीकता में सुधार किए बिना ही इन्फरेंस लागत और विलंबता (latency) बढ़ जाती है।

वर्तमान विधियों की सीमाएँ: मौजूदा सुदृढीकरण शिक्षण (Reinforcement Learning - RL) दृष्टिकोण आमतौर पर ट्रैजेक्टरी-स्तरीय (trajectory-level) लंबाई दंड (जैसे वैश्विक टोकन बजट) लागू करते हैं। ये मोटे-स्तर की रणनीतियाँ सभी रीजनिंग स्टेप्स को समान रूप से मूल्यवान मानती हैं, जिससे अंधाधुंध संपीड़न (indiscriminate compression) होता है। इससे आवश्यक तार्किक मोड़ों (logical pivots) को हटाने और अनावश्यक या कम मूल्य वाले सत्यापन चरणों (verification steps) को बनाए रखने का जोखिम रहता है।
मुख्य चुनौती: रीजनिंग ट्रैजेक्टरीज विषम (heterogeneous) होती हैं; कुछ चरण महत्वपूर्ण सूचना लाभ प्रदान करते हैं, जबकि अन्य अनावश्यक होते हैं। वर्तमान विधियों में इन चरणों के बीच अंतर करने के लिए किसी तंत्र का अभाव है, और रीजनिंग की लंबाई को शायद ही कभी एक स्पष्ट स्टेप-स्तरीय (step-level) अनुकूलन उद्देश्य के रूप में माना जाता है।

2. कार्यप्रणाली: स्टेप-वाइज एडेप्टिव पेनलाइजेशन (SWAP)

लेखक SWAP का प्रस्ताव करते हैं, जो एक सूक्ष्म-स्तरीय (fine-grained) RL फ्रेमवर्क है जो प्रत्येक रीजनिंग स्टेप के आंतरिक योगदान के आधार पर लंबाई कटौती दंड आवंटित करता है। यह फ्रेमवर्क ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) एल्गोरिदम के भीतर कार्य करता है और इसके तीन मुख्य घटक हैं:

A. स्टेप सेगमेंटेशन और महत्व अनुमान (Step Segmentation and Importance Estimation)

अनुमानित वाक्य सीमाओं पर निर्भर रहने के बजाय, SWAP एक निश्चित टोकन बजट के आधार पर प्रतिक्रियाओं को स्टेप्स में विभाजित करता है।

आंतरिक महत्व मीट्रिक (Intrinsic Importance Metric): एक स्टेप के महत्व को उस स्टेप के उत्पन्न होने के बाद सही उत्तर के लॉग-प्रोबेबिलिटी सुधार (log-probability improvement) द्वारा मापा जाता है।
- मान लीजिए कि पहले $k$ स्टेप्स के दिए जाने के बाद सही उत्तर का औसत प्रति-टोकन लॉग-प्रोबेबिलिटी $\ell_k$ है।
- प्रोग्रेस रिवॉर्ड ( $\Delta_k$ ) को एक निरंतर वृद्धिशील लाभ के रूप में परिभाषित किया गया है: $\Delta_k = \max(0, \ell_k - \max_{j<k} \ell_j)$ ।
- जो स्टेप्स आत्मविश्वास नहीं बढ़ाते, उन्हें शून्य रिवॉर्ड मिलता है, जबकि उच्च-लाभ वाले स्टेप्स को सकारात्मक रिवॉर्ड प्राप्त होता है।

B. स्टेप-वेटेड लेंथ पेनल्टी रिडिस्ट्रीब्यूशन (Step-Weighted Length Penalty Redistribution)

जब कोई प्रतिक्रिया एक एडेप्टिव लक्षित लंबाई (समूह में सही प्रतिक्रियाओं की मध्य लंबाई के आधार पर) को पार कर जाती है, तो एक वैश्विक दंड द्रव्यमान ( $P$ ) की गणना की जाती है।

पुनर्वितरण तंत्र (Redistribution Mechanism): इस दंड को समान रूप से लागू करने के बजाय, SWAP इसे उनके महत्व के आधार पर स्टेप्स में पुनर्वितरित करता है।
- कम सूचना लाभ वाले स्टेप्स को उच्च दंड भार ( $w_k \propto \exp(-g_k/\tau)$ ) दिया जाता है।
- उच्च सूचना लाभ वाले स्टेप्स को आक्रामक दंड से बचाया जाता है।
स्टेप रिवॉर्ड: अंतिम स्टेप-स्तरीय रिवॉर्ड प्रोग्रेस सिग्नल और पुनर्वितरित दंड को जोड़ता है: $r_k = \Delta_k - P \cdot w_k$ ।

C. यूनिफाइड आउटकम-प्रोसेस एडवांटेज (Unified Outcome–Process Advantage)

स्थिरता और शुद्धता सुनिश्चित करने के लिए, SWAP एक एकीकृत एडवांटेज एस्टीमेटर का उपयोग करके स्टेप-स्तरीय संकेतों को ट्रैजेक्टरी-स्तरीय आउटकम रिवॉर्ड के साथ एकीकृत करता है:

आउटकम एडवांटेज ( $A_{out}$ ): मानक GRPO रिवॉर्ड, जो इस पर आधारित है कि अंतिम उत्तर सही है या नहीं।
प्रोसेस एडवांटेज ( $A_{proc}$ ): एक बैकवर्ड-प्रोपैगेटेड सिग्नल जहाँ प्रत्येक टोकन को संचयी भविष्य के स्टेप रिवॉर्ड के अनुपात में क्रेडिट मिलता है।
यूनिफाइड एडवांटेज: $A_{i,t} = \beta A_{out} + \theta \cdot \mathbb{I}[r_{out} > 0] \cdot A_{proc}$ $A_{i, t} = β A_{o u t} + θ \cdot I [r_{o u t} > 0] \cdot A_{p r oc}$ ।
- महत्वपूर्ण रूप से, प्रोसेस सिग्नल शुद्धता (correctness) द्वारा गेटेड (gated) है, जिसका अर्थ है कि स्टेप-स्तरीय दक्षता संकेत केवल तभी अनुकूलन को प्रभावित करते हैं जब ट्रैजेक्टरी अंततः सही होती है। यह मॉडल को शुद्धता की कीमत पर कुशल बनने से रोकता है।

3. मुख्य योगदान

स्टेप-स्तरीय अनुकूलन: SWAP पहला फ्रेमवर्क है जो RL के भीतर रीजनिंग की लंबाई को एक स्पष्ट स्टेप-स्तरीय अनुकूलन उद्देश्य के रूप में मानता है, जो मोटे ट्रैजेक्टरी-स्तरीय दंडों से आगे बढ़ता है।
आंतरिक महत्व अनुमान: यह बाहरी रिवॉर्ड मॉडल या वेरिफायर-आधारित मध्यवर्ती रिवॉर्ड की आवश्यकता के बिना, मॉडल के ऑन-पॉलिसी व्यवहार (लॉग-प्रोबेबिलिटी गेन) से सीधे स्टेप महत्व को प्राप्त करता है।
एडेप्टिव पेनल्टी रिडिस्ट्रीब्यूशन: यह तंत्र अनावश्यक स्टेप्स के चयनात्मक छंटनी (pruning) को सक्षम करते हुए महत्वपूर्ण तार्किक मोड़ों को सुरक्षित रखते हुए, लंबाई दंड को कम उपयोगिता वाले स्टेप्स में गतिशील रूप से पुनर्वितरित करता है।
यूनिफाइड एडवांटेज फॉर्मूलेशन: आउटकम और प्रोसेस एडवांटेज का संयोजन यह सुनिश्चित करता है कि दक्षता में सुधार से रीजनिंग प्रक्रिया की तार्किक अखंडता से समझौता न हो।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने पांच गणितीय रीजनिंग बेंचमार्क (MATH-500, AMC23, AIME24, AIME25, OlympiadBench) पर DeepSeek-Distill-Qwen-1.5B और 7B मॉडल्स पर SWAP का मूल्यांकन किया।

प्रदर्शन लाभ:
- 1.5B मॉडल: SWAP ने बेस मॉडल की तुलना में सटीकता में 5.7% सुधार करते हुए औसत रीजनिंग लंबाई को 64.3% कम कर दिया।
- 7B मॉडल: SWAP ने टोकन उपयोग को 50% से अधिक कम कर दिया, जबकि कठिन डेटासेट्स (AIME24, AIME25, OlympiadBench) पर सबसे मजबूत बेसलाइन्स के बराबर या उनसे बेहतर प्रदर्शन किया।
बेसलाइन्स के साथ तुलना:
- इसने ट्रैजेक्टरी-लेवल मेथड्स (जैसे ThinkPrune, LC-R1) को पछाड़ दिया, जो लंबाई कम करते समय अक्सर सटीकता को कम कर देते हैं।
- इसने एडेप्टिव थिंकिंग मेथड्स (जैसे AdaptThink) और स्ट्रिक्ट बजट मेथड्स (जैसे L1-Exact) को सटीकता-दक्षता ट्रेड-ऑफ में पीछे छोड़ दिया।
एब्लेशन स्टडीज (Ablation Studies):
- स्टेप-स्तरीय दंड को हटाने से लंबी ट्रैजेक्टरीज बनी रहीं।
- आउटकम ग्राउंडिंग के बिना केवल स्टेप रिवॉर्ड का उपयोग करने से प्रदर्शन गिर गया।
- यूनिफॉर्म पेनल्टी डिस्ट्रीब्यूशन, SWAP के एडेप्टिव रिडिस्ट्रीब्यूशन की तुलना में कम कुशल था।
- एक इष्टतम स्टेप एडवांटेज वेट ( $\theta$ ) 0.2 और 0.4 के बीच पाया गया; उच्च मानों के कारण कठिन समस्याओं पर सटीकता में गिरावट आई।

5. महत्व (Significance)

पैराडाइम शिफ्ट: यह पेपर प्रदर्शित करता है कि "ओवरथिंकिंग" मौलिक रूप से एक स्टेप-स्तरीय घटना है, न कि केवल कुल लंबाई का एक कार्य। कुशल रीजनिंग के लिए आवश्यक और अनावश्यक स्टेप्स के बीच अंतर करना आवश्यक है।
लागत दक्षता: सटीकता से समझौता किए बिना (और अक्सर सुधार करते हुए) टोकन उपयोग को काफी कम करके, SWAP बड़े पैमाने के रीजनिंग मॉडल्स में इन्फरेंस लागत और विलंबता को कम करने के लिए एक व्यावहारिक समाधान प्रदान करता है।
सामान्यीकरण (Generalizability): यह दृष्टिकोण बाहरी पर्यवेक्षण (supervision) या पूर्व-निर्धारित टोकन बजट पर निर्भर नहीं करता है, जो LLMs में कुशल रीजनिंग के लिए एक सिद्धांत-आधारित और स्केलेबल दिशा बनाता है।