💬 NLP

Not All Tokens Matter: Towards Efficient LLM Reasoning via Token Significance in Reinforcement Learning

यह शोध पत्र एक टोकन-महत्व-जागरूक सुदृढीकरण लर्निंग (reinforcement learning) ढांचे का प्रस्ताव करता है जो महत्वहीन टोकन को चुनिikan रूप से दंडित करके प्रतिक्रिया की लंबाई को गतिशील रूप से अनुकूलित करता है, जिससे शुद्धता से समझौता किए बिना अधिक कुशल और सटीक एलएलएम (LLM) तर्क प्राप्त किया जा सके।

मूल लेखक: Hanbing Liu, Lang Cao, Yuanyi Ren, Mengyu Zhou, Haoyu Dong, Xiaojun Ma, Shi Han, Dongmei Zhang

प्रकाशित 2026-04-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hanbing Liu, Lang Cao, Yuanyi Ren, Mengyu Zhou, Haoyu Dong, Xiaojun Ma, Shi Han, Dongmei Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन बहुत अधिक बोलने वाला छात्र है जिसका नाम LLM (लार्ज लैंग्वेज मॉडल) है। जब आप उससे गणित का कोई सवाल पूछते हैं, तो वह केवल उत्तर नहीं देता। इसके बजाय, वह अपनी सोचने की प्रक्रिया को समझाने के लिए एक पूरा उपन्यास लिख देता है।

कभी-कभी, यह "चेन ऑफ थॉट" (सोचने की प्रक्रिया) मददगार होती है। लेकिन अक्सर, छात्र एक ही चक्र में फंस जाता है, खुद को दोहराता रहता है, "उम," "मुझे सोचने दो," या उन चरणों को लिखता रहता है जिन्हें वह पहले से ही जानता है। यह इससे उत्तर को पढ़ने में बहुत लंबा बना देता है और इसे जेनरेट करने में बहुत पैसा खर्च होता है (क्योंकि कंप्यूटर को हर एक शब्द को प्रोसेस करना पड़ता है)।

यह पेपर एक नई प्रशिक्षण विधि पेश करता है जिसे BINGO कहा जाता है। BINGO को एक ऐसे शिक्षक के रूप में न समझें जो सिर्फ यह कहता है कि "छोटा लिखो," बल्कि एक स्मार्ट संपादक के रूप में समझें जो जानता है कि ठीक कौन से शब्दों को काटना है और कब छात्र को अधिक बोलने देना है।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "यूनिफॉर्म पेनल्टी" (समान दंड) की गलती

पहले, शोधकर्ताओं ने इन AI मॉडलों को छोटा बनाने के लिए एक यूनिफॉर्म पेनल्टी लागू करने की कोशिश की थी।

उपमा: कल्पना कीजिए कि एक शिक्षक छात्र से कहता है, "यदि आप 5 पेज से अधिक लिखते हैं, तो आपके अंक काट लिए जाएंगे।"
दोष: यह बहुत ही रूखा तरीका है। यदि छात्र "2+2" जैसे सरल प्रश्न को हल कर रहा है, तो 5 पेज बहुत ही बेतुका है। लेकिन यदि वह एक जटिल भौतिकी (फिजिक्स) की पहेली हल कर रहा है, तो 5 पेज सही उत्तर पाने के लिए न्यूनतम आवश्यकता हो सकती है। यदि आप उसे कठिन समस्या के लिए 5 पेज लिखने पर दंडित करते हैं, तो वह अंक बचाने के चक्कर में महत्वपूर्ण चरणों को छोड़ सकता है, जिससे गलत उत्तर मिल सकते हैं।

2. समाधान: "टोकन सिग्निफिकेंस" (हाइलाइटर पेन)

लेखकों ने महसूस किया कि एक वाक्य में हर शब्द समान रूप से महत्वपूर्ण नहीं होता है।

उपमा: कल्पना कीजिए कि एक छात्र का निबंध सोने की खान है। अधिकांश चट्टान केवल मिट्टी (अमहत्वपूर्ण टोकन) है, लेकिन कुछ सोने के टुकड़े (महत्वपूर्ण टोकन) हैं जो वास्तव में उत्तर प्रदान करते हैं।
पुराना तरीका: शिक्षक कहता था, "कागज का 50% हिस्सा काट दो!" छात्र अनजाने में सोने के टुकड़ों को मिट्टी के साथ काट सकता था।
BINGO का तरीका: शिक्षक एक जादुई हाइलाइटर का उपयोग करता है। वे निबंध को स्कैन करते हैं और कहते हैं, "यह पैराग्राफ केवल फालतू बातें (मिट्टी) है। इसे काट दो! लेकिन इस वाक्य में गणित का सूत्र (सोना) है। इसे रहने दो!"
यह कैसे काम करता है: BINGO द्वारा उत्पन्न प्रत्येक शब्द (टोकन) का विश्लेषण करता है। यह तय करता है कि क्या वह शब्द "महत्वपूर्ण" (उत्तर के लिए आवश्यक) है या "अमहत्वपूर्ण" (अनावश्यक फालतू बातें)। यह केवल AI को फालतू बातें लिखने के लिए दंडित करता है। इस तरह, AI बोरिंग हिस्सों को हटाना सीख जाता है लेकिन स्मार्ट हिस्सों को बनाए रखता है।

3. दूसरा नवाचार: "डायनेमिक लेंथ कंट्रोल" (प्रशिक्षण कार्यक्रम)

पेपर ने यह भी गौर किया कि AI को चरणों में सीखने की आवश्यकता होती है।

उपमा: एक एथलीट को प्रशिक्षित करने के बारे में सोचें।
- प्रारंभिक चरण (एक्सप्लोरेशन/खोज): जब एथलीट नया होता है, तो आप चाहते हैं कि वह सब कुछ आज़माए। तेज़ दौड़ें, धीरे दौड़ें, विभिन्न तकनीकों को आज़माएं। आप अभी उसे "ऊर्जा बचाने" के लिए नहीं कहना चाहते, अन्यथा वह किसी बड़ी सफलता को चूक सकता है।
- अंतिम चरण (दक्षता): एक बार जब एथलीट तकनीक जान जाता है, तो आप उसे बताते हैं, "अब, इसे यथासंभव कुशलता से करें। बेकार की गतिविधियों को हटा दें।"
BINGO का तरीका:
- चरण 1 (प्रारंभिक प्रशिक्षण): AI को लंबे, विस्तृत उत्तर लिखने की अनुमति दी जाती है (और प्रोत्साहित भी किया जाता है), विशेष रूप से तब जब वह गलतियाँ कर रहा हो। यह उसे समाधान खोजने के लिए गहरे तर्क पथों को खोजने में मदद करता है।
- चरण 2 (बाद का प्रशिक्षण): जैसे-जैसे AI स्मार्ट होता जाता है, नियम बदल जाते हैं। अब, उसे बहुत अधिक बोलने के लिए भारी दंड दिया जाता है। वह अपने विचारों को सबसे छोटे, सबसे कुशल पथ में संकुचित करना सीख जाता है।

4. परिणाम: "BINGO" प्रभाव

इन दोनों विचारों को जोड़कर, BINGO फ्रेमवर्क एक ऐसा AI बनाता है जो है:

स्मार्टर: यह महत्वपूर्ण "सोने के टुकड़ों" को नहीं काटता है, इसलिए यह सही उत्तर अधिक बार देता है।
फास्टर: यह "मिट्टी" लिखना बंद कर देता है, इसलिए यह कार्यों को बहुत तेज़ी से पूरा करता है।
चीपर (सस्ता): चूंकि यह कम शब्द लिखता है, इसलिए इसे चलाना कम लागत वाला होता है।

संक्षेप में:
पिछले तरीकों ने AI के दिमाग को छोटा करने की कोशिश की, उसे छोटा होने के लिए मजबूर करके, जिससे कभी-कभी उसका तर्क टूट जाता था। BINGO AI को एक संक्षिप्त जीनियस बनाना सिखाता है: वह जानता है कि कब गहराई से सोचना है, लेकिन वह यह भी जानता है कि कब बोलना बंद करना है और बस उत्तर देना है। यह एक लंबी कहानियाँ सुनाने वाले किस्सागो को एक तेज, कुशल जासूस में बदलने जैसा है जो सीधे मुद्दे पर आता है।

यहाँ शोध पत्र "Not All Tokens Matter: Towards Efficient LLM Reasoning via Token Significance in Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) ने, विशेष रूप से चेन-ऑफ-थॉट (CoT) प्रॉम्पटिंग के माध्यम से, मजबूत तर्क क्षमताएं प्रदर्शित की हैं। हालाँकि, एक महत्वपूर्ण बाधा मौजूद है: LLMs अक्सर अनावश्यक रूप से विस्तृत और पुनरावृत्ति वाले तर्क (reasoning traces) उत्पन्न करते हैं। यह अक्षमता निम्नलिखित कारणों से होती है:

बढ़ी हुई कम्प्यूटेशनल लागत और लेटेंसी (latency)।
उप-इष्टतम संसाधन उपयोग (suboptimal resource utilization)।
"ओवर-थिंकिंग" के कारण तर्क की गुणवत्ता में संभावित गिरावट।

दक्षता सुधारने के लिए मौजूदा सुदृढीकरण शिक्षण (Reinforcement Learning - RL) दृष्टिकोण आमतौर पर समान लंबाई-आधारित दंड (uniform length-based penalties) पर निर्भर करते हैं (कुल प्रतिक्रिया लंबाई के आधार पर सभी टोकन को समान रूप से दंडित करना)। लेखक तर्क देते हैं कि यह त्रुटिपूर्ण है क्योंकि:

यह टोकन विषमता (token heterogeneity) की अनदेखी करता है: सभी टोकन अंतिम उत्तर में समान योगदान नहीं देते; कई टोकन महत्वहीन (अनावश्यक वाक्यांश, अनावश्यक चरण) होते हैं।
यह सटीकता को नुकसान पहुँचाता है: समान दंड अक्सर मॉडल को लंबाई की सीमाओं को पूरा करने के लिए आवश्यक तर्क चरणों को काटने के लिए मजबूर कर देता है, जिससे गलत उत्तर मिलते हैं।
इसमें अनुकूलन क्षमता का अभाव है: स्थिर दंड (static penalties) प्रशिक्षण के शुरुआती चरण में अन्वेषण (exploration) की आवश्यकता (कठिन समस्याओं के लिए लंबा तर्क) बनाम बाद में संक्षिप्तता की आवश्यकता के बीच संतुलन बनाने में विफल रहते हैं।

2. कार्यप्रणाली: BINGO फ्रेमवर्क (Methodology: The BINGO Framework)

लेखक BINGO (Boosting Efficient ReasonING in Policy Optimization) प्रस्तावित करते हैं, जो एक RL फ्रेमवर्क है जो मानक पॉलिसी ऑप्टिमाइज़ेशन (जैसे PPO) में दो नवीन रिवॉर्ड मैकेनिज्म को एकीकृत करता है।

A. टोकन महत्व मॉडलिंग (Token Significance Modeling)

मुख्य अंतर्दृष्टि यह है कि CoT ट्रेसेस में महत्वपूर्ण (significant) और महत्वहीन (insignificant) टोकन का मिश्रण होता है।

महत्व स्कोरिंग (Significance Scoring): एक प्रासंगिक स्कोरिंग फंक्शन (जो LLMLingua-2, एक द्विदिश एन्कोडर का उपयोग करके बनाया गया है) पूर्ण अनुक्रम संदर्भ (full sequence context) के आधार पर प्रत्येक टोकन को एक स्कोर $S(y_i)$ प्रदान करता है।
वर्गीकरण (Classification): टोकन को एक थ्रेशोल्ड $\tau$ के आधार पर महत्वपूर्ण ( $S(y_i) \ge \tau$ ) या महत्वहीन ( $S(y_i) < \tau$ ) के रूप में वर्गीकृत किया जाता है।
महत्व-जागरूक लंबाई रिवॉर्ड ( $r_{is}$ ):
- कुल लंबाई को दंडित करने के बजाय, यह चुनिंदा रूप से महत्वहीन टोकनों ( $L_{is}$ ) की संख्या को दंडित करता है।
- यह महत्वपूर्ण टोकनों की कुल लंबाई को सुरक्षित रखते हुए, अत्यधिक महत्वहीन सामग्री को सुचारू रूप से दंडित करने के लिए कोसाइन-आधारित क्षय (cosine-based decay) का उपयोग करता है।
- फॉर्मूला: $r_{is}(y) = \cos(\text{clip}(\frac{L_{is}}{L_{is}^{ref}}, 0, \frac{\pi}{2})) + \mathbb{1}[\hat{z}(y) = z]$ ।
- यह सुनिश्चित करता है कि आवश्यक तर्क चरणों को संरक्षित किया जाए जबकि अनावश्यक टोकनों को हटा दिया जाए।

B. गतिशील लंबाई नियंत्रण (Dynamic Length Control)

अन्वेषण (कठिन समस्याओं को हल करना) और दक्षता (संक्षिप्तता) के बीच संतुलन को संबोधित करने के लिए, लेखक महत्वपूर्ण टोकनों के लिए एक डायनेमिक लेंथ रिवॉर्ड पेश करते हैं।

प्रारंभिक प्रशिक्षण (अन्वेषण चरण): जब मॉडल की सटीकता अभी भी सुधर रही होती है (स्केलिंग फैक्टर $k$ में सकारात्मक रुझान द्वारा संकेतित), तो रिवॉर्ड गलत नमूनों के लिए महत्वपूर्ण टोकनों के लिए लंबे तर्क को प्रोत्साहित करता है। यह मॉडल को गहरे समाधान पथों का अन्वेषण करने की अनुमति देता है।
देर से प्रशिक्षण (संपीड़न चरण): जैसे ही सटीकता स्थिर हो जाती है ( $k$ थ्रेशोल्ड $\beta$ से नीचे गिर जाता है), रिवॉर्ड संक्षिप्तता लागू करने के लिए महत्वपूर्ण टोकनों के लिए भी अत्यधिक लंबाई को दंडित करने की ओर स्थानांतरित हो जाता है।
मैकेनिज्म: रिवॉर्ड एक डायनेमिक फैक्टर $k$ $k$ के आधार पर स्केल होता है जो हालिया प्रशिक्षण सटीकता के रुझान से प्राप्त होता है।
- यदि $k \ge \beta$ : रिवॉर्ड $\propto L_s$ (अन्वेषण को प्रोत्साहित करता है)।
- यदि $k < \beta$ : रिवॉर्ड $\propto -\alpha \cdot t \cdot L_s$ (संपीड़न लागू करता है)।

C. एकीकृत उद्देश्य (Integrated Objective)

अंतिम रिवॉर्ड फंक्शन $R_{BINGO}$ इन घटकों को जोड़ता है:

सही नमूने (Correct Samples): केवल महत्वहीन टोकनों की लंबाई को दंडित करता है।
गलत नमूने (Incorrect Samples): महत्वहीन टोकनों को दंडित करता है और महत्वपूर्ण टोकनों के लिए डायनेमिक रिवॉर्ड लागू करता है (शुरुआत में अन्वेषण को बढ़ावा देता है, बाद में संपीड़न को बढ़ावा देता है)।
पॉलिसी को इस एकीकृत रिवॉर्ड के साथ PPO ऑब्जेक्टिव का उपयोग करके ऑप्टिमाइज़ किया जाता है।

3. मुख्य योगदान (Key Contributions)

टोकन महत्व अंतर्दृष्टि: यह पेपर तर्क ट्रेसेस में महत्वपूर्ण और महत्वहीन टोकनों के बीच अंतर करने की अवधारणा पेश करता है। यह प्रदर्शित करता है कि केवल महत्वहीन टोकनों को दंडित करने से सटीकता से समझौता किए बिना अधिक लंबाई में कमी संभव है।
गतिशील लंबाई नियंत्रण: एक नवीन रिवॉर्ड शेड्यूलिंग रणनीति जो प्रशिक्षण समय के साथ अनुकूलित होती है, जो कठिन समस्याओं पर गहन अन्वेषण और अंततः संक्षिप्त आउटपुट के लक्ष्य के बीच संतुलन बनाती है।
BINGO फ्रेमवर्क: एक एकीकृत RL फ्रेमवर्क जो महत्व-जागरूक और डायनेमिक रिवॉर्ड को जोड़ता है, जो कई बेंचमार्क और मॉडल स्केल्स पर बेहतर प्रदर्शन दिखाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने DeepSeek-R1-Distill-Qwen (1.5B और 7B) और Qwen2.5-Math-7B-Instruct को चार बेंचमार्क: MATH500, GSM8K, TheoremQA, और AIME2024 पर BINGO के माध्यम से मूल्यांकन किया।

दक्षता बनाम सटीकता ट्रेड-ऑफ:
- BINGO ने सभी बेंचमार्क पर उच्चतम लंबाई-सामान्यीकृत सटीकता (L-Acc) प्राप्त की, जिसने Vanilla PPO, O1-Pruner और Kimi-k1.5 जैसे मजबूत बेसलाइन को पीछे छोड़ दिया।
- BINGO-A (पीक सटीकता के लिए अनुकूलित) ने सटीकता बनाए रखते हुए या थोड़ा सुधार करते हुए प्रतिक्रिया की लंबाई को 68% तक कम कर दिया (उदाहरण के लिए, MATH500 पर 2,771 से 894 टोकन)।
- BINGO-E (स्थिर लंबाई के लिए अनुकूलित) ने न्यूनतम सटीकता हानि के साथ और भी छोटे आउटपुट प्राप्त किए (जैसे, MATH500 पर 779 टोकन)।
टोकन संरचना: विश्लेषण ने दिखाया कि BINGO ने आउटपुट में महत्वपूर्ण टोकनों के अनुपात को बढ़ा दिया (जैसे, MATH500 पर 71% से 75%), जो पुष्टि करता है कि मॉडल ने अनावश्यकता को हटाते हुए आवश्यक तर्क को बनाए रखना सीख लिया है।
सामान्यीकरण (Generalizability): इस पद्धति ने विभिन्न RL एल्गोरिदम (PPO, RLOO, GRPO, Reinforce++) और मॉडल स्केल्स (1.5B से 7B) में प्रदर्शन में सुधार किया।
केस स्टडीज: विज़ुअलाइज़ेशन ने प्रदर्शित किया कि BINGO के आउटपुट Vanilla PPO की तुलना में काफी अधिक केंद्रित और कम दोहराव वाले हैं, जो अक्सर देखे जाने वाले विस्तृत ट्रेसेस में "भ्रमित" (hallucinated) या चक्रीय तर्क से बचते हैं।

5. महत्व (Significance)

यह कार्य LLM रीजनिंग में दक्षता अनुकूलन के प्रतिमान (paradigm) को मौलिक रूप से बदल देता है:

"छोटा बेहतर है" से "महत्वपूर्ण बेहतर है" की ओर: यह सिद्ध करता है कि अंधाधुंध लंबाई कम करना हानिकारक है; इसके बजाय, दक्षता को महत्वपूर्ण तर्क चरणों को सुरक्षित रखते हुए अप्रासंगिक सामग्री की पहचान करके और उसे हटाकर प्राप्त किया जाना चाहिए।
अनुकूली प्रशिक्षण (Adaptive Training): यह डायनेमिक रिवॉर्ड शेड्यूलिंग के महत्व को रेखांकित करता है, यह स्वीकार करते हुए कि मॉडल्स को सीखने के विभिन्न चरणों (अन्वेषण बनाम शोषण) में अलग-अलग प्रोत्साहन की आवश्यकता होती है।
व्यावहारिक प्रभाव: तर्क-प्रधान LLM अनुप्रयोगों के लिए बिना सटीकता खोए टोकन जनरेशन को ~50-70% तक कम करके, BINGO अनुमान लागत (inference costs) और लेटेंसी को कम करने का एक सीधा मार्ग प्रदान करता है, जिससे वे अधिक स्केलेबल और पर्यावरण के अनुकूल बनते हैं।