🤖 AI

OS-Pruner: Pruning Chains-of-Thought of Reasoning Models via Optimal Stopping

यह शोध पत्र OS-Pruner को पेश करता है, जो एक हल्का प्लग-इन फ्रेमवर्क है जो चेन-ऑफ-थॉट प्रूनिंग को एक इष्टतम स्टॉपिंग समस्या (optimal stopping problem) के रूप में तैयार करता है ताकि रीजनिंग चेन्स के लिए सबसे कुशल समाप्ति बिंदु को गतिशील रूप से निर्धारित किया जा सके, जिससे न्यूनतम सटीकता हानि के साथ जनरेशन की लंबाई को 20-60% तक कम किया जा सके।

मूल लेखक: Mohammed Ehab, Aymane El Gadarri, Vivek F. Farias, Adam Jozefiak, Ciamac C. Moallemi

प्रकाशित 2026-07-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohammed Ehab, Aymane El Gadarri, Vivek F. Farias, Adam Jozefiak, Ciamac C. Moallemi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कठिन गणितीय पहेली हल कर रहे हैं। आप ज़ोर से सोचना शुरू करते हैं, हर कदम को लिख रहे हैं, अपने काम की जाँच कर रहे हैं, और शायद सुनिश्चित करने के लिए इसे दोबारा भी जाँच रहे हैं। लेकिन फिर, आपको एहसास होता है कि आपने उत्तर पहले ही ढूँढ लिया है! फिर भी, आपका मस्तिष्क (या इस मामले में, एक 'लार्ज लैंग्वेज मॉडल' जैसा सुपर-स्मार्ट कंप्यूटर मस्तिष्क) चलता रहता है। यह और अधिक पैराग्राफ लिखता है, पुराने तर्कों को दोहराता है, या अतिरिक्त गणनाएँ करता है जो वास्तव में मदद नहीं करतीं। यह "कंप्यूटेशनल ओवरथिंकिंग" (computational overthinking) कहलाता है। यह उस छात्र की तरह है जो परीक्षा में सवाल हल करने के बहुत बाद तक लिखता रहता है, बिना बेहतर ग्रेड प्राप्त किए केवल समय और कागज़ बर्बाद करता है।

यह पेपर इसे ठीक करने के लिए एक नया टूल पेश करता है जिसे OS-Pruner कहा जाता है। OS-Pruner को एक सुपर-स्मार्ट "स्टॉप-वॉच" या एक बुद्धिमान कोच की तरह समझें जो कंप्यूटर के बगल में खड़ा है। इसका काम कंप्यूटर की सोचने की प्रक्रिया को चरण-दर-चरण देखना और हर पैराग्राफ के बाद एक सरल प्रश्न पूछना है: "क्या एक और वाक्य लिखना सार्थक है, या हमें अभी उत्तर दे देना चाहिए?"

"रुकें या चलें" का खेल (The "Stop or Go" Game)

लेखकों ने महसूस किया कि रुकने का निर्णय लेना केवल यह अनुमान लगाने के बारे में नहीं है कि उत्तर सही है या नहीं। यह एक संतुलन बनाने का काम है।

लागत (The Cost): कंप्यूटर द्वारा लिखा गया हर अतिरिक्त वाक्य पैसे (टोकन के रूप में) और समय (लेटेंसी) खर्च करता है।
पुरस्कार (The Reward): आगे बढ़ने का एकमात्र कारण यह है कि अगले वाक्य के आगे बढ़ने की अच्छी संभावना है कि वह अंतिम उत्तर को अधिक सटीक बनाएगा।

पेपर का तर्क है कि वर्तमान के अधिकांश तरीके एक सख्त शिक्षक की तरह हैं जो कहते हैं, "ठीक 10 वाक्यों के बाद रुक जाओ!" या "रुक जाओ यदि तुम 90% आश्वस्त हो!" लेखक कहते हैं कि ये तरीके बहुत कठोर हैं। इसके बजाय, वे इस समस्या को एक ऑप्टिमल स्टॉपिंग (Optimal Stopping) गेम के रूप में देखते हैं। इसका मतलब है कि कंप्यूटर यह सीखना सीखता है कि लिखने की लागत को बेहतर उत्तर मिलने की संभावना के विरुद्ध कैसे तौला जाए। यदि अगला कदम बहुत अधिक मदद करने की संभावना नहीं रखता है, तो "कोच" (OS-Pruner) कहता है, "रुक जाओ! हम ठीक हैं!"

जिसे उन्होंने खारिज कर दिया (What They Rejected)

यह पेपर स्पष्ट रूप से कुछ सामान्य विचारों के खिलाफ तर्क देता है:

निश्चित बजट (Fixed Budgets): वे कहते हैं कि केवल मॉडल को चरणों की एक निश्चित संख्या के बाद रुकने के लिए मजबूर करना (जैसे "ठीक 5 मिनट तक सोचें") काम नहीं करता है क्योंकि कुछ समस्याएँ आसान होती हैं जिन्हें कुछ ही चरणों की आवश्यकता होती है, जबकि अन्य कठिन होती हैं जिन्हें कई चरणों की आवश्यकता होती है।
सरल आत्मविश्वास जाँच (Simple Confidence Checks): वे दिखाते हैं कि केवल यह पूछना कि, "क्या आप पर्याप्त आश्वस्त हैं?" पर्याप्त नहीं है। कभी-कभी एक मॉडल आश्वस्त हो सकता है लेकिन उसके पास आगे एक बेहतर रास्ता हो सकता है, या वह अनिश्चित हो सकता है लेकिन वास्तव में उसका काम पूरा हो चुका हो सकता है। पेपर गणितीय रूप से सिद्ध करता है कि एक साधारण "कॉन्फिडेंस थ्रेशोल्ड" (confidence threshold) उनके तरीके की तुलना में भारी सुधारों को छोड़ सकता है।
पूरे मस्तिष्क को फिर से प्रशिक्षित करना (Retraining the Whole Brain): अन्य कई तरीके पूरे कंप्यूटर मॉडल को छोटा बनाने के लिए उसे फिर से प्रशिक्षित करने की कोशिश करते हैं। लेखक कहते हैं कि यह महंगा और धीमा है। OS-Pruner एक "प्लग-इन" है, जिसका अर्थ है कि यह एक छोटा सा जुड़ाव है जिसे पूरे मस्तिष्क को फिर से बनाने की आवश्यकता नहीं है।

उन्होंने इसका परीक्षण कैसे किया (How They Tested It)

शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने गंभीर प्रयोग चलाए। उन्होंने कई शक्तिशाली रीजनिंग मॉडल्स (जैसे DeepSeek-R1-Distill-Qwen-7B, GPT-OSS-20B, और DRPO-7B) को लिया और उन्हें ग्रेड-स्कूल अंकगणित से लेकर कठिन ओलंपियाड-स्तर की चुनौतियों तक के गणित के सवालों पर टेस्ट किया।

उन्होंने पाया कि OS-Pruner का उपयोग करके:

मॉडल्स ने कई कार्यों पर अपनी सोचने की लंबाई को 20% से 60% तक कम कर दिया।
उदाहरण के लिए, GSM8K (आसान गणित) डेटासेट पर, DeepSeek-R1-Distill-Qwen-7B मॉडल ने अपनी सटीकता को बदले बिना (केवल 0.7 प्रतिशत अंकों की मामूली गिरावट के साथ) अपनी सोचने की लंबाई को 59.3% कम कर दिया।
AIME जैसे कठिन समस्याओं पर, मॉडल अधिक सावधान था, जिसने केवल 6.9% लंबाई कम की, क्योंकि वहां अतिरिक्त सोच वास्तव में आवश्यक थी।

पेपर सुझाव देता है कि जो मॉडल पहले से ही संक्षिप्त होने के लिए प्रशिक्षित थे (जैसे DRPO-7B मॉडल), वे भी ओवरथिंकिंग से ग्रस्त थे, और OS-Pruner उन्हें और भी बेहतर बना सकता था।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर यह दावा नहीं करता है कि उसने AI रीजनिंग को हमेशा के लिए "हल" कर दिया है। इसके बजाय, यह सुझाव देता है कि निर्णय को समय और सटीकता के बीच एक स्मार्ट ट्रेड-ऑफ (समझौते) के रूप में मानकर, हम इन शक्तिशाली मॉडल्स को उनकी बुद्धिमत्ता खोए बिना बहुत तेज़ और सस्ता चला सकते हैं। यह एक प्रतिभाशाली छात्र को अपनी बात पूरी होते ही चुप होने के लिए सिखाने जैसा है, जिससे सबकी बचत होती है और वह अभी भी 'A+' ग्रेड प्राप्त करता है।

लेखकों ने इन परिणामों को विशिष्ट डेटासेट्स पर मापा और पाया कि OS-Pruner लगातार "पारेटो फ्रंटियर" (Pareto frontier) पर स्थित है—जो एक फैंसी तरीका है यह कहने का कि यह सबसे अच्छा सौदा प्रदान करता है: न्यूनतम लेखन के लिए अधिकतम सटीकता। उन्होंने यह भी दिखाया कि आप एक एकल संख्या (जिसे $\lambda$ कहा जाता है) के साथ इस ट्रेड-ऑफ को नियंत्रित कर सकते हैं, जिससे उपयोगकर्ताओं को यह तय करने की अनुमति मिलती है कि वे मॉडल को सुपर फास्ट (और शायद थोड़ा कम सटीक) चाहते हैं या सुपर केयरफुल (थोड़ा अधिक समय लेने वाला)।

तकनीकी सारांश: OS-Pruner

समस्या विवरण

चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग का उपयोग करने वाले लार्ज लैंग्वेज मॉडल्स (LLMs) ने जटिल तर्क कार्यों में महत्वपूर्ण सफलता प्राप्त की है। हालाँकि, ये मॉडल अक्सर "कंप्यूटेशनल ओवरथिंकिंग" (computational overthinking) प्रदर्शित करते हैं, जिससे अनावश्यक तर्क चरण उत्पन्न होते हैं जो अंतिम उत्तर की सटीकता में सुधार किए बिना विलंबता (latency) और अनुमान लागत (inference costs) को बढ़ा देते हैं। इस व्यवहार में तर्कों को दोहराना, तय निष्कर्षों को सत्यापित करना, या कम मूल्य वाली गणनाओं में लगे रहना शामिल है। जबकि हाल के अध्ययन बताते हैं कि CoT प्रक्षेपवक्र (trajectories) को छाँटा (prune) जा सकता है, मौजूदा समाधान विशिष्ट सीमाओं से ग्रस्त हैं:

स्थिर बजट (Static Budgets): बजट फोर्सिंग जैसे तरीके बाहरी रूप से एक निश्चित विचार सीमा लागू करते हैं, जो तर्क के विकसित होते स्वरूप की अनदेखी करते हैं।
मॉडल-साइड संपीड़न (Model-Side Compression): लेंथ-पेनलाइज्ड फाइन-ट्यूनिंग या टोकन स्किपिंग जैसी तकनीकों के लिए बेस मॉडल के महंगे पुन: प्रशिक्षण की आवश्यकता होती है और इससे गैर-तर्क कार्यों पर प्रदर्शन गिर सकता है।
ह्यूरिस्टिक अर्ली स्टॉपिंग (Heuristic Early Stopping): वर्तमान डायनेमिक विधियाँ अक्सर वर्गीकरण या थ्रेशोल्डिंग (जैसे, जब आत्मविश्वास एक निश्चित मान से अधिक हो जाता है, तो रुकना) पर निर्भर करती हैं, जो अतिरिक्त टोकन की लागत और उत्तर की गुणवत्ता में अपेक्षित सुधार के बीच के ट्रेड-ऑफ को समझने में विफल रहती हैं।

लेखक तर्क देते हैं कि CoT प्रूनिंग मौलिक रूप से एक अनुक्रमिक निर्णय समस्या (sequential decision problem) है जिसे ऑप्टिमल स्टॉपिंग प्रॉब्लम (optimal stopping problem) के रूप में बेहतर ढंग से फ्रेम किया जा सकता है, जहाँ सिस्टम को प्रत्येक चरण पर यह निर्णय लेना होता है कि क्या अगले टोकन को उत्पन्न करने से होने वाला अपेक्षित लाभ, उसकी लागत को उचित ठहराता है।

कार्यप्रणाली: OS-Pruner

OS-Pruner एक हल्का, प्लग-इन फ्रेमवर्क है जिसे CoT प्रूनिंग को ऑप्टिमल स्टॉपिंग प्रॉब्लम के रूप में तैयार करने के लिए डिज़ाइन किया गया है। यह फ्रोजन (frozen) बेस रीजनिंग मॉडल को संशोधित किए बिना संचालित होता है।

1. समस्या का निरूपण (Problem Formulation)

एक इनपुट समस्या $x$ और आंशिक रूप से उत्पन्न CoT प्रीफिक्स $y_{\le i}$ दिए जाने पर, OS-Pruner एक पैरामीट्रिक स्टॉपिंग पॉलिसी $\pi_\theta$ सीखता है जो रुकने की संभावना आउटपुट करता है। इसका उद्देश्य एक स्पष्ट उपयोगिता फलन (utility function) को अधिकतम करना है जो अंतिम उत्तर की सटीकता और उत्पन्न लंबाई के बीच ट्रेड-ऑफ करता है:
$r(y_{\le i}|x) = A(y_{\le i}|x) - \lambda L(y_{\le i})$
जहाँ:

$A(y_{\le i}|x)$ प्रीफिक्स से प्राप्त उत्तर की सटीकता है (यदि सही है तो 1, अन्यथा 0)।
$L(y_{\le i})$ चरण $i$ तक उत्पन्न किए गए टोकन की संख्या है।
$\lambda$ एक स्केलर पैरामीटर है जो लंबाई के लिए दंड (penalty) को नियंत्रित करता है, जिससे उपयोगकर्ताओं को सटीकता-दक्षता फ्रंटियर पर एक विशिष्ट ऑपरेटिंग पॉइंट चुनने की अनुमति मिलती है।

2. सैद्धांतिक लाभ

यह पेपर OS-Pruner को कॉन्फिडेंस-थ्रेशोल्ड विधियों से वैल्यू फंक्शन व्यू (Value Function View) के माध्यम से अलग करता है।

वर्गीकरण-आधारित विधियाँ तब रुकती हैं जब $A(y_{\le i}|x) \ge \gamma$ (एक निश्चित थ्रेशोल्ड) हो।
ऑप्टिमल स्टॉपिंग (OS-Pruner) तब रुकता है जब रुकने का तत्काल मूल्य निरंतरता मूल्य (continuation value) से अधिक हो: $A(y_{\le i}|x) \ge C_\lambda(x, y_{\le i})$ ।
कंटिन्यूएशन वैल्यू $C_\lambda$ भविष्य के इनाम और अतिरिक्त टोकन की लागत को घटाकर प्राप्त अपेक्षित भविष्य के रिवॉर्ड का प्रतिनिधित्व करती है। लेखक सिद्ध करते हैं (थ्योरम 1) कि फिक्स्ड-थ्रेशोल्ड क्लासिफायर का ऑप्टिमल स्टॉपिंग पॉलिसी की तुलना में बहुत बड़ा प्रदर्शन अंतर हो सकता है, क्योंकि वे भविष्य के तर्क पथों के स्टेट-डिपेंडेंट (state-dependent) मूल्य को ध्यान में रखने में विफल रहते हैं।

3. कार्यान्वयन और आर्किटेक्चर

डेटा प्रीप्रोसेसिंग: बेस मॉडल पूर्ण तर्क प्रक्षेपवक्र (reasoning traces) उत्पन्न करता है। प्रशिक्षण के लिए, सिस्टम प्रत्येक तर्क चरण के बाद हस्तक्षेप करता है, मॉडल को अंतिम उत्तर देने के लिए मजबूर करता है (उत्तर अनुभाग में "सोचने" को रोकता है), और Math-Verify का उपयोग करके ग्राउंड ट्रुथ के विरुद्ध इसकी ग्रेडिंग करता है। यह प्रत्येक प्रीफिक्स के लिए सूक्ष्म-स्तरीय पर्यवेक्षण (fine-grained supervision) बनाता है।
पॉलिसी आर्किटेक्चर: पॉलिसी एक हल्का लीनियर हेड ( $\sigma(W^\top h_l + b)$ ) है जिसे प्रीफिक्स के अंतिम हिडन स्टेट $h_l$ पर लागू किया जाता है। प्रदर्शन बढ़ाने के लिए, बेस मॉडल के अंतिम $n$ (आमतौर पर 2) सेल्फ-अटेंशन लेयर्स को फाइन-ट्यून किया जाता है, जबकि शेष मॉडल फ्रीज रहता है।
प्रशिक्षण दक्षता: चूंकि बेस मॉडल कॉज़ल (causal) है, इसलिए एक पैराग्राफ का हिडन स्टेट बाद के टोकन से प्रभावित नहीं होता है। यह पूरे रीजनिंग ट्रेस को एक ही फॉरवर्ड पास में प्रोसेस करने की अनुमति देता है, जिसमें लीनियर लेयर को प्रासंगिक हिडन स्टेट्स पर समानांतर (parallel) रूप से लागू किया जाता है।
प्रोग्रेसिव ट्रेनिंग: स्थानीय मिनिमा (local minima) में फंसने से बचने के लिए, जहाँ पॉलिसी कभी रुकती ही नहीं, प्रशिक्षण उच्च $\lambda$ (लंबाई के लिए उच्च लागत) के साथ शुरू होता है और धीरे-धीरे इसे कम मूल्यों तक एनेल (anneal) किया जाता है।

4. इन्फरेंस (Inference)

इन्फरेंस के दौरान, पॉलिसी को केवल रीजनिंग-स्टेप बाउंड्रीज (जैसे, पैराग्राफ का अंत) पर ही बुलाया जाता है। सिस्टम स्टॉपिंग प्रोबेबिलिटी की जाँच करता है; यदि रुकने का निर्णय लिया जाता है, तो यह तुरंत अंतिम उत्तर निकालता है। यह डिज़ाइन आधुनिक LLM सर्विंग सिस्टम (जैसे, vLLM) पर हाई एफिशिएंसी सुनिश्चित करता है, जो समानांतर प्री-फिल प्रोसेसिंग का लाभ उठाता है और KV कैश रीकंप्यूटेशन को कम करता है।

मुख्य योगदान

कठोर निरूपण: पेपर CoT प्रूनिंग को एक स्पष्ट रिवॉर्ड फंक्शन के साथ ऑप्टिमल स्टॉपिंग प्रॉब्लम के रूप में औपचारिक रूप प्रदान करता है जो सटीकता और लंबाई के बीच ट्रेड-ऑफ करता है।
लाइटवेट प्लग-इन: OS-Pruner एक ट्रेनिंग-आधारित स्टॉपिंग पॉलिसी है जो बेस रीजनिंग मॉडल को संशोधित किए बिना रीजनिंग प्रीफिक्स पर काम करती है, जिसके लिए केवल एक छोटा पॉलिसी हेड और कुछ ट्रांसफार्मर लेयर्स को फाइन-ट्यून करने की आवश्यकता होती है।
अनुभवजन्य प्रदर्शन: प्रयोग दर्शाते हैं कि OS-Pruner विभिन्न मॉडल्स और बेंचमार्क्स पर सटीकता बनाए रखते हुए रीजनिंग की लंबाई को काफी कम कर देता है।
पूरकता (Complementarity): यह दिखाया गया है कि मॉडल-साइड विधियों द्वारा पहले से अनुकूलित मॉडल्स पर भी OS-Pruner अतिरिक्त लाभ प्रदान करता है।

प्रयोगात्मक परिणाम

लेखकों ने तीन मॉडल्स (DeepSeek-R1-Distill-Qwen-7B, GPT-OSS-20B, और DRPO-7B) पर विभिन्न कठिनाई वाले बेंचमार्क्स (GSM8K, MATH-500, AIME) पर OS-Pruner का मूल्यांकन किया।

लंबाई में कमी: OS-Pruner ने न्यूनतम सटीकता बलिदान के साथ जेनरेशन की लंबाई में 20-60% की कमी हासिल की।
- DeepSeek-R1-Distill-Qwen-7B पर, इसने GSM8K पर लंबाई को 59.3% और MATH-500 पर 52.8% कम किया, जबकि सटीकता में परिवर्तन क्रमशः केवल -0.7% और +2.7% रहा।
- GPT-OSS-20B (जो पहले से ही संक्षिप्तता के लिए अनुकूलित मॉडल है) पर, इसने प्रतिस्पर्धी सटीकता बनाए रखते हुए महत्वपूर्ण कमी (जैसे, MATH-500 पर 21%) हासिल की।
बेसलाइन्स से तुलना: OS-Pruner ने 'एकरेंसी-एफिशिएंसी स्कोर' (AES) में ट्रेनिंग-आधारित बेसलाइन्स (Classification Probe, Answer Convergence, FlashThink) को लगातार पछाड़ दिया। यह पेरेटो फ्रंटियर (Pareto frontier) के करीब या उस पर स्थित है, जबकि फिक्स्ड-थ्रेशोल्ड बेसलाइन्स लेंथ बजट कम होने पर अधिक तेजी से गिरावट दिखाती हैं।
मजबूती (Robustness): विधि ने कठिनाई स्तरों के बीच अच्छा प्रदर्शन किया, जो आसान कार्यों (जहाँ ओवरथिंकिंग अधिक होती है) पर अधिक आक्रामक और कठिन कार्यों (AIME) पर अधिक रूढ़िवादी (conservative) रही, जहाँ अतिरिक्त गणना मूल्यवान होती है।

महत्व और दावे

पेपर का दावा है कि OS-Pruner मौजूदा ह्यूरिस्टिक या स्टैटिक विधियों की तुलना में CoT प्रूनिंग के लिए अधिक स्वाभाविक और अनुकूल दृष्टिकोण प्रदान करता है। इसे एक अनुक्रमिक निर्णय प्रक्रिया के रूप में फ्रेम करके, यह वैश्विक थ्रेशोल्ड के बजाय विशिष्ट रीजनिंग स्टेट के आधार पर समाप्ति के पर्याप्त बिंदु का गतिशील रूप से आकलन करता है।

लेखक इस बात पर जोर देते हैं कि OS-Pruner:

कंप्यूटेशनल लागत को कम करता है: अनावश्यक टोकन को काटकर, यह इन्फरेंस लेटेंसी और ऊर्जा फुटप्रिंट को कम करता है।
बारीक नियंत्रण (Fine-Grained Control) प्रदान करता है: $\lambda$ पैरामीटर उपयोगकर्ताओं को रीजनिंग प्रयास और सटीकता के बीच ट्रेड-ऑफ को स्पष्ट रूप से ट्यून करने की अनुमति देता है।
मौजूदा मॉडल्स के साथ काम करता है: इसके लिए बेस जनरेटर को फिर से प्रशिक्षित करने की आवश्यकता नहीं है, जो इसे मौजूदा रीजनिंग मॉडल्स के लिए एक व्यावहारिक "प्लग-इन" बनाता है।
मॉडल-साइड विधियों का पूरक है: DRPO जैसे संक्षिप्तता के लिए प्रशिक्षित मॉडल्स भी अतिरिक्त प्रूनिंग से लाभान्वित होते हैं, जो यह सुझाव देता है कि मॉडल-साइड संपीड़न और ऑप्टिमल स्टॉपिंग अलग-अलग पहलुओं को संबोधित करते हैं।

कार्य यह निष्कर्ष निकालता है कि हालांकि यह गणितीय तर्क पर केंद्रित है, लेकिन यह ढांचा व्यापक संदर्भों में लागू करने योग्य है, हालांकि कोडिंग और वैज्ञानिक तर्क कार्यों तथा फ्रंटियर मॉडल्स तक विस्तार करने के लिए भविष्य के कार्य की आवश्यकता है।