🤖 AI

SLAT: Segment-Level Adaptive Trimming for Efficient CoT Reasoning

यह शोध पत्र SLAT को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो चेन-ऑफ-थॉट तर्क की दक्षता में सुधार करता है, जिससे सैद्धांतिक रूप से अनावश्यक, उच्च-संभाव्यता वाले खंडों की पहचान और अनुकूल रूप से उनकी छंटाई की जाती है, जिससे सटीकता से समझौता किए बिना तर्क की लंबाई में 50% की कमी आती है।

मूल लेखक: Jian Yao, Xiongcai Luo, Ran Cheng, Kay Chen Tan

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jian Yao, Xiongcai Luo, Ran Cheng, Kay Chen Tan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास "रीज़निंग बॉट" (Reasoning Bot) नाम का एक बहुत ही बुद्धिमान लेकिन ज़रूरत से ज़्यादा बातूनी छात्र है। जब आप इस बॉट से कोई गणित का सवाल पूछते हैं, तो यह केवल उत्तर नहीं देता। इसके बजाय, यह अपने विचारों की एक लंबी, चरण-दर-चरण डायरी (जिसे "चेन ऑफ थॉट" कहा जाता है) लिखता है।

हाल ही में, शोधकर्ताओं ने पाया कि हालांकि इस बातूनी शैली से बॉट सही उत्तर तक पहुँचने में मदद मिलती है, लेकिन यह अक्सर "ओवरथिंकिंग" (ज़रूरत से ज़्यादा सोचने) का शिकार हो जाता है। यह तब भी बहुत देर तक लिखता रहता है जब वह समाधान निकाल चुका होता है। यह सवाल को दोहरा सकता है, उन बुनियादी नियमों को फिर से समझा सकता है जिन्हें वह पहले से जानता है, या एक रोबोटिक, दोहराव वाले लूप में अपने काम की दोबारा जाँच कर सकता है। यह एक ऐसे छात्र की तरह है जो $2+3=5$ हल करने के बाद, अगले पाँच मिनट तक यह लिखने में बिता देता है, "मैंने दो और तीन को जोड़ा। दो प्लस तीन पांच है। मुझे यकीन है कि यह पांच है। मुझे फिर से जाँच करने दें। हाँ, यह पांच है।"

यह "ओवरथिंकिंग" बहुत अधिक कंप्यूटर ऊर्जा (और समय) बर्बाद करती है, बिना उत्तर को और अधिक सही बनाए।

वर्तमान समाधानों के साथ समस्या

पहले, शोधकर्ताओं ने बॉट को यह कहकर ठीक करने की कोशिश की: "X शब्दों के बाद लिखना बंद कर दो।" या, "यदि आपका उत्तर बहुत लंबा हो जाता है, तो हम आपको दंडित करेंगे।"

समस्या यह है कि यह दृष्टिकोण एक सख्त शिक्षक की तरह है जो कहता है, "यदि आपका निबंध बहुत लंबा है, तो मैं आखिरी 500 शब्द काट दूँगा, चाहे कुछ भी हो।" समस्या यह है कि बॉट जगह बचाने के लिए वास्तविक समाधान को भी काट सकता है, या वह उबाऊ, दोहराव वाले फालतू हिस्से को छोड़ते हुए एक महत्वपूर्ण चरण को काट सकता है। यह एक कुंद उपकरण (blunt instrument) की तरह है जो यह नहीं समझता कि क्या कहा जा रहा है, केवल यह समझता है कि कितना कहा जा रहा है।

नया समाधान: SLAT (द "एडिटर" बॉट)

यह पेपर एक नई विधि पेश करता है जिसे SLAT (सेगमेंट-लेवल एडेप्टिव ट्रिमिंग) कहा जाता है। केवल शब्दों को गिनने के बजाय, SLAT एक स्मार्ट संपादक की तरह काम करता है जो वास्तविक समय में बॉट की सोच की गुणवत्ता को देखता है।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. "बोरियत" का पता लगाना (The "Boredom" Detector)
कल्पना कीजिए कि बॉट एक कहानी लिख रहा है। SLAT बॉट के आत्मविश्वास पर नज़र रखता है। जब बॉट कुछ नया और महत्वपूर्ण लिख रहा होता है, तो वह थोड़ा हिचकिचा सकता है या शब्दों का चयन सावधानी से कर सकता है (कम संभावना/low probability)। लेकिन जब बॉट खुद को दोहराना शुरू करता है या स्पष्ट बातें बताने लगता है (जैसे "समस्या 2 और 3 का योग पूछती है"), तो वह बहुत आत्मविश्वासी और रोबोटिक हो जाता है। वह बहुत निश्चितता के साथ एक ही चीज़ को बार-बार कहने लगता है।

SLAT इन "हाई-प्रोबेबिलिटी सेगमेंट्स" को पहचान लेता है। पेपर के दृष्टिकोण में, ये वे क्षण हैं जहाँ बॉट केवल "पहिए घुमा रहा है" (spinning its wheels)—बहुत सारी बातें कर रहा है लेकिन कुछ नया सीख या जोड़ नहीं रहा है।

2. "ट्रिमिंग" का इनाम (The "Trimming" Reward)
SLAT एक विशेष प्रशिक्षण पद्धति (Reinforcement Learning) का उपयोग करता है। यह बॉट को बताता है:

"यदि आप चलते रहते हैं और केवल खुद को दोहराते हैं या स्पष्ट बातें बताते हैं, तो आपको एक 'दंड' (negative score) मिलेगा।"
"यदि आप उत्तर मिलने के बाद रुक जाते हैं और उबाऊ दोहराव को छोड़ देते हैं, तो आपको एक 'बोनस' मिलेगा।"

यह एक कुत्ते को प्रशिक्षित करने जैसा है। यदि कुत्ता गिलहरी (एक स्पष्ट चीज़) को देखकर भौंकता है, तो आप उसे अनदेखा कर देते हैं। यदि कुत्ता गिलहरी के जाने के बाद भौंकना बंद कर देता है और शांति से बैठ जाता है, तो आप उसे एक ट्रीट (इनाम) देते हैं। अंततः, कुत्ता यह सीख जाता है कि गिलहरी के जाते ही भौंकना कब बंद करना है।

3. परिणाम
इस पेपर ने कठिन गणितीय समस्याओं पर इसका परीक्षण किया।

SLAT से पहले: बॉट एक साधारण समस्या के लिए 10,000 शब्दों का स्पष्टीकरण लिख देगा, जिसमें 5,000 शब्द दोहराव वाले फालतू शब्द होंगे।
SLAT के बाद: बॉट बिल्कुल वही सही उत्तर प्राप्त करता है, लेकिन यह स्पष्टीकरण को आधा कर देता है (लंबाई में लगभग 50% की कमी)। यह स्मार्ट, आवश्यक चरणों को रखता है और "ओवरथिंकिंग" के लूप को हटा देता है।

यह क्यों महत्वपूर्ण है

लेखकों ने पाया कि यह विधि एक "स्वीट स्पॉट" (सही संतुलन) बनाती है। बॉट अपनी बुद्धिमत्ता खोए बिना दोगुना तेज़ और कुशल हो जाता है। यह साबित करता है कि आपको बॉट को छोटा होने के लिए मजबूर करने की आवश्यकता नहीं है; आपको बस उसे यह पहचानने के लिए सिखाने की आवश्यकता है कि उसकी बात कब पूरी हो गई है और "ओवरथिंकिंग" के लूप को विशेष रूप से कब रोकना है।

संक्षेप में: SLAT AI को यह सिखाता है कि वह कब बोलना बंद करे जब वह केवल खुद को दोहरा रहा हो, जिससे समय और ऊर्जा की बचत होती है और उत्तर भी सटीक रहता है।

तकनीकी सारांश: SLAT – कुशल CoT तर्क के लिए सेगमेंट-स्तरीय अनुकूली ट्रिमिंग (Segment-Level Adaptive Trimming)

1. समस्या विवरण

हाल के लार्ज रीजनिंग मॉडल्स (LRMs), जैसे कि OpenAI-o1 और DeepSeek-R1, सुदृढीकरण शिक्षण (Reinforcement Learning - RL) के माध्यम से जटिल तर्क कार्यों (गणित, तर्क, प्रोग्रामिंग) में महत्वपूर्ण सुधार प्रदर्शित कर रहे हैं। हालाँकि, ये मॉडल अक्सर "ओवरथिंकिंग" (overthinking) प्रदर्शित करते हैं, जिससे ऐसे तर्क श्रृंखलाएं (Chain-of-Thought या CoT) उत्पन्न होती हैं जिनमें पर्याप्त संरचनात्मक अतिरेक (structural redundancy) होता है। यह अतिरेक उत्तर की शुद्धता में सुधार किए बिना उच्च कम्प्यूटेशनल ओवरहेड का कारण बनता है।

मौजूदा शमन रणनीतियाँ मुख्य रूप से टोकन-यूनिफॉर्म लंबाई दंड (token-uniform length penalties) पर निर्भर करती हैं। ये दृष्टिकोण सभी टोकन को समान रूप से दंडित करके आउटपुट को छोटा करने के लिए एक मोटे स्तर का दबाव डालते हैं। शोध पत्र का तर्क है कि यह उप-इष्टतम (suboptimal) है क्योंकि यह आवश्यक तर्क चरणों और अनावश्यक अन्वेषण (redundant exploration) के बीच अंतर नहीं कर सकता है। फलस्वरूप, यूनिफॉर्म पेनल्टी अनजाने में आवश्यक मध्यवर्ती चरणों को दबा सकती है, जिससे अन्वेषण स्थान सिकुड़ जाता है और परिणामतः छोटे लेकिन कम सक्षम नीतियां (policies) प्राप्त होती हैं।

लेखक पहचानते हैं कि अक्षमता अक्सर तर्क ट्रेस (reasoning trace) के उच्च-संभाव्यता वाले खंडों (high-probability segments) में केंद्रित होती है। ये खंड लगभग नियत (near-deterministic), कम सूचना-सामग्री वाले खंडों (जैसे, समस्या की स्थितियों को दोहराना, तुच्छ निष्कर्ष, या पुनरावृत्ति सत्यापन) के अनुरूप होते हैं जो समाधान की शुद्धता में योगदान दिए बिना लंबाई बढ़ाते हैं।

2. कार्यप्रणाली: SLAT

इसे संबोधित करने के लिए, लेखक SLAT (सेगमेंट-लेवल एडेप्टिव ट्रिमिंग) प्रस्तावित करते हैं, जो एक RL फ्रेमवर्क है जिसे खंड-स्तर की उप-इष्टतमता के सैद्धांतिक लक्षण वर्णन के आधार पर अनावश्यक खंडों को चुनिweise रूप से दबाने के लिए डिज़ाइन किया गया है।

2.1 सैद्धांतिक आधार

लेखक दक्षता समस्या को एक कतिपय अनुकूलित कार्य (constrained optimization task) के रूप में औपचारिक रूप देते हैं: $p_0$ थ्रेशोल्ड से ऊपर शुद्धता की संभावना बनाए रखते हुए अपेक्षित तर्क लंबाई $L(z)$ को न्यूनतम करना। इस उद्देश्य के लैग्रेंजियन रूप का विश्लेषण करके, वे प्रपोजिशन 3.1 (Proposition 3.1) प्राप्त करते हैं, जो खंड-उप-इष्टतमता के लिए एक पर्याप्त स्थिति है।

प्रपोजिशन बताता है कि एक विशिष्ट खंड $z_1$ उत्पन्न करना तब उप-इष्टतम होता है जब वह खंड लंबा हो और उच्च संभाव्यता के साथ उत्पन्न हुआ हो। विशेष रूप से, यदि खंड की लंबाई और आगामी ट्रेस की अपेक्षित लंबाई, खंड की संभाव्यता और समग्र शुद्धता संभाव्यता द्वारा निर्धारित थ्रेशोल्ड से अधिक हो जाती है, तो उस खंड को उत्पन्न करने की संभाव्यता को कम करने से उद्देश्य में स्पष्ट सुधार होगा। यह एक सिद्धांत-आधारित इंडक्टिव बायस (inductive bias) प्रदान करता है: लंबे, लगभग-नियत (near-deterministic) विस्तारों को दबाएं।

2.2 एल्गोरिदम कार्यान्वयन

SLAT इस बायस को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) एल्गोरिदम (जो DeepSeek-R1 प्रशिक्षण में उपयोग किया जाता है) के भीतर सेगमेंट-लेवल रिवॉर्ड शेपिंग के माध्यम से संचालित करता है:

स्लाइडिंग-विंडो डिटेक्शन (Sliding-Window Detection): एक उत्पन्न तर्क ट्रेस $z$ के लिए, एक आकार $w$ वाली स्लाइडिंग विंडो अनुक्रम (sequence) के माध्यम से चलती है। वर्तमान पॉलिसी $\pi_{old}$ के तहत प्रत्येक विंडो के भीतर टोकन की संयुक्त संभाव्यता (joint probability) की गणना की जाती है।
उच्च-संभाव्यता गणना (High-Probability Counting): एल्गोरिदम उन विंडोज़ की संख्या गिनता है जहाँ संयुक्त संभाव्यता एक पूर्व-निर्धारित थ्रेशोल्ड $\tau$ से अधिक होती है। यह गणना, $C(z)$ , उच्च-संभाव्यता, कम-सूचना वाले विस्तारों की लंबाई के प्रॉक्सी (proxy) के रूप में कार्य करती है।
रिवॉर्ड शेपिंग (Reward Shaping): एक ट्रिमिंग रिवॉर्ड $r_{ER}$ $r_{E R}$ परिभाषित किया गया है:
- यदि रोलआउट सही है: $r_{ER} = -C(z)$ (अनावश्यक खंडों की उच्च गणना को दंडित करना)।
- यदि रोलआउट गलत है: $r_{ER} = 0$ (गलत पथों पर मॉडल को क्षयकारी शॉर्टकट सीखने से रोकना)।
उद्देश्य एकीकरण (Objective Integration): अंतिम रिवॉर्ड $r = r_{ori} + \lambda r_{ER}$ है, जहाँ $\lambda$ ट्रिमिंग सिग्नल की शक्ति को नियंत्रित करता है।

3. प्रमुख योगदान

शोध पत्र तीन प्राथमिक योगदानों को रेखांकित करता है:

पहचान और सिद्धांत: लेखक लंबे CoT तर्क में अक्षमता के एक सामान्य स्रोत के रूप में उच्च-संभाव्यता वाले खंडों की पहचान करते हैं। वे एक सैद्धांतिक लक्षण वर्णन (प्रपोजिशन 3.1) प्रदान करते हैं जो यह परिभाषित करता है कि शुद्धता-लंबाई ट्रेड-ऑफ के तहत ऐसा खंड उत्पन्न करना कब उप-इष्टतम है, जिससे एक सिद्धांत-आधारित इंडक्टिव बायस पेश होता है।
SLAT फ्रेमवर्क: इस अंतर्दृष्टि से निर्देशित, वे एक ट्रिमिंग-आधारित फ्रेमवर्क प्रस्तावित करते हैं जो RL प्रशिक्षण में एकीकृत है। यह फ्रेमवर्क चुनिweise रूप से अनावश्यक उच्च-संभाव्यता वाले खंडों को दबाता है, जिससे यूनिफॉर्म टोकन पेनल्टी के बिना संक्षिप्त लेकिन निष्ठावान तर्क को बढ़ावा मिलता है।
अनुभवजन्य सत्यापन (Empirical Validation): कई मानक तर्क बेंचमार्क पर इस दृष्टिकोण का सत्यापन किया गया है, जो शुद्धता और लंबाई के बीच बेहतर प्रदर्शन करते हुए तर्क की लंबाई में पर्याप्त कमी प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने गणितीय तर्क बेंचमार्क (MATH500, OlympiadBench, AMC23, AIME24/25) और आउट-ऑफ-डोमेन डेटासेट (MMLU-STEM, GPQA-Diamond) पर SLAT का मूल्यांकन किया।

डिस्टिल्ड रीजनर कम्प्रेशन (Distilled Reasoner Compression): DeepSeek-R1-Distill-Qwen-7B पर लागू होने पर, SLAT ने औसत तर्क लंबाई को 50% (8,404 से 4,176 टोकन) कम कर दिया, जबकि शुद्धता-लंबाई ट्रेड-ऑफ में एक पारेतो सुधार (Pareto improvement) प्राप्त किया। इसने 7 में से 6 प्रतिस्पर्धियों को पछाड़ते हुए उच्चतम औसत सटीकता (66.4) प्राप्त की।
बेस मॉडल प्रशिक्षण: GRPO का उपयोग करके Qwen2.5-Math-7B को स्क्रैच से प्रशिक्षित करते समय, SLAT ने टोकन-यूनिफॉर्म उद्देश्यों (जैसे, ट्रंकेशन, लेंथ-मैक्समिन, लेंथ-मीन) की तुलना में एक बेहतर सटीकता-लंबाई वक्र स्थापित किया। जहाँ यूनिफॉर्म पेनल्टी अक्सर लंबे-क्षितिज (long-horizon) निर्भरताओं को बाधित करके कठिन डेटासेट (AIME24/25) पर प्रदर्शन को खराब करती थी, वहीं SLAT ने महत्वपूर्ण तार्किक संरचनाओं को सुरक्षित रखा।
स्केलेबिलिटी (Scalability): Qwen3-14B पर प्रयोगों ने दिखाया कि GRPO में SLAT जोड़ने से औसत CoT लंबाई 47% (5,024 से 2,676 टोकन) कम हो गई, जबकि शुद्धता में नगण्य कमी (-0.5%) हुई।
प्रशिक्षण दक्षता (Training Efficiency): SLAT ने बाद के प्रशिक्षण चरणों में छोटे रोलआउट्स को प्रोत्साहित करके समग्र प्रशिक्षण समय को कम किया, जिससे जनरेशन लागत कम हुई और थ्रूपुट में सुधार हुआ।
सामान्यीकरण (Generalization): यह विधि गैर-गणितीय डोमेन (MMLU-STEM, GPQA-Diamond) में भी अच्छी तरह से सामान्यीकृत हुई, जो महत्वपूर्ण लंबाई कटौती के साथ प्रतिस्पर्धी सटीकता प्राप्त करती है।

5. महत्व और दावे

शोध पत्र का दावा है कि सैद्धांतिक रूप से आधारित, सेगमेंट-अवेयर ट्रिमिंग कुशल CoT तर्क के लिए एक आशाजनक दिशा है। पिछले तरीकों के विपरीत जो मोटे, टोकन-लेवल दंड या इन्फरेंस-टाइम स्टॉपिंग ह्यूरिस्टिक्स पर निर्भर करते हैं, SLAT तर्क ट्रेस की आंतरिक संरचना से प्राप्त रिवॉर्ड सिग्नल के माध्यम से दक्षता को सीधे प्रशिक्षण नीति में एकीकृत करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण केवल आउटपुट को छोटा करने के बजाय अनावश्यक, उच्च-संभाव्यता वाले खंडों को लक्षित करके "ओवरथिंकिंग" की विशिष्ट घटना को संबोधित करता है। यह मॉडल को "लॉजिकल फिडेलिटी" (तार्किक निष्ठा) बनाए रखने और जटिल समस्याओं को हल करने की अनुमति देता है जिनके लिए लंबे तर्क क्षितिज की आवश्यकता होती है, जबकि यह "वर्बोस स्कैफोल्डिंग" (अनावश्यक ढांचा) और दोहराव वाले कथनों को समाप्त करता है जो अक्षम ट्रेसेस की विशेषता है।

यह कार्य सुझाव देता है कि तर्क मॉडलों में दक्षता को केवल एक बजट बाधा के रूप में नहीं, बल्कि एक संरचनात्मक गुण के रूप में माना जाना चाहिए जिसे कम-सीमांत-उपयोगिता (low-marginal-utility) वाले खंडों की पहचान करके और उन्हें दबाकर अनुकूलित किया जा सकता है। उल्लेखित भविष्य के कार्य की दिशाओं में डायनेमिक रूप से ट्रिमिंग तंत्र को अनुकूलित करना, इसे बड़े मॉडल परिवारों (100B+) तक स्केल करना और प्रतिकूल मजबूती (adversarial robustness) तथा मॉडल एक्सट्रैक्शन के संबंध में सुरक्षा निहितार्थों की जांच करना शामिल है।