💬 NLP

CRISP: Compressing Redundancy in Chain-of-Thought via Intrinsic Saliency Pruning

यह शोध पत्र CRISP को प्रस्तुत करता है, जो एक ऐसा फ्रेमवर्क है जो रीजनिंग मॉडल्स के अंतर्निहित अटेंशन पैटर्न्स का लाभ उठाता है—विशेष रूप से टर्मिनेशन टोकन को एक सूचना एंकर के रूप में उपयोग करके—ताकि अनावश्यक चेन-ऑफ-थॉट स्टेप्स को कम किया जा सके, जिससे तार्किक सुसंगतता और सटीकता को बनाए रखते हुए टोकन काउंट में 50-60% की कमी आती है।

मूल लेखक: Yangsong Lan, Hongliang Dai, Piji Li

प्रकाशित 2026-04-21

📖 3 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Yangsong Lan, Hongliang Dai, Piji Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

) टोकन) जब रॉब सोचना समाप्त करता है और अंतिम उत्तर देने वाला होता है, तो वह एक विशेष मानसिक "एंकर" टोकन (कोड में एक विशिष्ट संकेत जिसे ` कहा जाता है) का उपयोग करता है।

खोज: शोधकर्ताओं ने कुछ बेहद दिलचस्प देखा। जैसे-जैसे रॉब अंत के करीब पहुँचता है, उसका ध्यान बदल जाता है। वह अपने निबंध के लंबे, भ्रामक मध्य भाग को देखना बंद कर देता है और इस "एंकर" पर तीव्रता से ध्यान केंद्रित करता है।
रूपक: एक लंबे, धुंधले घाट के अंत में स्थित लाइटहाउस (प्रकाश स्तंभ) की कल्पना करें। प्रकाश ( </think> टोकन) पीछे की ओर चमकता है। घाट के वे हिस्से जिन पर प्रकाश चमकता है, वे वे महत्वपूर्ण चरण हैं जिनकी वास्तव में रॉब को आवश्यकता थी। वे हिस्से जो छाया में हैं, वे केवल अनावश्यक बातें हैं जिनकी उसे वास्तव में आवश्यकता नहीं थी।

2. "सैलियंसी प्रूनिंग" (स्मार्ट कैंची)

इस "लाइटहाउस" संकेत का उपयोग करके, CRISP केवल अनुमान नहीं लगाता कि क्या काटना है। यह ठीक जानता है कि क्या महत्वपूर्ण है।

प्रक्रिया: यह रॉब द्वारा लिखे गए प्रत्येक वाक्य को देखता है। यदि "लाइटहाउस" किसी वाक्य पर चमक रहा है, तो यह उसे रखता है। यदि प्रकाश मंद है, तो यह जान जाता है कि वह वाक्य केवल फालतू बातें (filler) थीं।
कार्यवाही: यह निबंध को संपादित करने के लिए चार स्मार्ट उपकरणों का उपयोग करता है:
1. KEEP (रखें): "यह अत्यंत महत्वपूर्ण है! इसे रखें।"
2. PRUNE (छंटनी करें): "यह केवल फालतू बातें हैं। इसे काट दें।"
3. REWRITE (पुनर्लेखन): "यह महत्वपूर्ण है, लेकिन आपने इसे बहुत विस्तार से कहा है। आइए इसे 50 शब्दों के बजाय 5 शब्दों में कहें।"
4. FUSE (विलय करें): "आपने यह बात चरण 1 और चरण 2 में कही थी। आइए इन्हें एक 'सुपर-स्टेप' में मिला दें।"

3. "पॉलिशिंग" (अंतिम स्पर्श)

कभी-कभी, जब आप किसी कहानी के बीच के हिस्से को काट देते हैं, तो शुरुआत और अंत आपस में अच्छी तरह से नहीं जुड़ पाते। यह रोबोटिक या टूटा हुआ लग सकता है।

समाधान: CRISP किनारों को सुचारू बनाने के लिए एक "रिफाइनर" (एक दूसरा AI) का उपयोग करता है। यह कटे हुए, उच्च-घनत्व वाले संस्करण को लेता है और इसे इस तरह से फिर से लिखता है कि यह स्वाभाविक रूप से प्रवाहित हो सके, जैसे कोई मनुष्य बोल रहा हो, लेकिन बिना लंबे ठहराव और दोहराव के।

परिणाम: "हाई-ऑक्टेन" रीजनिंग

CRISP का उपयोग करने के बाद, मॉडल एक भारी ट्रक के बजाय एक फॉर्मूला 1 कार की तरह होता है।

पहले: गणित की समस्या हल करने के लिए इसे 3,000 शब्दों की आवश्यकता थी।
बाद में: इसे केवल 1,200 शब्दों की आवश्यकता होती है (60% की कमी!) लेकिन इसे वही सटीकता प्राप्त होती है।

यह क्यों महत्वपूर्ण है
इसे एक वीडियो फ़ाइल को कंप्रेस करने जैसा समझें। पुराने तरीके केवल गुणवत्ता कम कर देंगे, जिससे चित्र धुंधला हो जाएगा। CRISP एक स्मार्ट कम्प्रेशन एल्गोरिदम की तरह है जो शोर और ठहराव को हटा देता है, और हाई-डेफिनिशन एक्शन दृश्यों को पूरी तरह से स्पष्ट रखता है।

इसका अर्थ है:

तेज़ उत्तर: आपको समाधान बहुत जल्दी मिल जाता है।
सस्ता AI: इन मॉडल्स को चलाना कम पैसा खर्च करता है क्योंकि वे कम कंप्यूटर शक्ति का उपयोग करते हैं।
स्मार्ट AI: "ओवरथिंकिंग" और शोर को हटाकर, AI वास्तव में अधिक केंद्रित और विश्वसनीय हो जाता है।

संक्षेप में, CRISP AI को खुद से इतनी बातें करना बंद करना सिखाता है, जिससे उसे "शोर" में से "सिग्नल" खोजने और आपको बिना अपनी शानदार तर्क क्षमता खोए, तेज़ी से उत्तर देने में मदद मिलती है।

टोकन एक सूचना एंकर के रूप में

DeepSeek-R1-Distill-Qwen जैसे मॉडलों में लेयर-वाइज अटेंशन मैप्स के विश्लेषण के माध्यम से, लेखकों ने एक विशिष्ट घटना की खोज की:

</think> टोकन (जो तर्क से अंतिम उत्तर के संक्रमण को चिह्नित करता है) एक महत्वपूर्ण सूचना एंकर (Information Anchor) के रूप में कार्य करता है।
गहरी परतों (deep layers) में, मॉडल का अटेंशन </think> टोकन पर भारी रूप से केंद्रित होता है, जबकि कच्चे तर्क पथ (raw reasoning chain) पर इसका ध्यान न्यूनतम होता है।
सैलियंसी सहसंबंध (Saliency Correlation): </think> टोकन से पूर्ववर्ती तर्क चरणों (preceding reasoning steps) तक के अटेंशन वेट्स, उन चरणों की सैलियंसी (महत्व) को विश्वसनीय रूप से दर्शाते हैं। उच्च अटेंशन स्कोर वाले चरण महत्वपूर्ण तर्क को एनकोड करते हैं, जबकि कम स्कोर वाले चरण रेडंडेंसी (अनावश्यकता) का प्रतिनिधित्व करते हैं।

B. संपीड़न एक संरचित खोज समस्या के रूप में

CRISP, अंतर्निहित अटेंशन स्कोर द्वारा निर्देशित, तर्क चरणों के अनुक्रम पर एक ग्रीडी सर्च (Greedy Search) के रूप में CoT संपीड़न को सूत्रबद्ध करता है। इस प्रक्रिया में चार परमाणु ऑपरेटर (Atomic Operators) शामिल हैं:

KEEP (रखना): उच्च-सैलियंसी वाले चरणों को सुरक्षित रखता है।
PRUNE (छंटनी करना): कम-सैलियंसी (रेडंडेंट) चरणों को हटा देता है।
REWRITE (पुनर्लेखन): तर्क को सुरक्षित रखते हुए विस्तृत चरणों को संक्षिप्त करता है।
FUSE (विलय करना): अर्थपूर्ण रूप से समान क्रमिक चरणों को एक एकल सघन इकाई में मिला देता है।

एल्गोरिदम:

स्कोरिंग: प्रत्येक चरण $r_i$ के अंतर्जात योगदान ( $S_i$ ) की गणना </think> टोकन से उस चरण के भीतर के टोकन्स तक के अटेंशन वेट्स को एकत्रित करके की जाती है।
ह्यूरिस्टिक गेटिंग (Heuristic Gating): $S_i$ और सिमेंटिक समानता के आधार पर, एक डायनेमिक एक्शन स्पेस को परिभाषित किया जाता है (जैसे, यदि $S_i$ कम है, तो PRUNE या REWRITE की अनुमति दें; यदि उच्च है, तो KEEP या REWRITE की अनुमति दें)।
रिवॉर्ड-गाइडेड चयन: इष्टतम ऑपरेटर का चयन एक रिवॉर्ड फंक्शन को अधिकतम करके किया जाता है जो प्रेडिक्शन फिडेलिटी (सही उत्तर की संभावना) और अनुक्रम लंबाई के बीच संतुलन बनाता है:
$R(a) = \log P_\theta(y | x, C \oplus a(r_i)) - \log P_\theta(y | x, C) - \beta \cdot \text{Len}(a(r_i))$
रिफाइनमेंट (परिष्करण): चूंकि डिस्क्रीट सर्च ऑपरेशन से सिंटैक्टिक विखंडन (syntactic fragmentation) हो सकता है, इसलिए एक सहायक LLM-आधारित रिफाइनर संपीड़ित कंकाल ( $R'$ ) को एक प्रवाहपूर्ण, सुसंगत श्रृंखला ( $R_{CRISP}$ ) में पुनर्गठित करता है, जिससे वर्बोसिटी (शब्दबहुलता) में वापस जाए बिना तार्किक निरंतरता सुनिश्चित होती है।

C. प्रशिक्षण रणनीति

लक्ष्य मॉडल को मल्टी-टास्क लर्निंग ऑब्जेक्टिव का उपयोग करके रिफाइंड, उच्च-घनत्व वाले ट्राजेक्टरीज पर फाइन-ट्यून किया जाता है। इनपुट में एक विशेष कंट्रोल टोकन (<|compressed|>) जोड़ा जाता है ताकि मॉडल को इन्फरेंस के दौरान संपीड़ित तर्क पथ उत्पन्न करने का संकेत मिल सके।

3. मुख्य योगदान

अंतर्निहित सैलियंसी इंडिकेटर: पेपर ने पहचान की कि </think> टोकन पर अटेंशन वेट्स तर्क चरण के महत्व के एक विश्वसनीय, मॉडल-अंतर्जात संकेतक के रूप में कार्य करते हैं, जिससे बाहरी कंप्रेसर्स की आवश्यकता समाप्त हो जाती है।
CRISP फ्रेमवर्क: एक अभिनव संपीड़न ढांचा जो अंतर्निहित संकेतों द्वारा निर्देशित चार परमाणु ऑपरेटरों (FUSE, PRUNE, REWRITE, KEEP) पर ग्रीडी सर्च का उपयोग करता है।
बेहतर ट्रेड-ऑफ: यह प्रदर्शित करता है कि CRISP, स्टेट-ऑफ-द-आर्ट बेसलाइन्स की तुलना में इन्फरेंस दक्षता और तर्क सटीकता के बीच काफी बेहतर संतुलन प्राप्त करता है।

4. प्रयोगात्मक परिणाम

प्रयोग तीन बेंचमार्क: GSM8K (ग्रेड-स्कूल मैथ), MATH-500 (प्रतियोगिता गणित), और AMC23 पर DeepSeek-R1-Distill-Qwen-1.5B और 7B मॉडलों पर किए गए।

टोकन में कमी: CRISP ने मूल मॉडलों की तुलना में टोकन काउंट में 50–60% की कमी हासिल की।
- उदाहरण (7B मॉडल): औसत टोकन को 2,971 से घटाकर 1,235 कर दिया।
सटीकता का संरक्षण: अन्य विधियों के विपरीत जो संक्षिप्तता के लिए सटीकता का त्याग करती हैं, CRISP ने सटीकता को बनाए रखा या थोड़ा सुधार दिया।
- उदाहरण (7B मॉडल): सटीकता 83.6% (ओरिजिनल) से बढ़कर 83.9% (CRISP) हो गई।
टोकन दक्षता (TE): CRISP ने टोकन दक्षता (प्रति टोकन सटीकता) में बेसलाइन्स को काफी पीछे छोड़ दिया।
- उदाहरण (7B मॉडल): TE 2.81 (ओरिजिनल) से सुधरकर 6.80 (CRISP) हो गया।
एब्लेशन स्टडी: Refinement मॉड्यूल को हटाने से सटीकता में महत्वपूर्ण गिरावट आई (जैसे, 7B मॉडल के लिए 84.2% $\to$ 70.6%), जो सिद्ध करता है कि तार्किक सुसंगतता बनाए रखने के लिए सिमेंटिक पुनर्गठन महत्वपूर्ण है।
मजबूती (Robustness): सख्त टोकन बजट (1024 और 2024 टोकन) के तहत भी CRISP ने बेसलाइन्स (Truncation, CoD, TALE, TokenSkip, A*-Thought) को लगातार पछाड़ दिया।

5. महत्व

समझौते के बिना दक्षता: CRISP, आधुनिक LLMs को परिभाषित करने वाली "तर्क क्षमता" (reasoning capability) से समझौता किए बिना, लेटेंसी-सेंसिटिव या संसाधन-सीमित वातावरण में रीजनिंग मॉडलों को तैनात करने के लिए एक स्केलेबल समाधान प्रदान करता है।
पैराडाइम शिफ्ट: यह बाहरी, मिसअलाइन्ड कंप्रेशन लॉजिक से हटकर एंडोजेनस सेल्फ-सिलेक्शन (अंतर्जात स्व-चयन) की ओर बढ़ता है, जो यह निर्धारित करने के लिए मॉडल के अपने अटेंशन डायनेमिक्स का लाभ उठाता है कि क्या आवश्यक है।
सामान्यीकरण (Generalizability): यह विधि "ओवरथिंकिंग" और रेडंडेंट संज्ञानात्मक गणनाओं को प्रभावी ढंग से फ़िल्टर करती है, जो सुझाव देती है कि तर्क मॉडल अपने स्वयं के आंतरिक सैलियंसी संकेतों द्वारा निर्देशित होने पर स्वाभाविक रूप से अधिक संक्षिप्त पथ उत्पन्न करते हैं।

संक्षेप में, CRISP यह प्रदर्शित करता है कि एक रीजनिंग मॉडल के आंतरिक "सूचना एंकर" को समझकर और उसका उपयोग करके, अत्यधिक कुशल, सघन तर्क पथ बनाना संभव है जो मूल वर्बोस आउटपुट की तुलना में छोटे और अधिक सटीक दोनों हैं।