💬 NLP

Pruning via Causal Attribution Preserves Reasoning Performance in Large Language Models

यह शोध पत्र कॉज़ल एट्रिब्यूशन प्रूनिंग (CAP) को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त विधि है जो सरल परिमाण या सक्रियण मेट्रिक्स के बजाय अटेंशन हेड्स के कॉज़ल प्रभाव के आधार पर वेट्स की पहचान और प्रूनिंग करके मध्यम स्पर्सिटी स्तरों पर लार्ज लैंग्वेज मॉडल के रीजनिंग प्रदर्शन को बनाए रखती है।

मूल लेखक: Amogh Sheth, Biruk Assefa, Yi Wen Huang, Andrew Lin, Yuhao Ge

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Amogh Sheth, Biruk Assefa, Yi Wen Huang, Andrew Lin, Yuhao Ge

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जिसमें अरबों किताबें (पैरामीटर्स) हैं। एक जटिल प्रश्न का उत्तर देने के लिए, यह लाइब्रेरी सही जानकारी खोजने और उसे जोड़ने के लिए शोधकर्ताओं की एक टीम (अटेंशन हेड्स) भेजती है। समस्या यह है कि यह लाइब्रेरी इतनी विशाल है कि इसे चलाने में बहुत समय और ऊर्जा लगती है, जिससे इसे रोजमर्रा के उपकरणों पर उपयोग करना कठिन हो जाता है।

यह शोध पत्र इस लाइब्रेरी को छोटा करने का एक नया तरीका पेश करता है बिना इसकी कठिन पहेलियों को सुलझाने की क्षमता को नुकसान पहुँचाए। वे इस विधि को कॉज़ल एट्रिब्यूशन प्रूनिंग (Causal Attribution Pruning - CAP) कहते हैं।

यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

पुराने तरीकों के साथ समस्या

पुराने तरीके इन मॉडल्स को छोटा करने के ऐसे थे जैसे कोई लाइब्रेरियन उन किताबों को फेंक देता है जिनकी रीढ़ (spine) सबसे पतली है या जिनके कवर पर स्याही सबसे कम है। उन्होंने यह मान लिया था, "यदि कोई किताब छोटी या महत्वहीन दिखती है, तो इसका मतलब है कि उसकी ज़रूरत नहीं है।"

लेकिन तर्क (reasoning) की दुनिया में, यह एक गलती है। एक छोटी, पतली किताब में वह एक महत्वपूर्ण तथ्य हो सकता है जो किसी गणित की समस्या को हल करने के लिए आवश्यक है, जबकि एक बड़ी, मोटी किताब केवल फालतू बातों से भरी हो सकती है। यदि आप आकार के आधार पर उस पतली किताब को फेंक देते हैं, तो मॉडल अपनी तार्किक क्षमता खो देता है।

नया समाधान: "क्या होगा अगर?" टेस्ट

CAP एक अलग दृष्टिकोण अपनाता है। आकार के आधार पर अनुमान लगाने के बजाय, यह "क्या होगा अगर?" प्रयोगों की एक श्रृंखला चलाता है।

कैलिब्रेशन चरण (द टेस्ट रन):
शोधकर्ता मॉडल को कठिन तर्क पहेलियों (जैसे गणित की शब्द समस्याएँ या विज्ञान के प्रश्न) का एक छोटा सेट देते हैं। फिर, वे मॉडल के आंतरिक शोधकर्ताओं (अटेंशन हेड्स) के साथ "लुका-छिपी" का खेल खेलते हैं।
- वे अस्थायी रूप से एक विशिष्ट शोधकर्ता को "मास्क" (छिपा) देते हैं।
- वे मॉडल को पहेलियाँ फिर से हल करने के लिए कहते हैं।
- स्कोर: यदि उस एक शोधकर्ता को छिपाने से मॉडल पहेलियों को हल करने में विफल रहता है, तो उस शोधकर्ता को "क्रिटिकल" (महत्वपूर्ण) के रूपв रूप में चिह्नित किया जाता है। यदि मॉडल उनके बिना भी पहेलियों को ठीक से हल कर लेता है, तो उस शोधकर्ता को "रिडंडेंट" (अनावश्यक) के रूप में चिह्नित किया जाता है।
प्रूनिंग चरण (सफाई):
एक बार जब उन्हें पता चल जाता है कि कौन से शोधकर्ता क्रिटिकल हैं, तो वे केवल पूरी टीमों को नहीं हटाते। इसके बजाय, वे हर शोधकर्ता की मेज के अंदर मौजूद व्यक्तिगत नोट्स और उपकरणों (वेट्स) को देखते हैं।
- यदि एक शोधकर्ता क्रिटिकल है, तो उनके उपकरणों को सुरक्षित रखा जाता है, भले ही वे उपकरण छोटे या महत्वहीन दिखें।
- यदि एक शोधकर्ता रिडंडेंट है, तो उनके उपकरणों को फेंकने के लिए वे उपलब्ध हैं।
- इसके बाद वे उन विशिष्ट उपकरणों को हटा देते हैं जो सबसे कम महत्वपूर्ण हैं, जिससे एक "स्पार्स" (विरल) मॉडल बनता है जो बहुत छोटा होता है लेकिन मुख्य विचारकों को बरकरार रखता है।

परिणाम: तर्क को बचाना

शोधकर्ताओं ने परीक्षण करने के लिए दो लोकप्रिय मॉडल्स (Llama-3 और Mistral) का उपयोग किया और उनकी तुलना पुराने "आकार-आधारित" तरीके (जिसे Wanda कहा जाता है) से की।

स्वीट स्पॉट (10% से 20% संकुचन): जब उन्होंने मॉडल्स को एक मध्यम मात्रा में छोटा किया, तो CAP एक बड़ा विजेता साबित हुआ। विज्ञान तर्क परीक्षण (ARC-Challenge) पर, नए तरीके ने मॉडल की बुद्धिमत्ता को पुराने तरीके की तुलना में 61% बेहतर बनाए रखा। इसने सफलतापूर्वक "लॉजिक सर्किट्स" को जीवित रखा जबकि फालतू चीजों को हटा दिया।
सीमा (50% संकुचन): जब उन्होंने मॉडल को आधा करने की कोशिश की, तो चीजें बिगड़ गईं। यह तरीका "सोचने वाले" हिस्सों (अटेंशन हेड्स) के लिए तो अच्छा काम करता है, लेकिन "तथ्य-संग्रह" वाले हिस्सों (MLP लेयर्स) के लिए संघर्ष करता है। क्योंकि इस तरीके के पास तथ्य-संग्रह करने वाले हिस्सों के लिए सूक्ष्म (fine-grained) परीक्षण का तरीका नहीं था, इसने अनजाने में बहुत अधिक हिस्सा हटा दिया, जिससे मॉडल ढह गया।

निचोड़

CAP को एक स्मार्ट संपादक के रूप में देखें जो केवल फॉन्ट साइज के आधार पर टेक्स्ट को नहीं काटता है। इसके बजाय, संपादक कहानी को पढ़ता है, पूछता है, "अगर मैं इस वाक्य को हटा दूँ तो क्या होगा?" और केवल उन्हीं वाक्यों को काटता है जो कहानी के प्लॉट को नहीं बदलते।

यह मॉडल को छोटा और तेज़ बनाता है जबकि जटिल, बहु-चरणीय तर्क समस्याओं को हल करने की इसकी क्षमता को बरकरार रखता है—लेकिन केवल तभी जब आप बहुत गहरा कट न लगाएँ। यदि आप बहुत अधिक काटने की कोशिश करते हैं, तो यह तरीका टूट जाता है क्योंकि यह मॉडल के मेमोरी बैंक को सुरक्षित रखने के तरीके को पूरी तरह से नहीं समझ पाता है।

मुख्य सीख: AI को सोचने में कुशल बनाए रखने के लिए, आपको यह मापना होगा कि हिस्सों के गायब होने पर वह वास्तव में क्या करता है, न कि केवल यह कि उन हिस्सों का आकार कैसा दिखता है।

तकनीकी सारांश: कॉज़ल एट्रिब्यूशन प्रूनिंग (CAP)

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) मजबूत मल्टी-स्टेप रीजनिंग क्षमताएं प्रदर्शित करते हैं, लेकिन वे भारी इन्फरेंस लागत (inference costs) का सामना करते हैं, जो वास्तविक दुनिया में उनके परिनियोजन (deployment) में बाधा डालती है। जबकि मॉडल प्रूनिंग (pruning) बिना रिट्रेनिंग के अनावश्यक पैरामीटर्स को हटाकर एक समाधान प्रदान करती है, मौजूदा विधियां अक्सर जटिल रीजनिंग कार्यों पर प्रदर्शन को कम कर देती हैं। वर्तमान दृष्टिकोण सहसंबंधी संकेतों (correlational signals) पर निर्भर करते हैं, जैसे कि वेट मैग्नीट्यूड (उदा. Wanda) या स्थानीय ग्रेडिएंट सांख्यिकी। ये विधियां मानती हैं कि छोटे वेट्स (weights) महत्वपूर्ण नहीं होते; हालाँकि, लो-मैग्निट्यूड पैरामीटर्स मल्टी-स्टेप रीजनिंग सर्किट के लिए महत्वपूर्ण हो सकते हैं। इसके अतिरिक्त, विशुद्ध रूप से सहसंबंधी मानदंड (correlational criteria) क्रॉस-लेयर इंटरैक्शन को कैप करने में विफल रहते हैं जो चेन-ऑफ-थॉट (CoT) इन्फरेंस के लिए आवश्यक हैं, जिससे अक्सर "लेयर कोलैप्स" (layer collapse) की स्थिति उत्पन्न होती है जहाँ पूरे मॉड्यूल अपना कार्य खो देते हैं।

कार्यप्रणाली: कॉज़ल एट्रिब्यूशन प्रूनिंग (CAP)
लेखक कॉज़ल एट्रिब्यूशन प्रूनिंग (CAP) पेश करते हैं, जो एक ट्रेनिंग-फ्री, वन-शॉट प्रूनिंग विधि है जिसे रीजनिंग प्रदर्शन को बनाए रखने के लिए डिज़ाइन किया गया है। स्टेटिक प्रॉपर्टीज के आधार पर वेट्स को रैंक करने वाली विधियों के विपरीत, CAP विशिष्ट मॉडल घटकों का कार्य (task) प्रदर्शन पर कॉज़ल इम्पैक्ट (causal impact) मापता है। यह फ्रेमवर्क तीन चरणों में संचालित होता है:

कैलिब्रेशन और कॉज़ल स्कोरिंग (चरण 1):
- एक छोटा कैलिब्रेशन डेटासेट ( $D_{cal}$ ) रीजनिंग-केंद्रित बेंचमार्क: GSM8K (गणित), StrategyQA (मल्टी-हॉप कॉमन सेंस), और ARC-Challenge (विज्ञान) से सैंपलिंग करके बनाया जाता है।
- मॉडल में प्रत्येक अटेंशन हेड $h_\ell$ के लिए, CAP एक इंटरवेंशनल मास्किंग प्रयोग (interventional masking experiment) करता है। हेड को फॉरवर्ड पास के दौरान अस्थायी रूप से मास्क किया जाता है, और इंटैक्ट (intact) मॉडल के सापेक्ष टोकन-लेवल क्रॉस-एन्ट्रॉपी लॉस में होने वाली वृद्धि ( $\Delta(h_\ell)$ ) को मापा जाता है।
- छोटे सैंपल साइज से होने वाले वेरिएंस के विरुद्ध मजबूती सुनिश्चित करने के लिए, डेटासेट को $K$ सबसेट्स में विभाजित किया जाता है, और मीडियन लॉस इंक्रीज की गणना की जाती है।
- यह प्रक्रिया उन हेड्स की पहचान करती है जो रीजनिंग के लिए कार्यात्मक रूप रूप से महत्वपूर्ण हैं, जिससे उन्हें उन हेड्स से अलग किया जाता है जो केवल संख्यात्मक रूप से बड़े लेकिन अनावश्यक हैं।
वेट-लेवल इम्पोर्टेंस कन्वर्जन (चरण 2):
- हेड-लेवल कॉज़ल स्कोर को नॉर्मलाइज्ड इम्पोर्टेंस फैक्टर्स $I(h_\ell)$ में परिवर्तित किया जाता है, जिसे $[1.0, 10.0]$ की रेंज में मैप किया जाता है। उच्च-प्रभाव वाले हेड्स को उच्च फैक्टर्स दिए जाते हैं।
- ये फैक्टर्स संबंधित प्रोजेक्शन मैट्रिसेस ( $W_q, W_k, W_v, W_o$ ) के भीतर व्यक्तिगत वेट्स तक प्रसारित किए जाते हैं। एक विशिष्ट वेट $W_{ij}$ के लिए इम्पोर्टेंस स्कोर इसके मैग्नीट्यूड और इसके संबद्ध हेड रीजन के इम्पोर्टेंस फैक्टर का गुणनफल है: $S_{ij} = |W_{ij}| \cdot I(h_{region})$ ।
- MLP लेयर्स के लिए, जिनमें स्वाभाविक रूप से हेड-पार्टीशन की गई संरचना नहीं होती है, यह विधि सह-स्थित (co-located) अटेंशन हेड्स से प्राप्त प्रति-लेयर औसत इम्पोर्टेंस असाइन करती है। इसे एक अनुमान (approximation) के रूप में नोट किया गया है।
ग्लोबल प्रूनिंग (चरण 3):
- मॉडल के सभी वेट्स को उनके इम्पोर्टेंस-वेटेड मैग्नीट्यूड स्कोर ( $S_{ij}$ ) द्वारा रैंक किया जाता है।
- लक्षित स्पैरसिटी (जैसे 10%, 20%, 50%) प्राप्त करने के लिए बाइनरी सर्च के माध्यम से एक ग्लोबल थ्रेशोल्ड निर्धारित किया जाता है। थ्रेशोल्ड से नीचे के वेट्स को ज़ीरो कर दिया जाता है, जिससे एक अनस्ट्रक्चर्ड स्पैरसिटी पैटर्न बनता है जो स्टैंडर्ड इन्फरेंस इंफ्रास्ट्रक्चर के अनुकूल है।

प्रमुख योगदान

प्रूनिंग के लिए कॉज़ल एट्रिब्यूशन का औपचारिकीकरण: लेखक एक विधि को औपचारिक रूप देते हैं जो व्यक्तिगत अटेंशन हेड्स को मास्क करने पर टास्क-विशिष्ट लॉस में अपेक्षित वृद्धि को मापती है, जो कोरिलेशनल प्रॉक्सी से आगे बढ़कर कार्यात्मक क्रिटिकैलिटी (functional criticality) को क्वांटिफाई करती है।
बजट-अवेयर वेट-लेवल प्रूनिंग: वे एक प्रक्रिया पेश करते हैं जो हेड-लेवल कॉज़ल स्कोर को वेट-लेवल इम्पोर्टेंस वैल्यूज में बदलती है। यह ग्लोबल स्पैरसिटी कंस्ट्रेंट के तहत फाइन-ग्रैन्ड मैग्नीट्यूड प्रूनिंग की अनुमति देता है जबकि महत्वपूर्ण रीजनिंग सर्किट्स की संरचना को सुरक्षित रखता है।
अनुभवजन्य सत्यापन (Empirical Validation): विधि का मूल्यांकन Llama-3-8B-Instruct और Mistral-7B-Instruct पर GSM8K, StrategyQA, और ARC-Challenge बेंचमार्क पर किया गया है।

परिणाम

मध्यम स्पैरसिटी (10–20%): CAP आमतौर पर रीजनिंग प्रदर्शन को बनाए रखने में Wanda बेसलाइन से बेहतर प्रदर्शन करता है।
- Llama-3-8B-Instruct पर 20% स्पैरसिटी के साथ, CAP ARC-Challenge (70.8% बनाम 43.9% सटीकता) पर Wanda की तुलना में 61% सापेक्ष सुधार प्राप्त करता है।
- GSM8K पर 10% स्पैरसिटी पर, CAP, Wanda की तुलना में 20% का सापेक्ष सुधार दिखाता है (71.5% बनाम 59.5%)।
- लेखक नोट करते हैं कि हालांकि CAP कभी-कभी विशिष्ट कार्यों (जैसे Llama-3 GSM8K 20%) पर Wanda से पीछे रह जाता है, लेकिन यह लगातार उन मल्टी-स्टेप इन्फरेंस कार्यों पर प्रदर्शन बनाए रखता है जहाँ Wanda के कोरिलेशनल मानदंड विफल हो जाते हैं।
उच्च स्पैरसिटी (50%): दोनों विधियों के लिए प्रदर्शन काफी गिर जाता है। CAP, Llama-3 पर विनाशकारी विफलता (catastrophic failure) का सामना करता है (परप्लेक्सिटी 428.2 तक उछल जाती है), जिसका कारण इसके MLP लेयर्स का कोर्स-ग्रेन्ड ट्रीटमेंट है। इस स्तर पर, ग्लोबल थ्रेशोल्ड उन आवश्यक MLP वेट्स को हटा देता है जिन्हें अटेंशन हेड एप्रोक्सिमेशन के आधार पर कम महत्व दिया गया था।
परप्लेक्सिटी बनाम रीजनिंग: मध्यम स्पैरसिटी पर, CAP अक्सर Wanda की तुलना में थोड़ी अधिक परप्लेक्सिटी के बावजूद बेहतर रीजनिंग सटीकता प्राप्त करता है, जो सामान्य लैंग्वेज मॉडलिंग क्वालिटी और टास्क-विशिष्ट रीजनिंग प्रिजर्वेशन के बीच अलगाव (decoupling) का सुझाव देता है।
आर्किटेक्चर सीमाएँ: मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) मॉडल्स पर प्रारंभिक प्रयोग बताते हैं कि CAP कम प्रभावी है, क्योंकि डायनेमिक राउटिंग हेड इम्पोर्टेंस को नॉन-स्टेशनरी बनाती है।

महत्व और दावे
पेपर का दावा है कि अटेंशन-हेड-लेवल कॉज़ल एट्रिब्यूशन समान स्पैरसिटी स्तरों पर कोरिलेशनल प्रूनिंग विधियों की तुलना में रीजनिंग प्रदर्शन को बनाए रखने के लिए एक बेहतर मानदंड है। हेड्स के कॉज़ल योगदान को स्पष्ट रूप से मापकर, CAP उन "संख्यात्मक रूप से छोटे लेकिन कार्यात्मक रूप से महत्वपूर्ण" पैरामीटर्स की पहचान और सुरक्षा कर सकता है जिन्हें मैग्नीट्यूड-आधारित विधियां त्याग देती हैं।

लेखक अपने कार्य की सीमित प्रकृति पर जोर देते हैं:

यह एक ट्रेनिंग-फ्री विधि है, जो इसे वेट अपडेट्स (जैसे SparseGPT) की आवश्यकता वाली अप्रोच की तुलना में कम्प्यूटेशनल रूप से कुशल बनाती है।
यह टास्क-अलाइन्ड है, जिसे जेनेरिक लैंग्वेज मॉडलिंग के बजाय रीजनिंग डेटा पर विशेष रूप से कैलिब्रेट किया गया है।
यह अपनी सीमाओं को स्वीकार करता है, विशेष रूप से MLP न्यूरॉन्स के लिए सूक्ष्म-स्तरीय (fine-grained) कॉज़ल एट्रिब्यूशन की कमी और डायनेमिकली रूटेड आर्किटेक्चर (MoE) पर इसे लागू करने की कठिनाई।

मुख्य योगदान यह प्रदर्शन है कि इंटरवेंशनल, टास्क-अलाइन्ड प्रूनिंग, जनरल परप्लेक्सिटी या स्टैटिक वेट स्टैटिस्टिक्स के लिए ऑप्टिमाइज्ड विधियों की तुलना में विशिष्ट क्षमताओं (रीजनिंग) को बेहतर ढंग से संरक्षित कर सकती है, बशर्ते स्पैरसिटी लेवल मध्यम बना रहे।

पुराने तरीकों के साथ समस्या

नया समाधान: "क्या होगा अगर?" टेस्ट

परिणाम: तर्क को बचाना

निचोड़

तकनीकी सारांश: कॉज़ल एट्रिब्यूशन प्रूनिंग (CAP)

इसी तरह के और पेपर