💬 NLP

Entropy Meets Importance: A Unified Head Importance-Entropy Score for Stable and Efficient Transformer Pruning

यह शोध पत्र HIES को प्रस्तुत करता है, जो एक एकीकृत प्रूनिंग मानदंड (pruning criterion) है जो ग्रेडिएंट-आधारित विधियों की सीमाओं को दूर करने के लिए हेड इम्पॉर्टेंस स्कोर्स (Head Importance Scores) को अटेंशन एंट्रॉपी (attention entropy) के साथ जोड़ता है, जिससे कुशल ट्रांसफॉर्मर संपीड़न (Transformer compression) के लिए मॉडल की गुणवत्ता और स्थिरता में महत्वपूर्ण सुधार प्राप्त होता है।

मूल लेखक: Minsik Choi, Hyegang Son, Changhoon Kim, Young Geun Kim

प्रकाशित 2026-02-03

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Minsik Choi, Hyegang Son, Changhoon Kim, Young Geun Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ट्रांसफॉर्मर मॉडल (आधुनिक AI के पीछे का मस्तिष्क) की कल्पना एक विशाल, उच्च-शक्तिशाली ऑर्केस्ट्रा के रूप में करें। इस ऑर्केस्ट्रा में कई परतें (layers) हैं, और प्रत्येक परत के भीतर, दर्जनों संगीतकार हैं जिन्हें "अटेंशन हेड्स" (attention heads) कहा जाता है। प्रत्येक हेड इनपुट (जैसे कि एक वाक्य) को सुनता है और यह तय करता है कि किन शब्दों पर ध्यान केंद्रित करना महत्वपूर्ण है।

इस शोध पत्र का लक्ष्य इस ऑर्केस्ट्रा को छोटा और तेज़ बनाना (एक प्रक्रिया जिसे प्रूनिंग/pruning कहा जाता है) है, बिना संगीत को खराब किए। चुनौती यह है: किन संगीतकारों को निकाला जा सकता है, और किन्हें रखना अनिवार्य है?

पुराना तरीका: "वॉल्यूम नॉब" विधि (HIS)

पहले, शोधकर्ताओं ने एक विधि का उपयोग किया जिसे हेड इम्पॉर्टेंस स्कोर (HIS) कहा जाता था। इसे एक "वॉल्यूम नॉब" या "संवेदनशीलता मीटर" के रूप में समझें।

यह कैसे काम करता था: इसने मापा कि यदि कोई विशिष्ट संगीतकार बजना बंद कर दे तो संगीत कितना "ज़ोर से" (खराब) होगा। यदि किसी संगीतकार की अनुपस्थिति से वॉल्यूम में बहुत अधिक बदलाव नहीं आता था, तो उन्हें निकाल दिया जाता था।
समस्या: यह विधि केवल यह नहीं देखती थी कि एक हेड ने अंतिम स्कोर में कितना योगदान दिया, बल्कि यह भी नहीं देखती थी कि उसने कैसे योगदान दिया।
- उपमा: कल्पना करें कि एक संगीतकार एक विशिष्ट, महत्वपूर्ण सोलो (solo) बजा रहा है जो एक ही नोट पर केंद्रित है (अत्यधिक केंद्रित)। दूसरा संगीतकार एक अस्पष्ट, शोर भरा बैकग्राउंड हम (hum) बजा रहा है जो पूरे कमरे में फैला हुआ है (विस्तृत/diffuse)। "वॉल्यूम नॉब" यह कह सकता है कि दोनों समान रूप से महत्वपूर्ण हैं क्योंकि दोनों कुल ध्वनि को प्रभावित करते हैं। लेकिन यदि आप केंद्रित सोलिस्ट को निकाल देते हैं, तो गाना बिखर जाता है। यदि आप शोर वाले 'हमर' को निकालते हैं, तो गाना ठीक रहता है। पुराना तरीका इस अंतर को नहीं पहचान सका, जिससे बहुत सारे हेड्स हटाने पर गुणवत्ता में "तेज़ गिरावट" (sharp drop) आई।

नया तरीका: "फोकस और विविधता" विधि (HIES)

लेखक एक नया स्कोर प्रस्तावित करते हैं जिसे HIES (Head Importance-Entropy Score) कहा जाता है। यह ऐसा है जैसे कंडक्टर को एक दूसरा उपकरण दिया गया हो: एक फोकस मीटर (एन्ट्रॉपी/Entropy)।

दो उपकरणों का संयोजन:
1. महत्व (Importance - HIS): इस हेड का अंतिम उत्तर के लिए कितना महत्व है? (यह "वॉल्यूम" है)।
2. एन्ट्रॉपी (Entropy - AE): यह हेड कितना केंद्रित है? क्या यह कुछ विशिष्ट, महत्वपूर्ण शब्दों पर ज़ूम करता है, या यह अपना ध्यान हर जगह फैला देता है? (यह "फोकस" है)।
उपमा:
- कम एन्ट्रॉपी (उच्च फोकस): एक स्नाइपर। वे एक विशिष्ट, महत्वपूर्ण लक्ष्य (वाक्य में एक प्रमुख शब्द) पर निशाना साधते हैं। भले ही उनका "वॉल्यूम" बहुत अधिक न हो, वे महत्वपूर्ण हैं क्योंकि वे सटीक निशाना लगाते हैं।
- उच्च एन्ट्रॉपी (विस्तृत/Diffuse): एक स्प्रिंकलर (sprinkler)। वे हर जगह पानी छिड़कते हैं। वे बहुत बड़े क्षेत्र को कवर कर सकते हैं, लेकिन वे किसी चीज़ पर सटीक प्रहार नहीं करते हैं।

HIES कहता है: "केवल शांत संगीतकारों को मत निकालिए। उन विस्तृत (diffuse) संगीतकारों को निकालें (स्प्रिंकलर) यदि वे अद्वितीय मूल्य नहीं जोड़ रहे हैं, लेकिन केंद्रित (स्नाइपर) वालों को रखें, भले ही वे शांत लगें, क्योंकि वे संरचना को थामे रखते हैं।"

यह क्यों मायने रखता है: स्थिरता (Stability)

पेपर का दावा है कि इस नए "फोकस + वॉल्यूम" संयोजन का उपयोग करके, AI बहुत अधिक स्थिर (stable) हो जाता है।

"तेज़ गिरावट" की समस्या: पुराने तरीके के साथ, यदि आप ऑर्केस्ट्रा का आकार 50% कम करने की कोशिश करते, तो संगीत अचानक बहुत खराब हो जाता (तेज़ गिरावट)।
HIES का समाधान: नए तरीके के साथ, आप ऑर्केस्ट्रा का आकार 50% कम कर सकते हैं और संगीत सुंदर बना रहता है।
- परिणाम: पेपर दिखाता है कि HIES पुराने तरीके की तुलना में मॉडल की गुणवत्ता में 15.2% तक सुधार करता है और मॉडल को 2 गुना अधिक स्थिर बनाता है (इनपुट में थोड़ा बदलाव होने पर भी क्रैश होने या अजीब जवाब देने की संभावना कम होती है)।

संक्षेप में (Summary in a Nutshell)

समस्या: पुराने प्रूनिंग तरीकों ने गलत संगीतकारों को निकाला क्योंकि वे केवल "तेज़ी/लाउडनेस" को मापते थे, "फोकस" के महत्व को नहीं समझ पाते थे।
समाधान: नया तरीका (HIES) "लाउडनेस" और "फोकस" दोनों को मापता है।
परिणाम: आप सटीकता खोए बिना या अस्थिर हुए बिना AI मॉडल को काफी छोटा (जिससे यह चलाने में तेज़ और सस्ता हो जाता है) कर सकते हैं। यह एक पेड़ को छाँटने जैसा है बिना उन शाखाओं को काटे जो फल थामे रखती हैं।

तकनीकी सारांश: एंट्रॉपी मीट्स इम्पॉर्टेंस (HIES)

1. समस्या विवरण (Problem Statement)

ट्रांसफॉर्मर-आधारित मॉडल, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs), ने अत्याधुनिक प्रदर्शन हासिल किया है, लेकिन अपने गहरे स्ट्रक्चर और अनेक अटेंशन हेड्स के कारण इन्फरेंस (inference) के दौरान महत्वपूर्ण कम्प्यूटेशनल और मेमोरी लागत का सामना करते हैं। जबकि स्ट्रक्चर्ड प्रूनिंग विधियाँ, विशेष रूप से हेड प्रूनिंग (Head Pruning), एक समाधान प्रदान करती हैं, मौजूदा दृष्टिकोणों को गंभीर सीमाओं का सामना करना पड़ता है:

ग्रेडिएंट-आधारित स्कोर (HIS) पर निर्भरता: वर्तमान विधियाँ मुख्य रूप से हेड इम्पॉर्टेंस स्कोर (HIS) का उपयोग करती हैं, जो ग्रेडिएंट संवेदनशीलता के माध्यम से लॉस फंक्शन में एक हेड के योगदान को मापती हैं। हालांकि मध्यम स्पर्सिटी (sparsity) पर यह प्रभावी है, लेकिन HIS-आधारित विधियाँ आक्रामक प्रूनिंग अनुपातों के होने पर सटीकता में "शार्प-ड्रॉप" (तीव्र गिरावट) प्रदर्शित करती हैं।
अस्थिरता और विविधता की कमी: HIS, अटेंशन पैटर्न की विविधता को कैप्चर करने में विफल रहता है। यह एक ऐसे हेड को, जिसका ध्यान केंद्रित (concentrated) है (निर्णायक टोकन पर ध्यान केंद्रित करता है), और एक ऐसे हेड को, जिसका ध्यान विसरित (diffuse) है, समान मानता है यदि उनके ग्रेडिएंट मैग्नीट्यूड तुलनीय हों। इससे कार्यात्मक रूप से महत्वपूर्ण हेड्स हट जाते हैं जो मॉडल को स्थिरता प्रदान करते हैं, जिसके परिणामस्वरूप इनपुट परवर्बेशन (perturbations) और डिस्ट्रीब्यूशन शिफ्ट के प्रति खराब मजबूती (robustness) होती है।
लेयर-एग्नोस्टिक सीमाएँ: मौजूदा मानदंड अक्सर सभी लेयर्स में समान प्रूनिंग नियम लागू करते हैं, इस तथ्य को अनदेखा करते हुए कि विभिन्न लेयर्स को अलग-अलग अटेंशन व्यवहार की आवश्यकता होती है, जिससे असंतुलित प्रूनिंग और प्रदर्शन में उतार-चढ़ाव होता है।

2. कार्यप्रणाली: हेड इम्पॉर्टेंस–एंट्रॉपी स्कोर (HIES)

लेखक HIES (Head Importance–Entropy Score) प्रस्तावित करते हैं, जो एक एकीकृत प्रूनिंग मानदंड है जो ग्रेडिएंट-आधारित इम्पॉर्टेंस को अटेंशन के स्ट्रक्चरल डिस्ट्रीब्यूशन के साथ जोड़ता है।

मुख्य घटक

हेड इम्पॉर्टेंस स्कोर (HIS):
- यह मापता है कि यदि किसी हेड को मास्क किया जाए तो लॉस में होने वाली प्रथम-क्रम (first-order) की वृद्धि क्या होगी।
- फॉर्मूला: $HIS_h = \mathbb{E}_{x \sim \mathcal{D}} \left| \frac{\partial L(x)}{\partial m_h} \right|$ , जहाँ $m_h$ हेड $h$ के लिए मास्क वेरिएबल है।
- यह लॉस में एक हेड के योगदान के परिमाण (magnitude) को कैप्चर करता है लेकिन अटेंशन डिस्ट्रीब्यूशन पैटर्न को अनदेखा करता है।
अटेंशन एंट्रॉपी (AE):
- यह इनपुट टोकन्स के बीच एक हेड के अटेंशन वेट्स के संकेंद्रण (concentration) या फैलाव (dispersion) को मापता है।
- फॉर्मूला: $AE_h = -\sum_{i=1}^n p_i^{(h)} \log p_i^{(h)}$ ।
- कम एंट्रॉपी केंद्रित अटेंशन (अक्सर निर्णायक टोकन्स पर) को दर्शाती है, जबकि उच्च एंट्रॉपी विसरित अटेंशन को दर्शाती है। लेखक परिकल्पना करते हैं कि लो-एंट्रॉपी वाले हेड्स स्थिरता और "एंट्रॉपी कोलैप्स" को रोकने के लिए महत्वपूर्ण हैं।
HIES मेट्रिक:
- HIES नॉर्मलाइज्ड HIS और AE को एक एकल स्कोर में जोड़ता है:
  $HIES_h = \alpha \cdot \widehat{HIS}_h + (1 - \alpha) \cdot (1 - \widehat{AE}_h)$
- नॉर्मलाइजेशन (Normalization): विभिन्न स्केल्स के बीच तुलनात्मकता सुनिश्चित करने के लिए दोनों HIS और AE को $[0, 1]$ तक मिन्-मैक्स नॉर्मलाइज किया गया है।
- वेटिंग (Weighting): $\alpha$ एक ट्यूनेबल हाइपरपैमिटर है। टर्म $(1 - \widehat{AE}_h)$ यह सुनिश्चित करता है कि कम एंट्रॉपी (अधिक केंद्रित) वाले हेड्स को उच्च स्कोर मिले, जिससे उन्हें प्राथमिकता मिले।

सैद्धांतिक औचित्य (Theoretical Justification)

पेपर एक रिस्क-डिकंपोजिशन विश्लेषण प्रदान करता है जो दर्शाता है कि:

HIS लॉस-इंक्रीज टर्म को नियंत्रित करता है (तत्काल सटीकता गिरावट को कम करना)।
AE जनरलाइजेशन गैप को बाउंड करता है (अस्थिरता और डिस्ट्रीब्यूशन शिफ्ट के प्रति संवेदनशीलता को कम करना)।
ऑर्थोगोनैलिटी (Orthogonality): दिखाया गया है कि HIS और AE के ग्रेडिएंट्स अपेक्षा (expectation) में ऑर्थोगोनल हैं, जिसका अर्थ है कि वे पूरक संकेतों (complementary signals) को कैप्चर करते हैं: योगदान का परिमाण बनाम अटेंशन का फैलाव। HIES के माध्यम से कंपोजिट रिस्क बाउंड को मिनिमाइज करना सैद्धांतिक रूप से बेहतर स्थिरता और सटीकता संरक्षण की गारंटी देता है।

3. प्रमुख योगदान

नया प्रूनिंग मानदंड: HIES का परिचय, जो आक्रामक प्रूनिंग में "शार्प-ड्रॉप" घटना को संबोधित करने के लिए ग्रेडिएंट-आधारित इम्पॉर्टेंस को अटेंशन एंट्रॉपी के साथ एकीकृत करता है।
स्थिरता पर ध्यान: अटेंशन एंट्रॉपी को इन्फरेंस-टाइम स्थिरता और मजबूती के प्रॉक्सी के रूप में स्पष्ट रूप से फ्रेम करता है, यह तर्क देते हुए कि लो-एंट्रॉपी हेड्स को बनाए रखने से स्ट्रक्चरल डायवर्सिटी कोलैप्स को रोका जा सकता है।
सैद्धांतिक ढांचा: हेड प्रूनिंग को लॉस इंक्रीज और जनरलाइजेशन गैप दोनों से जोड़ने वाला एक औपचारिक रिस्क बाउंड प्रदान करता है, जो HIS और AE की ऑर्थोगोनैलिटी और पूरकता को न्यायसंगत ठहराता है।
लेयर-एडाप्टिव प्रूनिंग: यह प्रदर्शित करता है कि HIES, HIS-ओनली मेथड्स में देखे जाने वाले बॉटम-अप पैटर्न की तुलना में अधिक संतुलित प्रूनिंग सक्षम करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने BERT-base, LLaMA-2-7B, ViT-Large, और LLaVA-1.5-7B का विभिन्न NLP, विजन, और मल्टी-मोडल कार्यों (जैसे GLUE, HellaSwag, ImageNet, VizWiz-VQA) पर मूल्यांकन किया।

मॉडल क्वालिटी:
- BERT-base पर, HIES ने विभिन्न प्रूनिंग अनुपातों में HIS की तुलना में औसत मॉडल क्वालिटी में 8.21% का सुधार किया।
- 50% प्रूनिंग अनुपात पर, HIES ने सर्वश्रेष्ठ प्रदर्शन करने वाले बेसलाइन की तुलना में मॉडल क्वालिटी में 15.2% तक का सुधार हासिल किया।
- LLaMA-2-7B पर, HIES ने HIS की तुलना में +10.54% तक सटीकता में सुधार किया।
- ViT-Large पर, 20% स्पर्सिटी पर, HIES ने HIS की तुलना में 49.82% अधिक सटीकता प्राप्त की, जिससे ग्रेडिएंट-ओनली मेथड्स में देखी गई सटीकता की गिरावट को रोका जा सका।
स्थिरता (Stability):
- HIES ने HIS-ओनली मेथड्स की तुलना में (अनप्रून्ड मॉडल के मुकाबले) 2.04× तक स्थिरता में सुधार दिखाया।
- BERT पर 50% प्रूनिंग पर, HIES ने HIS की तुलना में 8.65% स्थिरता लाभ दिखाया।
सामान्यीकरण (Generalizability):
- HIES ने NLP, विजन, और जटिल मल्टी-मोडल रीजनिंग कार्यों में बेसलाइन्स (Random, L2-Norm, HIS, Attention Deficit, LLM-Pruner, SliceGPT) को लगातार पछाड़ दिया।
- HIES ने सफलतापूर्वक "शार्प-ड्रॉप" रिजीम को अधिक आक्रामक स्पर्सिटी स्तरों तक विलंबित किया, जिससे वहां भी प्रदर्शन बना रहा जहां HIS विफल रहा।

5. महत्व और दावे

पेपर का दावा है कि HIES संसाधन-बाधित वातावरणों में ट्रांसफॉर्मर मॉडल को तैनात करने के लिए एक अधिक व्यावहारिक और मजबूत समाधान प्रदान करता है। दोनों सटीकता और स्थिरता को आक्रामक संपीड़न (compression) के तहत भी संरक्षित करके, HIES वास्तविक दुनिया के परिनियोजन (deployments) में अप्रत्याशित प्रदर्शन उतार-चढ़ाव की महत्वपूर्ण बाधा को दूर करता है।

लेखक इस बात पर जोर देते हैं कि उनका कार्य स्थिर और कुशल प्रूनिंग के लिए एक सिद्धांतिक दिशा प्रदान करता है, जो सरल ग्रेडिएंट संवेदनशीलता से आगे बढ़कर स्ट्रक्चरल डायवर्सिटी (एंट्रॉपी) को मॉडल कंप्रेशन के एक मुख्य घटक के रूप में शामिल करता है। वे दावा करते हैं कि यह दृष्टिकोण विभिन्न आर्किटेक्चर (BERT, LLaMA, ViT, LLaVA) और मोडैलिटीज के बीच व्यापक रूप से लागू होता है, जो मजबूती से समझौता किए बिना कुशल LLMs को तैनात करने के लिए एक विश्वसनीय मार्ग प्रदान करता है।