💻 computer science

Steering Sparse Autoencoder Latents to Control Dynamic Head Pruning in Vision Transformers (Student Abstract)

यह शोध पत्र एक ऐसे नवीन ढांचे का प्रस्ताव करता है जो विजन ट्रांसफॉर्मर में स्पार्स ऑटोएनकोडर को डायनेमिक हेड प्रूनिंग के साथ एकीकृत करता है ताकि व्याख्या योग्य, क्लास-विशिष्ट प्रूनिंग नीतियां उत्पन्न की जा सकें जो साथ ही मॉडल की सटीकता में सुधार करती हैं और कम्प्यूटेशनल ओवरहेड को कम करती हैं।

मूल लेखक: Yousung Lee, Dongsoo Har

प्रकाशित 2026-03-31

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Yousung Lee, Dongsoo Har

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट शेफ (एक विज़न ट्रांसफार्मर) है जो एक कटोरे की तस्वीर देखते ही तुरंत जान जाता है कि वह एक कटोरा है। ऐसा करने के लिए, उसके पास 12 sous-chefs (परतों) की एक टीम है और प्रत्येक sous-chef के पास 6 विशेषज्ञ सहायकों (अटेंशन हेड्स) की एक टुकड़ी है।

सामान्य रूप से, रोबोट शेफ हर एक तस्वीर के लिए हर एक सहायक को देखने के लिए कहता है, भले ही उनमें से कुछ बस खाली बैठे हों या अपने पड़ोसी के बिल्कुल समान काम कर रहे हों। यह ऊर्जा और समय की बर्बादी है।

समस्या: "ब्लैक बॉक्स" शेफ

ऊर्जा बचाने के लिए, शोधकर्ताओं ने एक "डायनेमिक हेड प्रूनिंग" (Dynamic Head Pruning) सिस्टम बनाया। इसे एक स्मार्ट मैनेजर के रूप में सोचें जो टीम के ऊपर खड़ा होकर कहता है, "ठीक है, इस कटोरे की तस्वीर के लिए, सहायक #2 और #5 काफी हैं। बाकी सब, ब्रेक ले लो!"

यह ऊर्जा बचाने के लिए बहुत अच्छा काम करता है, लेकिन एक पेंच है: मैनेजर एक ब्लैक बॉक्स है।

हमें नहीं पता कि मैनेजर ने उन विशिष्ट सहायकों को क्यों चुना।
हम मैनेजर को यह नहीं कह सकते कि, "हे, कटोरे के लिए, मैं वास्तव में चाहता हूँ कि आप सहायक #2 को बनाए रखें।"
यह कुशल है, लेकिन यह पारदर्शी नहीं है। हम इसे आसानी से नियंत्रित या समझा नहीं सकते।

समाधान: "डिकोडर रिंग" (स्पार्स ऑटोएनकोडर)

यह पेपर एक नया टूल पेश करता है जिसे स्पार्स ऑटोएनकोडर (SAE) कहा जाता है। इसे एक डिकोडर रिंग या एक अनुवादक के रूप में समझें जो मैनेजर के उलझे हुए, भ्रमित नोट्स (डेंस एम्बेडिंग्स) को सरल विचारों की एक साफ, व्यवस्थित चेकलिस्ट (स्पार्स लेटेंट्स) में अनुवादित करता है।

बिखरे हुए विचारों के ढेर के बजाय, SAE रोबोट के दिमाग को "घुमावदार किनारा," "चमकदार सतह," या "गोल आकार" जैसे विशिष्ट और समझने योग्य अवधारणाओं में तोड़ देता है।

यह कैसे काम करता है: मैनेजर को दिशा देना (Steering)

शोधकर्ताओं ने मैनेजर के निर्णयों को "स्टीयर" करने के लिए इस डिकोडर रिंग का उपयोग किया। यहाँ इसका उदाहरण दिया गया है:

सेटअप: उन्होंने रोबोट के अंतिम विचारों को समझने के लिए SAE को प्रशिक्षित किया।
ट्रिक: उन्होंने उन विशिष्ट "चेकलिस्ट आइटम्स" (लेटेंट फीचर्स) को खोज निकाला जिनका उपयोग रोबोट किसी विशेष वस्तु, जैसे कि कटोरे को देखते समय सबसे अधिक करता है।
प्रवर्धन (Amplification): उन्होंने उन विशिष्ट चेकलिस्ट आइटम्स की आवाज़ तेज़ कर दी। कल्पना कीजिए कि आप मैनेजर पर चिल्ला रहे हैं, "घुमावदार किनारों पर ध्यान केंद्रित करो!"
परिणाम: क्योंकि अब मैनेजर के पास कटोरे के बारे में क्या महत्वपूर्ण है, इसके बारे में एक बहुत स्पष्ट संकेत है, इसलिए वे टीम में किसे रखना है, इस पर बहुत बेहतर निर्णय लेते हैं।

जादुई परिणाम

जब उन्होंने रोबोट शेफ पर इसे आज़माया:

कटोरे की तस्वीर के लिए: मैनेजर को एहसास हुआ, "ओह! मुझे वक्र (curve) और चमक देखने के लिए केवल सहायक #2 और #5 की आवश्यकता है!"
परिणाम: रोबोट अधिक सटीक हो गया (76% से बढ़कर 82% सही) जबकि उसने आधे से भी कम सहायकों का उपयोग किया (टीम के 72% से घटकर केवल 33%)।

इससे भी बेहतर बात यह है कि उन्होंने पाया कि पाइन ट्री (चीड़ के पेड़) के लिए, रोबोट सहायकों की एक अलग जोड़ी (#2 और #3) पर निर्भर था, लेकिन एक प्लेट (जो कटोरे की तरह गोल है) के लिए, वह वापस कटोरे वाले सहायकों का ही उपयोग करने लगा। यह साबित करता है कि सिस्टम केवल अनुमान नहीं लगा रहा है; यह वास्तव में वस्तु के आकार और अवधारणा को समझ रहा है।

यह क्यों महत्वपूर्ण है

इससे पहले, डायनेमिक प्रूनिंग आँखों पर पट्टी बांधकर कार चलाने जैसा था—आप गंतव्य तक तेज़ी से तो पहुँच जाते हैं, लेकिन आपको पता नहीं होता कि आप वहाँ कैसे पहुँचे या आप उसे कैसे नियंत्रित कर सकते हैं।

यह पेपर ड्राइवर की सीट में जीपीएस और स्टीयरिंग व्हील वापस लाता है। यह हमें अनुमति देता है:

प्रूनिंग को नियंत्रित करना: "इस विशिष्ट वस्तु के लिए, इन विशिष्ट सहायकों को रखें।"
प्रक्रिया को समझना: हम देख सकते हैं कि कौन से "सहायक" काम कर रहे हैं और क्यों।
सटीकता खोए बिना दक्षता में सुधार करना।

संक्षेप में, उन्होंने AI को तेज़ बनाने और AI को समझने योग्य बनाने के बीच एक पुल बनाया है, जिससे एक रहस्यमय ब्लैक बॉक्स एक पारदर्शी, नियंत्रणीय मशीन में बदल गया है।

यहाँ छात्र के सारांश "Steering Sparse Autoencoder Latents to Control Dynamic Head Pruning in Vision Transformers" का विस्तृत तकनीकी विवरण दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न ट्रांसफॉर्मर (ViTs) मल्टी-हेड सेल्फ-अटेंशन मैकेनिज्म का उपयोग करते हैं, लेकिन कई अटेंशन हेड्स (attention heads) अनावश्यक होते हैं, जिससे प्रदर्शन में आनुपातिक लाभ के बिना अनावश्यक कम्प्यूटेशनल लागत आती है। जबकि डायनेमिक हेड प्रूनिंग (Dynamic Head Pruning) फ्रेमवर्क्स (जैसे AdaViT) मौजूद हैं जो इनपुट डेटा के आधार पर अनावश्यक हेड्स को अनुकूल रूप से हटाने के लिए काम करते हैं, वे दो महत्वपूर्ण सीमाओं से ग्रस्त हैं:

अपारदर्शिता (Opacity): प्रूनिंग के निर्णय सघन रेसिडुअल एम्बेडिंग्स (dense residual embeddings) पर निर्भर करते हैं, जिससे निर्णय प्रक्रिया एक "ब्लैक बॉक्स" बन जाती है जिसे समझना कठिन है।
नियंत्रण का अभाव (Lack of Control): क्योंकि नीतियां सघन, पॉलीसेमेंटिक (polysemantic) रिप्रजेंटेशन पर संचालित होती हैं, इसलिए यह स्पष्ट रूप से नियंत्रित करना कठिन है कि विशिष्ट अर्थपूर्ण अवधारणाओं (semantic concepts) या वर्गों (classes) के लिए किन हेड्स को हटाया जाए।

2. कार्यप्रणाली (Methodology)

लेखक एक नया फ्रेमवर्क प्रस्तावित करते हैं जो डायनेमिक हेड प्रूनिंग को लेटेंट स्तर (latent level) पर व्याख्या योग्य और नियंत्रणीय बनाने के लिए स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders - SAEs) को एकीकृत करता है। यह कार्यप्रणाली तीन मुख्य चरणों से बनी है:

A. बेसलाइन डायनेमिक प्रूनिंग (AdaViT)

आर्किटेक्चर: एक ViT को प्रत्येक परत से जुड़े हल्के डिसीजन नेटवर्क्स (decision networks) के साथ प्रशिक्षित किया जाता है।
इनपुट: प्रत्येक डिसीजन नेटवर्क रेसिडुअल स्ट्रीम से CLS टोकन प्राप्त करता है (जो वैश्विक संदर्भ को एनकोड करता है)।
आउटपुट: नेटवर्क हेड्स के महत्व को दर्शाने वाले लॉजिट्स ( $a_\ell$ ) आउटपुट करता है।
मास्किंग (Masking): हेड्स को चुनने के लिए गम्बेल-सिग्मॉइड सैंपलिंग (Gumbel-Sigmoid sampling) के माध्यम से बाइनरी मास्क ( $M_{\ell,i}$ ) बनाए जाते हैं, जो सटीकता बनाए रखते हुए एक लक्षित स्पर्सिटी रेश्यो (sparsity ratio) लागू करते हैं।

B. स्पार्स ऑटोएनकोडर (SAE) प्रशिक्षण

उद्देश्य: सघन, पॉलीसेमेंटिक CLS टोकन एम्बेडिंग्स को स्पार्स, मोनोसेमेंटिक (monosemantic) फीचर्स में अलग करना।
इनपुट: प्रशिक्षित ViT के अंतिम परत से CLS टोकन ( $x$ )।
आर्किटेक्चर:
- एनकोडर (Encoder): 384-d इनपुट को 3072-d लेटेंट स्पेस ( $8\times$ विस्तार) में प्रोजेक्ट करता है।
- स्पर्सिटी प्रवर्तन (Sparsity Enforcement): केवल $k$ सबसे बड़े लेटेंट आयामों को बनाए रखने के लिए टॉप-K एक्टिवेशन ( $k=64$ ) का उपयोग करता है।
- डिकोडर (Decoder): स्पार्स लेटेंट वेक्टर ( $z$ ) से इनपुट ( $\hat{x}$ ) को पुनर्गठित (reconstruct) करता है।
लॉस (Loss): मूल इनपुट और पुनर्गठन के बीच मीन स्क्वेर्ड एरर (MSE) को कम किया जाता है ( $L_{rec} = \|x - \hat{x}\|^2$ )।

C. लेटेंट स्टीयरिंग और प्रूनिंग कंट्रोल (Latent Steering and Pruning Control)

एक बार SAE प्रशिक्षित हो जाने के बाद, यह फ्रेमवर्क लेटेंट स्पेस को "स्टीयर" (steer) करके प्रूनिंग व्यवहार को संशोधित करता है:

एम्प्लीफिकेशन (Amplification): चयनित लेटेंट आयामों ( $S$ ) को एक स्ट्रेंथ फैक्टर $\alpha$ जोड़कर बढ़ाया जाता है:
$z'_i = \begin{cases} z_i + \alpha & \text{यदि } i \in S \\ z_i & \text{यदि } i \notin S \end{cases}$
पुनः स्पर्सिफिकेशन (Re-sparsification): स्पर्सिटी बनाए रखने के लिए एम्प्लिफाइड वेक्टर पर टॉप-K ऑपरेशन लागू किया जाता है ( $\tilde{z}$ )।
पुनर्गठन (Reconstruction): स्टीयर्ड लेटेंट वेक्टर को एम्बेडिंग स्पेस में डिकोड किया जाता है ( $\tilde{x} = W_{dec}\tilde{z} + b_{dec}$ )।
निर्णय (Decision): स्टीयर्ड एम्बेडिंग $\tilde{x}$ को नया प्रूनिंग मास्क उत्पन्न करने के लिए मूल डिसीजन नेटवर्क में फीड किया जाता है।

स्टीयरिंग रणनीतियाँ (Steering Strategies): लेखकों ने इंडेक्स सेट $S$ के चयन के लिए तीन रणनीतियों का परीक्षण किया:

पर-क्लास फ्रिक्वेंट (Per-class frequent): किसी विशिष्ट वर्ग के लिए सबसे अधिक बार सक्रिय होने वाले टॉप- $k$ लेटेंट्स।
ग्लोबल फ्रिक्वेंट (Global frequent): सभी वर्गों में सक्रिय होने वाले टॉप- $k$ लेटेंट्स।
रैंडम (Random): यादृच्छिक रूप से चुने गए लेटेंट्स।

3. मुख्य योगदान (Key Contributions)

डिसेंटैंगलमेंट के माध्यम से व्याख्यात्मकता (Interpretability via Disentanglement): यह कार्य प्रदर्शित करता है कि SAEs सघन ViT एम्बेडिंग्स को प्रभावी ढंग से स्पार्स फीचर्स में अलग कर सकते हैं जो वर्ग-विशिष्ट अवधारणाओं के अनुरूप होते हैं।
नियंत्रणीय प्रूनिंग (Controllable Pruning): यह विशिष्ट लेटेंट आयामों को बढ़ाकर प्रूनिंग निर्णयों को स्पष्ट रूप से नियंत्रित करने के लिए एक तंत्र पेश करता है, जो अस्पष्ट, डेटा-संचालित ह्यूरिस्टिक्स से आगे जाता है।
वर्ग-विशिष्ट हेड डिस्कवरी (Class-Specific Head Discovery): यह फ्रेमवर्क प्रकट करता है कि विभिन्न वर्ग अटेंशन हेड्स के अलग-अलग, कॉम्पैक्ट सबसेट्स पर निर्भर करते हैं, और इन सबसेट्स को लेटेंट स्टीयरिंग के माध्यम से पहचाना और अनुकूलित किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस फ्रेमवर्क का मूल्यांकन CIFAR-100 पर एक ViT-Small (12 परतें, 6 हेड्स, 384-d) पर किया गया, जिसे ImageNet पर प्री-ट्रेन किया गया था।

बेसलाइन प्रदर्शन (Baseline Performance): मानक डायनेमिक प्रूनिंग मॉडल ने 30% हेड्स प्रून करने पर 89.79% सटीकता प्राप्त की (जो पूर्ण मॉडल की 91.27% सटीकता से कम है)।
SAE फिडेलिटी (SAE Fidelity): मूल एम्बेडिंग को SAE पुनर्गठन से बदलने पर नगण्य प्रदर्शन हानि (−0.12% सटीकता) हुई, जो पुष्टि करता है कि SAE आवश्यक प्रूनिंग जानकारी को सुरक्षित रखता है।
स्टीयरिंग प्रभावकारिता (Steering Efficacy):
- पर-क्लास स्टीयरिंग: जैसे-जैसे एम्प्लीफिकेशन स्ट्रेंथ ( $\alpha$ ) बढ़ी, इस रणनीति ने हेड्स के उपयोग को काफी कम किया जबकि सटीकता को बनाए रखा या सुधारा।
- तुलना: ग्लोबल और रैंडम स्टीयरिंग रणनीतियों के परिणामस्वरूप $\alpha$ बढ़ने के साथ सटीकता में भारी गिरावट आई, जो दर्शाता कि वर्ग-विशिष्ट फीचर्स, ग्लोबल फीचर्स से भिन्न हैं (ग्लोबल और पर-क्लास टॉप- $k$ लेटेंट्स के बीच 0.1641 का निम्न ओवरलैप)।
केस स्टडीज (अंतिम परत):
- "Bowl" क्लास: सटीकता 76% से बढ़कर 82% हो गई, जबकि हेड उपयोग 0.72 से गिरकर 0.33 हो गया। मॉडल हेड्स h2 और h5 पर अत्यधिक निर्भर रहा।
- "Pine Tree" क्लास: सटीकता 79% से बढ़कर 84% हो गई, हेड उपयोग 0.93 से गिरकर 0.35 हो गया, और यह हेड्स h2 और h3 पर निर्भर रहा।
- सिमेंटिक संबंध (Semantic Relationships): अर्थ संबंधी रूप से संबंधित वर्गों (जैसे, "bowl" और "plate") ने समान हेड सबसेट्स (h2, h5) साझा किए, जो सुझाव देता है कि SAE अटेंशन हेड्स के बीच सार्थक सिमेंटिक संबंधों को कैप्चर करता है।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

दक्षता और व्याख्यात्मकता को जोड़ना (Bridging Efficiency and Interpretability): यह कार्य कम्प्यूटेशनल दक्षता (प्रूनिंग) और मैकेनिस्टिक इंटरप्रिटेबिलिटी के बीच के अंतर को सफलतापूर्वक पाटता है। यह सिद्ध करता है कि प्रूनिंग निर्णय केवल सांख्यिकीय आर्टिफैक्ट नहीं हैं बल्कि उन्हें विशिष्ट, व्याख्या योग्य लेटेंट फीचर्स के माध्यम से नियंत्रित किया जा सकता है।
निहितार्थ (Implications): वर्ग-विशिष्ट संकेतों के आधार पर प्रूनिंग को स्टीयर करने की क्षमता अधिक मजबूत, व्याख्या योग्य और कुशल ViT आर्किटेक्चर की ओर एक मार्ग सुझाती है।
भविष्य की दिशाएं (Future Directions): लेखक इस फ्रेमवर्क को नेटवर्क की शुरुआती परतों तक विस्तारित करने और वर्तमान छोटे-डेटासेट (CIFAR-100) और अंतिम-परत फोकस से परे फाउंडेशन मॉडल्स (बड़े पैमाने के मॉडल) पर लागू करने की योजना बना रहे हैं।