🤖 AI

Can Cross-Layer Transcoders Replace Vision Transformer Activations? An Interpretable Perspective on Vision

यह शोध पत्र क्रॉस-लेयर ट्रांसकोडर्स (CLTs) को एक स्पार्स, डेप्थ-अवेयर प्रॉक्सी मॉडल के रूप में प्रस्तुत करता है जो एक एनकोडर-डिकोडर योजना के माध्यम से विजन ट्रांसफार्मर एक्टिवेशन्स का पुनर्निर्माण करता है, जिससे निष्ठावान, लेयर-रिजॉल्व्ड व्याख्यात्मकता सक्षम होती है और यह प्रदर्शित होता है कि अंतिम रिप्रजेंटेशन्स मॉडल के प्रदर्शन को बनाए रखते हुए लेयर-वार डोमिनेंट टर्म्स के एक छोटे सेट में केंद्रित होते हैं।

मूल लेखक: Gerasimos Chatzoudis, Konstantinos D. Polyzos, Zhuowei Li, Difei Gu, Gemma E. Moran, Hao Wang, Dimitris N. Metaxas

प्रकाशित 2026-04-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gerasimos Chatzoudis, Konstantinos D. Polyzos, Zhuowei Li, Difei Gu, Gemma E. Moran, Hao Wang, Dimitris N. Metaxas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन रहस्यमयी, रोबोट कलाकार है जिसका नाम ViT (विज़न ट्रांसफार्मर) है। यह रोबोट कुत्ते की तस्वीर देखकर सही ढंग से कह सकता है, "यह एक कुत्ता है!" लेकिन यदि आप उससे पूछते हैं, "तुम्हें कैसे पता चला?" तो वह बस अपने कंधे उचका देता है। वह अपनी सोचने की प्रक्रिया को जटिल गणित की परत-दर-परत एक 'ब्लैक बॉक्स' के अंदर छिपा कर रखता है जिसे कोई भी इंसान आसानी से पढ़ नहीं सकता।

लंबे समय तक, वैज्ञानिकों ने स्पार्स ऑटोएनकोडर्स (SAEs) नामक उपकरणों का उपयोग करके इस ब्लैक बॉक्स के भीतर झांकने की कोशिश की। इसे ऐसे समझें जैसे आप केवल एक सिंगल फ्रेम देखकर किसी फिल्म को समझने की कोशिश कर रहे हों। आप उस एक फ्रेम में एक कार या एक पेड़ देख सकते हैं, लेकिन आप पूरी कहानी को नहीं समझ पाते कि कार कैसे चली, पेड़ कैसे हिला और कहानी कैसे आगे बढ़ी। ये उपकरण बहुत अधिक व्यक्तिगत परतों (layers) पर केंद्रित थे और वे इस बात को मिस कर देते थे कि जानकारी शुरुआत से अंत तक कैसे प्रवाहित होती है।

नया विचार: "क्रॉस-लेयर ट्रांसकोडर" (CLT)

यह पेपर एक नए, अधिक स्मार्ट टूल के रूप में एक क्रॉस-लेयर ट्रांसकोडर (CLT) पेश करता है।

कल्पना कीजिए कि रोबोट का मस्तिष्क एक रिले रेस है जिसमें 12 धावक (परतें/layers) हैं।

पुराना तरीका: आप केवल धावक नंबर 5 को देखते थे और अनुमान लगाने की कोशिश करते थे कि वह क्या सोच रहा है। आपको कोई अंदाजा नहीं था कि धावक नंबर 1 से 4 ने उसकी मदद करने के लिए क्या किया।
नया तरीका (CLT): CLT एक सुपर-कोच की तरह है जो पूरी दौड़ को देखता है। वह समझता है कि धावक नंबर 10 (अंतिम परत) को केवल धावक नंबर 9 से ऊर्जा नहीं मिली; उसे धावक 1, 3 और 7 से भी बहुत बड़ा बढ़ावा मिला।

CLT दो अद्भुत चीजें करता है:

1. यह एक "घोस्ट रनर" (प्रतिस्थापन) है

शोधकर्ताओं ने CLT को रोबोट की वास्तविक मस्तिष्क कोशिकाओं (विशेष रूप से MLP ब्लॉक्स) के रूप में कार्य करने के लिए प्रशिक्षित किया।

उपमा: कल्पना कीजिए कि आपके पास एक जटिल, महंगी मशीन है। आप एक सस्ता, सरल, लेकिन अत्यधिक सटीक "घोस्ट मशीन" बनाते हैं जो बिल्कुल वैसे ही काम करती है जैसे असली मशीन करती है।
परिणाम: उन्होंने रोबोट के वास्तविक मस्तिष्क भागों को इन "घोस्ट्स" (भूतिया मशीनों) से बदल दिया। आश्चर्यजनक रूप से, रोबोट कम बुद्धिमान नहीं हुआ! वास्तव में, मस्तिष्क के सबसे महत्वपूर्ण हिस्से ( [CLS] टोकन, जो रोबोट का "अंतिम निष्कर्ष" या "सारांश" है) के लिए, घोस्ट मशीन उतनी ही अच्छी तरह काम करती है, और कभी-कभी उससे भी बेहतर। यह साबित करता है कि CLT रोबोट के सोचने का एक वफादार प्रतिरूप है।

2. यह एक "क्रेडिट स्कोरकार्ड" (व्याख्यात्मकता) है

यह सबसे शानदार हिस्सा है। क्योंकि CLT को पिछली परतों के योगदान को जोड़कर रोबोट के विचारों को फिर से बनाने के लिए बनाया गया है, इसलिए यह एक स्कोरकार्ड बनाता है।

उपमा: कल्पना कीजिए कि रोबोट का अंतिम उत्तर ("यह एक कुत्ता है!") एक टीम प्रोजेक्ट है। CLT आपको बताता है कि किसने क्या किया।
- "पैच टोकन्स" (छवि के छोटे टुकड़े) के लिए: स्कोरकार्ड दिखाता है कि प्रत्येक परत ने मुख्य रूप से स्वयं की मदद की। यह एक ऐसे समूह की तरह है जहाँ हर किसी ने पहेली के अपने हिस्से को ही ठीक किया।
- "[CLS] टोकन" (अंतिम सारांश) के लिए: स्कोरकार्ड कुछ अद्भुत दिखाता है! अंतिम उत्तर लगभग हर परत का एक टीम प्रयास है। शुरुआती परतें (जिन्होंने केवल किनारों और रंगों को देखा) और मध्य परतें (जिन्होंने आकृतियों को देखा) सभी ने अंतिम "यह एक कुत्ता है!" के निर्णय में योगदान दिया।

उन्होंने क्या खोजा?

"सारांश" एक सामूहिक प्रयास है: रोबोट का अंतिम निर्णय केवल आखिरी सेकंड में नहीं लिया जाता। यह एक गहरी बातचीत है जहाँ पहली परत से जानकारी अंतिम परत तक यात्रा करती है। यदि आप शीर्ष योगदानकर्ताओं को हटा देते हैं, तो रोबोट भूल जाता है कि वह क्या देख रहा है।
"पैच" स्थानीय हैं: छवि के छोटे टुकड़े ज्यादातर अपने निकटतम पड़ोसियों से ही बात करते हैं। उन्हें यह समझने के लिए पूरी टीम की आवश्यकता नहीं होती कि एक विशिष्ट पिक्सेल बाल का हिस्सा है या पत्ते का।
हम स्पष्टीकरण पर भरोसा कर सकते हैं: क्योंकि CLT वास्तविक मस्तिष्क को प्रदर्शन खोए बिना बदल सकता है, इसलिए यह जो "स्कोरकार्ड" बनाता है वह भरोसेमंद है। यह केवल एक अनुमान नहीं है; यह एक गणितीय रूप से सिद्ध मानचित्र है कि रोबोट कैसे सोचता है।

यह क्यों मायने रखता है?

इसे एक ब्लैक बॉक्स के लिए ब्लूप्रिंट प्राप्त करने जैसा समझें।

पहले, हम जानते थे कि रोबोट काम करता है, लेकिन हमें यह नहीं पता था कि क्यों।
अब, CLTs के साथ, हम कह सकते हैं: "आह, रोबोट ने निर्णय लिया कि यह एक कुत्ता है क्योंकि लेयर 1 ने फर देखा, लेयर 5 ने थूथन देखा, और लेयर 10 ने उन सबको मिला दिया।"

यह AI को भरोसेमंद बनाता है। यदि हम देख सकते हैं कि एक मॉडल निर्णय कैसे लेता है, तो हम इसे गलत होने पर ठीक कर सकते हैं, यदि यह खतरनाक है तो इसे नियंत्रित कर सकते हैं, और यदि यह भ्रमित करने वाला है तो इसे समझ सकते हैं। यह पेपर दिखाता है कि हम अंततः अनुमान लगाना बंद कर सकते हैं और विज़न ट्रांसफार्मर के मन के भीतर देखना शुरू कर सकते हैं।

यहाँ शोध पत्र "Can Cross-Layer Transcoders Replace Vision Transformer Activations? An Interpretable Perspective on Vision" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न ट्रांसफॉर्मर्स (ViTs) शक्तिशाली फाउंडेशन मॉडल हैं, लेकिन उनके आंतरिक प्रतिनिधित्व (internal representations) काफी हद तक अपारदर्शी बने रहते हैं, जो व्याख्यात्मकता (interpretability), नियंत्रण क्षमता (controllability) और विश्वसनीयता में बाधा डालते हैं। मौजूदा व्याख्यात्मकता विधियाँ, जैसे कि स्पार्स ऑटोएनकोडर्स (SAEs), आमतौर पर एक ही लेयर के भीतर स्थानीय रूप से (locally) कार्य करती हैं। वे निम्नलिखित को पकड़ने में विफल रहती हैं:

क्रॉस-लेयर कम्प्यूटेशनल संरचनाएं (Cross-layer computational structures): नेटवर्क की गहराई के माध्यम से सूचना कैसे प्रवाहित होती है और परिवर्तित होती है।
सापेक्ष लेयर महत्व (Relative layer significance): अंतिम प्रतिनिधित्व में प्रारंभिक परतों का विशिष्ट योगदान।
टोकन-विशिष्ट गतिकी (Token-specific dynamics): ग्लोबल टोकन (जैसे, [CLS]) बनाम लोकल पैच टोकन द्वारा सूचना एकत्र करने के तरीके में अंतर।

लेखक क्रॉस-लेयर ट्रांसकोडर्स (CLTs)—जो पहले लार्ज लैंग्वेज मॉडल्स (LLMs) में उपयोग किए गए थे—को विज़न मॉडल्स के समाधान के रूप में जांचने का प्रस्ताव करते हैं। मुख्य चुनौती यह निर्धारित करना है कि क्या CLTs प्रदर्शन को बनाए रखते हुए और मॉडल के आंतरिक तर्क का एक निष्ठावान, गहराई-जागरूक अपघटन (depth-aware decomposition) प्रदान करते हुए, ViT MLP ब्लॉक्स को कार्यात्मक रूप से प्रतिस्थापित कर सकते हैं।

2. कार्यप्रणाली: क्रॉस-लेयर ट्रांसकोडर्स (CLTs)

लेखक एक ऐसा ढांचा पेश करते हैं जहाँ CLTs, ViTs में मल्टी-लेयर परसेप्ट्रॉन (MLP) ब्लॉक्स के लिए स्पार्स, गहराई-जागरूक प्रॉक्सी मॉडल के रूप में कार्य करते हैं।

A. आर्किटेक्चर और तंत्र (Architecture and Mechanism)

एन्कोडर-डिकोडर योजना: प्रत्येक लेयर $i$ के लिए, एक सीखा गया लीनियर एन्कोडर प्री-MLP एक्टिवेशन ( $x_i$ ) को एक स्पार्स फीचर वेक्टर ( $z_i$ ) में मैप करता है।
ट्राइएंगुलर रिकंस्ट्रक्शन (Triangular Reconstruction): मानक प्रति-लेयर ट्रांसकोडर्स के विपरीत, CLTs एक लक्ष्य लेयर $j$ के पोस्ट-MLP एक्टिवेशन ( $\hat{y}_j$ ) को सभी पूर्ववर्ती परतों ( $i \leq j$ ) के स्पार्स कोड के लीनियर सम (linear sum) का उपयोग करके पुनर्गठित करते हैं:
$\hat{y}_j = \sum_{i=1}^{j} z_i W_{dec}^{i \to j}$
यह एक सख्त कारणत्मक संरचना (strictly causal structure) को लागू करता है, जिससे भविष्य की परतों से सूचना के रिसाव (information leakage) को रोका जा सकता है।
स्पर्सिटी वेरिएंट्स (Sparsity Variants): पेपर स्पार्स कोड्स $z$ $z$ में स्पर्सिटी लागू करने के लिए तीन नॉन-लीनियर फंक्शन ( $\phi$ $ϕ$ ) का मूल्यांकन करता है:
1. JumpReLU: सीखे गए थ्रेशोल्ड का उपयोग करता है।
2. ReLU-Top-k: टॉप- $k$ पॉजिटिव वैल्यूज को रखता है।
3. Abs-Top-k: एब्सोल्यूट मैग्नीट्यूड के आधार पर टॉप- $k$ वैल्यूज को रखता है (साइन को सुरक्षित रखते हुए)।

B. प्रशिक्षण और प्रतिस्थापन रणनीति (Training and Replacement Strategy)

प्रशिक्षण: CLTs को फ्रोजन CLIP ViT बैकबोन (ViT-B/32 और ViT-B/16) पर CIFAR-100, COCO और ImageNet-100 जैसे डेटासेट्स का उपयोग करके प्रशिक्षित किया जाता है। उद्देश्य टीचर ViT के वास्तविक MLP आउटपुट और एक स्पर्सिटी पेनल्टी के बीच रिकंस्ट्रक्शन एरर को कम करना है।
कैस्केडेड रिप्लेसमेंट (Cascaded Replacement): कार्यात्मक निष्ठा (functional fidelity) का परीक्षण करने के लिए, लेखक मूल MLP ब्लॉक्स को प्रशिक्षित CLTs के साथ एक "कैस्केडेड" तरीके से बदलते हैं। एक रिप्लेस की गई लेयर का आउटपुट अगली लेयर के लिए इनपुट बनता है, जिससे रिकंस्ट्रक्शन एरर को मापा जा सकता है।

C. एट्रिब्यूशन के माध्यम से व्याख्यात्मकता (Interpretability via Attribution)

लीनियर अपघटन क्रॉस-लेयर एट्रिब्यूशन (Cross-Layer Attribution) की अनुमति देता है। स्रोत लेयर $i$ का लक्ष्य लेयर $j$ के प्रति योगदान को कुल रिकंस्ट्रक्शन पर डिकोडेड योगदान को प्रोजेक्ट करके मापा जाता है:
$C_{i \to j}^{proj} = \frac{\langle c_{i \to j}, \hat{y}_j \rangle}{\|\hat{y}_j\|^2}$
यह एक स्कोर प्रदान करता है जो दर्शाता है कि प्रत्येक पूर्ववर्ती लेयर वर्तमान स्थिति की कितनी "व्याख्या" करती है।

3. मुख्य योगदान (Key Contributions)

MLPs का कार्यात्मक प्रतिस्थापन: पेपर प्रदर्शित करता है कि CLTs, विशेष रूप से [CLS] टोकन और बाद की परतों के लिए, ViT के MLP ब्लॉक्स को निष्ठापूर्वक प्रतिस्थापित कर सकते हैं, जो अक्सर प्रदर्शन को बनाए रखते हैं या थोड़ा सुधार भी करते हैं।
डेप्थ-अवेयर एट्रिब्यूशन: SAEs के विपरीत, CLTs यह दिखाने के लिए एक संरचित, साइन्ड (signed) अपघटन प्रदान करते हैं कि सूचना नेटवर्क की गहराई में कैसे एकत्रित होती है।
टोकन-विशिष्ट विषमता (Asymmetry in Token Processing): अध्ययन एक मौलिक आर्किटेक्चरल अंतर प्रकट करता है:
- पैच टोकन्स (Patch Tokens): डायगोनल-डोमिनेंट (diagonal-dominant) एट्रिब्यूशन प्रदर्शित करते हैं (प्रत्येक लेयर मुख्य रूप से अपने स्वयं के आउटपुट की व्याख्या करती है)।
- [CLS] टोकन्स: ब्रॉड, डिस्ट्रिब्यूटेड (broad, distributed) एट्रिब्यूशन प्रदर्शित करते हैं (अंतिम प्रतिनिधित्व कई पूर्ववर्ती परतों से संकेतों को एकत्रित करता है)।
निष्ठावान क्रेडिट असाइनमेंट: एब्लेशन अध्ययन दिखाते हैं कि अंतिम प्रतिनिधित्व एक छोटे से डोमिनेंट सबसेट पर केंद्रित है। शीर्ष-स्कोरिंग लेयर को हटाने से प्रदर्शन काफी गिर जाता है, जबकि केवल शीर्ष-4 परतों को रखने से सटीकता बनी रहती है।

4. मुख्य परिणाम (Key Results)

A. रिकंस्ट्रक्शन फिडेलिटी (Reconstruction Fidelity)

CLTs 0.92–0.97 के कोसाइन सिमिलरिटी (Cosine Similarity) और 0.89–0.95 के $R^2$ मानों के साथ उच्च रिकंस्ट्रक्शन गुणवत्ता प्राप्त करते हैं।
ViT-B/16 (छोटे पैच) को ViT-B/32 (बड़े पैच) की तुलना में अनुमान लगाना आसान है, जो संभवतः पहले वाले में सरल प्रति-टोकन एक्टिवेशन के कारण है।
ReLU-Top-k आम तौर पर सबसे अच्छा प्रदर्शन करता है, विशेष रूप से मिड-टू-लेट लेयर्स में।

B. ज़ीरो-शॉट क्लासिफिकेशन परफॉरमेंस (Zero-Shot Classification Performance)

[CLS] टोकन रिप्लेसमेंट: [CLS] टोकन के लिए सभी MLP लेयर्स को CLTs से बदलने पर बेसलाइन के लगभग समान सटीकता प्राप्त होती है (उदाहरण: CIFAR-100: 61.65% बेसलाइन बनाम ~61.74% CLTs के साथ)।
पैच टोकन रिप्लेसमेंट: पैच टोकनों के लिए शुरुआती परतों को बदलने से सटीकता में महत्वपूर्ण गिरावट आती है (उदाहरण: CIFAR-100 पर सभी लेयर्स को बदलने पर 61.65% से गिरकर ~51% हो जाना)। हालांकि, केवल अंतिम कुछ परतों (जैसे 10→11) को बदलने से उच्च सटीकता बनी रहती है।
निष्कर्ष: CLTs ग्लोबल क्लासिफिकेशन टोकन और लेट-लेयर प्रोसेसिंग के लिए मजबूत प्रॉक्सी हैं लेकिन शुरुआती-लेयर स्पेशियल फीचर एक्सट्रैक्शन में संघर्ष करते हैं।

C. व्याख्यात्मक निष्कर्ष (Interpretability Findings)

क्रेडिट का संकेंद्रण (Concentration of Credit): एब्लेशन प्रयोग पुष्टि करते हैं कि अंतिम प्रतिनिधित्व कुछ चुनिंदा परतों पर बहुत अधिक निर्भर करता है। सबसे अधिक योगदान देने वाली लेयर को हटाने से सटीकता में भारी गिरावट आती है (जैसे, ImageNet-100 पर -5.6%), जबकि केवल शीर्ष-4 परतों को रखने से बेसलाइन के करीब प्रदर्शन प्राप्त होता है।
सिमेंटिक इवोल्यूशन (Semantic Evolution): CLT स्पार्स कोड्स के माध्यम से विजुअल रिट्रीवल यह दिखाता है कि [CLS] प्रतिनिधित्व शुरुआती परतों में लो-लेवल फीचर्स (रंग/लेआउट) से लेकर गहरी परतों में हाई-लेवल सिमेंटिक कॉन्सेप्ट्स (जैसे, "surfing") तक विकसित होता है।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

यह कार्य क्रॉस-लेयर ट्रांसकोडर्स को विज़न मॉडल्स के लिए एक संरचित, क्रॉस-लेयर व्याख्यात्मकता के लिए एक सिद्धांत आधारित ढांचे के रूप में स्थापित करता है, जो प्रदर्शन से समझौता किए बिना किया जाता है।

विश्वसनीय AI (Trustworthy AI): यह ViTs को उनके निर्णय लेने की प्रक्रिया को एडिटिव, लेयर-रिजॉल्व्ड योगदानों में विघटित करके ऑडिट करने का एक तरीका प्रदान करता है।
SAEs से परे: यह स्थानीय फीचर एक्सट्रैक्शन से आगे बढ़कर पूरे नेटवर्क डेप्थ में सूचना के कारणत्मक प्रवाह (causal flow) को मॉडल करता है।
भविष्य की दिशाएं: लेखक CLTs का उपयोग पदानुक्रमित अवधारणा खोज (hierarchical concept discovery) के लिए, सर्किट विश्लेषण (एक पूर्ण विश्लेषण के लिए अटेंशन हेड्स को शामिल करते हुए) के लिए विस्तार करने, और इस ढांचे को व्यापक मल्टीमॉडल कार्यों पर लागू करने का सुझाव देते हैं।

संक्षेप में, यह पेपर सिद्ध करता है कि ViTs को प्रभावी ढंग से "री-वायर" किया जा सकता है, जिसमें स्पार्स, व्याख्यात्मक प्रॉक्सी का उपयोग किया जाता है जो न केवल मूल मॉडल के व्यवहार की नकल करते हैं बल्कि यह भी प्रकट करते हैं कि विभिन्न परतें अंतिम दृश्य प्रतिनिधित्व बनाने में विशिष्ट, केंद्रित भूमिकाएँ कैसे निभाती हैं।