From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition

यहाँ शोध पत्र "From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जैसे-जैसे CLIP जैसे विजन-लैंग्वेज मॉडल्स (VLMs) का बड़े पैमाने पर उपयोग बढ़ रहा है, उनके आंतरिक तंत्र को समझना महत्वपूर्ण हो गया है। मौजूदा व्याख्यात्मकता (interpretability) विधियाँ तीन प्रमुख सीमाओं का सामना करती हैं:

• डेटा निर्भरता (Data Dependence): अधिकांश विधियाँ (जैसे, TextSpan, SAEs) बड़े डेटासेट (जैसे, ImageNet) से प्राप्त मॉडल एक्टिवेशन पर निर्भर करती हैं। यह उन्हें डेटासेट के पूर्वाग्रहों (biases) के प्रति संवेदनशील बनाता है और उन परिदृश्यों में उनकी उपयोगिता को सीमित करता है जहाँ डेटा उपलब्ध नहीं है या संवेदनशील है।
• खुरदरी सूक्ष्मता (Coarse Granularity): एक्टिवेशन-आधारित विधियाँ अक्सर अटेंशन हेड के स्तर पर व्याख्या प्रदान करती हैं (जैसे, "हेड 1 रंगों पर ध्यान केंद्रित करता है")। वे एक हेड की आंतरिक संरचना को विच्छेदित करने में विफल रहती हैं, जिससे विशिष्ट उप-घटकों (sub-components) को पहचानना संभव नहीं हो पाता जो विशिष्ट अवधारणाओं (concepts) के लिए जिम्मेदार होते हैं।
• अस्थिरता (Instability): स्पार्स ऑटोएनकोडर्स (SAEs) जैसी विधियाँ अस्थिर हो सकती हैं, जो समान डेटा पर प्रशिक्षित होने के बावजूद अलग-अलग फीचर डिक्शनरी उत्पन्न करती हैं, और अक्सर "सुपरपोजिशन" की समस्या से जूझती हैं जहाँ न्यूरॉन्स कई असंबंधित अवधारणाओं को एनकोड करते हैं।

शोध पत्र यह प्रश्न पूछता है: क्या हम बिना किसी डेटा या प्रशिक्षण के, सीधे CLIP के वेट्स (weights) से इसके आंतरिक तंत्र की व्याख्या कर सकते हैं, ताकि सूक्ष्म और मानव-व्याख्या योग्य स्पष्टीकरण प्राप्त किए जा सकें?

2. कार्यप्रणाली: SITH और COMP

लेखक SITH (Semantic Inspection of Transformer Heads) प्रस्तावित करते हैं, जो एक पूर्णतः डेटा-मुक्त (data-free) और प्रशिक्षण-मुक्त (training-free) ढांचा है।

A. वेट-आधारित विश्लेषण (SITH)

एक्टिवेशन का विश्लेषण करने के बजाय, SITH CLIP के विजन ट्रांसफार्मर के प्रत्येक अटेंशन हेड के वैल्यू-आउटपुट (Value-Output - VO) वेट मैट्रिक्स ($W_{VO}$) का विश्लेषण करता है।

1. अलगाव (Isolation): लेखक मल्टी-हेड अटेंशन मैकेनिज्म से $W_{VO}$ मैट्रिक्स (जो वैल्यू और आउटपुट प्रोजेक्शन को जोड़ता है) को गणितीय रूप से अलग करते हैं। यह मैट्रिक्स निर्धारित करता है कि एक हेड रेसिडुअल स्ट्रीम (residual stream) में क्या जानकारी लिखता है।
2. सिंगुलर वैल्यू डिकम्पोजिशन (SVD): वे SVD का उपयोग करके $W_{VO}$ को विघटित करते हैं:
   $$W_{VO} = U \Sigma V^T$$
   • राइट सिंगुलर वेक्टर्स ($V$): हेड के प्रमुख आउटपुट दिशाओं (लिखने की दिशाओं) का प्रतिनिधित्व करते हैं।
   • लेफ्ट सिंगुलर वेक्टर्स ($U$): प्रमुख इनपुट दिशाओं (पढ़ने की दिशाओं) का प्रतिनिधित्व करते हैं।
   • सिंगुलर वैल्यूज ($\Sigma$): इन दिशाओं की शक्ति को मात्रात्मक रूप से दर्शाते हैं।
   • अंतर्दृष्टि: प्रत्येक सिंगुलर वेक्टर हेड के भीतर एक विशिष्ट कम्प्यूटेशनल दिशा के अनुरूप होता है, जिससे हेड की कार्यक्षमता को विशिष्ट उप-स्थानों (sub-spaces) में विभाजित करना संभव होता है।

B. सिमेंटिक इंटरप्रिटेशन (COMP)

चूंकि सिंगुलर वेक्टर्स एक उच्च-आयामी एम्बेडिंग स्पेस में मौजूद होते हैं, इसलिए उन्हें मानव-व्याख्या योग्य अवधारणाओं में मैप किया जाना चाहिए। लेखक COMP (Coherent Orthogonal Matching Pursuit) पेश करते हैं।

• कॉन्सेप्ट पूल (Concept Pool): वे टेक्स्ट अवधारणाओं के एक बड़े, ओवरकम्प्लीट डिक्शनरी (जैसे, ConceptNet 5.5) का उपयोग करते हैं।
• स्पार्स डिकम्पोजिशन (Sparse Decomposition): COMP एक सिंगुलर वेक्टर $\hat{v}$ को टेक्स्ट अवधारणाओं के एक स्पार्स, गैर-ऋणात्मक रैखिक संयोजन (linear combination) के रूप में दर्शाने का प्रयास करता है: $\hat{v} \approx \sum c_i \hat{\gamma}_i$।
• कोहेरेंस रेगुलराइजेशन (Coherence Regularization): मानक ग्रीडी एल्गोरिदम (जैसे NNOMP) केवल पुनर्निर्माण त्रुटि (reconstruction error) को अनुकूलित करते हैं, जिससे अक्सर अर्थहीन अवधारणाएं (जैसे, "लाल" + "टोस्टर") निकलती हैं। COMP चयन मानदंड को एक कोहेरेंस टर्म को शामिल करने के लिए संशोधित करता है:
  $$\text{score}(\hat{\gamma}_i) = \langle r_{k-1}, \hat{\gamma}_i \rangle + \frac{\lambda}{|S_{k-1}|} \sum_{j \in S_{k-1}} \langle \hat{\gamma}_i, \hat{\gamma}_j \rangle$$
  यह सुनिश्चित करता है कि चयनित अवधारणाएं न केवल पुनर्निर्माण के लिए अच्छी हैं, बल्कि पहले से चयनित अवधारणाओं के साथ अर्थपूर्ण रूप से संबंधित भी हैं, जिससे एक सुसंगत (coherent) स्पष्टीकरण प्राप्त होता है (जैसे, "मिंट ग्रीन" + "ग्रास ग्रीन")।

3. मुख्य योगदान

1. डेटा-मुक्त व्याख्यात्मकता (Data-Free Interpretability): SITH शुद्ध रूप से वेट्स से VLMs के लिए सूक्ष्म, इंट्रा-हेड स्पष्टीकरण प्रदान करने वाला पहला ढांचा है, जो डेटासेट बायस और डेटा संग्रह की आवश्यकता को समाप्त करता है।
2. सूक्ष्म विघटन (Fine-Grained Decomposition): पूरे हेड्स के बजाय सिंगुलर वेक्टर्स का विश्लेषण करके, SITH प्रकट करता है कि एक एकल अटेंशन हेड में अक्सर कई अलग-अलग कार्यात्मक उप-घटक होते हैं (जैसे, एक ही "कलर" हेड के भीतर एक वेक्टर "लाल" के लिए और दूसरा "हरा" के लिए)।
3. COMP एल्गोरिदम: एक नया स्पार्स कोडिंग एल्गोरिदम जो पुनर्निर्माण निष्ठा (fidelity) और अर्थपूर्ण सुसंगतता (semantic coherence) के बीच संतुलन बनाता है, जिससे मानव-पठनीय अवधारणा सेट प्राप्त होते हैं।
4. बिना रिट्रेनिंग के मॉडल एडिटिंग (Model Editing without Retraining): यह ढांचा सटीक "वेट-स्पेस सर्जरी" सक्षम करता है। विशिष्ट सिंगुलर वैल्यूज को बढ़ाकर या कम करके, लेखक ग्रेडिएंट अपडेट या ट्रेनिंग डेटा के बिना मॉडल के व्यवहार को संशोधित कर सकते हैं।

4. परिणाम और प्रयोग

A. व्याख्यात्मकता और फिडेलिटी (Interpretability and Fidelity)

• गुणात्मक (Qualitative): SITH सफलतापूर्वक सिंगुलर वेक्टर्स को बनावट (textures), स्थान (locations), रंग (colors) और यहाँ तक कि अक्षरों (जैसे, अक्षर "C" के लिए समर्पित एक वेक्टर) जैसी विशिष्ट अवधारणाओं से मैप करता है।
• मात्रात्मक (Quantitative): COMP, Top-k और NNOMP जैसे बेसलाइन्स की तुलना में फिडेलिटी (अवधारणाएं वेक्टर को कितनी अच्छी तरह पुनर्निर्मित करती हैं) और व्याख्यात्मकता (अवधारणा सेट की सुसंगतता) के बीच बेहतर संतुलन प्राप्त करता है।
• ग्राउंडिंग (Grounding): विशिष्ट सिंगुलर वेक्टर्स की समानता के आधार पर प्राप्त की गई छवियां COMP द्वारा उत्पन्न टेक्स्टुअल स्पष्टीकरणों के साथ मजबूती से मेल खाती हैं।

B. मॉडल एडिटिंग अनुप्रयोग (Model Editing Applications)

• स्पूरियस कोरिलेशन को दबाना (Suppressing Spurious Correlations): Waterbirds डेटासेट (बैकग्राउंड पर पक्षी) पर, SITH ने "बैकग्राउंड" अवधारणाओं को एनकोड करने वाले सिंगुलर वेक्टर्स की पहचान की और उन्हें दबा दिया। इसने बिना रिट्रेनिंग के वर्स्ट-ग्रुप सटीकता (worst-group accuracy) को काफी सुधार दिया (47.9% से 70.6% तक)।
• सुरक्षा (NSFW हटाना): SITH ने असुरक्षित अवधारणाओं (नग्नता, हिंसा) को एनकोड करने वाले वेक्टर्स की पहचान की और उन्हें दबा दिया। संशोधित मॉडल ने सुरक्षित प्रश्नों पर Safe-CLIP (एक मॉडल जिसे विशेष रूप से सुरक्षा के लिए प्रशिक्षित किया गया है) से बेहतर प्रदर्शन किया और असुरक्षित प्रश्नों पर बेहतर मजबूती दिखाई।
• प्रदर्शन में सुधार: विशिष्ट डाउनस्ट्रीम कार्यों (जैसे, Flowers 102) के लिए प्रासंगिक सिंगुलर वेक्टर्स को बढ़ाकर, लेखकों ने ज़ीरो-शॉट वर्गीकरण सटीकता में 1.0 अंक तक सुधार किया।

C. मॉडल अनुकूलन विश्लेषण (Model Adaptation Analysis)

• फाइन-ट्यूनिंग तंत्र (Fine-Tuning Mechanism): लेखकों ने विश्लेषण किया कि CLIP फाइन-ट्यूनिंग के माध्यम से नए कार्यों (Flowers, Pets, Birds) के प्रति कैसे अनुकूलित होता है।
• स्थिर आधार (Stable Basis): उन्होंने पाया कि फाइन-ट्यूनिंग पूरी तरह से नए फीचर्स नहीं सीखती है। इसके बजाय, यह मौजूदा सिमेंटिक बेसिस में एक सूक्ष्म बदलाव प्रेरित करती है। सिंगुलर वेक्टर्स ज्यामितीय रूप से स्थिर रहते हैं, लेकिन उनके वेट्स (सिंगुलर वैल्यूज) को लक्षित कार्य के साथ संरेखित करने के लिए पुन: उन्मुख (reoriented) किया जाता है।
• कार्य संरेखण (Task Alignment): "डेल्टा" वेक्टर्स (प्री-ट्रेंड और फाइन-ट्यून्ड वेट्स के बीच का अंतर) को विशिष्ट डोमेन (जैसे, Flowers डेटासेट के लिए फूल-संबंधी अवधारणाओं) के साथ अर्थपूर्ण रूप से संरेखित पाया गया।

5. महत्व और प्रभाव (Significance and Impact)

• प्रतिमान परिवर्तन (Paradigm Shift): यह व्याख्यात्मकता को "एक्टिवेशन-आधारित" (डेटा-निर्भर) से "वेट-आधारित" (डेटा-स्वतंत्र) में ले जाता है, जो मॉडल के आंतरिक भाग का अधिक मजबूत और सार्वभौमिक दृश्य प्रदान करता है।
• सटीक नियंत्रण (Precision Control): यह प्रदर्शित करता है कि VLMs को व्यक्तिगत अर्थपूर्ण उप-स्थानों (semantic subspaces) के स्तर पर सर्जिकल रूप से संपादित किया जा सकता है, जो सुरक्षा और पूर्वाग्रह शमन के लिए फाइन-ट्यूनिंग का एक हल्का विकल्प प्रदान करता है।
• सार्वभौमिकता (Universality): निष्कर्ष बताते हैं कि विभिन्न VLM आर्किटेक्चर, स्केल या प्रशिक्षण डेटा की परवाह किए बिना, समान कार्यात्मक सर्किट (जैसे, रंगों, स्थानों के लिए विशिष्ट हेड्स) पर अभिसरण (converge) करते हैं, जो मैकेनिस्टिक इंटरप्रिटेबिलिटी में "यूनिवर्सैलिटी हाइपोथीसिस" का समर्थन करता है।
• दक्षता (Efficiency): यह मॉडल्स को समझने और संशोधित करने का एक तरीका प्रदान करता है जिसमें प्रशिक्षण की कम्प्यूटेशनल लागत या बड़े डेटासेट को क्यूरेट करने का लॉजिस्टिक बोझ नहीं है।

संक्षेप में, SITH CLIP के "ब्लैक बॉक्स" के भीतर एक शक्तिशाली लेंस प्रदान करता है, जो यह प्रकट करता है कि इसका ज्ञान उनके वेट मैट्रिसेस द्वारा परिभाषित स्थिर, व्याख्या योग्य और संपादन योग्य अर्थपूर्ण उप-स्थानों में व्यवस्थित है।