💻 computer science

Conceptualizing Embeddings: Sparse Disentanglement for Vision-Language Models

यह शोध पत्र CEDAR को प्रस्तुत करता है, जो एक पोस्ट-हॉक विधि है जो एक व्युत्क्रमणीय रोटेशन (invertible rotation) और टॉप- $k$ स्पैरसिटी बॉटलनेक के माध्यम से प्री-ट्रेन्ड विजन-लैंग्वेज मॉडल्स के आंतरिक अर्थों (internal semantics) को व्याख्यात्मक, अक्ष-संरेखित (axis-aligned) विशेषताओं में अलग करती है, जिससे आयाम बढ़ाए बिना या मूल ज्यामिति से समझौता किए बिना संरचनात्मक रचनाओं (compositional structures) को प्रकट किया जा सके।

मूल लेखक: Piotr Kubaty, Patryk Marszałek, Łukasz Struski, Adam Wróbel, Jacek Tabor, Marek Śmieja

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Piotr Kubaty, Patryk Marszałek, Łukasz Struski, Adam Wróbel, Jacek Tabor, Marek Śmieja

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, हाई-टेक लाइब्रेरी है जहाँ हर किताब (या छवि) को संख्याओं की एक अविश्वसनीय रूप से लंबी सूची द्वारा सारांशित किया जाता है। ये संख्याएँ उस छवि का "DNA" हैं, जिन्हें CLIP या BLIP जैसे शक्तिशाली AI मॉडल द्वारा बनाया गया है। समस्या यह है कि यह संख्याओं की सूची एक उलझे हुए जाल की तरह है। ये संख्याएँ आपस में इस तरह मिल गई हैं जैसे नूडल्स का एक कटोरा हो, जहाँ हर नूडल एक अलग विचार (जैसे "कुत्ता," "घास," या "सूर्यास्त") का प्रतिनिधित्व करता है, लेकिन वे सभी एक ही कटोरे में उलझ गए हैं। यह समझना कठिन है कि कौन सी संख्या किस चीज़ का अर्थ रखती है।

पुराना तरीका: एक बड़ा कटोरा बनाना
पहले, शोधकर्ता इस उलझे हुए नूडल्स को सुलझाने के लिए उन्हें एक बहुत बड़े कटोरे में डालने की कोशिश करते थे। उन्होंने "स्पार्स ऑटोएनकोडर्स" (Sparse Autoencoders - SAEs) जैसे उपकरणों का उपयोग करके सूची को लंबा कर दिया। सूची को लंबा करके, उन्हें उम्मीद थी कि वे विचारों को अलग कर पाएंगे ताकि प्रत्येक संख्या अपने आप में स्वतंत्र रूप से खड़ी हो सके।

नुकसान: यह डेटा के आकार को बदल देता है। यह एक पूर्ण वृत्त को बेहतर मापने के लिए उसे एक अंडाकार (oval) में खींचने जैसा है। आपको वह अलगाव तो मिल जाता है जिसे आप चाहते हैं, लेकिन आपने मूल आकार को विकृत कर दिया है, और आप बिना विवरण खोए इसे वापस मूल वृत्त में आसानी से नहीं बदल सकते।

नया तरीका: CEDAR (जादुई घुमाव/रोटेशन)
लेखक इस नए तरीके को CEDAR कहते हैं। "बड़ा कटोरा" बनाने के बजाय, वे पूछते हैं: "क्या हम बस कटोरे को इस तरह घुमा सकते हैं कि स्पैगेटी (नूडल्स) करीने से व्यवस्थित हो जाए?"

CEDAR कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. जादुई स्पिन (अनुकूली रोटेशन/Adaptive Rotation)

कल्पना कीजिए कि आपका इमेज डेटा अंतरिक्ष में तैरती हुई एक 3D वस्तु है, लेकिन यह एक अजीब कोण पर झुकी हुई है। इसके अंदर के "विचार" X, Y और Z अक्षों (axes) पर भ्रमित तरीके से बिखरे हुए हैं।
CEDAR एक विशेष स्पिन (एक गणितीय रोटेशन) सीखता है जो वस्तु को तब तक घुमाता है जब तक कि "विचार" पूरी तरह से अक्षों के साथ संरेखित (align) न हो जाएं।

स्पिन से पहले: "कुत्ते" का विचार 50 अलग-अलग संख्याओं में फैला हुआ है।
स्पिन के बाद: "कुत्ते" का विचार केवल एक या दो विशिष्ट संख्याओं में केंद्रित हो जाता है। अन्य संख्याएँ शून्य हो जाती हैं।

2. "टॉप-के" फ़िल्टर (स्पॉटलाइट)

एक बार जब डेटा घूम जाता है, तो CEDAR एक "टॉप-के" (Top-K) फ़िल्टर का उपयोग करता है। इसे एक अंधेरे कमरे में स्पॉटलाइट की तरह समझें।

मॉडल सभी संख्याओं को देखता है और कहता है, "ठीक है, इस छवि के लिए केवल शीर्ष 10 सबसे चमकीली संख्याएँ मायने रखती हैं। बाकी सब केवल बैकग्राउंड शोर (noise) है।"
यह अन्य संख्याओं को बंद कर देता है (उन्हें शून्य कर देता है)।
क्योंकि रोटेशन एकदम सही था, इसलिए वे 10 चमकीली संख्याएँ अब "छिपकली," "बैंगनी," या "किशोर" जैसे विशिष्ट विचारों का स्पष्ट प्रतिनिधित्व करती हैं।

3. जादुई दर्पण (प्रतिवर्तीता/Invertibility)

यह सबसे महत्वपूर्ण हिस्सा है। क्योंकि CEDAR ने डेटा को केवल घुमाया है, न कि खींचा या सिकोड़ा है, इसलिए यह प्रक्रिया प्रतिवर्ती (reversible) है।

आप उन 10 चमकीली संख्याओं को ले सकते हैं, डेटा को दूसरी दिशा में घुमा सकते हैं, और मूल इमेज डेटा को बिल्कुल सटीक रूप से वापस प्राप्त कर सकते हैं।
पुराने "बड़े कटोरे" वाले तरीके के विपरीत, इसमें कुछ भी खोता नहीं है। मूल ज्यामिति (geometry) पूरी तरह से सुरक्षित रहती है।

यह वास्तव में क्या करता है?

शोधकर्ताओं ने दिखाया कि एक बार जब डेटा इस तरह से सुलझ जाता है, तो AI खुद को दो बहुत ही मानवीय तरीकों से समझा सकता है:

इमेज क्लासिफायर के लिए (जैसे CLIP): AI उन विशिष्ट संख्याओं की ओर इशारा कर सकता है जो "ऑन" हैं और कह सकता है, "यह छवि एक कुत्ते, एक चट्टान और घास के बारे में है।" यह एक ब्लेंडेड स्मूदी के बजाय सामग्री की सूची रखने जैसा है।
इमेज जनरेटर के लिए (जैसे BLIP): AI उन्हीं कुछ "ऑन" संख्याओं का उपयोग करके एक वाक्य लिख सकता है: "एक चट्टान पर खड़ा कुत्ता।"

परिणाम

शोधकर्ताओं ने इस परीक्षण को पुराने "बड़े कटोरे" वाले तरीकों के मुकाबले टेस्ट किया। उन्होंने पाया कि:

यह उतना ही अच्छा काम करता है: यह पुराने तरीकों के समान सटीकता के साथ मूल छवि को फिर से बना सकता है।
यह अधिक कुशल है: अच्छे परिणाम प्राप्त करने के लिए इसे डेटा की सूची को लंबा करने की आवश्यकता नहीं है।
इंसान इसे बेहतर मानते हैं: परीक्षणों में, लोगों ने पाया कि CEDAR से मिलने वाले स्पष्टीकरण (जैसे, "एक चट्टान पर कुत्ता") पुराने तरीकों के स्पष्टीकरण की तुलना में बहुत अधिक सटीक और समझने में आसान थे, जो अक्सर अजीब या अप्रासंगिक शब्दों को चुन लेते थे।

मुख्य निष्कर्ष
यह शोध पत्र सुझाव देता है कि AI के दिमाग में "अव्यवस्था" इसलिए नहीं है क्योंकि उन्हें विचारों को संग्रहीत करने के लिए अधिक स्थान की आवश्यकता है। यह केवल इसलिए है क्योंकि विचार गलत दिशा में बैठे हैं। डेटा को देखने के सही कोण को खोजकर, हम AI के विचारों को बिना उसके मस्तिष्क का आकार बदले, स्पष्ट, संक्षिप्त और समझने में आसान बना सकते हैं।

तकनीकी सारांश: वैचारिक एम्बेडिंग (Conceptual Embeddings): विजन-लैंग्वेज मॉडल्स के लिए स्पार्स डिसेंटैंगलमेंट

समस्या विवरण (Problem Statement)
विज़न-लैंग्वेज मॉडल्स (VLMs) जैसे कि CLIP, BLIP, और CoCa, शक्तिशाली उच्च-आयामी साझा एम्बेडिंग्स (high-dimensional shared embeddings) सीखते हैं, फिर भी उनकी आंतरिक अर्थपूर्ण संरचना (semantic structure) अपारदर्शी बनी रहती है। मौजूदा व्याख्यात्मकता विधियाँ (interpretability methods) महत्वपूर्ण सीमाओं का सामना करती हैं:

स्थानीय स्पष्टीकरण (Local Explanations): सैलिएंसी मैप्स (saliency maps) या एट्रिब्यूशन विधियाँ जैसे तकनीकें प्रासंगिक इनपुट क्षेत्रों की पहचान तो करती हैं, लेकिन एम्बेडिंग स्पेस के वैश्विक संगठन को प्रकट करने में विफल रहती हैं।
अवधारणा संरेखण (Concept Alignment): TCAV या लीनियर प्रोबिंग जैसी विधियाँ एम्बेडिंग्स को पूर्व-निर्धारित अवधारणाओं के साथ संरेखित करती हैं, लेकिन वे अक्सर यह मान लेती हैं कि अर्थपूर्ण अवधारणाएँ मूल ज्यामिति (original geometry) के भीतर पहले से ही रैखिक रूप से विभाज्य (linearly separable) हैं, जो लचीलेपन को सीमित करती हैं।
स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders - SAEs): जबकि SAEs ओवरकम्प्लीट डिक्शनरी (overcomplete dictionaries) सीखकर व्याख्या योग्य, मोनोसेमेंटिक फीचर्स निकालने में सफल रहे हैं, वे प्रतिनिधित्व के आयाम (dimensionality) का विस्तार करते हैं। यह विस्तार मूल एम्बेडिंग स्पेस की ज्यामिति को बदल देता है, रेडंडेंसी (redundancy) पेश करता है, और लॉस-पूर्ण (lossy), नॉन-इन्वर्टिबल प्रतिनिधित्व उत्पन्न करता है, जिससे मूल मॉडल के साथ निष्ठापूर्वक संबंध बनाना कठिन हो जाता है।

लेखक परिकल्पना करते हैं कि VLMs के प्रतिनिधित्व में दिखने वाला एंटैंगलमेंट (entanglement) अपर्याप्त आयामीता (dimensionality) के बजाय बेसिस मिसअलाइनमेंट (basis misalignment) के कारण हो सकता है, जिससे यह संकेत मिलता है कि मूल आयामीता के भीतर ही स्पेस को पुनर्गठित करके अर्थपूर्ण संरचना को प्रकट किया जा सकता है।

कार्यप्रणाली: CEDAR
लेखक CEDAR (Conceptual Embedding Disentanglement via Adaptive Rotation) प्रस्तावित करते हैं, जो एक पोस्ट-हॉक विधि है जो एम्बेडिंग स्पेस के आयाम को बढ़ाए बिना एक इन्वर्टिबल रीपैरामीट्राइजेशन (invertible reparameterization) सीखती है।

इन्वर्टिबल ट्रांसफॉर्मेशन (Invertible Transformation): CEDAR एक ऑर्थोगोनल लीनियर ऑपरेटर $U$ (जिसे $U = \exp(A - A^\top)$ के रूप में पैरामीटराइज किया गया है) की खोज करता है जो मूल एम्बेडिंग $z$ को एक नए स्पेस $\tilde{z} = U(z - b)$ में बदल देता है, जहाँ $b$ माध्य (mean) एम्बेडिंग है। ऑर्थोगोनैलिटी बाधा यह सुनिश्चित करती है कि ट्रांसफॉर्मेशन मूल स्पेस की ज्यामिति और नॉर्म (norm) को सुरक्षित रखता है ( $\|Uz\|_2 = \|z\|_2$ ) और पूरी तरह से इन्वर्टिबल है।
स्पैरसिटी बॉटलनेक (Sparsity Bottleneck): रूपांतरित स्पेस में, केवल सबसे बड़े पूर्ण परिमाण (absolute magnitudes) वाले $k$ कोऑर्डिनेट्स को बनाए रखने के लिए एक टॉप-k ऑपरेटर ( $\Pi_k$ ) लागू किया जाता है, बाकी को शून्य सेट कर दिया जाता है। यह एक स्पार्स प्रतिनिधित्व को लागू करता है जहाँ अर्थपूर्ण जानकारी आयामों के एक छोटे समूह में केंद्रित होती है।
पुनर्निर्माण उद्देश्य (Reconstruction Objective): मॉडल को मूल एम्बेडिंग और मूल स्पेस में वापस मैप किए गए स्पार्स संस्करण के बीच पुनर्निर्माण त्रुटि (reconstruction error) को कम करने के लिए प्रशिक्षित किया जाता है:
$\min_U \mathbb{E}_z \left[ \| z - (U^{-1}\Pi_k(U(z - b)) + b) \|_1 \right]$
चूंकि $U$ इन्वर्टिबल है, इसलिए मूल एम्बेडिंग को निष्ठापूर्वक पुनर्गठित किया जा सकता है, जो टेक्स्ट-इमेज अलाइनमेंट जैसे कार्यों के लिए आवश्यक ज्यामितीय संरचना को सुरक्षित रखता है।
प्रशिक्षण रणनीति (Training Strategy): टॉप-k ऑपरेटर द्वारा प्रेरित नॉन-स्मूथ ट्रांजिशन को संभालने के लिए, लेखक एक करिकुलम लर्निंग दृष्टिकोण अपनाते हैं, जो घने पुनर्निर्माण (dense reconstructions) से शुरू होकर धीरे-धीरे लक्षित स्पार्स रिजीम (sparse regime) की ओर बढ़ता है। प्रशिक्षण के दौरान, मजबूती (robustness) में सुधार के लिए $k$ को रैंडमली सैंपल किया जाता है।
व्याख्यात्मकता मोड (Interpretability Modes):
- अवधारणा-आधारित (Concept-Based, CLIP-की तरह): रूपांतरित स्पेस में व्यक्तिगत अक्षों (axes) को एक टेक्स्ट एनकोडर (जैसे, CLIP टेक्स्ट एम्बेडिंग्स) के साथ कोसाइन सिमिलरिटी का उपयोग करके टेक्स्टुअल कॉन्सेप्ट्स के साथ संरेखित किया जाता है।
- मुक्त-रूप (Free-Form, Generative): जेनेरेटिव मॉडल्स (जैसे, BLIP) के लिए, स्पार्स पुनर्निर्मित एम्बेडिंग्स को टेक्स्ट डिकोडर को पास किया जाता है ताकि प्राकृतिक भाषा विवरण उत्पन्न किए जा सकें, जिससे सक्रिय कोऑर्डिनेट्स के एक छोटे सेट से वाक्य-स्तर की व्याख्याएं प्राप्त होती हैं।

प्रमुख योगदान (Key Contributions)

डायमेंशनलिटी-प्रिजर्विंग डिसेंटैंगलमेंट: SAEs के विपरीत, CEDAR एम्बेडिंग डायमेंशन का विस्तार किए बिना स्पार्स, डिसेंटैंगल्ड प्रतिनिधित्व प्राप्त करता है, जिससे ज्यामितीय विरूपण (geometric distortion) और रेडंडेंसी से बचा जा सकता है।
इन्वर्टिबिलिटी (Invertibility): यह विधि मूल एम्बेडिंग के निष्ठापूर्ण पुनर्निर्माण की गारंटी देती है, यह सुनिश्चित करती है कि स्पष्टीकरण मूल मॉडल के प्रतिनिधित्व स्पेस से सीधे जुड़े हुए हैं।
एकीकृत ढांचा (Unified Framework): CEDAR एक ही ढांचे के भीतर कॉन्सेप्ट-आधारित अलाइनमेंट (न्यूरॉन्स को टेक्स्ट से मिलाना) और फ्री-फॉर्म जनरेशन (स्पार्स वेक्टर्स को टेक्स्ट में डिकोड करना) दोनों का समर्थन करता है।
परिकल्पना सत्यापन (Hypothesis Validation): यह कार्य अनुभवजन्य साक्ष्य प्रदान करता है कि VLMs में अर्थपूर्ण संरचना को एक उपयुक्त बेसिस परिवर्तन (change of basis) के माध्यम से उजागर किया जा सकता है, जो व्याख्यात्मकता के लिए ओवरकम्प्लीट एक्सपेंशन की आवश्यकता को चुनौती देता है।

परिणाम (Results)
लेखक मानक बेंचमार्क (ImageNet-1K) पर और यूजर स्टडीज के माध्यम से CEDAR का MSAE, TopK, ReLU, BatchTopK और डेंस बेसलाइन्स के विरुद्ध मूल्यांकन करते हैं।

पुनर्निर्माण-स्पैरसिटी ट्रेड-ऑफ (Reconstruction-Sarity Trade-off): CEDAR पुनर्निर्माण त्रुटि (FVU) और स्पैरसिटी (सक्रिय फीचर्स की संख्या $K$ ) के बीच एक प्रतिस्पर्धी ट्रेड-ऑफ प्राप्त करता है। लो-डायमेंशनल रिजीम में, यह अन्य विधियों की तुलना में तुलनीय पुनर्निर्माण फिडेलिटी (fidelity) प्राप्त करने के लिए अक्सर कम सक्रिय घटकों की आवश्यकता रखता है।
सिमेंटिक प्रिजर्वेशन (Semantic Preservation): सेंटर्ड कर्नल नियरएस्ट नेबर अलाइनमेंट (CKNNA) और लीनियर प्रोबिंग क्रॉस-एन्ट्रॉपी (LP) जैसे मेट्रिक्स दर्शाते हैं कि CEDAR, सबसे मजबूत बेसलाइन्स (जैसे, BatchTopK) और डेंस मॉडल के समान अर्थपूर्ण संरचना और डाउनस्ट्रीम टास्क प्रदर्शन को सुरक्षित रखता है।
यूजर स्टडी (User Study):
- वरीयता (Preference): प्रतिभागियों ने लगातार CEDAR के कॉन्सेप्ट स्पष्टीकरणों को MSAE की तुलना में अधिक पसंद किया, उन्हें इमेज कंटेंट के अधिक प्रतिनिधि के रूप में पाया।
- प्रासंगिकता (Relevance): मानव मूल्यांकनकर्ताओं द्वारा CEDAR के सुझाए गए कॉन्सेप्ट्स को MSAE की तुलना में काफी अधिक बार प्रासंगिक के रूप में चुना गया।
- विवरण की गुणवत्ता (Description Quality): जब इसका उपयोग टेक्स्ट डिकोडर के माध्यम से कैप्शन उत्पन्न करने के लिए किया गया, तो CEDAR के स्पार्स रिप्रेजेंटेशन ने फुल डेंस मॉडल के समान दरों पर छवियों का वर्णन किया, जो बिना डिसेंटैंगलमेंट वाले स्पार्स मॉडल्स की तुलना में बहुत बेहतर था।
गुणात्मक विश्लेषण (Qualitative Analysis): विजुअल उदाहरण दिखाते हैं कि CEDAR सुसंगत, उच्च-स्तरीय सिमेंटिक कॉन्सेप्ट्स (जैसे, "dog," "husky," "wooden") की पहचान करता है और सटीक कैप्शन उत्पन्न करता है, जबकि बेसलाइन्स अक्सर शोर वाले या निचले-स्तर के फीचर्स को रिट्रीव करते हैं।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि CEDAR यह प्रदर्शित करता है कि आधुनिक विज़न-लैंग्वेज एम्बेडिंग्स में दिखने वाला एंटैंगलमेंट काफी हद तक बेसिस मिसअलाइनमेंट का परिणाम है, न कि डायमेंशन की कमी का। एक उपयुक्त, इन्वर्टिबल कोऑर्डिनेट सिस्टम सीखकर, यह विधि एक कंपोजिशनल स्ट्रक्चर को प्रकट करती है जहाँ सिमेंटिक फैक्टर्स कुछ चुनि चुनिंदा एक्सिस-अलाइन्ड डायमेंशन्स में केंद्रित होते हैं।

लेखक CEDAR को एक लचीले, मॉडल-अग्नोस्टिक फ्रेमवर्क के रूप में प्रस्तुत करते हैं जो कॉन्सेप्ट-आधारित और फ्री-फॉर्म व्याख्यात्मकता को एकीकृत करता है। वे इस बात पर जोर देते हैं कि उनका दृष्टिकोण ओवरकम्प्लीट एक्सपेंशन की आवश्यकता को समाप्त करता है, जो सीखे गए प्रतिनिधित्वों को समझने और हेरफेर करने का एक अधिक निष्ठापूर्ण और सूचना-कुशल तरीका प्रदान करता है। यह कार्य सुझाव देता है कि उपयुक्त रीपैरामीट्राइजेशन मूल मॉडल की ज्यामितीय अखंडता को बनाए रखते हुए एंटैंगलमेंट को हल कर सकता है।

1. जादुई स्पिन (अनुकूली रोटेशन/Adaptive Rotation)

2. "टॉप-के" फ़िल्टर (स्पॉटलाइट)

3. जादुई दर्पण (प्रतिवर्तीता/Invertibility)

यह वास्तव में क्या करता है?

परिणाम

इसी तरह के और पेपर