💬 NLP

Mechanistic Insights into Functional Sparsity in Multimodal LLMs via CoRe Heads

यह शोध पत्र प्रकट करता है कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स फंक्शनल स्पैरसिटी (functional sparsity) पर निर्भर करते हैं, जहाँ 'CoRe हेड्स' नामक अटेंशन हेड्स का एक विशिष्ट उपसमूह क्वेरी-प्रासंगिक विजुअल फीचर्स को निकालने के लिए महत्वपूर्ण है, जैसा कि उनके एब्लेशन (ablation) के दौरान प्रदर्शन पर पड़ने वाले महत्वपूर्ण प्रभाव और इन्फरेंस को तेज करने की उनकी क्षमता से प्रदर्शित होता है।

मूल लेखक: Ruoxi Sun, Quantong Qiu, Juntao Li, Zecheng Tang, Yihang Lou, Min Zhang

प्रकाशित 2026-06-05

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Ruoxi Sun, Quantong Qiu, Juntao Li, Zecheng Tang, Yihang Lou, Min Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: भीड़ में "विशेष एजेंटों" की खोज

एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) की कल्पना एक विशाल, हलचल भरे न्यूज़रूम के रूप में करें। इस न्यूज़रूम में हजारों रिपोर्टर (जिन्हें अटेंशन हेड्स कहा जाता है) एक साथ काम कर रहे हैं। उनका काम एक जटिल कहानी (टेक्स्ट प्रॉम्प्ट) को पढ़ना और एक अराजक दृश्य (एक इमेज या वीडियो) पर नज़र रखना है ताकि किसी विशिष्ट प्रश्न का उत्तर दिया जा सके।

आमतौर पर, हम सोचते हैं कि ये सभी रिपोर्टर समान रूप से मिलकर काम कर रहे हैं, और उत्तर खोजने के लिए पूरे कमरे को स्कैन कर रहे हैं। लेकिन इस पेपर ने एक आश्चर्यजनक बात खोजी: अधिकांश रिपोर्टर वास्तव में बिना किसी उद्देश्य के इधर-उधर देख रहे हैं या बैकग्राउंड के शोर (नॉइज़) को घूर रहे हैं।

इसके बजाय, लगभग 5% रिपोर्टरों का एक छोटा, विशिष्ट समूह है जो "स्पेशल एजेंट" के रूप में कार्य करता है। ये एजेंट ही एकमात्र ऐसे लोग हैं जिन्हें वास्तव में पता है कि विशिष्ट उत्तर खोजने के लिए कहाँ देखना है। लेखक इन्हें CoRe हेड्स (कॉन्टेक्स्ट-अवेयर रिट्रीवल हेड्स) कहते हैं।

जासूसी कार्य: उन्होंने एजेंटों को कैसे खोजा

इसे सिद्ध करने के लिए, शोधकर्ताओं ने अटेंशन मापने का एक नया तरीका विकसित किया जिसे RAM (रिट्रीवल अटेंशन मास) कहा जाता है।

उपमा: कल्पना करें कि आप एक व्यस्त पार्किंग स्थल में एक विशिष्ट लाल कार को खोज रहे हैं।
- "बुरे" रिपोर्टर (बॉटम हेड्स): वे आकाश, फुटपाथ, चलते हुए लोगों और पेड़ों को देखते हैं। वे उस कार के अलावा हर चीज़ से विचलित हो जाते हैं।
- "CoRe" रिपोर्टर: वे आकाश और लोगों को अनदेखा कर देते हैं। वे अपनी नज़रें सीधे लाल कार पर टिका देते हैं।

शोधकर्ताओं ने मापा कि प्रत्येक "रिपोर्टर" ने सही वस्तु (लाल कार) पर कितना ध्यान दिया बनाम गलत चीजों पर। उन्होंने पाया कि CoRe हेड्स लगातार सीधे उत्तर की ओर इशारा करते थे, जबकि अन्य केवल "शोर" थे।

"क्या होगा अगर" प्रयोग: एजेंटों को हटाना

यह देखने के लिए कि क्या ये स्पेशल एजेंट वास्तव में आवश्यक थे, शोधकर्ताओं ने एक खतरनाक प्रयोग किया: उन्होंने उन्हें बंद कर दिया।

परिणाम: जब उन्होंने केवल शीर्ष 5% सर्वश्रेष्ठ रिपोर्टरों (CoRe हेड्स) को चुप करा दिया, तो न्यूज़रूम ढह गया। मॉडल की सवाल पूछने की क्षमता नाटकीय रूप से गिर गई। यह बिल्कुल वैसा ही था जैसे भूलभुलैया से बाहर निकलने का रास्ता जानने वाले एकमात्र व्यक्ति को हटा देना और बाकी भीड़ से आपको रास्ता दिखाने के लिए कहना।
विपरीत स्थिति: जब उन्होंने "विचलित" होने वाले रिपोर्टरों (नीचे के 95%) को बंद कर दिया, तो मॉडल लगभग ठीक से काम करता रहा। इससे साबित हुआ कि "शोर" करने वाले रिपोर्टर अनावश्यक (रिडंडेंट) थे, लेकिन "स्पेशल एजेंट" अनिवार्य थे।

"बॉटलनेक" की खोज

पेपर ने यह भी गौर किया कि जैसे-जैसे मॉडल बड़े होते गए (छोटे से विशाल की ओर), एक पैटर्न दिखाई दिया।

छोटे मॉडल: स्पेशल एजेंट न्यूज़रूम में इधर-उधर बिखरे हुए थे, थोड़े अस्त-व्यस्त।
बड़े मॉडल: जैसे-जैसे मॉडल बढ़ा, स्पेशल एजेंट इमारत के मध्य-से-देर वाले हिस्सों में एक विशिष्ट, सघन क्लस्टर (समूह) में चले गए। उन्होंने एक बॉटलनेक बनाया। मॉडल ने महसूस किया, "हे, हमें हर किसी को देखने की ज़रूरत नहीं है; हमें बस इस विशिष्ट टीम की ज़रूरत है जो इस विशिष्ट कमरे में रहकर भारी काम संभाल सके।"

सुपरपावर: गति बढ़ाना

चूंकि शोधकर्ताओं ने सिद्ध कर दिया कि 95% रिपोर्टर केवल "जगह भरने" के लिए हैं और महत्वपूर्ण काम नहीं कर रहे हैं, इसलिए उन्होंने मॉडल को तेज़ बनाने के लिए एक नई रणनीति आजमाई।

रणनीति: उन्होंने 95% विचलित रिपोर्टरों से कहा, "अब आपको पूरे कमरे को देखने की ज़रूरत नहीं है। बस अपने ठीक सामने के क्षेत्र को देखें।" वहीं, उन्होंने 5% स्पेशल एजेंटों को पूरे कमरे को देखते रहने दिया।
परिणाम: इससे मॉडल की सटीकता खोए बिना इसकी गति काफी बढ़ गई (2 गुना तक)। यह ऐसा है जैसे भीड़ को कमरे के आर-पार चिल्लाने के बजाय केवल अपने पड़ोसियों से फुसफुसाकर बात करने के लिए कहना, जबकि केवल कुछ विशेषज्ञ ही महत्वपूर्ण समाचार चिल्लाकर सुनाते हैं। संदेश अभी भी पहुँच जाता है, लेकिन अराजकता (और इसमें लगने वाला समय) खत्म हो जाता है।

सारांश

यह पेपर बताता है कि मल्टीमॉडल AI मॉडल वास्तव में उत्तर खोजने के लिए अपनी पूरी दिमागी शक्ति का उपयोग नहीं कर रहे हैं। वे विजुअल सुराग खोजने के वास्तविक काम के लिए एक छोटी, विशिष्ट टीम (Co-Re हेड्स) पर निर्भर करते हैं, जबकि बाकी नेटवर्क केवल लाइट चालू रखने में मदद करता है। इस छोटी टीम की पहचान करने और उसे सुरक्षित रखने के साथ-साथ बाकी के काम को सरल बनाकर, हम इन AI मॉडल्स को काफी तेज़ और अधिक कुशल बना सकते हैं।

तकनीकी सारांश: CoRe हेड्स के माध्यम से मल्टीमॉडल LLMs में कार्यात्मक विरलता (Functional Sparsity) की यांत्रिक अंतर्दृष्टि

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने जटिल विजन-लैंग्वेज कार्यों में उल्लेखनीय दक्षता प्रदर्शित की है, फिर भी वे आंतरिक तंत्र जो शोर-शराबे वाले और अव्यवस्थित संदर्भों से क्वेरी-प्रासंगिक दृश्य विशेषताओं (visual features) को निकालने के तरीके को नियंत्रित करते हैं, अपारदर्शी बने हुए हैं। जबकि MLLMs उच्च-आयामी दृश्य संकेतों को सिमेंटिक स्पेस में मैप करते हैं, वास्तविक दुनिया के इनपुट में अक्सर अनावश्यक जानकारी होती है। मजबूत मल्टीमॉडल तर्क (reasoning) मॉडल की क्षमता पर निर्भर करता है कि वह कैसे विरल (sparse), कार्य-प्रासंगिक दृश्य संकेतों को चुनिंदा रूप से अलग करता है। हालांकि, मौजूदा व्याख्यात्मकता ढांचे (interpretability frameworks) मोटे सांख्यिकीय अनुमानों (जैसे, स्थानिक एंट्रॉपी, अटेंशन एग्रीगेशन) पर निर्भर करते हैं, जिनका मूल्यांकन मुख्य रूप से स्थिर छवियों पर किया जाता है। ये दृष्टिकोण घने या गतिशील स्पैटियोटेम्पोरल दृश्यों में सूक्ष्म, क्वेरी-कंडीशनड टोकन-स्तरीय अटेंशन को पकड़ने में विफल रहते हैं, जिससे MLLM के विफलता मोड और आंतरिक दक्षता को समझने में एक महत्वपूर्ण अंतर रह जाता है।

2. कार्यप्रणाली (Methodology)

लेखक क्रॉस-मोडल रिट्रीवल (retrieval) के लिए जिम्मेदार एक विशेष उपसमूह की पहचान करने और उसे चरित्रित करने के लिए एक व्यवस्थित ढांचा प्रस्तावित करते हैं, जिसे कॉन्टेक्स्ट-अवेयर रिट्रीवल (CoRe) हेड्स कहा जाता है।

2.1 रिट्रीवल अटेंशन मास (RAM)

इन हेड्स को अलग करने के लिए, लेखक एक टोकन-स्तरीय मीट्रिक पेश करते हैं जिसे रिट्रीवल अटेंशन मास (RAM) कहा जाता है। सामान्य अटेंशन मीट्रिक्स के विपरीत, RAM यह मात्रा निर्धारित करता है कि एक विशिष्ट हेड $h$ द्वारा निर्देशात्मक क्वेरी टोकन ( $q$ ) से ग्राउंड-ट्रुथ विजुअल एंटिटीज ( $V^*$ ) को कितना अटेंशन मास आवंटित किया गया है।
एक हेड के लिए RAM स्कोर को इस प्रकार परिभाषित किया गया है:
$M(h)_{RAM}(q \to V^*) = \mathbb{E}_{x \in q} \left[ \sum_{y \in \Omega(V^*)} A(h)_{x \to y} \right]$
जहाँ $\Omega(V^*)$ की-विजुअल एंटिटीज के टोकनाइज्ड स्थानिक या टेम्पोरल स्पैन का प्रतिनिधित्व करता है, और $A(h)_{x \to y}$ अटेंशन वेट है। उच्च RAM मान लक्षित रिट्रीवल (targeted retrieval) का संकेत देते हैं, न कि जेनेरिक अटेंशन संचय या "अटेंशन सिंक" का।

2.2 एकीकृत मूल्यांकन प्रोटोकॉल (Unified Evaluation Protocol)

यह अध्ययन विभिन्न मोडैलिटीज और जटिलताओं को कवर करने वाले चार विविध डेटासेट्स पर एक एकीकृत प्रोटोकॉल का उपयोग करता है:

RefCOCOg: स्टैटिक इमेज विजुअल ग्राउंडिंग (बाउंडिंग बॉक्स)।
VidSTG: वीडियो स्पैटियो-टेम्पोरल ग्राउंडिंग (टेम्पोरल ट्यूब्स)।
MMLongBench: लॉन्ग-कॉन्टेक्स्ट मल्टी-एविडेंस रीजनिंग (एविडेंस रीजन)।
MMDocIR: डॉक्यूमेंट-ग्राउंडेड रिट्रीवल (पेज/फिगर रीजन)।

लेखक निरंतर एनोटेशन (स्थानिक बॉक्स, टेम्पोरल ट्यूब्स) को आर्किटेक्चर-विशिष्ट रणनीतियों (जैसे, एडॉप्टर-आधारित मॉडल्स के लिए बाउंड्री टैगिंग, फिक्स्ड-एक्सपेंशन मॉडल्स के लिए यूनिफॉर्म स्लाइसिंग) का उपयोग करके डिस्क्रीट टोकन इंडेक्स $\Omega(V^*)$ में मैप करते हैं ताकि सटीक अटेंशन माप सुनिश्चित किया जा सके।

2.3 कॉज़ल इंटरवेंशन और त्वरण (Causal Interventions and Acceleration)

CoRe हेड्स की कार्यात्मक आवश्यकता को मान्य करने के लिए, लेखक इंफरेंस के दौरान अटेंशन मास्किंग के माध्यम से कॉज़ल इंटरवेंशन करते हैं। वे टॉप- $k$ CoRe हेड्स (RAM द्वारा रैंक किए गए) को एब्लेट (ablate) करते हैं और प्रदर्शन की तुलना बॉटम-रैंक्ड या रैंडम हेड्स को एब्लेट करने से करते हैं।
इसके अलावा, वे सिस्टम-स्तरीय त्वरण के लिए एक CoRe-गाइडेड हाइब्रिड अटेंशन मैकेनिज्म प्रस्तावित करते हैं। यह रणनीति प्रिफिल (prefill) चरण के दौरान शेष गैर-आवश्यक हेड्स को लोकल स्लाइडिंग विंडोज (स्ट्रीम स्पार्स अटेंशन) तक सीमित रखते हुए, शीर्ष- $k$ CoRe हेड्स के लिए पूर्ण ग्लोबल अटेंशन बनाए रखती है, जिसका लक्ष्य क्वाड्रेटिक कम्प्यूटेशनल कॉम्प्लेक्सिटी को कम करना है।

3. प्रमुख योगदान और परिणाम (Key Contributions and Results)

3.1 कार्यात्मक विरलता की खोज (Discovery of Functional Sparsity)

विश्लेषण एक गहन संरचनात्मक गुण को प्रकट करता है: कार्यात्मक विरलता (functional sparsity)। हेड्स का एक छोटा, विशिष्ट उपसमूह (CoRe हेड्स) समर्पित सूचना निष्कर्षक (information extractors) के रूप में कार्य करता है, जबकि अधिकांश हेड्स विसरित (diffuse), ग्लोबल अटेंशन पैटर्न प्रदर्शित करते हैं।

लोकलाइजेशन: Co-रे हेड्स संदर्भ-प्रासंगिक विजुअल एंटिटीज (जैसे, एक वीडियो में विशिष्ट ऑब्जेक्ट्स या डॉक्यूमेंट में टेक्स्ट रीजन) को सटीक रूप से स्थानीयकृत करते हैं, जिससे बैकग्राउंड नॉइज़ को फ़िल्टर किया जाता है।
विभेदन: लोअर-रैंक्ड हेड्स (Bottom Heads) अप्रासंगिक क्षेत्रों में अटेंशन बिखेर देते हैं और निर्देशों को ग्राउंड करने में विफल रहते हैं।

3.2 संरचनात्मक विकास और स्केलिंग (Structural Evolution and Scaling)

स्केलिंग पैटर्न: जैसे-जैसे मॉडल की क्षमता बढ़ती है (उदाहरण के लिए, 4B से 32B पैरामीटर्स तक), Co-रे हेड्स गहरे लेयर्स (जैसे, 32B मॉडल्स में लेयर्स 44-56) में एक अत्यधिक केंद्रित "बॉटलनेक" में परिवर्तित हो जाते हैं।
आर्किटेक्चरल डाइवर्जेंस: विभिन्न मॉडल परिवार अलग-अलग टोपोलॉजी प्रदर्शित करते हैं; Qwen3-VL स्पार्स लोकलाइजेशन दिखाता है, LLaVA-OneVision मध्यम फैलाव दिखाता है, और InternVL3.5 घने एक्टिवेशन प्रदर्शित करता है, जो यह सुझाव देता है कि स्ट्रक्चरल स्पैरसिटी एक डायनेमिक एलोकेशन रणनीति है जो विजुअल रिप्रेजेंटेशन डेंसिटी के प्रति प्रतिक्रियाशील है, न कि बेस LLM का एक अंतर्निहित गुण।

3.3 क्रॉस-डोमेन स्थिरता (Cross-Domain Stability)

Co-रे हेड्स एक "ग्लोबली कंसिस्टेंट, लोकली वेरिएंट" प्रतिमान प्रदर्शित करते हैं। लगभग 30 विशिष्ट हेड्स विविध कार्यों (RefCOCOg, VidSTG, MMLongBench, MMDocIR) में सार्वभौमिक रूप से सक्रिय रहते हैं, जिनमें एक्टिवेशन पैटर्न में उच्च स्पीयरमैन रैंक सहसंबंध (0.79–0.92) होता है। ये हेड्स मिडिल-टू-लेट लेयर्स में स्थिर रूप से केंद्रित होते हैं।

3.4 कॉज़ल आवश्यकता (Causal Necessity)

कॉज़ल इंटरवेंशन Co-रे हेड्स की गैर-अनावश्यक आवश्यकता की पुष्टि करते हैं:

प्रदर्शन में गिरावट: केवल शीर्ष 5% Co-रे हेड्स को एब्लेट करने से मल्टीमॉडल रीजनिंग प्रदर्शन में भारी गिरावट आती है (उदाहरण के लिए, Qwen3-VL-4B में सटीकता ~45% से गिरकर ~27% हो जाती है)।
अनावश्यकता (Redundancy): बॉटम-रैंक्ड हेड्स को एब्लेट करने का न्यूनतम प्रभाव पड़ता है, जो गैर-विशेषज्ञ हेड्स में महत्वपूर्ण कार्यात्मक रेडंडेंसी को दर्शाता है।

3.5 त्वरण और दक्षता (Acceleration and Efficiency)

इस विरलता का लाभ उठाते हुए, प्रस्तावित हाइब्रिड अटेंशन मैकेनिज्म महत्वपूर्ण स्पीडअप प्राप्त करता है:

स्पीडअप: लॉन्ग-कॉन्टेक्स्ट कार्यों (जैसे, MLVU, Video-MME) पर 2.3× तक प्रिफिल स्पीडअप, जबकि मजबूत प्रदर्शन बनाए रखा जाता है।
प्रदर्शन प्रतिधारण: कुछ कॉन्फ़िगरेशन में (जैसे, LLaVA-OneVision में 19.1% हेड्स को बनाए रखना), हाइब्रिड मॉडल पूर्ण-डेंस बेसलाइन से थोड़ा बेहतर प्रदर्शन करता है, जो संभवतः एक इम्प्लिसिट रेगुलराइजेशन प्रभाव के कारण है जो क्रॉस-मोडल नॉइज़ को फ़िल्टर करता है।
स्केलेबिलिटी: बड़े मॉडल (जैसे, Qwen3-VL-32B) नगण्य प्रदर्शन हानि के साथ उच्च स्तर की स्पारसिफिकेशन (4.9% हेड्स तक) को बनाए रखते हैं, जो बढ़ते पैमाने पर बढ़ी हुई कार्यात्मक रेडंडेंसी का सुझाव देता है।

4. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह MLLMs के भीतर कार्यात्मक विरलता के एक संरचनात्मक सिद्धांत को प्रकट करता है, जो मैकेनिस्टिक इंटरप्रिटेबिलिटी की वर्तमान समझ को परिष्कृत करता है। मुख्य निहितार्थ शामिल हैं:

मैकेनिस्टिक अंतर्दृष्टि: मल्टीमॉडल तर्क हेड्स के एक विरल, सुसंगत उपसमूह द्वारा शासित होता है जो क्रॉस-मोडल निष्कर्षण के लिए एक महत्वपूर्ण बॉटलनेक के रूप में कार्य करता है, जो अन्य हेड्स द्वारा किए जाने वाले ग्लोबल फीचर एग्रीगेशन से अलग है।
गैर-अनावश्यकता: ये विशेषज्ञ हेड्स कॉज़ली अपरिहार्य हैं; उन्हें नेटवर्क के बाकी हिस्सों द्वारा प्रतिस्थापित नहीं किया जा सकता है।
अनुकूलन क्षमता: यह खोज कुशल मॉडल अनुकूलन के लिए एक सैद्धांतिक आधार प्रदान करती है। महत्वपूर्ण हेड्स के एक छोटे अंश पर काम करके, बिना सिमेंटिक सिलेक्शन या टास्क परफॉरमेंस से समझौता किए, इंफरेंस को महत्वपूर्ण रूप से तेज किया जा सकता है (विशेष रूप से लॉन्ग-कॉन्टेक्स्ट परिदृश्यों में)।

लेखक सीमाओं का उल्लेख करते हैं, जैसे कि RAM गणना के लिए स्पष्ट ग्राउंड-ट्रुथ एनोटेशन पर निर्भरता और त्वरण के लिए वर्तमान में स्टेटिक हेड कॉन्फ़िगरेशन का उपयोग, जो यह सुझाव देता है कि भविष्य का कार्य डायनेमिक, इनपुट-एडाप्टिव रूटिंग रणनीतियों का पता लगा सकता है।