💬 NLP

Why 1 + 1 < 1 in Visual Token Pruning: Beyond Naive Integration via Multi-Objective Balanced Covering

यह शोध पत्र मल्टी-ऑब्जेक्टिव बैलेंस्ड कवरिंग (MoB) को प्रस्तुत करता है, जो एक नवीन विज़ुअल टोकन प्रूनिंग फ्रेमवर्क है जो हॉर्सडॉर्फ डिस्टेंस (Hausdorff distance) और $\epsilon$ -कवरिंग थ्योरी का लाभ उठाकर एक क्लोज्ड-फॉर्म एरर बाउंड प्राप्त करता है और प्रॉम्प्ट अलाइनमेंट के साथ विज़ुअल प्रिजर्वेशन के बीच गतिशील रूप से संतुलन बनाता है, जिससे विविध मल्टीमॉडल मॉडल्स में न्यूनतम प्रदर्शन हानि के साथ महत्वपूर्ण इन्फरेंस त्वरण प्राप्त होता है।

मूल लेखक: Yangfu Li, Hongjian Zhan, Tianyi Chen, Qi Liu, Yue Lu

प्रकाशित 2026-03-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yangfu Li, Hongjian Zhan, Tianyi Chen, Qi Liu, Yue Lu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Visual Token Pruning में 1 + 1 < 1" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: ओवरलोडेड शेफ (Overloaded Chef)

कल्पना कीजिए कि LLaVA जैसा एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) एक शानदार शेफ है। यह शेफ एक तस्वीर के बारे में सवाल का जवाब देने की कोशिश कर रहा है (जैसे, "पार्क में कुत्ता क्या कर रहा है?")।

तस्वीर को समझने के लिए, शेफ उस इमेज को हज़ारों छोटे पहेली के टुकड़ों में तोड़ देता है जिन्हें "टोकन" (tokens) कहा जाता है।

समस्या: हाई-रेज़ोल्यूशन वाली तस्वीरें बहुत अधिक टोकन (जैसे 2,000 पहेली के टुकड़े) बना देती हैं। शेफ को हर एक टुकड़े को देखना पड़ता है। इससे शेफ धीमा, थका हुआ और चलाने में महंगा (उच्च कंप्यूटेशनल लागत) हो जाता है।
लक्षतः: हम चाहते हैं कि शेफ उबाऊ, बेकार पहेली के टुकड़ों (जैसे नीला आसमान या खाली घास) को फेंक दे और केवल महत्वपूर्ण टुकड़ों (जैसे कुत्ता, गेंद, पेड़) को रखे ताकि शेफ सवाल का सही जवाब देने की क्षमता खोए बिना तेज़ी से काम कर सके।

पुराना तरीका: दो खराब रणनीतियाँ

पहले, शोधकर्ताओं ने यह तय करने के लिए दो मुख्य तरीके आज़माए कि किन टुकड़ों को रखना है:

"विजुअल प्रिजर्वेशन" शेफ (Visual Preservation - VP): यह शेफ तस्वीर को देखता है और कहता है, "मुझे सबसे रंगीन और विस्तृत टुकड़े रखने की ज़रूरत है ताकि इमेज अच्छी दिखे।"
- परिणाम: यह दृश्य का वर्णन करने के लिए बेहतरीन है, लेकिन शायद उन विशिष्ट विवरणों को मिस कर दे जिनके बारे में उपयोगकर्ता ने पूछा है।
"प्रॉम्प्ट एलाइनमेंट" शेफ (Prompt Alignment - PA): यह शेफ सवाल को देखता है ("कुत्ता कहाँ है?") और कहता है, "मुझे केवल वे टुकड़े चाहिए जो कुत्ते जैसे दिखते हों।"
- परिणाम: यह विशिष्ट प्रश्न का उत्तर देने के लिए बेहतरीन है, लेकिन संदर्भ (context) को मिस कर सकता है (जैसे कि कुत्ता एक व्यक्ति के हाथ में लीश से बंधा हुआ है)।

हैरानी की बात: शोधकर्ताओं ने इन दोनों शेफों को मिलाने (1 + 1) की कोशिश की ताकि दोनों दुनिया का सर्वश्रेष्ठ प्राप्त किया जा सके। लेकिन आश्चर्यजनक रूप से, 1 + 1 < 1 हुआ। मिला हुआ शेफ अक्सर अकेले उपयोग किए गए किसी भी एक शेफ की तुलना में बदतर प्रदर्शन करता था! क्यों? क्योंकि दोनों शेफ एक ही पहेली के टुकड़ों के लिए लड़ रहे थे, और उन्हें यह नहीं पता था कि काम कैसे बाँटा जाए।

नई खोज: यह "कपलिंग" (Coupling) पर निर्भर करता है

लेखकों ने पाया कि प्रश्न (Prompt) और इमेज (Visuals) के बीच का संबंध कार्य के आधार पर बदल जाता है। वे इसे "प्रॉम्प्ट-विजुअल कपलिंग" (Prompt-Visual Coupling) कहते हैं।

दो परिदृश्यों की कल्पना करें:

परिदृश्य A: "स्ट्रॉन्ग कपलिंग" (आसान पहेली)
- उदाहरण: "कार किस रंग की है?" (इमेज: एक चमकीली लाल फेरारी)।
- वाइब: जवाब तस्वीर में ही मौजूद है। प्रश्न और इमेज आपस में मजबूती से जुड़े हुए हैं।
- रणनीति: आपको जवाब खोजने की ज़रूरत नहीं है। आपको बस पूरी इमेज का एक अच्छा, सामान्य ओवरव्यू रखने की ज़रूरत है। यहाँ विजुअल प्रिजर्वेशन (Visual Preservation) जीतता है।
परिदृश्य B: "वीक कपलिंग" (कठिन पहेली)
- उदाहरण: "बैकग्राउंड में साइन बोर्ड पर क्या लिखा है?" (इमेज: एक व्यस्त सड़क का दृश्य)।
- वाइब: जवाब एक बहुत ही छोटे, विशिष्ट कोने में छिपा हुआ है। प्रश्न बहुत विशिष्ट है, लेकिन इमेज बहुत बड़ी और अस्त-व्यस्त है।
- रणनीति: आपको उस विशिष्ट टेक्स्ट को खोजने की ज़रूरत है। यहाँ प्रॉम्प्ट एलाइनमेंट (Prompt Alignment) जीतता है। यदि आप केवल इमेज के "सुंदर" हिस्सों को रखते हैं, तो आप साइन बोर्ड को मिस कर देंगे।

पुराने तरीकों की गलती: उन्होंने हर कार्य के लिए एक ही "रेसिपी" का उपयोग किया। उन्होंने दोनों शेफों को समान रूप से संतुलित करने की कोशिश की, चाहे वह कार्य एक "आसान पहेली" हो या "कठिन पहेली"।

समाधान: MoB (मल्टी-ऑब्जेक्टिव बैलेंस्ड कविंग)

लेखकों ने एक नया तरीका बनाया जिसे MoB कहा जाता है। MoB को एक स्मार्ट मैनेजर के रूप में सोचें जो कार्य की विशिष्ट कठिनाई के आधार पर पहेली के टुकड़ों को असाइन करता है।

MoB इस समस्या को कालीन (rugs) से फर्श ढकने की तरह मानता है:

लक्ष्य: आपके पास कालीनों का एक सीमित बजट (वे टोकन जिन्हें आप रखना चाहते हैं) है। आपको "क्वेश्चन एरिया" और "इमेज एरिया" दोनों को कवर करना है।
ट्रेड-ऑफ: यदि आप अपने सभी कालीनों का उपयोग "क्वेश्चन एरिया" को पूरी तरह से कवर करने के लिए करते हैं, तो आप "इमेज एरिया" को खुला छोड़ देते हैं। यदि आप पूरी इमेज को कवर करते हैं, तो आप विशिष्ट प्रश्न को मिस कर सकते हैं।
जादुई चाल: MoB गणना करता है कि प्रश्न और इमेज एक दूसरे से कितने "दूर" हैं (कपलिंग)।
- यदि वे दूर हैं (Weak Coupling): मैनेजर कहता है, "हमें विशिष्ट उत्तर खोजने के लिए अधिक बजट खर्च करने की आवश्यकता है!" यह प्रॉम्प्ट एलाइनमेंट को अधिक टोकन आवंटित करता है।
- यदि वे करीब हैं (Strong Coupling): मैनेजर कहता है, "जवाब हर जगह है; चलिए बस एक विस्तृत दृश्य रखते हैं।" यह विजुअल प्रिजर्वेशन को अधिक टोकन आवंटित करता है।

यह एक बड़ी बात क्यों है?

यह गणितीय रूप से सिद्ध है: लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने यह साबित करने के लिए ज्यामिति और गणित (Hausdorff distance और covering theory) का उपयोग किया कि सर्वोत्तम परिणामों के लिए बजट को बिल्कुल कैसे विभाजित किया जाए।
यह ट्रेनिंग-फ्री है: आपको AI को फिर से सिखाने की आवश्यकता नहीं है। आप बस MoB को प्लग इन करते हैं, और यह काम करता है।
यह तेज़ है: यह AI को बिना सटीकता खोए 1.3 से 1.5 गुना तेज़ कर देता है।
परिणाम:
- एक मानक टेस्ट (LLaVA-1.5) पर, MoB ने 88.9% विजुअल टोकन को हटाते हुए 96.4% प्रदर्शन बनाए रखा।
- यह वीडियो पर भी काम करता है, केवल 6.6% टोकन के साथ 97.9% प्रदर्शन बनाए रखता है।

मुख्य निष्कर्ष (Takeaway)

यह पेपर हमें सिखाता है कि एक आकार सबके लिए फिट नहीं बैठता (one size does not fit all)। AI की दुनिया में, दो अच्छी रणनीतियों को अंधाधुंध मिलाने से अक्सर गड़बड़ी हो जाती है। इसके बजाय, आपको एक स्मार्ट सिस्टम (MoB) की आवश्यकता है जो प्रश्न और इमेज के बीच के संबंध को समझता है, और गतिशील रूप से यह तय करता है कि "जवाब खोजने" बनाम "तस्वीर को सुंदर बनाए रखने" पर कितना ध्यान देना है।

संक्षेप में: MoB वह स्मार्ट मैनेजर है जो जानता है कि कब एक जासूस (सुरागों की तलाश में) बनना है और कब एक चित्रकार (दृश्य को संरक्षित करने में) बनना है, जिससे यह सुनिश्चित होता है कि AI चाहे किसी भी कार्य का सामना करे, वह तेज़ और सटीक बना रहे।

यहाँ शोध पत्र "Why 1 + 1 < 1 in Visual Token Pruning: Beyond Naïve Integration via Multi-Objective Balanced Covering" (MoB) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) को विजुअल इनपुट के उच्च स्थानिक अतिरेक (spatial redundancy) के कारण महत्वपूर्ण कम्प्यूटेशनल ओवरहेड का सामना करना पड़ता है, क्योंकि इन्हें बड़ी संख्या में टोकन के रूप में एनकोड किया जाता है। विजुअल टोकन प्रूनिंग (Visual token pruning) एक प्रतिनिधि उपसमूह (representative subset) चुनने के माध्यम से इसे कम करने का लक्ष्य रखती है।

मौजूदा दृष्टिकोण आम तौर पर दो श्रेणियों में आते हैं:

विजुअल प्रिजर्वेशन (Visual Preservation - VP): विजुअल सैलिएंस (salience) या रेडंडेंसी रिडक्शन (जैसे समान टोकन को मर्ज करना) के आधार पर टोकन को बनाए रखता है।
प्रॉम्प्ट अलाइनमेंट (Prompt Alignment - PA): क्रॉस-मोडल अटेंशन का उपयोग करके टेक्स्ट प्रॉम्प्ट के लिए सबसे प्रासंगिक टोकन का चयन करता है।

मुख्य मुद्दा: हालिया मल्टी-ऑब्जेक्टिव विधियाँ VP और PA दोनों को एकीकृत करने का प्रयास करती हैं। हालाँकि, लेखक देखते हैं कि इन ऑब्जेक्टिव्स को सरल रूप से संयोजित करने से अक्सर सिंगल-ऑब्जेक्टिव बेसलाइन्स की तुलना में असंगत या उप-इष्टतम प्रदर्शन प्राप्त होता है (जिसे "1 + 1 < 1" की घटना कहा जाता है)। ऐसा इसलिए होता है क्योंकि मौजूदा विधियाँ स्थिर रणनीतियों का उपयोग करती हैं जो विभिन्न कार्यों में VP और PA के परिवर्तित सापेक्ष महत्व को अनदेखा करती हैं। विशेष रूप से, इन ऑब्जेक्टिव्स की प्रभावशीलता प्रॉम्प्ट-विजुअल कपलिंग (Prompt-Visual Coupling) (प्रॉम्प्ट और विजुअल टोकन के बीच सिमेंटिक दूरी) पर निर्भर करती है, जो विभिन्न बेंचमार्क (जैसे कि TextVQA में कमजोर कपलिंग बनाम MMB में मजबूत कपलिंग) में काफी भिन्न होती है।

2. कार्यप्रणाली: मल्टी-ऑब्जेक्टिव बैलेंस्ड कवरिंग (MoB)

लेखक MoB प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री प्रूनिंग एल्गोरिदम है और जो ज्योमेट्रिक कवरिंग थ्योरी और हॉसडॉर्फ डिस्टेंस (Hausdorff distance) विश्लेषण पर आधारित है।

A. सैद्धांतिक आधार (Theoretical Foundation)

एरर बाउंड का व्युत्पत्ति (Error Bound Derivation): पेपर विजुअल टोकन प्रूनिंग के लिए पहला क्लोज्ड-फॉर्म एरर बाउंड व्युत्पन्न करता है। यह प्रूनिंग एरर को निम्नलिखित के फलन (function) के रूप में मॉडल करता है:
- विजुअल प्रिजर्वेशन एरर ( $d_H(S_v, V)$ )।
- प्रॉम्प्ट अलाइनमेंट एरर ( $d_H(S_p, P)$ )।
- प्रॉम्प्ट-विजुअल कपलिंग ( $\eta$ ): पूर्ण विजुअल सेट और प्रॉम्प्ट सेट के बीच हॉसडॉर्फ डिस्टेंस।
ज्योमेट्रिक ट्रेड-ऑफ (Geometric Trade-off): $\epsilon$ $ϵ$ -कवरिंग थ्योरी का उपयोग करते हुए, लेखक VP और PA के बीच एक अंतर्निहित ट्रेड-ऑफ को सिद्ध करते हैं। एक निश्चित टोकन बजट $K$ $K$ के तहत, एक ऑब्जेक्टिव में सुधार अनिवार्य रूप से दूसरे को खराब करता है। इष्टतम संतुलन $\eta$ $η$ द्वारा निर्धारित होता है:
- कमजोर कपलिंग (Weak Coupling - बड़ा $\eta$ ): प्रॉम्प्ट अधिकांश विजुअल क्षेत्रों से सिमेंटिक रूप से दूर है। "गोल्डन एविडेंस" खोजने के लिए उच्च प्रॉम्प्ट अलाइनमेंट महत्वपूर्ण है।
- मजबूत कपलिंग (Strong Coupling - छोटा $\eta$ ): प्रॉम्प्ट विजुअल कंटेंट से निकटता से संबंधित है। विजुअल प्रिजर्वेशन अधिक कुशल हो जाता है क्योंकि अलाइनमेंट स्वाभाविक रूप से होता है।

B. MoB एल्गोरिदम

MoB प्रूनिंग को एक बाय-ऑब्जेक्टिव कवरिंग समस्या के रूप में पुनर्गठित करता है। यह रिटेंड टोकन सेट $S$ को दो विलगित (disjoint) उपसमूहों में विभाजित करता है: $S_p$ (प्रॉम्प्ट सेंटर्स) और $S_v$ (विजुअल सेंटर्स)।

बजट आवंटन (Budget Allocation): एक स्थिर अनुपात के बजाय, MoB अनुमानित कपलिंग स्ट्रेंथ $\eta$ के आधार पर प्रूनिंग बजट $K$ को $K_p$ (for $S_p$ ) और $K_v$ (for $S_v$ ) में गतिशील रूप से आवंटित करता है।
चयन रणनीतियाँ (Selection Strategies):
- प्रॉम्प्ट सेंटर सिलेक्शन ( $S_p$ ): $k$ -फोल्ड नियर-नेबर (NN) कवरिंग का उपयोग करता है। उन मामलों को संभालने के लिए जहाँ कमजोर कपलिंग के कारण महत्वपूर्ण पैच छूट सकते हैं, यह प्रत्येक प्रॉम्प्ट टोकन के लिए $k$ निकटतम विजुअल टोकन का ओवरसैंपलिंग करता है और फिर शीर्ष $K_p$ का चयन करता है जो वर्स्ट-केस अलाइनमेंट को अधिकतम करते हैं।
- विजुअल सेंटर सिलेक्शन ( $S_v$ ): शेष टोकन पर फारेस्ट पॉइंट सैंपलिंग (FPS) का उपयोग करता है ताकि यह सुनिश्चित किया जा सके कि विजुअल उपसमूह $S_v$ विजुअल स्पेस में अच्छी तरह से फैला हुआ है, जिससे विजुअल प्रिजर्वेशन के लिए कवरिंग रेडियस न्यूनतम हो सके।
जटिलता (Complexity): एल्गोरिदम मल्टीलीनियर स्केलेबिलिटी $O(N(L+K)d)$ प्राप्त करता है, जो इसे हाई-रिज़ॉल्यूशन इनपुट और लंबे वीडियो के लिए कुशल बनाता है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक सफलता (Theoretical Breakthrough): विजुअल टोकन प्रूनिंग के लिए पहले क्लोज्ड-फॉर्म एरर बाउंड की व्युत्पत्ति, जो स्पष्ट रूप से VP, PA और प्रॉम्प्ट-विजुअल कपलिंग के योगदान को परिभाषित करता है।
ट्रेड-ऑफ क्वांटिफिकेशन (Trade-off Quantification): ऑब्जेक्टिव्स के बीच अंतर्निहित ट्रेड-ऑफ की पहचान और निश्चित बजट और कपलिंग स्थितियों के तहत इष्टतम प्राप्ति स्तरों ( $\epsilon^*$ ) की व्युत्पत्ति।
MoB एल्गोरिदम: एक नवीन, ट्रेनिंग-फ्री विधि जो ग्रीडी रेडियस ट्रेडिंग (greedy radius trading) के माध्यम से जटिल ट्रेड-ऑफ को एक प्रबंधनीय बजट एलोकेशन समस्या में बदल देती है। यह सिद्ध प्रदर्शन गारंटी प्रदान करता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): विविध बेंचमार्क पर सिंगल-ऑब्जेक्टिव और स्टेट-ऑफ-द-आर्ट मल्टी-ऑब्जेक्टिव बेसलाइन्स दोनों पर निरंतर सुधार प्रदर्शित किया गया।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने LLaVA-1.5-7B, LLaVA-Next-7B, Qwen2-VL-7B, और Video-LLaVA-7B जैसे मॉडल्स का उपयोग करके 14 बेंचमार्क्स पर MoB का मूल्यांकन किया।

प्रदर्शन प्रतिधारण (Performance Retention):
- LLaVA-1.5-7B पर, MoB मूल प्रदर्शन का 96.4% बनाए रखता है जबकि केवल 11.1% विजुअल टोकन का उपयोग करता है (88.9% की कमी)।
- Video-LLaVA-7B पर, यह केवल 6.6% टोकन के साथ 97.9% प्रदर्शन बनाए रखता है।
- यह इन परिदृश्यों में दूसरे सर्वश्रेष्ठ तरीके (DART) से क्रमशः 2.7% और 1.6% बेहतर प्रदर्शन करता है।
दक्षता (Efficiency): MoB नगण्य प्रदर्शन हानि के साथ LLaVA-Next-7B को 1.3–1.5× तेज करता है।
मजबूती (Robustness): मल्टी-स्टेज मेथड्स (जैसे MustDrop) के विपरीत, जो आक्रामक प्रूनिंग या विशिष्ट कपलिंग पैटर्न के तहत विफल हो जाते हैं, MoB सभी परीक्षण किए गए परिदृश्यों में एक मजबूत प्रदर्शन-लेटेंसी ट्रेड-ऑफ बनाए रखता है।
सामान्यीकरण (Generalization): उन्नत मॉडल्स (Qwen2-VL, LLaVA-Next) और विविध कार्यों (Image Understanding, Video QA, OCR) में सफलतापूर्वक एकीकृत होता है।

5. महत्व (Significance)

पैराडाइम शिफ्ट (Paradigm Shift): यह पेपर इस धारणा को चुनौती देता है कि "अधिक ऑब्जेक्टिव = बेहतर प्रदर्शन।" यह प्रदर्शित करता है कि डेटा कपलिंग द्वारा संचालित अंतर्निहित ज्योमेट्रिक ट्रेड-ऑफ को समझे बिना नैव (naïve) एकीकरण विफल हो जाता है।
सैद्धांतिक मार्गदर्शन (Theoretical Guidance): भविष्य के टोकन प्रूनिंग एल्गोरिदम के डिजाइन को निर्देशित करने के लिए एक कठोर गणितीय ढांचा (हॉसडॉर्फ डिस्टेंस और कवरिंग नंबर्स) प्रदान करता है, जो ह्यूरिस्टिक अटेंशन स्कोर से आगे बढ़ता है।
व्यावहारिक प्रभाव (Practical Impact): यह एक स्केलेबल, ट्रेनिंग-फ्री समाधान प्रदान करता है जो MLLMs को रिसोर्स-कंस्ट्रेंड डिवाइसेस (एज/मोबाइल) पर कुशलतापूर्वक चलाने में सक्षम बनाता है, जो हाई-रिज़ॉल्यूशन इमेज और लंबे वीडियो को हैंडल करने के लिए महत्वपूर्ण है।
ओपन सोर्स (Open Source): कोड को रिलीज़ किया गया है, जो पुनरुत्पादकता (reproducibility) और आगे के अनुसंधान को सुगम बनाता है।

संक्षेप में, MoB "1 + 1 < 1" की समस्या को हल करता है क्योंकि यह गणितीय रूप से सिद्ध करता है कि विजुअल प्रिजर्वेशन और प्रॉम्प्ट अलाइनमेंट के बीच इष्टतम संतुलन स्थिर नहीं है, बल्कि यह इनपुट डेटा के विशिष्ट कपलिंग पर निर्भर करता है, और यह इस संतुलन को गतिशील रूप से प्राप्त करने के लिए एक कुशल एल्गोरिदम प्रदान करता है।