🤖 AI

Not All Visual Tokens Are Equally Safe to Remove:Consequence-Sensitive Visual Token Compression

यह शोध पत्र विजन-लैंग्वेज मॉडल्स के लिए एक परिणाम-संवेदनशील विजुअल टोकन संपीड़न विधि प्रस्तुत करता है जो त्रुटियों की संभावित लागत के आधार पर कम्प्यूटेशनल संसाधनों को गतिशील रूप से आवंटित करता है, जो पारंपरिक सामग्री-संचालित या समान आवंटन रणनीतियों की तुलना में उच्च-दांव वाली गलतियों और समग्र लागत-भारित त्रुटि दरों को महत्वपूर्ण रूप से कम करता है।

मूल लेखक: Jingbo Wen, Liang He, Mingyu Cao, Haoyu Wang, Minxuan Hu, Kangning Cui, Xilu Wang

प्रकाशित 2026-08-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jingbo Wen, Liang He, Mingyu Cao, Haoyu Wang, Minxuan Hu, Kangning Cui, Xilu Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त रेस्तरां के हेड शेफ हैं, लेकिन आपका एक सख्त नियम है: आप हर एक व्यंजन को बनाने के लिए, चाहे वह कुछ भी हो, केवल सामग्री की एक निश्चित मात्रा ही उपयोग कर सकते हैं। आमतौर पर, शेफ औसत भोजन को यथासंभव स्वादिष्ट बनाने की कोशिश करते हैं, जिससे उन सामग्रियों को समान रूप से वितरित किया जाता है। लेकिन क्या होगा यदि एक व्यंजन फ्राइज़ का एक साधारण साइड डिश हो, जबकि दूसरा किसी मरीज के लिए जीवन रक्षक दवा हो? यदि आप फ्राइज़ बिगाड़ देते हैं, तो यह केवल कष्टप्रद है। यदि आप दवा बिगाड़ देते हैं, तो यह एक आपदा है। अधिकांश कंप्यूटर प्रोग्राम जो चित्रों को देखते हैं और प्रश्नों के उत्तर देते हैं (जिन्हें विजन-लैंग्वेज मॉडल कहा जाता है) उन पुराने जमाने के शेफ की तरह व्यवहार करते हैं। वे कंप्यूटिंग पावर बचाने के लिए "उबाऊ" हिस्सों को अनदेखा करने की कोशिश करते हैं, यह मानते हुए कि उनके द्वारा की गई हर गलती की ऊर्जा लागत समान होती है। लेकिन वास्तविक दुनिया में, एक गलती केवल एक गलती नहीं है; उसकी एक कीमत होती है। यह शोध पत्र एक सरल, क्रांतिकारी प्रश्न पूछता है: क्या होगा यदि हम औसत भोजन को पूर्ण बनाने की कोशिश करना छोड़ दें, और इसके बजाय अपनी सीमित सामग्री उन व्यंजनों पर केंद्रित करें जहाँ गलती करना सबसे महंगा होगा?

जिंगबो वेन और लियांग हे के नेतृत्व में इस अध्ययन के पीछे के शोधकर्ताओं ने, "कॉन्सेक्वेंस-सेंसिटिव विजुअल टोकन कम्प्रेशन" (परिणाम-संवेदनशील दृश्य टोकन संपीड़न) नामक एक नया तरीका प्रस्तावित किया है। उनकी इस तरकीब को समझने के लिए, एक छवि को केवल एक चित्र के रूप में नहीं, बल्कि हजारों छोटे टाइल्स से बने मोज़ेक के रूप में सोचें जिन्हें "टोकन" कहा जाता है। जब एक कंप्यूटर किसी फोटो को देखता है, तो वह इन सभी टाइल्स को प्रोसेस करता है। समय और पैसा बचाने के लिए, वर्तमान तरीके उन टाइल्स को फेंकने की कोशिश करते हैं जो कम महत्वपूर्ण लगते हैं, जैसे कार की फोटो में नीला आकाश। वे ऐसा चित्र को देखकर तय करते हैं कि क्या रखना है। लेखक तर्क देते हैं कि यह किताब को उसके कवर से आंकने जैसा है; कभी-कभी "उबाऊ" बैकग्राउंड टाइल्स वास्तव में पूछे गए विशिष्ट प्रश्न के लिए महत्वपूर्ण होते हैं।

केवल चित्र को देखने के बजाय, लेखक पहले प्रश्न या कार्य की ओर देखने का सुझाव देते हैं। उन्होंने महसूस किया कि कुछ प्रश्न "हाई-स्टेक्स" (जैसे, "इस इनवॉइस का कुल योग क्या है?") होते हैं और कुछ "लो-स्टेक्स" (जैसे, "बैकग्राउंड का रंग क्या है?") होते हैं। उनकी विधि दो चरणों में काम करती है। पहले, वे ऑफलाइन एक "कैलिब्रेशन" चरण चलाते हैं, जहाँ वे मॉडल का परीक्षण करते हैं ताकि यह देख सकें कि हाई-स्टेक्स प्रश्नों को सही ढंग से हल करने के लिए बनाम लो-स्टेक्स प्रश्नों के लिए उसे वास्तव में कितने टाइल्स (टोकन) की आवश्यकता है। फिर, जब कोई वास्तविक उपयोगकर्ता प्रश्न पूछता है, तो सिस्टम यह जांचता है कि गलत होने का "परिणाम" (consequence) क्या है। यदि प्रश्न हाई-स्टेक्स है, तो सिस्टम उस छवि के लिए टाइल्स का एक बड़ा बजट आवंटित करता है, यह सुनिश्चित करता है कि कंप्यूटर हर विवरण को देखे। यदि प्रश्न लो-स्टेक्स है, तो इसे बहुत छोटा बजट मिलता है, जिससे महत्वपूर्ण चीजों के लिए संसाधन बच जाते हैं।

टीम ने एक कठिन सेटअप पर इसका परीक्षण किया जहाँ एक ही छवियों के बारे में हाई-स्टेक्स और लो-स्टेक्स प्रश्न पूछे गए थे। यह महत्वपूर्ण था क्योंकि इसने यह सिद्ध किया कि सुधार चित्रों के अलग होने से नहीं आया, बल्कि शुद्ध रूप से इस बात से आया कि कंप्यूटर अपनी ऊर्जा को कैसे खर्च करने का निर्णय लेता है। उन्होंने पाया कि बजट को बदलकर, वे महंगी, हाई-स्टेक्स गलतियों को आधे से अधिक (0.300 से घटाकर 0.133 करना) कम कर सके, बिना पहले की तुलना में अधिक कुल कंप्यूटिंग पावर का उपयोग किए। वास्तव में, क्योंकि उन्होंने आसान प्रश्नों पर कम समय खर्च किया, पूरा सिस्टम वास्तव में लगभग 21% तेज़ चला।

शोध पत्र ने एक "टिपिंग पॉइंट" (निर्णायक बिंदु) की भी खोज की। जब हर प्रश्न के लिए गलती करने की लागत समान होती है, तो सबसे अच्छी रणनीति अभी भी सभी के साथ समान व्यवहार करने की होती है। लेकिन जैसे ही गलती की लागत बदलने लगती है (उदाहरण के लिए, यदि मेडिकल रिपोर्ट पर गलत उत्तर देना मौसम की रिपोर्ट पर गलत उत्तर देने से 5 गुना अधिक बुरा है), सिस्टम को अपने संसाधनों को भारी रूप से खतरनाक प्रश्नों की ओर स्थानांतरित करना चाहिए। शोधकर्ताओं ने दिखाया कि यह विभिन्न प्रकार के दस्तावेजों, चार्ट और यहाँ तक कि विभिन्न कंप्यूटर मॉडलों पर भी काम करता है। उन्होंने निष्कर्ष निकाला कि हमें मॉडल को केवल औसत रूप से कितना "सटीक" है, इस आधार पर नहीं मापना चाहिए; बल्कि हमें यह मापना चाहिए कि वह वास्तविक दुनिया में होने वाली विशिष्ट, महंगी गलतियों को कितनी अच्छी तरह रोकता है।

तकनीकी सारांश: परिणाम-संवेदनशील विजुअल टोकन संपीड़न (Consequence-Sensitive Visual Token Compression)

1. समस्या विवरण

विज़न-लैंग्वेज मॉडल्स (VLMs) में अनुमान लागत (inference costs) काफी अधिक होती है, जो मुख्य रूप से विजुअल टोकन्स के कारण होती है। मौजूदा विजुअल टोकन संपीड़न विधियाँ (जैसे FastV, SparseVLM) एक निश्चित कंप्यूट बजट के तहत औसत सटीकता को अधिकतम करने का लक्ष्य रखती हैं, जो अटेंशन, रिडंडेंसी (redundancy), या अनिश्चितता जैसे इनपुट-व्युत्पन्न संकेतों के आधार पर टोकन्स को छाँटती हैं।

हालाँकि, ये विधियाँ अंतर्निहित रूप से यह मान लेती हैं कि सभी भविष्यवाणियों की त्रुटियों (errors) की लागत समान होती है। वास्तविक दुनिया के डाउनस्ट्रीम अनुप्रयोगों (जैसे दस्तावेज़ विश्लेषण, मेडिकल इमेजिंग) में, त्रुटियों के परिणाम अत्यधिक विषम (asymmetric) हो सकते हैं। किसी इनवॉइस राशि या ट्रांजेक्शन आईडी को गलत पढ़ना, बैकग्राउंड के रंग या सजावटी तत्व को गलत वर्गीकृत करने की तुलना में कहीं अधिक महंगा हो सकता है। वर्तमान आवंटन रणनीतियाँ इस विषमता का लाभ नहीं उठा सकती हैं क्योंकि वे केवल विजुअल कंटेंट के गुणों पर निर्भर करती हैं, और त्रुटि के 'परिणाम' (जैसे प्रश्न का प्रकार, कार्य की पहचान) से संबंधित अनुमान-समय के अवलोकन योग्य संकेतों की अनदेखी करती हैं।

यह शोध एक नई अनुकूलन समस्या प्रस्तुत करता है: एक निश्चित कुल विजुअल टोकन बजट और विभिन्न लागतों ( $c_i$ ) वाले अनुरोधों के सेट को देखते हुए, औसत सटीकता के बजाय लागत-भारित त्रुटि (Cost-Weighted Error - CWE) को कम करने के लिए बजट को नमूनों (samples) के बीच कैसे आवंटित किया जाना चाहिए?

2. कार्यप्रणाली (Methodology)

लेखक एक परिणाम-संवेदनशील विजुअल टोकन संपीड़न ढांचा प्रस्तावित करते हैं जो कैलिब्रेट-फिर-आवंटित (calibrate-then-allocate) प्रक्रिया का पालन करता है।

2.1 ढांचे का अवलोकन

यह विधि दो चरणों में कार्य करती है:

ऑफलाइन कैलिब्रेशन: एक वैलिडेशन सेट का उपयोग करके, सिस्टम टियर-विशिष्ट एरर-बजट वक्र ( $e_t(b)$ ) का अनुमान लगाता है। नमूनों को टियर्स (जैसे, उच्च-परिणाम बनाम निम्न-परिणाम) में समूहीकृत किया जाता है, जो अवलोकन योग्य संकेतों (जैसे प्रश्नों में कीवर्ड या टास्क मेटाडेटा) पर आधारित होते हैं। सिस्टम विभिन्न बजट आवंटनों का मूल्यांकन करता है ताकि उस नीति को खोजा जा सके जो अनुमानित लागत-भारित उद्देश्य को न्यूनतम करती है।
ऑनलाइन इन्फरेंस: प्रत्येक आने वाले अनुरोध के लिए, सिस्टम एक अवलोकन योग्य संकेत (जैसे फ्रोजन कीवर्ड नियम या टास्क आईडी) का उपयोग करके एक परिणाम टियर असाइन करता है। VLM इन्फरेंस से पहले उस टियर के लिए पूर्व-कैलिब्रेटेड बजट को इनपुट पर लागू किया जाता है।

2.2 अनुकूलन सूत्रीकरण (Optimization Formulation)

लक्ष्य लागत-भारित त्रुटि $J$ को न्यूनतम करना है:
$\min_{\{b_t\}} \sum_{t} n_t c_t e_t(b_t)$
शर्त के रूप में:
$\sum_{t} n_t b_t \le B, \quad b_t \ge b_{min}$
जहाँ $n_t$ टियर $t$ में नमूनों की संख्या है, $c_t$ परिणाम भार (consequence weight) है, और $e_t(b)$ बजट $b$ पर त्रुटि दर है।

टोकन बजट की असतत प्रकृति (एक 13-पॉइंट ग्रिड) और नॉन-कॉन्वेक्स एरर कर्व्स के कारण, लेखक निरंतर लैग्रेंजियन डेरिवेटिव्स पर निर्भर रहने के बजाय व्यवहार्य बजट जोड़ों पर एक विस्तृत खोज (exhaustive search) का उपयोग करते हैं।

2.3 बजट प्राप्ति तंत्र (Budget Realization Mechanisms)

पेपर आवंटित टोकन बजट को साकार करने के लिए दो तंत्रों का मूल्यांकन करता है:

वास्तविक टोकन विलोपन (True Token Deletion): पूर्ण रिज़ॉल्यूशन पर एनकोडिंग करना, एक निश्चित सेलेक्टर (जैसे रिडंडेंसी) के माध्यम से टोकन्स को रैंक करना, और स्थानिक निर्देशांक (spatial coordinates) और पोजीशन आईडी की अखंडता बनाए रखने के लिए अनसेलेक्टेड टोकन्स को सख्ती से हटाना।
रिज़ॉल्यूशन पुनर्वितरण (Resolution Reallocation): इनपुट इमेज को इस तरह रीसाइज करना कि एनकोडर स्वाभाविक रूप से लक्षित टोकन संख्या के लगभग बराबर टोकन उत्सर्जित करे। इस तंत्र के लिए किसी मॉडल-विशिष्ट कोड की आवश्यकता नहीं है और इसे प्राथमिक परिनियोजन (deployment) विधि के रूप में उपयोग किया जाता है।

2.4 मूल्यांकन प्रोटोकॉल

परिणाम सूचना (consequence information) के प्रभाव को कंटेंट-आधारित संकेतों से अलग करने के लिए, लेखक एक विदिन-टास्क बेंचमार्क (within-task benchmark) पेश करते हैं। उच्च- और निम्न-परिणाम वाले प्रश्न घने दस्तावेज़ चित्रों (जैसे DocVQA) के एक ही वितरण से लिए गए हैं। यह सुनिश्चित करता है कि टियर्स के बीच विजुअल कंटेंट समान है, जिससे कंटेंट-संचालित आवंटकों द्वारा विजुअल संवेदनशीलता अंतर का लाभ उठाने की संभावना समाप्त हो जाती है।

3. मुख्य योगदान

नया सूत्रीकरण: परिणाम-संवेदनशील विजुअल टोकन संपीड़न का परिचय, जो औसत सटीकता को बनाए रखने के बजाय लागत-भारित त्रुटि को कम करने के लिए कंप्यूट आवंटित करता है, और केवल इनपुट कंटेंट के बजाय अनुमान-समय के अवलोकन योग्य परिणाम संकेतों का उपयोग करता है।
नियंत्रित मूल्यांकन: एक विदिन-टास्क बेंचमार्क डिज़ाइन जहाँ उच्च- और निम्न-परिणाम वाले प्रश्न समान इमेज वितरण साझा करते हैं। यह कंटेंट-आधारित शॉर्टकट को समाप्त करता है, जिससे यह सिद्ध होता है कि लाभ केवल परिणाम जागरूकता (consequence awareness) से प्राप्त होते हैं।
आवंटन फ्रंटियर का लक्षण वर्णन: लेखक एक आवंटन फ्रंटियर प्राप्त करते हैं जो दर्शाता है कि:
- जब त्रुटि लागत सममित ( $r=1$ ) होती है, तो समान (uniform) आवंटन इष्टतम होता है।
- जैसे-जैसे लागत विषमता बढ़ती है, इष्टतम रणनीति टोकन को उच्च-परिणाम वाले नमूनों की ओर स्थानांतरित कर देती है।
- एक संक्रमण क्षेत्र (transition regime) मौजूद है जहाँ टोकन हस्तांतरण का लाभ लागत अंतराल के साथ बढ़ता है।
सामान्यीकरण और अपरिवर्तनीयता (Generalization and Invariance): यह सिद्धांत टोकन चयन तंत्र (redundancy, attention, saliency) के प्रति ऑर्थोगोनल (orthogonal) है और विभिन्न VLM आर्किटेक्चर (Qwen2.5-VL, LLaVA-OneVision) और बजट प्राप्ति विधियों में मजबूत है।

4. प्रयोगात्मक परिणाम

4.1 एट्रिब्यूशन और विदिन-टास्क प्रदर्शन

नियंत्रित विदिन-टास्क बेंचमार्क (DocVQA) पर:

कंटेंट-संचालित आवंटक (फीचर रिडंडेंसी का उपयोग करने वाले) समान आवंटन से बेहतर प्रदर्शन नहीं कर सके क्योंकि विजुअल इनपुट टियर्स में समान थे।
परिणाम-संवेदनशील आवंटन ने समान कुल टोकन बजट के तहत उच्च-दांव वाली त्रुटियों को 0.300 से घटाकर 0.133 (2.25 गुणा कमी) कर दिया।
यह अनवेटेड औसत सटीकता (0.488 बनाम 0.337) की कीमत पर हुआ, जो पुष्टि करता है कि यह विशिष्ट लागत-भारित उद्देश्य के लिए अनुकूलित है।
एंटी-एलोकेशन (Anti-allocation) रणनीति (निम्न-परिणाम वाले प्रश्नों को अधिक टोकन देना) ने CWE को काफी बढ़ा दिया, जो इस दृष्टिकोण की दिशात्मकता को प्रमाणित करता है।

4.2 आवंटन फ्रंटियर (The Allocation Frontier)

एरर-बजट कर्व्स के विश्लेषण से पता चला कि उच्च- और निम्न-परिणाम वाले प्रश्नों में सांख्यिकीय रूप से अविभेद्य टोकन संवेदनशीलता (ढलान 0.00173 बनाम 0.00171) होती है। सुधार पूरी तरह से लागत वेटिंग के कारण है।

ब्रेक-ईवन अनुपात: इष्टतम आवंटन समान से परिणाम-पक्षपाती (consequence-biased) की ओर शिफ्ट होता है जब परिणाम अनुपात ( $r$ ) बढ़ता है। DocVQA के लिए, यह संक्रमण $r \approx 2.8$ पर होता है।
सामान्यीकरण: यह विधि ChartQA और InfographicVQA में भी सामान्यीकृत होती है। InfographicVQA में, विधि ने कम लागत अनुपात ( $r=0.7$ ) होने पर भी CWE को कम किया, जो बताता है कि सघन सूचना वाले कार्यों को परिणाम-जागरूक आवंटन से अधिक लाभ मिलता है।

4.3 अपरिवर्तनीयता और तंत्र

तंत्र: लाभ तब भी बने रहते हैं जब वास्तविक टोकन विलोपन या रिज़ॉल्यूशन पुनर्वितरण का उपयोग किया जाता है। रिज़ॉल्यूशन पुनर्वितरण (जो Qwen2.5-VL के प्रशिक्षण के अनुरूप है) ने परिणाम-जागरूक आवंटन के सापेक्ष लाभ को बनाए रखते हुए बेहतर पूर्ण प्रदर्शन प्राप्त किया।
मॉडल: यह सिद्धांत LLaVA-OneVision के लिए भी लागू होता है, बावजूद इसके कि इसमें आर्किटेक्चरल अंतर हैं।
सेलेक्टर्स: आवंटन रणनीति टोकन सेलेक्टर के प्रति ऑर्थोगोनल है। यह प्रदर्शन में सुधार करता चाहे टोकन रिडंडेंसी, रैंडम, सैलिएंसी, FastV, SparseVLM, या VisionZip के माध्यम से चुने गए हों।

4.4 मिश्रित वर्कलोड और दक्षता

एक वास्तविक मिश्रित वर्कलोड (DocVQA, TextVQA, VQAv2) पर:

परिणाम-संवेदनशील आवंटन ने समान आवंटन की तुलना में लागत-भारित त्रुटि को 38% कम कर दिया।
पूर्ण-रिज़ॉल्यूशन इन्फरेंस की तुलना में, तैनात दो-टियर आवंटन (रिज़ॉल्यूशन पुनर्वितरण का उपयोग करते हुए) ने CWE को कम करते हुए लगभग 21% कम विलंबता (latency) प्राप्त की।

5. महत्व और दावे

यह शोध दावा करता है कि विजुअल टोकन संपीड़न का मूल्यांकन न केवल इस आधार पर किया जाना चाहिए कि कितनी औसत सटीकता संरक्षित की जाती है, बल्कि इस आधार पर भी कि किन त्रुटियों को रोका जाता है।

ऑर्थोगोनैलिटी (Orthogonality): परिणाम-संवेदनशील आवंटन मौजूदा कंटेंट-ड्रिवन प्रूनिंग का एक ऑर्थोगोनल अक्ष है। यह टोकन चयन विधियों को प्रतिस्थापित नहीं करता है बल्कि यह निर्धारित करने में मदद करता है कि एक नमूने को कितने टोकन आवंटित किए जाने चाहिए।
व्यावहारिकता: यह ढांचा हल्का और परिनियोजन-उन्मुख है। इसके लिए केवल अनुमान-समय के अवलोकन योग्य संकेतों (टास्क आईडी या प्रश्न कीवर्ड) और ऑफलाइन कैलिब्रेशन की आवश्यकता होती है, जिससे जटिल ऑनलाइन अनुकूलन या सुदृढीकरण शिक्षण (reinforcement learning) से बचा जा सके।
मौलिक अंतर्दृष्टि: यह कार्य स्थापित करता है कि जब त्रुटि लागत विषम होती है, तो इष्टतम संसाधन आवंटन रणनीति औसत प्रदर्शन को बनाए रखने के बजाय उच्च-दांव वाले नमूनों को प्राथमिकता देने की ओर मौलिक रूप से स्थानांतरित हो जाती है, भले ही वे नमूने विजुअल रूप से निम्न-दांव वाले नमूनों के समान ही क्यों न हों।

लेखक निष्कर्ष निकालते हैं कि उन परिदृश्यों में जहाँ डाउनस्ट्रीम निर्णय असमान जोखिम वहन करते हैं, परिणाम-संवेदनशील आवंटन महत्वपूर्ण सटीकता से समझौता किए बिना VLM दक्षता को अनुकूलित करने के लिए एक सिद्धांतपूर्ण और प्रभावी तरीका प्रदान करता है।