Energy-Driven Adaptive Visual Token Pruning for Efficient Vision-Language Models

तकनीकी सारांश: कुशल विजन-लैंग्वेज मॉडल्स के लिए ऊर्जा-संचालित अनुकूलन योग्य विजुअल टोकन प्रूनिंग (E-AdaPrune)

समस्या विवरण
विजन-लैंग्वेज मॉडल्स (VLMs) विजुअल इनपुट को टोकन के अनुक्रमों (sequences) के रूप में प्रस्तुत करते हैं जिन्हें एक लार्ज लैंग्वेज मॉडल (LLM) बैकबोन द्वारा प्रोसेस किया जाता है। सेल्फ-अटेंशन मैकेनिज्म की क्वाड्रेटिक कॉम्प्लेक्सिटी (quadratic complexity) के कारण, लंबे विजुअल टोकन अनुक्रम महत्वपूर्ण कम्प्यूटेशनल ओवरहेड पैदा करते हैं। हालांकि अनुभवजन्य साक्ष्य (empirical evidence) यह सुझाव देते हैं कि विजुअल टोकन में पर्याप्त रेडंडेंसी (redundancy) होती है, मौजूदा प्रूनिंग विधियाँ आमतौर पर फिक्स्ड टोकन बजट (जैसे, एक स्थिर top-$k$ या फिक्स्ड प्रूनिंग रेशियो) पर निर्भर करती हैं जो सभी इनपुट्स पर समान रूप से लागू होता है।

यह शोध पत्र तर्क देता है कि यह स्थिर दृष्टिकोण विभिन्न छवियों के बीच सूचना घनत्व (information density) में होने वाले महत्वपूर्ण अंतर की अनदेखी करता है। एक फिक्स्ड बजट जटिल, सूचना-सघन दृश्यों को "ओवर-प्रून" (over-pruning) कर सकता है (जिससे सूचना की हानि और प्रदर्शन में गिरावट आती है) या सरल, रेडंडेंट दृश्यों को "अंडर-प्रून" (under-pruning) कर सकता है (जिससे कंप्यूटेशनल संसाधनों की बर्बादी होती है)। वर्तमान अनुकूलन योग्य (adaptive) विधियाँ इसे हल करने का प्रयास करती हैं, लेकिन अक्सर उन्हें अतिरिक्त प्रशिक्षण, अनुकूलन (optimization), या पॉलिसी लर्निंग की आवश्यकता होती है, जिससे पर्याप्त ओवरहेड उत्पन्न होता है।

कार्यप्रणाली: E-AdaPrune
लेखक E-AdaPrune प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री, प्लग-एंड-प्ले फ्रेमवर्क है जो विजुअल कंप्रेशन को दो चरणों में विभाजित करता है:

1. इमेज-विशिष्ट टोकन बजट निर्धारण: एक फिक्स्ड $k$ के बजाय, यह विधि विजुअल फीचर मैट्रिक्स के स्पेक्ट्रल एनर्जी (spectral energy) के आधार पर प्रत्येक छवि के लिए एक अनुकूलित बजट $k^*$ का अनुमान लगाती है।
2. टोकन चयन: अनुमानित बजट $k^*$ को मौजूदा टोकन चयनकर्ताओं (जैसे, FastV, PyramidDrop, VisionZip) को पास किया जाता है, जो फिर अपने स्वयं के स्कोरिंग मैकेनिज्म के आधार पर रिटेन किए जाने वाले विशिष्ट टोकनों का चयन करते हैं।

मुख्य तंत्र:

• सिंगुलर वैल्यू डीकंपोजिशन (SVD): विजन एनकोडर द्वारा उत्पादित विजुअल फीचर मैट्रिक्स $Z_V$ को SVD के माध्यम से डीकंपोज़ किया जाता है: $(U, S, V^\top) = \text{SVD}(Z_V)$।
• एनर्जी स्पेक्ट्रम विश्लेषण: स्क्वेर्ड सिंगुलर वैल्यूज $\sigma_i^2$ प्रत्येक सिंगुलर दिशा के साथ कैप्चर की गई स्पेक्ट्रल ऊर्जा का प्रतिनिधित्व करती हैं। कुल ऊर्जा $E_{total} = \sum \sigma_i^2$ है।
• अनुकूलन योग्य बजटिंग: यह विधि कुल स्पेक्ट्रल ऊर्जा के एक लक्षित अंश $\tau$ को सुरक्षित रखती है। टोकन बजट $k^*$ वह न्यूनतम रैंक है जहाँ शीर्ष $k$ सिंगुलर वैल्यूज की संचयी ऊर्जा (cumulative energy) थ्रेशोल्ड $\tau$ को पूरा करती है:
  $$k^* = \min \left\{ k \in \{1, \dots, n\} \mid \frac{\sum_{i=1}^k \sigma_i^2}{\sum_{i=1}^n \sigma_i^2} \geq \tau \right\}$$
• व्याख्या: तीव्र स्पेक्ट्रल डिके (steep spectral decay - उच्च रेडंडेंसी, सरल दृश्य) वाले चित्रों को ऊर्जा थ्रेशोल्ड तक पहुँचने के लिए कम टोकन की आवश्यकता होती है, जबकि फ्लैट स्पेक्ट्रा (flatter spectra - उच्च सूचना घनत्व, जटिल दृश्य) वाले चित्रों को अधिक टोकन की आवश्यकता होती है।

प्रमुख योगदान

1. सीमाओं की पहचान: यह शोध पत्र पहचानता है कि VLMs में फिक्स्ड टोकन बजट इनपुट-विशिष्ट सूचना घनत्व को ध्यान में रखने में विफल रहते हैं, जिससे संसाधनों का अक्षम आवंटन होता है।
2. ट्रेनिंग-फ्री एडेप्टिव बजटिंग: E-AdaPrune स्पेक्ट्रल ऊर्जा का उपयोग करके विजुअल रिप्रेजेंटेशन से सीधे इमेज-विशिष्ट बजट निर्धारित करने की एक विधि पेश करता है, जो लर्नबल पैरामीटर्स, इटरेटिव ऑप्टिमाइज़ेशन, या पॉलिसी ट्रेनिंग की आवश्यकता को समाप्त करता है।
3. डिकपल्ड आर्किटेक्चर: यह फ्रेमवर्क बजट निर्धारण को टोकन चयन से अलग करता है, जिससे यह उनके आंतरिक स्कोरिंग मैकेनिज्म को संशोधित किए बिना व्यापक मौजूदा टोकन चयनकर्ताओं के साथ निर्बाध रूप से एकीकृत हो सकता है।
4. व्यापक सत्यापन: इसकी वैधता 4 VLM बैकबोन, 3 टोकन सेलेक्टर और 9 बेंचमार्क पर जांची गई है।

प्रायोगिक परिणाम
मैच्ड एवरेज टोकन बजट के तहत मूल्यांकित किए जाने पर, E-AdaPrude गतिशील रूप से कंप्यूटेशनल संसाधनों को पुनर्वितरित करने की क्षमता प्रदर्शित करता है:

• सरल मामले (Simple Cases): यह विधि कम-सूचना वाले चित्रों के लिए टोकन उपयोग को काफी कम कर देती है। उदाहरण के लिए, Qwen2.5-VL-3B के साथ SQAI बेंचमार्क पर, सरल मामलों में केवल 0.52% सापेक्ष प्रदर्शन गिरावट के साथ 35.8% कम टोकन का उपयोग किया गया।
• कठिन मामले (Hard Cases): बचा हुआ बजट जटिल, सूचना-समृद्ध छवियों की ओर पुनर्निर्देशित किया जाता है। इन मामलों में 52.5% अधिक टोकन प्राप्त हुए, जिसके परिणामस्वरूप 1.94% सापेक्ष प्रदर्शन सुधार हुआ।
• सामान्यीकरण (Generalization): विविध बैकबोन (Qwen2.5-VL, LLaVA-1.5, LLaVA-NeXT) और सेलेक्टर (FastV, PyramidDrop, VisionZip) में निरंतर लाभ देखे गए।
• दक्षता ओवरहेड:
  • स्टैंडर्ड SVD प्रति इमेज ~35ms का लेटेंसी (latency) पेश करता है।
  • 300 के टारगेट डायमेंशन और 2 पावर इटरेशन के साथ रैंडमाइज्ड SVD (rSVD) का उपयोग करने से प्रदर्शन बनाए रखते हुए इस ओवरहेड को घटाकर 8ms प्रति इमेज किया जा सकता है।
  • बैच में सर्विसिंग (batched serving) परिदृश्यों में, लेखक नोट करते हैं कि जबकि एडेप्टिव बजट वेरिएबल सीक्वेंस लेंथ (variable sequence lengths) बनाते हैं, बकेटेड बैचिंग (bucketed batching) (लंबाई के आधार पर अनुरोधों को समूहीकृत करना) पैडिंग ओवरहेड को प्रभावी ढंग से कम करता है।

महत्ता और दावे
यह शोध पत्र दावा करता है कि E-AdaPrune टोकन चयन से ऑर्थोगोनल (orthogonal) समस्या के रूप में टोकन बजटिंग को मानकर VLM दक्षता की एक महत्वपूर्ण बाधा को संबोधित करता है। विजुअल फीचर्स के अंतर्निहित स्पेक्ट्रल गुणों का लाभ उठाकर, यह विधि प्रशिक्षण-आधारित एडेप्टिव दृष्टिकोणों के भारी खर्च के बिना सटीकता और कंप्रेशन के बीच संतुलन बनाने के लिए एक "स्मूथ ऑपरेटिंग पॉइंट" प्राप्त करती है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण मॉडल्स को "सरल मामलों से पर्याप्त मात्रा में रेडंडेंट कंप्यूटेशन हटाने और बचाए गए बजट को सूचना-समृद्ध मामलों पर बड़े लाभ में बदलने" की अनुमति देता है, जिससे विविध परिदृश्यों में समग्र इन्फरेंस दक्षता और कार्य सटीकता में सुधार होता है।