TOPS: First-Principles Visual Token Pruning via Constructing Token Optimal Preservation Sets for Efficient MLLM Inference

तकनीकी सारांश: TOPS - प्रथम-सिद्धांतों पर आधारित विज़ुअल टोकन प्रूनिंग (Visual Token Pruning)

1. समस्या विवरण

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने तर्क करने और समझने में महत्वपूर्ण प्रगति की है, लेकिन वे उच्च कम्प्यूटेशनल और मेमोरी ओवरहेड से ग्रस्त हैं। यह अक्षमता विज़ुअल टोकन्स की बड़ी संख्या से उत्पन्न होती है जो टोकनाइज़ेशन के दौरान उत्पन्न होते हैं, और जिन्हें सभी ट्रांसफॉर्मर लेयर्स के माध्यम से प्रोसेस किया जाता है। चूंकि सेल्फ-अटेंशन मैकेनिज्म सीक्वेंस लेंथ के साथ क्वाड्रेटिक रूप से स्केल करता है, इसलिए उच्च-रिज़ॉल्यूशन वाली इमेज और वीडियो इनपुट महत्वपूर्ण बाधाएं (bottlenecks) पैदा करते हैं।

मौजूदा विज़ुअल टोकन प्रूनिंग विधियां रेडंडेंट (redundant) टोकन्स को हटाकर इसे कम करने का प्रयास करती हैं, लेकिन वे एक सिद्धांतगत उद्देश्य के बजाय ह्यूरिस्टिक स्कोरिंग स्कीम्स (heuristic scoring schemes) पर निर्भर करती हैं। वर्तमान दृष्टिकोण सामान्यतः तीन श्रेणियों में आते हैं, जिनमें से प्रत्येक की विशिष्ट सीमाएं हैं:

• अटेंशन-आधारित विधियाँ (Attention-based methods): ये उच्च अटेंशन स्कोर वाले टोकन्स को बनाए रखती हैं लेकिन अक्सर सिमेंटिक रूप से रेडंडेंट टोकन्स को भी सुरक्षित रखती हैं।
• डाइवर्सिटी-आधारित विधियाँ (Diversity-based methods): ये सिमेंटिक डिस्पर्शन को प्रोत्साहित करती हैं लेकिन उपयोगकर्ता के निर्देशों के प्रति उदासीन हो सकती हैं, जिससे कार्य-महत्वपूर्ण साक्ष्य (task-critical evidence) छूट सकते हैं।
• संयोजित विधियाँ (Combined methods): हालांकि वे कई मानदंडों को एकीकृत करती हैं, लेकिन उनमें टोकन प्रूनिंग के अंतर्निहित उद्देश्य की मौलिक समझ का अभाव है, और वे इसे केवल एक रैंकिंग समस्या के रूप में मानती हैं बिना इस बात के सैद्धांतिक औचित्य के कि विशिष्ट मानदंड क्यों पर्याप्त हैं।

2. कार्यप्रणाली: प्रथम-सिद्धांतों का सूत्रीकरण (First-Principles Formulation)

लेखक TOPS (Token Optimal Preservation Sets) का प्रस्ताव करते हैं, जो सूचना सिद्धांत (information theory) का उपयोग करके प्रथम-सिद्धांतों के परिप्रेक्ष्य से व्युत्पन्न एक ट्रेनिंग-फ्री और मॉडल-एग्नोस्टिक प्रूनिंग मॉड्यूल है।

2.1 सैद्धांतिक आधार

टोकन प्रूनिंग का मुख्य उद्देश्य एक ऐसा उपसमूह $S \subseteq V$ (जहाँ $V$ विज़ुअल टोकन्स का पूर्ण सेट है) खोजना है जो विज़ुअल टोकन्स और टेक्स्ट क्वेरी $Q$ के संयुक्त वितरण (joint distribution) के बीच म्यूचुअल इंफॉर्मेशन (mutual information) को अधिकतम करता है:
$$\max_{S \subseteq V, |S| \le K} I(S; V, Q)$$

म्यूचुअल इंफॉर्मेशन के चेन रूल को लागू करके, लेखक इस उद्देश्य को तीन मौलिक सिद्धांतों में विभाजित करते हैं:

1. कार्य प्रासंगिकता (Task Relevance - $I(S; Q)$): उपसमूह उपयोगकर्ता की क्वेरी के संबंध में सूचनात्मक होना चाहिए।
2. सूचना कवरेज (Information Coverage - $I(S; V | Q)$): उपसमूह को क्वेरी $Q$ के दिए जाने पर मूल विज़ुअल सेट $V$ के बारे में पर्याप्त जानकारी सुरक्षित रखनी चाहिए, जिससे कंडीशनल एंट्रॉपी $H(V | S, Q)$ न्यूनतम हो सके।
3. सिमेंटिक डाइवर्सिटी (Semantic Diversity): कंडीशनल म्यूचुअल इंफॉर्मेशन के ऊपरी स्तर (upper bound) से व्युत्पन्न, यह सिद्धांत निर्देश देता है कि एक निश्चित बजट के लिए, टोकन्स पहले से चयनित टोकन्स से सिमेंटिक रूप से भिन्न होने चाहिए ताकि सूचना लाभ (information gain) को अधिकतम किया जा सके।

2.2 TOPS एल्गोरिदम

TOPS प्रत्येक प्रूनिंग पॉइंट पर ग्रीडी तरीके से इष्टतम टोकन उपसमूह का निर्माण करता है। इस प्रक्रिया में शामिल हैं:

1. स्कोरिंग (Scoring): प्रत्येक कैंडिडेट टोकन $i$ के लिए, एल्गोरिदम गणना करता है:
   • कार्य प्रासंगिकता ($r_i$): टेक्स्ट-रेटर अटेंशन (या शुरुआती चरणों में CLS अटेंशन) के माध्यम से अनुमानित।
   • सूचना कवरेज ($c_i$): कैंडिडेट और शेष अनसेलेक्टेड टोकन्स के बीच अधिकतम समानता के आधार पर गणना की जाती है, जिसे पहले से चयनित टोकन्स की समानता द्वारा समायोजित किया जाता है।
   • सिमेंटिक डाइवर्सिटी ($d_i$): $1 - \max_{j \in S} \text{sim}(h_i, h_j)$ के रूप में मापा गया, यह सुनिश्चित करता है कि नया टोकन वर्तमान सेट से अलग है।
2. चयन (Selection): एल्गोरिदम इन स्कोर्स को एक सूचना संरक्षण स्कोर (information preservation score) में जोड़ता है:
   $$\tilde{g}_{info_i} = \tilde{r}_i + \lambda \tilde{c}_i(U) + \alpha \tilde{d}_i(S)$$
   जहाँ $\alpha$ और $\lambda$ बैलेंस फैक्टर्स हैं। वह टोकन जो इस स्कोर को अधिकतम करता है, उसे उपसमूह $S$ में जोड़ा जाता है।
3. मल्टी-स्टेज पाइपलाइन (Multi-Stage Pipeline): सूक्ष्म-स्तरीय कमी (fine-grained reduction) को संभालने के लिए, TOPS को दो चरणों में लागू किया गया है:
   • स्टेज I: मल्टीमॉडल प्रोजेक्टर के बाद लेकिन LLM से पहले लागू किया जाता है। यह मोटे तौर पर रेडंडेंसी हटाने के लिए CLS अटेंशन का उपयोग करता है।
   • स्टेज II: LLM के भीतर निर्धारित लेयर्स पर लागू किया जाता है। यह टेक्स्ट-अवेयर रिफाइनमेंट के लिए LLM के टेक्स्ट-टू-विज़ुअल अटेंशन का लाभ उठाता है।

3. प्रमुख योगदान

1. प्रथम-सिद्धांतों का परिप्रेक्ष्य: यह पेपर टोकन प्रूनिंग को केवल एक ह्यूरिस्टिक रैंकिंग समस्या के रूप में नहीं, बल्कि सूचना सिद्धांत पर आधारित एक इष्टतम उपसमूह चयन समस्या के रूप में पुनर्व्याख्या करता है।
2. तीन मौलिक सिद्धांत: कार्य प्रासंगिकता, सूचना कवरेज और सिमेंटिक डाइवर्सिटी को प्रभावी प्रूनिंग के लिए आवश्यक शर्तों के रूप में पहचानना और औपचारिक बनाना।
3. TOPS मॉड्यूल: एक प्लग-एंड-प्ले, ट्रेनिंग-फ्री, और मॉडल-एग्नोस्टिक प्रूनिंग एल्गोरिदम जो डायनेमिक रूप से 'टोकन ऑप्टिमल प्रिजर्वेशन सेट्स' का निर्माण करता है।
4. व्यापक सत्यापन: 7 विविध बेंचमार्क और 7 MLLM बैकबोन (LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL, InternVL3, और LLaVA-Video सहित) पर व्यापक प्रयोग।

4. प्रायोगिक परिणाम

लेखक रिपोर्ट करते हैं कि TOPS विभिन्न कंप्रेशन रेश्यो और मॉडल आर्किटेक्चर के माध्यम से स्टेट-ऑफ-द-आर्ट विधियों (जैसे FastV, VisionZip, DivPrune, SCOPE) को लगातार पछाड़ता है।

• LLaVA-NeXT: 7B मॉडल पर, TOPS 77.8% विज़ुअल टोकन्स को हटा देता है जबकि मूल प्रदर्शन का 100.0% बनाए रखता है। उच्च कंप्रेशन (88.9% और 94.4% कमी) पर, यह क्रमशः 99.1% और 96.4% प्रदर्शन बनाए रखता है।
• LLaVA-1.5: 77.8% कंप्रेशन पर, TOPS 98.3% प्रदर्शन बनाए रखता है, जो अगले सर्वश्रेष्ठ विधि (SCOPE) से 0.5% बेहतर है। अत्यधिक कंप्रेशन (94.4% कमी, 32 टोकन शेष) पर भी, यह 94.6% प्रदर्शन बनाए रखता है।
• उन्नत आर्किटेक्चर: Qwen2.5-VL-7B और InternVL3-8B पर, TOPS सभी परीक्षण किए गए प्रूनिंग रेश्यो में उच्चतम सटीकता प्राप्त करता है, जो आर्किटेक्चर-एग्नोस्टिक प्रभावशीलता को प्रदर्शित करता है।
• वीडियो समझ (Video Understanding): 64 फ्रेम्स के साथ LLaVA-Video पर, TOPS 62.1% टोकन कमी पर 98.4% प्रदर्शन और 90.5% कमी पर 92.3% प्रदर्शन बनाए रखता है, जो FastV जैसे बेसलाइन्स से काफी बेहतर है।
• दक्षता (Efficiency): TOPS बेसलाइन की तुलना में लगभग 10x FLOPs की कमी प्राप्त करता है और GPU मेमोरी उपयोग को 1.9GB कम कर देता है, जिसमें प्रीफिल लेटेंसी (prefill latency) में महत्वपूर्ण सुधार होता है।
• हैलुसिनेशन शमन (Hallucination Mitigation): विशेष रूप से, HallusionBench पर, TOPS हैलुसिनेशन के प्रति अधिक प्रतिरोध दिखाता है, जो यह सुझाव देता है कि रेडंडेंट टोकन्स को हटाना कभी-कभी रीजनिंग फिडेलिटी (reasoning fidelity) में सुधार कर सकता है।

5. महत्व और दावे

पेपर का दावा है कि प्रभावी टोकन प्रूनिंग को केवल ह्यूरिस्टिक महत्व स्कोर पर निर्भर नहीं होना चाहिए, बल्कि इसे संयुक्त रूप से कार्य-प्रासंगिक, प्रतिनिधि और गैर-रेडंडेंट विज़ुअल जानकारी को संरक्षित करना चाहिए। प्रूनिंग को एक सूचना-सैद्धांतिक अनुकूलन समस्या के रूप में स्वरूपित करके, TOPS कुशल मल्टीमॉडल इन्फरेंस के लिए एक सिद्धांतगत आधार प्रदान करता है।

लेखक सुझाव देते हैं कि उनका कार्य भविष्य के लाइटवेट MLLM डिज़ाइन के लिए मार्गदर्शन प्रदान करता है, यह नोट करते हुए कि आक्रामक प्रूनिंग कभी-कभी हैलुसिनेशन को कम कर सकती है। हालाँकि, वे सीमाओं को स्वीकार करते हैं, जिसमें ग्रीडी कंस्ट्रक्शन लूप ($O(KN)$) का कम्प्यूटेशनल ओवरहेड, रेलेवेंस सिग्नल के लिए अटेंशन मैकेनिज्म पर निर्भरता, और लेयर्स एवं कार्यों के लिए फिक्स्ड हाइपरपैरामीटर्स का उपयोग शामिल है। वे यह भी उल्लेख करते हैं कि इस फ्रेमवर्क का अभी तक मेडिकल इमेजिंग या डेंस कैप्शनिंग जैसे अत्यधिक विशिष्ट डोमेन में व्यवस्थित रूप से मूल्यांकन नहीं किया गया है।