🤖 AI

SVD-Prune: Training-Free Token Pruning For Efficient Vision-Language Models

SVD-Prune एक प्रशिक्षण-मुक्त (training-free), प्लग-एंड-प्ले टोकन प्रूनिंग विधि है जो सबसे अधिक सूचनात्मक विजन टोकन को चुनने के लिए सिंगुलर वैल्यू डिकंपोजिशन (Singular Value Decomposition) और सांख्यिकीय लीवरेज स्कोर (statistical leverage scores) का उपयोग करती है, जो अत्यधिक टोकन बजट सीमाओं के तहत भी विजन-लैंग्वेज मॉडल्स में उच्च प्रदर्शन बनाए रखने के लिए मौजूदा ह्यूरिस्टिक-आधारित दृष्टिकोणों की सीमाओं को प्रभावी ढंग से दूर करती है।

मूल लेखक: Yvon Apedo, Martyna Poreba, Michal Szczepanski, Samia Bouchafa

प्रकाशित 2026-04-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yvon Apedo, Martyna Poreba, Michal Szczepanski, Samia Bouchafa

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान मित्र है (एक विजन-लैंग्वेज मॉडल) जो चित्रों को देखने और उनके बारे में उत्तर देने में माहिर है। लेकिन एक समस्या है: आपका मित्र घबरा जाता है।

जब आप उसे एक फोटो दिखाते हैं, तो उसका मस्तिष्क हर एक पिक्सेल को एक अलग जानकारी के रूप में प्रोसेस करने की कोशिश करता है। यदि फोटो हाई-डेफिनिशन है, तो उसके पास सैकड़ों छोटे "विचारों" (टोकन) को एक साथ संभालने का बोझ होता है। यह उसे धीमा बना देता है, बैटरी की खपत बढ़ा देता है, और इसे फोन या लैपटॉप जैसे छोटे उपकरणों पर चलाना कठिन बना देता है।

इसे ठीक करने के लिए, लोगों ने उसे समझाने की कोशिश की है, "हे, तस्वीर के उबाऊ हिस्सों को अनदेखा करो और केवल महत्वपूर्ण चीजों पर ध्यान दो।" लेकिन "उबाऊ" क्या है, यह तय करने के पुराने तरीके त्रुटिपूर्ण थे। वे एक खराब लाइब्रेरियन की तरह थे जो केवल शेल्फ की पहली कुछ किताबों को देखता है या इस बात से भ्रमित हो जाता है कि किताबें कहाँ रखी गई हैं, और अक्सर गलती से सबसे महत्वपूर्ण पन्नों को भी फेंक देता है।

SVD-Prune से मिलिए: "स्मार्ट एडिटर" जिसे प्रशिक्षण की आवश्यकता नहीं है।

यहाँ इस पेपर का नया तरीका बताया गया है कि यह रोजमर्रा के उदाहरणों का उपयोग करके कैसे काम करता है:

1. पुराने तरीकों के साथ समस्या (पोजीशनल बायस/स्थानिक पूर्वाग्रह)

कल्पना कीजिए कि आप एक लंबी कहानी पढ़ रहे हैं। कहानी का सारांश निकालने के पुराने तरीके कह सकते हैं, "कहानी का आरंभ सबसे महत्वपूर्ण है क्योंकि यह शुरुआत में है," या "अंत सबसे महत्वपूर्ण है क्योंकि यह आखिरी चीज है जो मैंने देखी।"
AI के संदर्भ में, इसे पोजीशनल बायस (Positional Bias) कहा जाता है। पुराने AI उपकरण अनजाने में चित्र के बीच के हिस्से को (जहाँ वास्तविक वस्तु हो सकती है) हटा देते थे, सिर्फ इसलिए क्योंकि पिक्सेल वहाँ स्थित थे, न कि इसलिए कि वे क्या दिखा रहे थे। यह एक फोटोग्राफर की तरह है जो विषय (subject) के बजाय फ्रेम के किनारे के आधार पर फोटो को क्रॉप कर देता है।

2. नया समाधान: SVD-Prune (एक "म्यूजिकल मिक्स" का उदाहरण)

लेखक एक विधि प्रस्तावित करते हैं जिसे SVD-Prune कहा जाता है। एक जटिल चित्र को पिक्सेल के ग्रिड के रूप में नहीं, बल्कि एक विशाल म्यूजिकल मिक्स या एक सिम्फनी (Symphony) के रूप में सोचें।

पुराना तरीका: व्यक्तिगत वाद्य यंत्रों (पिक्सेल) को देखना और अनुमान लगाना कि कौन से तेज हैं।
SVD-Prune का तरीका: पूरे ऑर्केस्ट्रा को सुनना और मुख्य धुन (Main Melody) की पहचान करना।

यह विधि सिंगुलर वैल्यू डिकम्पोजिशन (Singular Value Decomposition - SVD) नामक एक गणितीय ट्रिक का उपयोग करती है। कल्पना कीजिए कि आपके पास 500 वस्तुओं से भरा एक अस्त-व्यस्त कमरा है। एक-एक करके वस्तुएं चुनने के बजाय, आप कमरे के "आकार" को देखते हैं। आप महसूस करते हैं कि कमरे की 90% "अव्यवस्था" वास्तव में कुछ बड़ी समान चीजों के ढेर हैं (जैसे कपड़ों का ढेर, किताबों का ढेर और कागजों का ढेर)।

SVD-Prune इमेज डेटा के साथ यही करता है:

डिकम्पोज़ (Decompose): यह चित्र को उसके "मुख्य विषयों" या "प्रमुख पैटर्न" (जैसे गाने में मुख्य धुन) में तोड़ देता है।
महत्व मापना (Measure Importance): यह चित्र के हर एक हिस्से के लिए एक "लीवरेज स्कोर" (Leverage Score) की गणना करता है। यह स्कोर इस सवाल का जवाब देता है: "यह विशिष्ट हिस्सा मुख्य धुन में कितना योगदान देता है?"
प्रून (Prune/छंटाई): यह उन हिस्सों को रखता है जो धुन बनाते हैं और बैकग्राउंड के शोर (स्थिरता, सूक्ष्म विवरण जिनका अर्थ नहीं बदलता) को हटा देता है।

3. यह गेम चेंजर क्यों है?

सबसे अच्छी बात? यह ट्रेनिंग-फ्री (Training-free) है।

पुराने तरीके एक छात्र को हर परीक्षा के लिए पढ़ने का एक नया तरीका सिखाने जैसे थे। आपको AI को फिर से प्रशिक्षित करना पड़ता था, जिसमें कई दिन और विशाल कंप्यूटर लगते थे।
SVD-Prune छात्र को परीक्षा से ठीक पहले एक जादुई हाइलाइटर देने जैसा है। आपको उन्हें कुछ भी नया सिखाने की आवश्यकता नहीं है; आपको बस टेक्स्ट पर हाइलाइटर लगाना है, और वे तुरंत जान जाते हैं कि उन्हें कहाँ ध्यान केंद्रित करना है। यह "प्लग-एंड-प्ले" है।

4. परिणाम: कम में अधिक करना

शोधकर्ताओं ने इसे तब टेस्ट किया जब उन्होंने AI को बहुत कम "विचारों" के साथ चित्र देखने के लिए मजबूर किया।

सामान्य AI: एक चित्र को स्पष्ट रूप से देखने के लिए 576 "विचारों" की आवश्यकता होती है।
SVD-Prune: केवल 16 या 32 "विचारों" के साथ भी चित्र को देख सकता है और अभी भी इसे पूर्ण संस्करण की तरह ही लगभग उतना ही समझ सकता है।

यह एक हाई-डेफिनिशन मूवी देखने जैसा है लेकिन प्रति सेकंड केवल 16 सबसे महत्वपूर्ण फ्रेम रखने के बावजूद, फिर भी आप कहानी को पूरी तरह समझते हैं। AI भ्रमित नहीं हुआ, न ही उसने गलत जानकारी (hallucination) दी, और न ही वह भूल गया कि वह क्या देख रहा था।

निष्कर्ष

यह पेपर एक चतुर, गणित-आधारित "एडिटर" पेश करता है जो जानता है कि चित्र के कौन से हिस्से सबसे अधिक मायने रखते हैं, बिना यह सीखे कि इसे कैसे करना है। यह शक्तिशाली AI को छोटे, सस्ते उपकरणों पर चलाने की अनुमति देता है, क्योंकि यह दृश्य "शोर" (noise) को हटाकर केवल "सिग्नल" (signal) को रखता है, जिससे स्मार्ट AI हर किसी के लिए, हर जगह सुलभ हो जाता है।

यहाँ शोध पत्र "SVD-PRUNE: EFFICIENT VISION-LANGUAGE MODELS के लिए TRAINING-FREE TOKEN PRUNING" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज मॉडल्स (VLMs) विज़न एनकोडर (जैसे, $336 \times 336$ इमेज के लिए 576 टोकन) द्वारा उत्पन्न बड़ी संख्या में विज़न टोकन्स के कारण महत्वपूर्ण कम्प्यूटेशनल और मेमोरी बाधाओं का सामना करते हैं। जबकि ये टोकन्स इनपुट सीक्वेंस का अधिकांश हिस्सा होते हैं, अनुभवजन्य विश्लेषण (empirical analysis) से पता चलता है कि टेक्स्ट टोकन्स की तुलना में मल्टीमॉडल रीजनिंग (multimodal reasoning) में इनका योगदान मामूली है।

मौजूदा टोकन प्रूनिंग विधियाँ इस रेडंडेंसी (redundancy) को कम करने का प्रयास करती हैं लेकिन वे गंभीर सीमाओं से ग्रस्त हैं:

स्थानीय ह्यूरिस्टिक्स (Local Heuristics) पर निर्भरता: अधिकांश विधियाँ अटेंशन स्कोर, टोकन नॉर्म्स, या क्रॉस-मोडल समानता का उपयोग करती हैं।
पोजीशनल बायस (Positional Bias): अटेंशन-आधारित मेट्रिक्स LLM डिकोडर्स में कॉज़ल मास्किंग (causal masking) द्वारा अत्यधिक प्रभावित होते हैं। बाद के टोकन्स अक्सर अपने अर्थपूर्ण मूल्य (semantic value) के बावजूद व्यवस्थित रूप से कम अटेंशन स्कोर प्राप्त करते हैं, जबकि औसत अटेंशन (averaging attention) एंड-ऑफ-सीक्वेंस टोकन्स के महत्व के अनुमान को विकृत कर सकता है।
प्रदर्शन में गिरावट (Performance Degradation): ये स्थानीय मानदंड वैश्विक दृश्य संरचना (global visual structure) को पकड़ने में विफल रहते हैं, जिससे प्रदर्शन में महत्वपूर्ण गिरावट आती है, विशेष रूप से अत्यधिक प्रूनिंग अनुपात (जैसे, टोकन्स को 32 या 16 तक कम करना) के तहत।

2. कार्यप्रणाली: SVD-Prune

लेखक SVD-Prune प्रस्तावित करते हैं, जो एक training-free, plug-and-play विधि है जो स्थानीय अटेंशन स्कोर के बजाय उनके वैश्विक सांख्यिकीय योगदान (global statistical contribution) के आधार पर विज़न टोकन्स को प्रून करती है। यह विधि मल्टीमॉडल डिकोडिंग से पहले, विज़न एनकोडर के आउटपुट पर कार्य करती है।

यह प्रक्रिया चार चरणों में संपन्न होती है:

A. SVD के माध्यम से ग्लोबल पैटर्न एक्सट्रैक्शन

एक विज़न फीचर मैट्रिक्स $F \in \mathbb{R}^{T \times D}$ (जहाँ $T$ टोकन्स की संख्या है और $D$ हिडन डायमेंशन है) को देखते हुए, विधि सिंगुलर वैल्यू डिकम्पोजिशन (SVD) करती है:
$F = U\Sigma V^\top$

$U$ : इसमें लेफ्ट सिंगुलर वेक्टर्स शामिल हैं जो टोकन स्पेस में प्रमुख दिशाओं (principal directions) का प्रतिनिधित्व करते हैं।
$\Sigma$ : प्रत्येक दिशा की "शक्ति" या वेरिएंस (variance) का प्रतिनिधित्व करने वाला डायगोनल मैट्रिक्स।
$V^\top$ : इसमें राइट सिंगुलर वेक्टर्स शामिल हैं जो फीचर स्पेस में प्रमुख दिशाओं का प्रतिनिधित्व करते हैं।
यह चरण इमेज के ग्लोबल वेरिएंस स्ट्रक्चर को कैप्चर करता है, जो पूरी इमेज में साझा सूचनात्मक पैटर्न (किनारे, बनावट, ऑब्जेक्ट्स) की पहचान करता है, जिससे पोजीशनल बायस कम हो जाता है।

B. डोमिनेंट वेरिएंस ट्रंकेशन (Dominant Variance Truncation)

विधि प्रत्येक सिंगुलर वैल्यू के लिए 'एक्सप्लेन्ड वेरिएंस रेशियो' ( $\sigma_i^2$ ) की गणना करके सबसे अधिक सूचनात्मक सबस्पेस की पहचान करती है। यह सबसे छोटा रैंक $k$ चुनती है ताकि संचयी (cumulative) समझाया गया वेरिएंस $c_k$ , थ्रेशोल्ड $\epsilon$ (आमतौर पर $0.7 $से$ 0.95$) से अधिक हो। यह सुनिश्चित करता है कि रिटेन्ड सबस्पेस मुख्य विजुअल सिग्नल को सुरक्षित रखते हुए शोर (noise) और अनावश्यक बारीक विवरणों को हटा देता है।

C. लीवरेज स्कोर के माध्यम से टोकन योगदान

यह निर्धारित करने के लिए कि किन विशिष्ट टोकन्स को रखना है, विधि टॉप- $k$ प्रिंसिपल डायरेक्शन्स पर प्रत्येक टोकन $t$ के प्रोजेक्शन के आधार पर सांख्यिकीय लीवरेज स्कोर (statistical leverage scores) की गणना करती है:
$\ell_t = \frac{1}{k} \sum_{j=1}^{k} (U_{t,j})^2 = \frac{1}{k} \|U_{t, [1:k]}\|_2^2$

व्याख्या: $\ell_t$ टोकन के नॉर्मलाइज्ड महत्व का प्रतिनिधित्व करता है। उच्च लीवरेज स्कोर इंगित करते हैं कि एक टोकन डोमिनेंट ग्लोबल वेरिएंस पैटर्न के साथ मजबूती से संरेखित (align) है।
गुण (Property): सभी लीवरेज स्कोर का योग 1 होता है, जो टोकन महत्व पर एक प्रोबेबिलिटी डिस्ट्रीब्यूशन प्रदान करता है।

D. टोकन चयन और प्रूनिंग

टोकन्स को उनके लीवरेज स्कोर के अवरोही क्रम (descending order) में सॉर्ट किया जाता है।
एल्गोरिदम टोकन्स का सबसे छोटा उपसमूह ( $m$ ) चुनता है ताकि उनका संचयी लीवरेज स्कोर थ्रेशोल्ड $\epsilon$ को पूरा करे।
चयनित टोकन्स को उनके मूल स्थानिक क्रम (original spatial order) में पुन: व्यवस्थित किया जाता है ताकि पोजीशनल एम्बेडिंग्स और डाउनस्ट्रीम अटेंशन मैकेनिज्म के साथ अनुकूलता बनी रहे।
अनसेलेक्टेड टोकन्स को हटा दिया जाता है।

3. मुख्य योगदान (Key Contributions)

Training-Free Efficiency: SVD-Prune के लिए किसी री-ट्रेनिंग, फाइन-ट्यूनिंग या आर्किटेक्चरल बदलाव की आवश्यकता नहीं है। यह एक "प्लग-एंड-प्ले" मॉड्यूल है जिसे विज़न एनकोडर के आउटपुट पर लागू किया जाता है।
Global vs. Local: स्थानीय अटेंशन स्कोर पर निर्भर करने वाली पूर्ववर्ती विधियों के विपरीत, SVD-Prune आवश्यक विजुअल सबस्पेस को सामूहिक रूप से स्पैन (span) करने वाले टोकन्स की पहचान करने के लिए ग्लोबल लो-रैंक डिकम्पोजिशन का उपयोग करता है।
Extreme Pruning के प्रति मजबूती: यह विधि विशेष रूप से प्रदर्शन बनाए रखने के लिए डिज़ाइन की गई है जब टोकन बजट को नाटकीय रूप से कम किया जाता है (16 टोकन्स तक), एक ऐसा क्षेत्र जहाँ मौजूदा विधियाँ विफल हो जाती हैं।
बायस मिटिगेशन (Bias Mitigation): SVD और लीवरेज स्कोर का उपयोग करके, यह विधि कॉज़ल मास्किंग और अटेंशन-आधारित ह्यूरिस्टिक्स में निहित पोजीशनल बायस को समाप्त करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन LLaVA-1.5-7B का उपयोग करके GQA (विजुअल रीजनिंग) और TextVQA (टेक्स्ट-केंद्रित विजुअल अंडरस्टैंडिंग) बेंचमार्क पर किया गया।

Extreme Compression के तहत प्रदर्शन:
- 32 Tokens: SVD-Prune ने GQA पर 53.52 और TextVQA पर 54.81 प्राप्त किया। इसने सभी प्रतिस्पर्धियों (जैसे, VisionZip: 51.80/53.10; SparseVLM: 48.30/46.10) को पछाड़ दिया।
- 16 Tokens: SVD-Prune ने GQA पर 53.04 और TextVQA पर 54.03 बनाए रखा, जो अन्य विधियों के विफल होने के विपरीत एक सुचारू गिरावट (graceful degradation) प्रदर्शित करता है।
SOTA के साथ तुलना:
- 64 टोकन्स पर, SVD-Prune ने 53.77 (GQA) और 55.14 (TextVQA) प्राप्त किया, जो SparseVLM और PyramidDrop से बेहतर है।
- 192 टोकन्स पर, इसने 59.88 (GQA) प्राप्त किया, जो HIRED (58.80) और PyramidDrop (57.30) से बेहतर है।
कम्प्यूटेशनल दक्षता:
- टोकन्स को 576 से 16 तक कम करने से कुल FLOPs में 84.8% की कमी आई।
- विज़न एनकोडर की लागत स्थिर रहती है, लेकिन प्रोजेक्टर और LLM की लागत टोकन संख्या के साथ रैखिक रूप से स्केल करती है, जिससे टोकन रिडक्शन ही मुख्य ड्राइवर बनता है।

5. महत्व (Significance)

यह कार्य इस धारणा को चुनौती देता है कि प्रभावी मल्टीमॉडल रीजनिंग के लिए घने (dense) विज़न टोकन रिप्रेजेंटेशन आवश्यक हैं। यह प्रदर्शित करके कि ग्लोबल वेरिएंस स्ट्रक्चर, लोकल अटेंशन स्कोर की तुलना में टोकन महत्व का अधिक विश्वसनीय संकेतक है, SVD-Prune VLMs को संसाधन-बाधित एज डिवाइसेस (edge devices) पर तैनात करने में सक्षम बनाता है। यह सिद्ध करता है कि अत्यधिक स्पार्स टोकन सेट (केवल 16 टोकन) के साथ भी उच्च-प्रदर्शन वाली विज़न-लैंग्वेज रीजनिंग प्राप्त की जा सकती है, जिसके लिए महंगी री-ट्रेनिंग की आवश्यकता नहीं है, जो कुशल AI इन्फरेंस के लिए एक व्यावहारिक मार्ग प्रदान करता है।