🤖 machine learning

LASER: Loss-Aware Singular-value Decomposition and Rank Allocation for Efficient Low-Precision Vision-Language Models

यह शोध पत्र LASER का प्रस्ताव करता है, जो विजन-लैंग्वेज मॉडल्स के लिए एक लो-रैंक कंप्रेशन फ्रेमवर्क है जो कम-परिशुद्धता (low-precision) इन्फरेंस के तहत सटीकता बनाए रखते हुए महत्वपूर्ण डिकोडिंग स्पीडअप प्राप्त करने के लिए कर्वेचर जानकारी द्वारा निर्देशित लॉस-अवेयर सिंगुलर-वैल्यू डिकंपोजिशन और एक क्रॉस-लेयर रैंक एलोकेशन स्ट्रैटेजी का उपयोग करता है।

मूल लेखक: Haiyu Wang, Yutong Wang, Leshu Li, Yihui Ren, Sai Qian Zhang

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Haiyu Wang, Yutong Wang, Leshu Li, Yihui Ren, Sai Qian Zhang

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: वह "विशाल मस्तिष्क" जो आपकी जेब में नहीं समा सकता

कल्पना कीजिए कि एक विजन-लैंग्वेज मॉडल (VLM) एक सुपर-स्मार्ट, विशाल मस्तिष्क की तरह है जो किसी तस्वीर को देख सकता है और उसके बारे में सवालों के जवाब दे सकता है। यह अविश्वसनीय रूप से शक्तिशाली है, लेकिन यह बहुत विशाल भी है। यह वैसा ही है जैसे अपने बैकपैक में विश्वकोशों (encyclopedias) का एक पूरा पुस्तकालय ले जाने की कोशिश करना। क्योंकि यह इतना बड़ा है, इसे चलाने के लिए बहुत अधिक ऊर्जा की आवश्यकता होती है, इसे स्टोर करने के लिए एक विशाल हार्ड ड्राइव चाहिए, और यह सामान्य फोन या लैपटॉप पर बहुत धीरे चलता है।

वैज्ञानिकों ने इन मॉडल्स को छोटा करने के लिए पहले भी दो मुख्य तरीकों का उपयोग किया है:

प्रूनिंग (Pruning): मस्तिष्क के उन हिस्सों को काट देना जो बेकार लगते हैं।
क्वांटाइजेशन (Quantization): मस्तिष्क के विचारों को एक सरल, छोटे भाषा में अनुवादित करना (जैसे संक्षिप्त शब्दों/abbreviations का उपयोग करना)।

लेकिन एक तीसरा, आशाजनक तरीका है जिसे लो-रैंक डिकंपोजिशन (Low-Rank Decomposition) कहा जाता है। कल्पना कीजिए कि आप एक जटिल पेंटिंग को देखते हैं और महसूस करते हैं कि वह वास्तव में केवल कुछ सरल ब्रशस्ट्रोक (brushstrokes) की कई परतें है। यदि आप उन कुछ स्ट्रोक्स को ढूंढ सकते हैं, तो आप हर एक पिक्सेल को स्टोर किए बिना उस पेंटिंग को फिर से बना सकते हैं। यही "लो-रैंक" करता है: यह मॉडल के भीतर की गणित को सरल बनाता है।

पुराने तरीकों के साथ समस्या: इस तरह के पिछले प्रयास एक पेंटिंग को छोटा करने के अंदाज़े लगाने जैसा थे कि कौन से ब्रशस्ट्रोक रखने हैं। वे अक्सर इस बात पर ध्यान केंद्रित करते थे कि तस्वीर वैसी ही दिखे (पुनर्निर्माण/reconstruction), बजाय इसके कि मस्तिष्क अभी भी सही ढंग से सोच सके। उन्होंने मस्तिष्क के हर हिस्से के साथ एक जैसा व्यवहार किया, भले ही कुछ हिस्से दूसरों की तुलना में अधिक महत्वपूर्ण हों।

समाधान: LASER (लॉस-अवेयर सिंगुलर-वैल्यू डिकंपोजिशन एंड रैंक एलोकेशन)

इस शोध पत्र के लेखकों ने इन विशाल मस्तिष्क को उनकी बुद्धिमत्ता खोए बिना छोटा करने के लिए एक नया तरीका बनाया है। LASER को एक स्मार्ट, लॉस-अवेयर मूर्तिकार (loss-aware sculptor) के रूप में सोचें।

यहाँ बताया गया है कि LASER तीन सरल चरणों में कैसे काम करता है:

1. "कर्वचर" कंपास (Loss-Aware SVD)

पुराने तरीके पूछते थे: "यदि मैं इस हिस्से को हटा दूँ, तो क्या तस्वीर वैसी ही दिखेगी?"
LASER पूछता है: "यदि मैं इस हिस्से को हटा दूँ, तो क्या मॉडल गलत उत्तर देगा?"

कल्पना कीजिए कि आप एक फिल्म एडिट कर रहे हैं। एक मानक संपादक किसी दृश्य को केवल इसलिए काट सकता है क्योंकि वह अगले दृश्य के समान दिखता है। LASER एक ऐसे निर्देशक की तरह है जो जानता है कि कहानी के लिए कौन से दृश्य अत्यंत महत्वपूर्ण हैं। यह एक गणितीय "कंपास" (जिसे K-FAC कहा जाता है) का उपयोग करता है जो यह मापता है कि यदि किसी विशिष्ट हिस्से को बदला जाए, तो मॉडल के विश्वास या सटीकता में कितनी गिरावट आएगी। यह केवल संख्याओं के वजन को नहीं देखता; यह देखता है कि वे संख्याएं अंतिम परिणाम को कैसे प्रभावित करती हैं। यह सुनिश्चित करता है कि जब वे मॉडल को छोटा करते हैं, तो "मस्तिष्क" स्मार्ट बना रहे।

2. "फेयर शेयर" बजट (Cross-Layer Rank Allocation)

कल्पना कीजिए कि आपके पास 10 कमरों वाले घर को ठीक करने के लिए 100 डॉलर का बजट है।

पुराना तरीका: हर कमरे को ठीक $10 दें।
LASER तरीका: पहले घर का निरीक्षण करें। रसोई खराब स्थिति में है (बहुत संवेदनशील), इसलिए उसे $40 मिलते हैं। स्टोर रूम ठीक है (संवेदनशील नहीं), इसलिए उसे$ 5 मिलते हैं। बाकी को अन्य कमरों के बीच उनकी आवश्यकता के आधार पर बांटा जाता है।

LASER समझता है कि AI के सभी हिस्से समान रूप से महत्वपूर्ण नहीं होते हैं। कुछ परतें (layers) "नाजुक" होती हैं और उन्हें अपनी मूल जटिलता को अधिक बनाए रखने की आवश्यकता होती है, जबकि अन्य को काफी हद तक छोटा किया जा सकता है। यह यह पता लगाने के लिए एक विशेष "कैलिब्रेशन" प्रक्रिया का उपयोग करता है कि प्रत्येक परत को कितना "स्थान" (rank) दिया जाए ताकि पूरा मॉडल संतुलित और सटीक बना रहे।

3. "हाइब्रिड" FFN (द हेवी लिफ्टर)

इन AI मस्तिष्क के भीतर, दो मुख्य प्रकार के कार्यकर्ता होते हैं:

अटेंशन टीम (The Attention Team): वे इमेज और टेक्स्ट को देखते हैं ताकि यह तय कर सकें कि कहाँ ध्यान केंद्रित करना है।
FFN टीम (फीड-फॉरवर्ड नेटवर्क): वे प्रोसेसिंग और रीजनिंग का भारी काम करते हैं। यह टीम मॉडल के आकार का एक बड़ा हिस्सा बनाती है।

पुराने तरीकों ने ज्यादातर "अटेंशन टीम" को छोटा किया और "FFN टीम" को अनदेखा कर दिया। LASER इस FFN टीम के अंदर जाता है और कहता है, "हम सबको समान रूप से छोटा नहीं कर सकते, अन्यथा टीम विफल हो जाएगी।"
यह एक हाइब्रिड रणनीति का उपयोग करता है:

यह उन विशिष्ट कार्यकर्ताओं (चैनलों) की पहचान करता है जिन्हें सरल बनाया जा सकता है और उन्हें "ब्रशस्ट्रोक" तकनीक (SVD) का उपयोग करके छोटा करता है।
यह जिद्दी, कठिन कार्यकर्ताओं को वैसे ही रहने देता है (उन्हें 'डेंस' रखता है)।
फिर, यह पूरे दल को और भी अधिक स्थान बचाने के लिए एक सरल भाषा (क्वांटाइजेशन) में अनुवादित करता है।

परिणाम: तेज़, छोटा और स्मार्ट

शोध पत्र का दावा है कि इस स्मार्ट स्कल्प्टिंग दृष्टिकोण का उपयोग करके:

गति (Speed): मॉडल पिछले शीर्ष तरीकों की तुलना में 2.3 गुना तेज़ और मानक उच्च-परिशुद्धता (high-precision) तरीकों की तुलना में 4.7 गुना तेज़ चलता है।
सटीकता (Accuracy): भले ही मॉडल को छोटा और सरल बनाया गया है, फिर भी यह विशाल, बिना सिकुड़े संस्करण की तरह लगभग उतनी ही सटीकता से सवालों के जवाब देता है।
दक्षता (Efficiency): यह मेमोरी की भारी बचत करता है, जिससे इन शक्तिशाली AI मस्तिष्क को उन उपकरणों पर चलाना संभव हो जाता है जो आमतौर पर इन्हें संभालने में सक्षम नहीं होते।

संक्षेप में: LASER एक विशाल AI मस्तिष्क को छोटा करने का एक स्मार्ट तरीका है। टुकड़ों को अंधाधुंध काटने के बजाय, यह सावधानीपूर्वक मापता है कि कौन से टुकड़े आवश्यक हैं, महत्वपूर्ण हिस्सों को अधिक स्थान देता है, और बाकी को सरल बनाता है, जिसके परिणामस्वरूप एक ऐसा मॉडल मिलता है जो तेज़, छोटा और अभी भी बहुत स्मार्ट है।

तकनीकी सारांश: LASER (Loss-Aware Singular-value Decomposition and Rank Allocation)

समस्या विवरण

विज़न-लैंग्वेज मॉडल्स (VLMs) ने मजबूत मल्टीमॉडल रीजनिंग क्षमताओं का प्रदर्शन किया है, लेकिन वे अपने बड़े कम्प्यूटेशनल खर्च, उच्च पैरामीटर गणना और ऑटोरेग्रेसिव डिकोडिंग के दौरान पर्याप्त मेमोरी बैंडविड्थ आवश्यकताओं के कारण महत्वपूर्ण परिनियोजन चुनौतियों का सामना करते हैं। जबकि लो-रैंक डिकंपोजिशन एक आशाजनक संपीड़न तकनीक के रूप में उभरा है, मौजूदा विधियाँ तीन प्राथमिक सीमाओं से ग्रस्त हैं:

स्थानीय अनुकूलन (Local Optimization): अधिकांश विधियाँ स्थानीय मैट्रिक्स पुनर्निर्माण त्रुटि या लेयर-वाइज आउटपुट त्रुटि के लिए अनुकूलन करती हैं, जिससे मॉडल लॉस (loss) पर एंड-टू-एंड प्रभाव की अनदेखी होती है।
अकुशल रैंक आवंटन (Inefficient Rank Allocation): वर्तमान दृष्टिकोण अक्सर समान या ह्यूरिस्टिक रैंक आवंटन पर निर्भर करते हैं, जो विभिन्न परतों (layers) और अटेंशन हेड्स की संपीड़न के प्रति परिवर्तनशील संवेदनशीलता को समझने में विफल रहते हैं।
सीमित दायरा (Limited Scope): मौजूदा प्रयास मुख्य रूप से अटेंशन प्रोजेक्शन (Q, K, V) पर ध्यान केंद्रित करते हैं, जिससे फीड-फॉरवर्ड नेटवर्क (FFNs)—जो मॉडल के पैरामीटर्स और स्टोरेज का एक बड़ा हिस्सा बनाते हैं—लो-रैंक संपीड़न के लिए काफी हद तक अनछुए रह जाते हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र LASER (Loss-Aware Singular-value dEcomposition and Rank allocation) का प्रस्ताव करता है, जो एक ऐसा फ्रेमवर्क है जिसे केवल पुनर्निर्माण निष्ठा (reconstruction fidelity) के बजाय डाउनस्ट्रीम VLM प्रदर्शन के साथ लो-रैंक संपीड़न को संरेखित करने के लिए डिज़ाइन किया गया है। कार्यप्रणाली में चार मुख्य घटक शामिल हैं:

1. लॉस-अवेयर सिंगुलर वैल्यू डिकंपोजिशन (SVD)

वेट पुनर्निर्माण त्रुटि के फ्रोबेनियस नॉर्म (Frobenius norm) को कम करने के बजाय, LASER मॉडल लॉस के सेकंड-ऑर्डर एप्रोक्सिमेशन से एक कर्वेचर-वेटेड (curvature-weighted) SVD ऑब्जेक्टिव प्राप्त करता है।

K-FAC सरोगेट: क्रोनेकर-फैक्टर्ड एप्रोक्सिमेट कर्वेचर (K-FAC) का उपयोग करते हुए, यह विधि वेट परटर्बेशन $\Delta W$ के कारण होने वाले लॉस वृद्धि को $\Delta L \approx \frac{1}{2}\text{vec}(\Delta W)^\top (G \otimes X)\text{vec}(\Delta W)$ के रूप में अनुमानित करती है, जहाँ $X$ और $G$ एक कैलिब्रेशन सेट पर अनुमानित एक्टिवेशन और ग्रेडिएंट कोवेरियेंस मैट्रिसेस हैं।
ट्रांसफ़ॉर्मेशन: वेट मैट्रिक्स $W$ को एक कर्वेचर-वेटेड स्पेस $\tilde{W} = S_x W S_g$ (जहाँ $S_x$ और $S_g$ क्रमशः $X$ और $G$ के चोलेस्की फैक्टर्स हैं) में परिवर्तित किया जाता है। $\tilde{W}$ पर SVD किया जाता है, और परिणामी लो-रैंक फैक्टर्स को मूल स्पेस में वापस मैप किया जाता है। यह सुनिश्चित करता है कि ट्रंकेटेड घटक मॉडल लॉस में सबसे कम अनुमानित वृद्धि के अनुरूप हों।
क्वांटाइजेशन-अवेयर व्हाइटनिंग (QAW): लो-प्रिसिजन इन्फरेंस को समायोजित करने के लिए, यह विधि क्वांटाइज्ड कैलिब्रेशन एक्टिवेशन्स का उपयोग करके K-FAC फैक्टर्स का अनुमान लगाती है, जिससे व्हाइटनिंग ऑब्जेक्टिव को तैनात लो-प्रिसिजन लेयर के साथ संरेखित किया जा सके।

2. लॉस-अवेयर क्रॉस-लेयर रैंक आवंटन

शोध पत्र पहचानता है कि K-FAC से प्राप्त सिंगुलर वैल्यूज, कर्वेचर एस्टीमेशन में भिन्न स्केलिंग फैक्टर्स के कारण, विभिन्न परतों या अटेंशन हेड्स के बीच सीधे तुलनीय नहीं हैं।

एम्पिरिकल-फिशर इम्पॉर्टेंस स्कोर: ग्लोबल रैंक आवंटन को सक्षम करने के लिए, LASER कैलिब्रेशन ग्रेडिएंट्स पर आधारित एक इम्पॉर्टेंस स्कोर पेश करता है। प्रत्येक सिंगुलर घटक के लिए, स्कोर एम्पिरिकल-फिशर क्वाड्रेटिक लॉस एप्रोक्सिमेशन में इसके योगदान को मापता है, जो मूल पैरामीटर स्पेस में कैलिब्रेशन ग्रेडिएंट्स के साथ इसके संरेखण के साथ सिंगुलर वैल्यू मैग्नीट्यूड को जोड़ता है।
ग्लोबल ऑप्टिमाइजेशन: रैंकों को प्रति पैरामीटर लागत उच्चतम इम्पॉर्टेंस स्कोर वाले सिंगुलर घटकों को लालची (greedy) तरीके से चुनकर आवंटित किया जाता है, जब तक कि एक लक्षित पैरामीटर बजट प्राप्त न हो जाए, जिससे परतों और हेड्स के बीच गैर-समान रैंक वितरण संभव होता है।

3. FFNs के लिए हाइब्रिड SVD-क्वांटाइजेशन

यह पहचानते हुए कि FFNs का यूनिफॉर्म लो-रैंक डिकंपोजिशन गंभीर सटीकता गिरावट का कारण बन सकता है, LASER एक हाइब्रिड स्कीम का उपयोग करता है:

चैनल चयन: गेट और अप प्रोजेक्शन पर एक अस्थायी SVD लागू किया जाता है ताकि "SVD-फ्रेंडली" हिडन चैनल्स (वे जिनमें कम पुनर्निर्माण त्रुटि है) की पहचान की जा सके।
हाइब्रिड आर्किटेक्चर: चयनित चैनल्स को SVD के माध्यम से संपीड़ित किया जाता है, जबकि शेष चैनल्स को डेंस रखा जाता है।
क्वांटाइजेशन: आउटलेर्स को स्मूथ करने के लिए SVD फैक्टर्स के बीच एक ऑर्थोगोनल रोटेशन डाला जाता है, जिसके बाद लो-रैंक और डेंस दोनों शाखाओं के लिए राउंड-टू-नियरएस्ट (RTN) क्वांटाइजेशन किया जाता है।

4. सिस्टम इम्प्लीमेंटेशन

लेटेंसी लाभ प्राप्त करने के लिए, लेखक हाइब्रिड लो-रैंक FFN और लो-प्रिसिजन सेल्फ-अटेंशन (SA) लेयर्स के लिए फ्यूज्ड ट्राइटन कर्नेल्स (fused Triton kernels) को लागू करते हैं। ये कर्नेल्स इनपुट प्रोजेक्शन, लेटेंट एक्टिवेशन जनरेशन, SwiGLU ऑपरेशंस, और क्वांटाइजेशन/डीक्वांटाइजेशन स्टेप्स को फ्यूज करते हैं, जिससे मेमोरी मूवमेंट और कर्नेल लॉन्च ओवरहेड काफी कम हो जाता है।

मुख्य योगदान

लॉस-अवेयर ऑब्जेक्टिव: एक कर्वेचर-वेटेड SVD ऑब्जेक्टिव का व्युत्पन्न जो K-FAC का उपयोग करके मॉडल के डाउनस्ट्रीम प्रदर्शन के साथ लो-रैंक डिकंपोजिशन को संरेखित करता है, जो केवल स्थानीय पुनर्निर्माण त्रुटि से आगे बढ़ता है।
मजबूत रैंक आवंटन: विभिन्न परतों के बीच K-FAC सिंगुलर वैल्यूज की अतुलनीयता की पहचान और विश्वसनीय ग्लोबल रैंक आवंटन के लिए कैलिब्रेशन-ग्रेडिएंट-आधारित इम्पॉर्टेंस स्कोर का परिचय।
FFN विस्तार: एक हाइब्रिड SVD-क्वांटाइजेशन स्कीम जो संवेदनशील चैनल्स के लिए डेंस कंप्यूटेशन को बनाए रखते हुए टॉलरेंट चैनल्स पर चुनिंदा रूप से SVD लागू करके FFN लेयर्स तक लो-रैंक कंप्रेशन का विस्तार करती है।
सिस्टम ऑप्टिमाइजेशन: फ्यूज्ड ट्राइटन कर्नेल्स का विकास जो लो-रैंक रिकंस्ट्रक्शन, क्वांटाइजेशन और नॉन-लीनियर ऑपरेशंस को एकीकृत करते हैं, जिससे महत्वपूर्ण डिकोडिंग स्पीडअप प्राप्त होता है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन पांच VLMs (LLaVA-v1.5 7B, LLaVA-Next 7B/13B, Qwen2-VL 7B, SmolVLM 2B) पर ScienceQA-IMG, SEED-Bench-IMG, और MMBench के माध्यम से किया गया।

सटीकता संरक्षण (Accuracy Preservation): FP16 इन्फरेंस के तहत, LASER-noQ (केवल SVD) ने विभिन्न पैरामीटर रेश्यो ( $\rho_1$ ) के माध्यम से बेसलाइन्स (SVD-LLM, QSVD, WSVD) को लगातार पछाड़ दिया। LLaV-Next 13B के $\rho_1=50\%$ के साथ, LASER ने पूर्ण FP16 मॉडल के समान सटीकता बनाए रखी, जिसमें 1% से भी कम की गिरावट देखी गई।
लो-प्रिसिजन प्रदर्शन: W8A8 क्वांटाइज्ड सेटिंग्स में, LASER ने FP16 बेसलाइन्स के सापेक्ष औसतन केवल ~0.5% की सटीकता गिरावट हासिल की, जबकि KV-कैशे के आकार को FP16 मॉडल के 25% तक कम कर दिया। इसने अन्य क्वांटाइजेशन-अवेयर SVD विधियों (QSVD, WSVD) और शुद्ध क्वांटाइजेशन विधियों (DuQuant, QVLM) को भी पीछे छोड़ दिया।
लेटेंसी और स्पीडअप: RTX 4090 और 5090 GPUs पर सिस्टम-लेवल मूल्यांकन ने प्रदर्शित किया कि LASER फ्लैश डिकोडिंग (Flash Decoding) की तुलना में 4.7× डिकोडिंग स्पीडअप और WSVD की तुलना में 2.3× स्पीडअप प्राप्त करता है, जिसका श्रेय फ्यूज्ड कर्नेल्स और कम मेमोरी ट्रैफिक को जाता है।

महत्व और दावे

शोध पत्र का दावा है कि LASER लो-रैंक कंप्रेशन के लिए एक व्यवस्थित दृष्टिकोण प्रदान करता है क्योंकि यह अनुकूलन फोकस को स्थानीय पुनर्निर्माण से बदलकर ग्लोबल लॉस सेंसिटिविटी पर ले जाता है। यूनिफॉर्म रैंक आवंटन की सीमाओं और FFN लेयर्स की उपेक्षा को संबोधित करके, LASER मल्टीमॉडल रीजनिंग क्षमताओं से समझौता किए बिना संसाधन-बाधित उपकरणों पर कुशल, लो-प्रिसिजन इन्फरेंस को सक्षम बनाता है। यह कार्य प्रदर्शित करता है कि लॉस-अवेयर डिकंपोजिशन, ग्रेडिएंट-आधारित रैंक आवंटन और हाइब्रिड कंप्रेशन रणनीतियों को मिलाने से सटीकता प्रतिधारण और इन्फरेंस स्पीड दोनों में पर्याप्त लाभ मिल सकता है।