💬 NLP

Enhancing Delta Compression in LLMs via SVD-based Quantization Error Minimization

यह शोध पत्र PrinMix को प्रस्तुत करता है, जो एक गणितीय रूप से आधारित ढांचा है जो क्वांटाइजेशन को एक इंटीजर लीनियर प्रोग्रामिंग समस्या के रूप में स्वरूपित करके और रिकंस्ट्रक्शन टारगेट करेक्शन का उपयोग करके लार्ज लैंग्वेज मॉडल्स के लिए SVD-आधारित डेल्टा कंप्रेशन को अनुकूलित करता है, जिससे यह चुनौतीपूर्ण बेंचमार्क पर मौजूदा विधियों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Boya Xiong, Shuo Wang, Weifeng Ge, Guanhua Chen, Yun Chen

प्रकाशित 2026-02-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Boya Xiong, Shuo Wang, Weifeng Ge, Guanhua Chen, Yun Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ PRINMIX पेपर का सरल भाषा, रचनात्मक उपमाओं और रूपकों का उपयोग करते हुए हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: "डेल्टा" (Delta) की समस्या

कल्पना कीजिए कि आपके पास एक विशाल, सुपर-इंटेलिजेंट रोबोट है (एक लार्ज लैंग्वेज मॉडल या LLM) जो दुनिया के बारे में सब कुछ जानता है। यह बेस मॉडल (Base Model) है।

अब, कल्पना कीजिए कि आप इस रोबोट को एक नया कौशल सिखाना चाहते हैं, जैसे उन्नत गणित की समस्याओं को हल करना या कोड लिखना। आपको पूरे रोबोट को फिर से बनाने की आवश्यकता नहीं है; आपको बस एक छोटा "अपग्रेड पैक" या निर्देशों का एक सेट जोड़ने की आवश्यकता है। AI की दुनिया में, इस अपग्रेड पैक को डेल्टा (Delta) कहा जाता है।

समस्या:
आमतौर पर, ये अपग्रेड पैक बहुत बड़े होते हैं। यदि आप इस रोबोट के 100 अलग-अलग संस्करणों (एक गणित के लिए, एक कोडिंग के लिए, एक कविता लिखने के लिए) को तैनात करना चाहते हैं, तो आपको 100 विशाल फ़ाइलें स्टोर करनी पड़ेंगी। यह एक विमान पर 100 भारी सूटकेस ले जाने की कोशिश करने जैसा है। यह बहुत महंगा और धीमा है।

वर्तमान समाधान (और इसकी खामी):
वैज्ञानिकों ने इन सूटकेसों को सिकोड़ने (compress करने) के लिए उन्हें छोटा करने की कोशिश की। कुछ तरीके सब कुछ को एक ही आकार में दबा देते हैं (जैसे सभी कपड़ों को एक छोटे बैग में डाल देना), जिससे कपड़े खराब हो जाते हैं। अन्य तरीकों में एक "नियम" (heuristic) का उपयोग किया जाता है: "बड़ी संख्याएँ महत्वपूर्ण हैं, इसलिए उन्हें बड़ा रखें; छोटी संख्याएँ महत्वहीन हैं, इसलिए उन्हें सिकोड़ दें।" लेकिन यह नियम हमेशा सही नहीं होता है, और कभी-कभी रोबोट अपना काम करना भूल जाता है।

नया समाधान: PRINMIX

इस पेपर के लेखकों ने PRINMIX बनाया है। PRINMIX को एक स्मार्ट, गणितीय दर्जी (tailor) के रूप में सोचें जो केवल यह अनुमान नहीं लगाता कि सूटकेस को कैसे सिकोड़ा जाए; बल्कि यह गणना करता है कि इसे करने का परफेक्ट तरीका क्या है।

यहाँ बताया गया है कि PRINMIX कैसे काम करता है, जिसे तीन सरल चरणों में विभाजित किया गया है:

1. "SVD" अनपैकिंग (सूटकेस को खोलना)

अपग्रेड पैक को सिकोड़ने से पहले, PRINMIX इसे SVD (सिंगुलर वैल्यू डिकंपोजिशन) नामक एक तकनीक का उपयोग करके अलग करता है।

उपमा: कल्पना कीजिए कि आपका सूटकेस एक विशाल जिग्सॉ पहेली (jigsaw puzzle) है। PRINMIX इस पहेली को दो मुख्य हिस्सों में अलग करता है: फ्रेम (Frame) (संरचना) और पिक्चर (Picture) (विवरण)।
गणितीय शब्दों में, यह डेटा को U (फ्रेम) और V (पिक्चर) में विभाजित करता है, जो सिग्मा (Sigma) नामक संख्याओं की एक सूची (महत्व स्कोर) द्वारा जुड़े होते हैं।

2. "स्मार्ट श्रिंक" (त्रुटियों को कम करना)

यहीं PRINMIX चमकता है। चीजों को सिकोड़ने के लिए अनुमान लगाने के बजाय, यह सिकोड़ने को एक गणितीय पहेली की तरह मानता है।

पुराना तरीका: "अरे, बड़ी संख्याएँ महत्वपूर्ण दिख रही हैं, तो चलिए उन्हें 8-बिट प्रिसिजन पर रखते हैं और छोटी संख्याओं को 1-बिट तक सिकोड़ देते हैं।" (यह एक अनुमान है)।
PRINMIX का तरीका: यह पूछता है, "यदि मैं इस विशिष्ट हिस्से को 2 बिट से सिकोड़ देता हूँ, तो रोबोट के प्रदर्शन में कितनी गिरावट आएगी? यदि मैं उस हिस्से को 4 बिट से सिकोड़ देता हूँ, तो कितनी गिरावट आएगी?"
यह एक "स्केलिंग टर्म" (एक हिस्सा कितना महत्वपूर्ण है) और एक "डिफरेंस टर्म" (इसे सिकोड़ने से कितना शोर/नॉइज़ पैदा होता है) की गणना करता है।
परिणाम: यह एक मिक्स्ड-प्रिसिजन (Mixed-Precision) योजना बनाता है। कुछ हिस्सों को 8 बिट मिलते हैं (उच्च गुणवत्ता), कुछ को 4 बिट, कुछ को 2 बिट, और कुछ को 0 बिट (पूरी तरह से हटा दिया जाता है)। यह उस सटीक संयोजन को खोज लेता है जो रोबोट को सबसे स्मार्ट बनाए रखते हुए फ़ाइल को सबसे छोटा बनाता है।
गणितीय जादू: यह इसे "0/1 इंटीजर लीनियर प्रोग्रामिंग" समस्या का उपयोग करके हल करता है। इसे एक अत्यंत उन्नत सुडोकू गेम की तरह समझें जहाँ कंप्यूटर सभी नियमों (स्टोरेज सीमा) के अनुकूल होने वाला एक सटीक समाधान खोजता है, बिना किसी अनुमान के।

3. "फिक्स-इट" स्टेप (रिकंस्ट्रक्शन टारगेट करेक्शन)

जब आप "पिक्चर" वाले हिस्से (V) को सिकोड़ते हैं, तो यह "फ्रेम" वाले हिस्से (U) को थोड़ा विकृत (distort) कर देता है।

उपमा: कल्पना कीजिए कि आप एक फोटो को सिकोड़ते हैं, और फिर आप उसे वापस एक फ्रेम में रखने की कोशिश करते हैं। फ्रेम अब शायद पूरी तरह से फिट न बैठे।
समाधान: PRINMIX के पास एक विशेष चरण है जिसे RTC (रिकंस्ट्रक्शन टारगेट करेक्शन) कहा जाता है। फ्रेम को सिकोड़ने से पहले, यह पिक्चर को सिकोड़ने से होने वाले विरूपण (distortion) को ध्यान में रखते हुए इसे थोड़ा समायोजित करता है। यह सुनिश्चित करता है कि अंतिम रोबोट अभी भी पूरी तरह से फिट बैठता है।

यह एक बड़ी बात क्यों है?

पेपर में PRINMIX का परीक्षण AI के लिए कुछ सबसे कठिन कार्यों पर किया गया: गणित, तर्क (Logic), कोडिंग, और इमेज अंडरस्टैंडिंग।

परिणाम: एक कठिन गणित परीक्षा (AIME2024) पर, PRINMIX ने पिछले सर्वश्रेष्ठ तरीके (Delta-CoMe) को भारी अंतर से पीछे छोड़ दिया (7B मॉडल के लिए 22.3%)।
"क्यों": पिछले तरीके "बड़ी संख्याएँ महत्वपूर्ण हैं" के नियम पर निर्भर थे। लेकिन लेखकों ने गणितीय रूप से सिद्ध किया कि यह हमेशा सच नहीं होता है। कभी-कभी, एक "छोटी" संख्या वास्तव में एक जटिल पहेली को सुलझाने की कुंजी होती है। PRINMIX को संख्या के आकार की परवाह नहीं है; इसे त्रुटि (error) की परवाह है। यदि एक छोटी संख्या को सिकोड़ने से बड़ी त्रुटि होती है, तो PRINMIX उसे बड़ा रखता है।

वास्तविक दुनिया का प्रभाव

कल्पना कीजिए कि एक क्लाउड सर्वर को एक साथ 100 अलग-अलग AI सहायकों को सेवा देनी है।

पहले: आप एक ही सर्वर पर केवल 2 या 3 सहायक रख सकते थे क्योंकि फ़ाइलें बहुत बड़ी थीं।
PRINMIX के साथ: आप एक ही सर्वर पर 12 सहायक रख सकते हैं क्योंकि "अपग्रेड पैक" बहुत छोटे और कुशल हैं।
लाभ: यह भारी मात्रा में पैसा, बिजली और समय बचाता है। यह छोटी कंपनियों को उन उन्नत AI मॉडलों को चलाने की अनुमति देता है जिन्हें होस्ट करना पहले बहुत महंगा था।

एक वाक्य में सारांश

PRINMIX एक गणितीय रूप से सटीक कंप्रेशन टूल है जो यह पता लगाता है कि AI के "अपग्रेड पैक" के प्रत्येक हिस्से को ठीक कितना सिकोड़ा जाना चाहिए ताकि जगह बचाई जा सके और AI की सोचने की क्षमता भी बनी रहे।

यहाँ पेपर "Principled SVD-based Delta Compression via Quantization Error Minimization" (PRINMIX) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को विशेष कार्यों के लिए तेजी से फाइन-ट्यून किया जा रहा है, जिससे एक "मल्टी-टेनेंट" परिदृश्य बन रहा है जहाँ एक ही बेस मॉडल कई अनुकूलित (customized) संस्करणों को सेवा प्रदान करता है। प्रत्येक अनुकूलित मॉडल के पूर्ण पैरामीटर्स को स्टोर करना और वितरित करना अक्षम है। डेल्टा-कंप्रेशन (Delta-compression) इसे केवल फाइन-ट्यून किए गए मॉडल और बेस मॉडल के बीच के वेट अंतर ( $\Delta W$ ) को स्टोर करके हल करता है।

हालाँकि, मौजूदा डेल्टा-कंप्रेशन विधियों को महत्वपूर्ण सीमाओं का सामना करना पड़ता है:

ह्यूरिस्टिक दृष्टिकोण (Heuristic Approaches): वर्तमान विधियाँ (जैसे, Delta-CoMe) डेल्टा वेट्स को कंप्रेस करने के लिए सिंगुलर वैल्यू डीकंपोजिशन (SVD) का उपयोग करती हैं, लेकिन मिश्रित-परिशुद्धता (mixed-precision) बिट-चौड़ाई असाइन करने के लिए ह्यूरिस्टिक धारणाओं (जैसे, "बड़े सिंगुलर मान उच्च महत्व का संकेत देते हैं") पर निर्भर करती हैं।
सैद्धांतिक आधार का अभाव (Lack of Theoretical Grounding): इन ह्यूरिस्टिक्स में कठोर गणितीय औचित्य की कमी है और वे उन चुनौतीपूर्ण परिदृश्यों में अक्सर विफल हो जाते हैं जहाँ डेल्टा वेट्स के नॉर्म्स बड़े होते हैं या वितरण जटिल होता है।
इष्टतम प्रदर्शन की कमी (Suboptimal Performance): अनुभवजन्य रणनीतियाँ अक्सर पूर्ण फाइन-ट्यून किए गए मॉडल की तुलना में रीजनिंग और जटिल कार्यों में महत्वपूर्ण प्रदर्शन गिरावट का कारण बनती हैं।

2. कार्यप्रणाली: PRINMIX (Methodology: PRINMIX)

लेखक PRINMIX का प्रस्ताव करते हैं, जो एक सिद्धांत-आधारित ढांचा है जो डेल्टा कंप्रेशन को क्वांटाइजेशन एरर (quantization error) को कम करने के लिए एक गणितीय अनुकूलन समस्या के रूप में तैयार करता है, न कि अनुभवजन्य ह्यूरिस्टिक्स पर निर्भर करता है।

A. क्वांटाइजेशन एरर का सैद्धांतिक व्युत्पत्ति (Theoretical Derivation of Quantization Error)

PRINMIX SVD स्पेस ( $W = U\Sigma V$ ) के भीतर कार्य करता है। वेट मैट्रिक्स $W$ को सीधे क्वांटाइज करने के बजाय, यह सिंगुलर वेक्टर्स $U$ और $V$ को क्वांटाइज करता है।

एरर डिकंपोजिशन (Error Decomposition): लेखक $V$ $V$ की $i$ $i$ -वीं पंक्ति के लिए क्वांटाइजेशन एरर को दो पदों के गुणनफल के रूप में व्युत्पन्न करते हैं:
1. स्केलिंग टर्म ( $\Sigma_{ii}^2$ ): सिंगुलर मान के वर्ग के समानुपाती।
2. डिफरेंस टर्म (Difference Term): क्वांटाइजेशन अंतर और इनपुट डेटा कोवेरिएंस ( $XX^T$ ) से व्युत्पन्न।
मुख्य अंतर्दृष्टि (Key Insight): "स्केलिंग" टर्म पंक्तियों (सिंगुलर वेक्टर्स) के बीच काफी भिन्न होता है, जबकि "डिफरेंस" टर्म दिए गए बिट-विड्थ के लिए अपेक्षाकृत स्थिर रहता है। यह गणितीय व्युत्पत्ति सिद्ध करती है कि मिश्रित-परिशुद्धता क्वांटाइजेशन आवश्यक है: जिन पंक्तियों के सिंगुलर मान बड़े होते हैं (उच्च स्केलिंग), उन्हें कुल त्रुटि को कम करने के लिए उच्च बिट-चौड़ाई की आवश्यकता होती है, जबकि छोटे सिंगुलर मान वाली पंक्तियाँ कम बिट-चौड़ाई को सहन कर सकती हैं।
V-फिर-U रणनीति (V-then-U Strategy): यह ढांचा पहले $V$ को क्वांटाइज करता है, फिर $U$ को। महत्वपूर्ण रूप से, एरर विश्लेषण दिखाता है कि $U$ में $V$ की तरह पंक्ति-वार भिन्नता नहीं होती है (इसका हेसियन (Hessian) पंक्तियों में समान है)। इसलिए, PRINMIX $U$ के कॉलम के लिए $V$ के लिए व्युत्पन्न समान मिश्रित-परिशुद्धता शेड्यूलिंग लागू करता है।

B. इंटीजर लीनियर प्रोग्रामिंग (ILP) के रूप में अनुकूलन (Optimization as Integer Linear Programming)

अनुभवजन्य अनुमान के बिना इष्टतम बिट-चौड़ाई आवंटन निर्धारित करने के लिए, PRINMIX इस समस्या को एक 0/1 इंटीजर लीनियर प्रोग्रामिंग (ILP) समस्या के रूप में मॉडल करता है:

उद्देश्य (Objective): कुल क्वांटाइजेशन एरर $\sum E_i$ को कम करना।
बाधाएं (Constraints):
- बिट बजट (Bit Budget): कुल स्टोरेज एक उपयोगकर्ता-निर्धारित लक्ष्य ( $G_b$ ) से अधिक नहीं होना चाहिए।
- वन-हॉट बाधा (One-hot Constraint): प्रत्येक पंक्ति को उम्मीदवार सेट से ठीक एक बिट-चौड़ाई सौंपी जानी चाहिए।
- चयन बाधाएं (Selection Constraints): उपयोग किए जाने वाले विभिन्न बिट-विड्थों की संख्या पर सीमाएँ ( $f_{max}$ )।
सॉल्वर (Solver): इष्टतम बिट आवंटन रणनीति खोजने के लिए समस्या को मानक सॉल्वर (जैसे, SCIP, CVXPY) का उपयोग करके हल किया जाता है।

C. रिकंस्ट्रक्शन टारगेट करेक्शन (Reconstruction Target Correction - RTC)

क्रमिक क्वांटाइजेशन ( $V$ फिर $U$ ) में एक अनूठी चुनौती यह है कि $V$ को पहले क्वांटाइज करने से $U$ के लिए रिकंस्ट्रक्शन टारगेट बदल जाता है।

समस्या: क्वांटाइज्ड $V$ ( $\hat{V}$ ) के विरुद्ध $U$ के लिए एरर को कम करने से मूल लक्ष्य से विचलन (bias) पैदा होता है।
समाधान: PRINMIX RTC पेश करता है, जो क्वांटाइजेशन से पहले $U$ के लिए टारगेट मैट्रिक्स को गणितीय रूप से समायोजित करता है। यह एक लीस्ट-स्क्वायर समस्या को हल करता है ताकि एक सुधारा गया $\tilde{U}$ प्राप्त किया जा सके जिससे $\tilde{U}\Sigma\hat{V}$ , मूल $U\Sigma V$ का सर्वोत्तम अनुमान लगा सके, जिससे बायस कम होता है और सूचना सुरक्षित रहती है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक आधार (Theoretical Foundation): SVD-आधारित डेल्टा कंप्रेशन में मिश्रित-परिशुद्धता की आवश्यकता के लिए पहला कठोर गणितीय प्रमाण प्रदान करता है, जो अनुभवजन्य धारणाओं को एरर मिनिमाइजेशन सिद्धांतों से बदल देता है।
अनुकूलन ढांचा (Optimization Framework): बिट-आवंटन समस्या को 0/1 ILP के रूप में तैयार करता है, जो बिना किसी अनुभवजन्य ट्यूनिंग के बिट-बजट बाधाओं के तहत एक इष्टतम समाधान की गारंटी देता है।
रिकंस्ट्रक्शन टारगेट करेक्शन (RTC): $V$ और $U$ के क्रमिक क्वांटाइजेशन से उत्पन्न त्रुटियों को कम करने के लिए एक नवीन विधि पेश करता है।
लचीलापन (Flexibility): विशिष्ट कंप्रेशन रेश्यो (जैसे, 1-बिट या फिक्स्ड मिश्रित-परिशुद्धता) तक सीमित पिछले तरीकों के विपरीत, PRINMIX किसी भी लक्षित बिट-बजट के लिए ILP को हल करके मनमाने कंप्रेशन रेश्यो के अनुकूल हो सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार कार्यों: रीजनिंग, मैथ, कोड जनरेशन और मल्टी-मोडल पर 8 अलाइन्ड LLMs (7B और 13-14B आकार) पर PRINMIX का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains):
- रीजनिंग (AIME2024): PRINMIX ने 7B मॉडल्स पर स्टेट-ऑफ-द-आर्ट बेसलाइन (Delta-CoMe) से 22.3% और 14B मॉडल्स पर 26.9% बेहतर प्रदर्शन किया।
- कुल मिलाकर (Overall): औसतन, PRINMIX ने 7B पर Delta-CoMe से 2.9% और 14B पर 2.2% अधिक प्रदर्शन किया।
- चुनौतीपूर्ण परिदृश्य (Challenging Scenarios): सुधार सबसे अधिक उन कार्यों में महत्वपूर्ण थे जहाँ $\Delta W$ के नॉर्म्स बड़े होते हैं (जैसे, DeepSeek-R1, Qwen-VL), जहाँ ह्यूरिस्टिक विधियाँ संघर्ष करती हैं।
दक्षता (Efficiency):
- मेमोरी बचत (Memory Savings): PRINMIX एक एकल GPU पर 12 मॉडल्स को समवर्ती रूप से तैनात करने में सक्षम बनाता है (पूर्ण मॉडल्स के लिए 2 और Delta-CoMe के लिए 8 की तुलना में), जिससे 6x+ GPU मेमोरी बचत प्राप्त होती है।
- इन्फरेंस स्पीड (Inference Speed): छोटे बैच साइज के लिए थोड़ा ओवरहेड होने के बावजूद, PRINMIX बेसलाइन्स की तुलना में बेहतर स्केल करता है, जो सेव की गई मेमोरी को बेहतर थ्रूपुट और कम लेटेंसी में बदल देता है।
एब्लेशन स्टडीज (Ablation Studies):
- RTC को हटाने से प्रदर्शन में भारी गिरावट आई (AIME2024 पर 13.1% तक), जो इसके महत्व की पुष्टि करता है।
- यह विधि उम्मीदवार बिट-विड्थ की संख्या और कैलिब्रेशन डेटासेट के आकार के प्रति मजबूत है।

5. महत्व (Significance)

PRINMIX मॉडल कंप्रेशन को ह्यूरिस्टिक-संचालित से ऑप्टिमाइज़ेशन-संचालित दृष्टिकोणों की ओर एक प्रतिमान बदलाव (paradigm shift) का प्रतिनिधित्व करता है।

व्यावहारिक प्रभाव (Practical Impact): यह संसाधन-बाधित वातावरण (एज डिवाइसेस, क्लाउड मल्टी-टेनेंसी) में कई विशेषीकृत LLMs को तैनात करने की बाधा को काफी कम करता है, जिससे हार्डवेयर लागत और कार्बन उत्सर्जन कम होता है।
सैद्धांतिक मूल्य (Theoretical Value): क्वांटाइजेशन एरर मिनिमाइजेशन में आधार बनाकर, यह "ब्लैक-बॉक्स" अनुभवजन्य विधियों के लिए एक विश्वसनीय, गणितीय रूप से ठोस विकल्प प्रदान करता है, जो कठिन कंप्रेशन व्यवस्थाओं में भी निरंतर प्रदर्शन सुनिश्चित करता है।
भविष्य की दिशा (Future Direction): यह कार्य सुझाव देता है कि भविष्य की कंप्रेशन रणनीतियों को सिंगुलर वैल्यू मैग्नीट्यूड जैसे प्रॉक्सी मेट्रिक्स पर निर्भर रहने के बजाय, कठोर अनुकूलन के माध्यम से रिकंस्ट्रक्शन एरर को कम करने को प्राथमिकता देनी चाहिए।