🤖 machine learning

Budgeted LoRA: Distillation as Structured Compute Allocation for Efficient Inference

यह योगदान बजटेड लोरा (Budgeted LoRA) को प्रस्तुत करता है, जो एक डिस्टिलेशन फ्रेमवर्क है जो मॉडल संपीड़न को कम्प्यूटेशनल संसाधन आवंटन की एक संरचित समस्या के रूप में मानता है ताकि एक वैश्विक कम्प्यूटेशनल बजट के तहत डेंस और लो-रैंक पाथ्स के बीच क्षमता को गतिशील रूप से पुनर्वितरित करके स्पष्ट अनुमान दक्षता वाले स्टूडेंट मॉडल्स का उत्पादन किया जा सके।

मूल लेखक: Mohammed Sabry, Anya Belz

प्रकाशित 2026-05-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohammed Sabry, Anya Belz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जो सब कुछ जानता है। यह अत्यंत प्रतिभाशाली है, लेकिन इतना बड़ा है कि ग्राहक तक एक अकेली किताब पहुँचाने के लिए भी एक बहुत बड़े, महंगे ट्रक की आवश्यकता होती है। आप इस विशाल पुस्तकालय का एक छोटा, सस्ता संस्करण बनाना चाहते हैं जो एक बैकपैक में समा सके, लेकिन फिर भी सवालों के सही जवाब देने के लिए पर्याप्त बुद्धिमान बना रहे।

यह डिस्टिलेशन (Distillation) की समस्या है: एक विशाल मस्तिष्क को उसकी बुद्धिमत्ता खोए बिना एक छोटे मस्तिष्क में बदलना।

पुराना तरीका: "एड-ऑन" (Add-On) की समस्या

पिछले तरीकों ने पुस्तकालय को सिकोड़ने की कोशिश की, जैसे कि भारी, बड़ी किताबों के बगल में एक छोटा, कुशल "नोटबुक" (LoRA) रख देना।

समस्या: भारी किताबें (सघन बैकबोन/dense backbone) अभी भी वहीं मौजूद हैं, जो सारा स्थान और वजन घेर रही हैं। हालांकि आपने नोटबुक को प्रशिक्षित करने में पैसा बचाया होगा, लेकिन जब आप वास्तव में पुस्तकालय का उपयोग करते हैं (इन्फरेंस/inference), तब भी आपको उन भारी किताबों को साथ लेकर चलना पड़ता है। डिलीवरी ट्रक अभी भी बहुत बड़ा है।

नया विचार: "बजट वाला LoRA" (Budgeted LoRA)

लेखक एक नया दृष्टिकोण प्रस्तावित करते हैं। केवल एक नोटबुक जोड़ने के बजाय, वे पूरे पुस्तकालय को एक सख्त बजट वाले निर्माण स्थल के रूप में देखते हैं।

कल्पना कीजिए कि आप एक वास्तुकार (architect) हैं जिसके पास अंतिम पुस्तकालय बनाने के लिए कंक्रीट (कंप्यूटिंग पावर) की एक सीमित मात्रा उपलब्ध है। आपके पास दो प्रकार की सामग्रियां हैं:

विशाल कंक्रीट ब्लॉक (सघन पथ/Dense Paths): ये भारी, विश्वसनीय लेकिन महंगी चीजें हैं।
हल्के स्टील फ्रेम (लो-रैंक पथ/Low-Rank Paths): ये नए, कुशल और लचीले हिस्से हैं।

बजट वाला LoRA एक चतुर फोरमैन (foreman) की तरह है जो कहता है: "हमारे पास मूल इमारत के केवल 40% हिस्से के लिए ही पर्याप्त कंक्रीट है। आइए यह तय करें कि कौन सी दीवारें ठोस रहनी चाहिए और किन दीवारों को हम हल्के स्टील फ्रेम से बदल सकते हैं।"

यह कैसे काम करता है (तीन चरण)

बजट डायल (The Budget Dial): आप एक "बजट" सेट करते हैं (0 और 1 के बीच एक संख्या)।
- यदि आप इसे ऊपर घुमाते हैं, तो आप अधिक भारी कंक्रीट रखते हैं।
- यदि आप इसे नीचे घुमाते, तो आपको अधिक कंक्रीट को स्टील फ्रेम से बदलने के लिए मजबूर होना पड़ता है।
- यह डायल आपके पुस्तकालय के अंतिम आकार और गति को नियंत्रित करता है।
बुद्धिमान बदलाव (The Intelligent Swap): जब पुस्तकालय का निर्माण (प्रशिक्षण) हो रहा होता है, तो सिस्टम स्वचालित रूप से निर्णय लेता है:
- "यह विशिष्ट दीवार (गणित का एक हिस्सा) कंक्रीट के रूप में रहने के लिए बहुत महंगी है। आइए इसे स्टील फ्रेम से बदल दें।"
- "यह दूसरी दीवार जटिल कहानियों को समझने के लिए महत्वपूर्ण है। आइए इसे कंक्रीट के रूप में रखें।"
- यह चीजों को यादृच्छिक (randomly) रूप से हटाता नहीं है; यह सीखता है कि बुद्धिमत्ता बनाए रखने के लिए सामग्रियों को कहाँ बदला जाना चाहिए।
अंतिम सफाई (The Final Cleanup): एक बार प्रशिक्षण पूरा हो जाने के बाद, सिस्टम एक अंतिम दौर चलाता है।
- जो कंक्रीट का शायद ही कभी उपयोग किया गया था, उसे पूरी तरह से हटा दिया जाता है।
- कुछ कंक्रीट जो अभी भी आवश्यक है लेकिन छोटा है, उसे एक छोटे, कुशल स्टील संस्करण में बदल दिया जाता है।
- परिणाम स्वरूप एक ऐसा पुस्तकालय मिलता है जो शारीरिक रूप से छोटा है और जिसे तेजी से पहुँचाया जा सकता है, फिर भी वह अपना काम करने के लिए पर्याप्त बुद्धिमान है।

उन्होंने क्या पाया

शोधकर्ताओं ने एक 12-परत वाले "विशाल" पुस्तकालय को 6-परत वाले "बैकपैक" संस्करण में सिकोड़कर इसका परीक्षण किया।

गति बनाम बुद्धिमत्ता: उन्हें एक "स्वीट स्पॉट" (सही संतुलन) मिला।
- एक मध्यम बजट के साथ, उन्हें एक ऐसा पुस्तकालय प्राप्त हुआ जिसे 1.74 गुना तेजी से पहुँचाया जा सकता था, जिसमें बुद्धिमत्ता का लगभग कोई नुकसान नहीं हुआ।
- एक आक्रामक बजट (बहुत कम कंक्रीट की अनुमति) के साथ, उन्हें एक ऐसा पुस्तकालय मिला जो 4 गुना तेज था, जिसमें केवल थोड़ी सी बुद्धिमत्ता की कमी आई।
"फंक्शन" टेस्ट: उन्होंने विशिष्ट कार्यों पर पुस्तकालयों का परीक्षण किया, जैसे कि "इस सूची को पढ़ें और तीसरे तत्व का चयन करें" या "इन शब्दों को अपरकेस (uppercase) में बदलें।"
- पुराना तरीका (केवल एक नोटबुक जोड़ना) इन कार्यों पर खराब प्रदर्शन करता था क्योंकि जैसे-जैसे शिक्षक (teacher) अधिक स्मार्ट होता गया।
- बजट वाला LoRA इन "कार्यात्मक" क्षमताओं को बहुत बेहतर तरीके से बनाए रखता है। ऐसा लगता है कि सामग्रियों को कैसे बदला जाए (कंक्रीट बनाम स्टील) इसका सावधानीपूर्वक निर्णय लेने से, पुस्तकालय ने अपने निर्देशों का पालन करने की क्षमता बनाए रखी, भले ही वह बहुत छोटा हो गया हो।

बड़ी अंतर्दृष्टि (The Big Insight)

यह कार्य तर्क देता है कि एआई (AI) दक्षता में सुधार करना केवल आपके पास कितने पैरामीटर (ईंटें) हैं, इसकी गिनती करने के बारे में नहीं है। यह इस बारे में है कि आप अपने निर्माण बजट का आवंटन कैसे करते हैं।

मॉडल को भारी और हल्की सामग्रियों के मिश्रण के रूप में देखने और प्रशिक्षण के दौरान बजट बाधा लागू करने से, आप एक छात्र मॉडल बना सकते हैं जो न केवल प्रशिक्षित करने में सस्ता है बल्कि वास्तविक दुनिया में चलाने के लिए भी संरचनात्मक रूप से तेज है। यह एक सोफे को पहिए निकालकर कार में फिट करने की कोशिश करने और पूरे वाहन को एक कॉम्पैक्ट, कुशल स्कूटर में फिर से डिजाइन करने के बीच का अंतर है, जो अभी भी आपको उसी गंतव्य तक पहुँचाता है।

तकनीकी सारांश: बजटेड LoRA (Budgeted LoRA)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) स्केलिंग के माध्यम से उत्कृष्ट प्रदर्शन प्राप्त करते हैं, लेकिन इसके साथ ही तैनाती (deployment) की लागत भी काफी बढ़ जाती है। जबकि नॉलेज डिस्टिलेशन (Knowledge Distillation - KD) बड़े टीचर मॉडल्स से छोटे स्टूडेंट मॉडल्स में ज्ञान स्थानांतरित करने का एक समाधान प्रदान करता है, मौजूदा पाइपलाइन अक्सर ऐसे मॉडल बनाने में विफल रहती है जो इन्फरेंस (inference) के समय संरचनात्मक रूप से कुशल हों।

एक प्राथमिक सीमा पैरामीटर-कुशल फाइन-ट्यूनिंग विधियों जैसे कि LoRA (Low-Rank Adaptation) का व्यापक उपयोग है। जबकि LoRA डेंस बैकबोन को फ्रीज करके और लो-रैंक अपडेट जोड़कर 'ट्रेनेबल' पैरामीटर्स की संख्या को कम कर देता है, यह डेंस बैकबोन को अपरिवर्तित छोड़ देता है। नतीजतन, LoRA-आधारित डिस्टिलेशन ऐसे स्टूडेंट मॉडल्स प्रदान करते हैं जो प्रशिक्षण के लिए तो सस्ते होते हैं, लेकिन इन्फरेंस लागत को कम नहीं करते हैं, क्योंकि डेंस मैट्रिक्स मल्टीप्लिकेशन यथावत बना रहता है। वर्तमान दृष्टिकोण अक्सर पैरामीटर काउंट या प्रशिक्षण दक्षता के लिए अनुकूलन करते हैं, लेकिन वे यह नियंत्रित करने में विफल रहते हैं कि इन्फरेंस के दौरान स्टूडेंट आर्किटेक्चर के भीतर कंप्यूट (compute) को कैसे आवंटित किया जाए।

कार्यप्रणाली: बजटेड LoRA (Budgeted LoRA)

लेखक बजटेड LoRA का प्रस्ताव करते हैं, जो एक डिस्टिलेशन फ्रेमवर्क है जो मॉडल कंप्रेशन को कंप्यूट एलोकेशन (compute allocation) की एक संरचित समस्या के रूप में पुनर्गठित करता है। स्टूडेंट आर्किटेक्चर को स्थिर रखने के बजाय, यह विधि एक वैश्विक कंप्यूट बजट पेश करती है जो यह निर्धारित करता है कि अंततः डेंस कंप्यूटेशन का कितना हिस्सा बरकरार रखा जाएगा।

यह दृष्टिकोण तीन चरणों में आगे बढ़ता है:

बजट-अवेयर गेटेड-LoRA मॉड्यूल (Budget-Aware Gated-LoRA Modules):
स्टूडेंट मॉडल चुनिले लीनियर प्रोजेक्शन (जैसे, अटेंशन $q/k/v/o$ और MLP $up/gate/down$) को गेटेड मॉड्यूल से बदल देता है। ये मॉड्यूल गणना करते हैं:
$y = d \cdot Wx + \frac{\alpha}{r_{max}} B((Ax) \odot g)$
जहाँ:
- $W$ एक फ्रीज किया गया डेंस वेट (dense weight) है।
- $d \in [0, 1]$ डेंस पाथ को बनाए रखने के लिए एक गुणांक (coefficient) है, जिसे बजट शेड्यूलर द्वारा नियंत्रित किया जाता है।
- $A, B$ LoRA फैक्टर्स हैं, और $g$ लर्नड पर-रैंक गेट्स (learned per-rank gates) का प्रतिनिधित्व करता है।
- यह फॉर्मूलेशन मॉडल को विभिन्न मॉड्यूल में डेंस और लो-रैंक दोनों पथों की सक्रिय क्षमता को गतिशील रूप से बदलने की अनुमति देता है।
बजट शेड्यूलिंग और कंट्रोलर (Budget Scheduling and Controller):
एक ग्लोबल बजट पैरामीटर $F \in [0, 1]$ डेंस कंप्यूटेशन के उस अंश को निर्दिष्ट करता है जिसे प्रशिक्षण के अंत तक बनाए रखा जाना है। एक कंट्रोलर इस बजट को लागू करने के लिए निम्नलिखित कार्य करता है:
- कोसाइन शेड्यूल (cosine schedule) का उपयोग करके डेंस कॉस्ट के लिए एक लक्षित प्रक्षेपवक्र (target trajectory) $b(t)$ को परिभाषित करना।
- सक्रिय डेंस प्रोजेक्शन के MAC काउंट के आधार पर कुल रिटेंड डेंस कॉस्ट $C(t)$ की गणना करना।
- बजट को पूरा करने के लिए मॉड्यूल-विशिष्ट रिटेंशन गुणांकों ( $d$ ) को लालची (greedy) तरीके से कम करना, जिसमें उन मॉड्यूल को हटाने को प्राथमिकता दी जाती है जिनकी लागत कम है।
- यह प्रशिक्षण के दौरान डेंस पथों से लो-रैंक पथों की ओर कंप्यूट के नियंत्रित बदलाव को बनाता है।
पोस्ट-ट्रेनिंग कंप्रेशन (Post-Training Compression):
प्रशिक्षण के बाद, वास्तविक इन्फरेंस बचत प्राप्त करने के लिए मॉडल को एक कंसोलिडेशन चरण से गुजारा जाता है। अंतिम रिटेंशन गुणांक $d$ के आधार पर, प्रत्येक मॉड्यूल को तीन तैनाती रूपों में से एक में सौंपा जाता है:
- केस 1 (Remove Dense): यदि $d < \epsilon_{zero}$ है, तो डेंस पाथ को पूरी तरह से हटा दिया जाता है, जिससे केवल कैप किया गया लो-रैंक घटक बचता है।
- केस 2 (SVD Approximation): यदि $\epsilon_{zero} \le d < \epsilon_{lr}$ है, तो शेष डेंस योगदान को लो-रैंक SVD के माध्यम से अनुमानित किया जाता है और LoRA फैक्टर्स के साथ फ्यूज कर दिया जाता है।
- केस 3 (Merge Dense): यदि $d \ge \epsilon_{lr}$ है, तो डेंस पाथ को बरकरार रखा जाता है और इसे LoRA अपडेट के साथ एक मानक डेंस लीनियर लेयर में मर्ज कर दिया जाता है।

यह पाइपलाइन एक सिंगल बजट डायल $F$ द्वारा पैरामीटराइज्ड मॉडल्स का एक परिवार तैयार करती है, जो दक्षता और प्रदर्शन के बीच सीधा ट्रेड-ऑफ सक्षम बनाती है।

मुख्य योगदान

नया फॉर्मूलेशन: यह पेपर डिस्टिलेशन को एक फिक्स्ड आर्किटेक्चर वाले ऑप्टिमाइजेशन के बजाय, ग्लोबल बजट के तहत कंप्यूट एलोकेशन की एक संरचित समस्या के रूप में देखने का प्रस्ताव करता है।
बजेटेड LoRA फ्रेमवर्क: एक ऐसा तरीका पेश करता है जो कंट्रोलर-एनफोर्स्ड डेंस रिटेंशन और लर्नड लो-रैंक एलोकेशन को जोड़ता है, जिसके बाद तैनाती-कुशल स्टूडेंट मॉडल्स बनाने के लिए पोस्ट-ट्रेनिंग कंप्रेशन का उपयोग किया जाता है।
नियंत्रणीय ट्रेड-ऑफ (Controllable Trade-off): यह प्रदर्शित किया गया है कि एक सिंगल बजट पैरामीटर एक कंट्रोलेबल क्वालिटी-एफिशिएंसी ट्रेड-ऑफ प्रदान करता है, जो प्रशिक्षण और इन्फरेंस लागतों के बीच एक पारेटो फ्रंटियर (Pareto frontier) बनाता है।
ICL रिटेंशन: यह दिखाया गया है कि बजटेड LoRA, स्टैंडर्ड LoRA-आधारित डिस्टिलेशन की तुलना में फंक्शन-आधारित इन-कॉन्टेक्स्ट लर्निंग (ICL) सैंपल्स पर काफी बेहतर प्रदर्शन करता है।

परिणाम

लेखकों ने 0.13B मॉडल से इनिशियलाइज किए गए 6-लेयर स्टूडेंट मॉडल का उपयोग करके, विभिन्न स्केल्स (0.13B, 0.5B, 1B) के टीचर मॉडल्स से डिस्टिल करते हुए बजटेड LoRA का मूल्यांकन किया।

क्वालिटी-एफिशिएंसी ट्रेड-ऑफ:
- मध्यम बजट ( $F=0.4$ ) पर, बजटेड LoRA स्टैंडर्ड KD-LoRA की परप्लेक्सिटी (perplexity) प्राप्त करता है, लेकिन यह कंप्रेस्ड मॉड्यूल्स के इन्फरेंस में 1.74x स्पीडअप प्रदान करता है और ट्रेनिंग कंप्यूट को 0.59 के कारक से कम कर देता है।
- आक्रामक बजट ( $F=0.0$ ) पर, यह विधि कंप्रेस्ड मॉड्यूल्स के इन्फरेंस में 4.05x स्पीडअप और 0.38x ट्रेनिंग कंप्यूट प्रदान करती है, जिसमें केवल मध्यम स्तर की परप्लेक्सिटी गिरावट होती है।
- यह विधि एक स्पष्ट पारेटो फ्रंटियर (Pareto frontier) बनाती है, जो स्टैंडर्ड LoRA की तुलना में नियंत्रित परप्लेक्सिटी गिरावट के साथ अधिक लागत प्रभावी ऑपरेटिंग पॉइंट्स प्रदान करती है।
इन-कॉन्टेक्स्ट लर्निंग (ICL) रिटेंशन:
- फंक्शन-आधारित ICL सैंपल्स (Function Vectors suite से अनुकूलित) पर, बजटेड LoRA स्टैंडर्ड KD-LoRA की तुलना में काफी बेहतर प्रदर्शन करता है, विशेष रूप से बड़े टीचर मॉडल्स से डिस्टिल करते समय।
- उदाहरण के लिए, 1B टीचर मॉडल के साथ KD-LoRA ने 2.7 का मैक्रो-एवरेज ICL स्कोर प्राप्त किया, जबकि बजटेड LoRA ( $F=0.0$ ) ने 5.0 और ( $F=0.4$ ) ने 5.6 प्राप्त किया।
- यह सुझाव देता है कि उच्च-स्तरीय व्यवहारों को बनाए रखने के लिए केवल परप्लेक्सिटी मैच करना ही पर्याप्त नहीं है, बल्कि बजटेड डेंस रिटेंशन के माध्यम से कंप्यूट स्ट्रक्चर को सुरक्षित करना भी आवश्यक है।

महत्व और दावे

यह कार्य दावा करता है कि कंप्यूट-प्रतिबंधित डिस्टिलेशन में, व्यवहार को बनाए रखना केवल पैरामीटर्स को हटाने या परप्लेक्सिटी मैच करने के बारे में नहीं है; बल्कि यह इस बारे में है कि डेंस कंप्यूट को लो-रैंक पथों में कैसे नियंत्रित किया जाए।

लेखक तर्क देते हैं कि स्टैंडर्ड LoRA कोई इन्फरेंस बचत प्रदान नहीं करता है क्योंकि यह डेंस बैकबोन को बरकरार रखता है। इसके विपरीत, बजटेड LoRA डेंस और लो-रैंक पथों को प्रतिस्पर्धी संसाधनों के रूप में देखता है। परिणाम बताते हैं कि:

स्ट्रक्चर्ड एलोकेशन महत्वपूर्ण है: डेंस क्षमता का क्रमिक, बजटेड न्यूनीकरण, अचानक हटाने की तुलना में क्षमताओं के लो-रैंक पथों में सुचारू स्थानांतरण (smooth transfer) को सक्षम बनाता है।
परप्लेक्सिटी से बढ़कर: उच्च-स्तरीय व्यवहार (जैसे ICL) बेहतर ढंग से संरक्षित होते हैं जब प्रशिक्षण प्रक्रिया कंप्यूट के स्ट्रक्चर को स्पष्ट रूप से प्रबंधित करती है, भले ही अंतिम परप्लेक्सिटी स्टैंडर्ड LoRA के समान ही क्यों न हो।
डिप्लॉयमेंट एफिशिएंसी: यह विधि पोस्ट-ट्रेनिंग कंप्रेशन के माध्यम से ट्रेनिंग-टाइम बजटिंग सिग्नल्स को वास्तविक इन्फरेंस-टाइम बचत में सफलतापूर्वक अनुवादित करती है, जो डेंस से लेकर पूरी तरह से लो-रैंक तक मॉडल्स की एक श्रृंखला प्रदान करती है।

यह कार्य दक्षता को केवल पैरामीटर काउंट की समस्या के रूप में नहीं, बल्कि प्रशिक्षण और डिस्टिलेशन प्रक्रिया के दौरान कंप्यूट एलोकेशन की समस्या के रूप में देखने की दिशा में एक कदम है।