🤖 machine learning

Parameter Efficiency Is Not Memory Efficiency: Rethinking Fine-Tuning for On-Device LLM Adaptation

यह शोध पत्र LARS (लो-मेमोरी एक्टिवेशन-रैंक सबस्पेस) को पेश करता है, जो एक नया अनुकूलन ढांचा (अडैप्टेशन फ्रेमवर्क) है जो मॉडल पैरामीटर्स के बजाय एक्टिवेशन सबस्पेस को सीमित करके ऑन-डिवाइस LLM फाइन-ट्यूनिंग में सुधार करता है, जिससे अनुक्रम लंबाई (सीक्वेंस लेंथ) से मेमोरी खपत का अलगाव होता है और पारंपरिक PEFT विधियों जैसे कि LoRA की तुलना में मेमोरी फुटप्रिंट को काफी कम कर देता है।

मूल लेखक: Irene Tenison, Stella Ahn, Miriam Kim, Ebtisam Alshehri, Lalana Kagal

प्रकाशित 2026-04-28

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Irene Tenison, Stella Ahn, Miriam Kim, Ebtisam Alshehri, Lalana Kagal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, ऐतिहासिक हवेली का नवीनीकरण (renovate) करने की कोशिश कर रहे हैं (यह Large Language Model है)। आप इसके आंतरिक डिज़ाइन को एक विशिष्ट नए मालिक के अनुकूल अपडेट करना चाहते हैं (यह Fine-Tuning है)।

समस्या: "छोटा टूलबॉक्स" भ्रम (The "Small Toolbox" Fallacy)

वर्तमान में, अधिकांश विशेषज्ञ एक विधि का उपयोग करते हैं जिसे PEFT (Parameter-Efficient Fine-Tuning) कहा जाता है। इसे ऐसे समझें जैसे कि आप कह रहे हों, "सारा फर्नीचर बदलने के बजाय, चलिए बस कुछ नए सजावटी तकिए और छोटे फूलदान खरीद लेते हैं।"

क्योंकि आप केवल कुछ छोटी चीजें ही खरीद रहे हैं, आप सोचते हैं, "बहुत बढ़िया! यह मेरे छोटे से स्टूडियो अपार्टमेंट में करना बहुत सस्ता और आसान होगा!" (यह विचार है कि Parameter Efficiency = Memory Efficiency)।

लेकिन एक पेंच है। भले ही आप केवल पाँच छोटे तकिए ही क्यों न खरीदें, उन्हें स्थापित करने के लिए, आपको अभी भी एक भारी-भरती औद्योगिक वैक्यूम क्लीनर, एक विशाल सीढ़ी और मूवर्स (सामान ढोने वालों) की एक बड़ी टीम को गलियारों में लाने की आवश्यकता होगी। "तकिए" छोटे हैं, लेकिन काम करने के लिए आवश्यक उपकरण और स्थान (Intermediate Activations) बहुत विशाल हैं।

AI की दुनिया में, भले ही आप मॉडल के "दिमाग" के एक बहुत छोटे हिस्से को ही क्यों न बदलें, कंप्यूटर को वाक्य के हर एक शब्द को प्रोसेस करने के लिए एक विशाल मात्रा में "वर्किंग मेमोरी" (activations) को थामे रखना पड़ता है। यदि आप एक लंबी किताब को प्रोसेस करने की कोशिश करते हैं, तो "मूवर्स" गलियारे में जगह खत्म होने के कारण रुक जाते हैं, और पूरा सिस्टम क्रैश हो जाता है (Out-of-Memory error)।

समाधान: LARS (द "समरी" मेथड)

शोधकर्ताओं ने LARS नामक एक नई विधि बनाई है।

हर एक इंच दीवार पर छोटी-छोटी सजावट की चीज़ें रखने के बजाय, LARS पहले पूरी हवेली का एक "स्नैपशॉट" या सारांश (Summary) लेता है।

उपमा (The Analogy):
कल्पना कीजिए कि आप एक डेकोरेटर हैं। 100 कमरों की हवेली में घूमकर यह तय करने के बजाय कि धूल का हर एक कण कहाँ जाएगा (जिसके लिए बहुत अधिक मानसिक ऊर्जा और नोट्स की आवश्यकता होगी), आप दरवाजे पर खड़े होते हैं, पूरे कमरे पर एक त्वरित नज़र डालते हैं, और कहते हैं: "ठीक है, इस कमरे को एक 'कोज़ी' (आरामदायक) वाइब की ज़रूरत है।"

फिर आप एक छोटा, केंद्रित "वाइब किट" (Low-Rank Subspace) बनाते हैं और उस वाइब को कमरे पर लागू करते हैं।

तकनीकी रूप से यह कैसे काम करता है (सरल शब्दों में):

स्नैपशॉट (Pooling): एक लंबे वाक्य के हर एक विवरण को याद रखने के बजाय, LARS वाक्य को एक शक्तिशाली सारांश में "कुचल" (squash) देता है।
वाइब किट (Subspace Modulation): यह विशाल, शब्द-दर-शब्द डेटा के बजाय उस छोटे से सारांश पर अपनी सारी जटिल "सीखने" की प्रक्रिया करता है।
एप्लीकेशन (Integration): इसके बाद यह सीखी गई "वाइब" को मूल मॉडल पर लागू करता है।

यह क्यों मायने रखता है?

क्योंकि LARS व्यक्तिगत शब्दों के बजाय सारांश पर काम करता है, इसलिए इसे आवश्यक "उपकरण" (मेमोरी) की मात्रा बहुत अधिक नहीं बढ़ती, भले ही किताब लंबी हो जाए।

परिणाम:

यह एक स्पेस सेवर है: यह शक्तिशाली कंप्यूटरों (GPUs) पर लगभग 33% कम मेमोरी और सामान्य कंप्यूटरों (CPUs) पर 50% से अधिक कम मेमोरी का उपयोग करता है।
यह "एज-रेडी" है: क्योंकि यह इतना हल्का है, आप वास्तव में एक Raspberry Pi (एक प्रकार का कंप्यूटर जिसका उपयोग DIY इलेक्ट्रॉनिक्स में किया जाता है) जैसे छोटे डिवाइस का उपयोग करके भी AI को नई चीजें सिखा सकते हैं, न कि सुपरकंप्यूटरों से भरे एक कमरे की आवश्यकता है।
यह उतना ही स्मार्ट है: भले ही यह "शब्द-दर-शब्द" विवरण के बजाय "सारांशों" का उपयोग कर रहा है, फिर भी यह भारी, महंगे तरीकों की तरह ही तर्क करने और समझने में सक्षम है।

संक्षेप में: LARS यह सिद्ध करता है कि यदि आप एक छोटे स्थान में काम करना चाहते हैं, तो केवल छोटे औज़ार ही न लाएँ—अपने काम को व्यवस्थित करने का तरीका बदलें।

तकनीकी सारांश: पैरामीटर दक्षता मेमोरी दक्षता नहीं है

1. समस्या: "एक्टिवेशन वॉल" (The "Activation Wall")

यह शोध पत्र लार्ज लैंग्वेज मॉडल (LLM) अनुसंधान समुदाय में एक मौलिक धारणा को चुनौती देता है: कि पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT)—जो प्रशिक्षित भार (trainable weights) की संख्या को कम करने पर केंद्रित है—मेमोरी दक्षता (Memory Efficiency) के समानार्थक है।

लेखक एक महत्वपूर्ण विच्छेद (disconnect) की पहचान करते हैं। जबकि LoRA और IA3 जैसी विधियाँ प्रशिक्षित पैरामीटर्स ( $\theta_{trainable}$ ) की संख्या को काफी कम कर देती हैं, वे ऑन-डिवाइस अनुकूलन (on-device adaptation) के प्राथमिक बॉटलनेक: मध्यवर्ती एक्टिवेशन मेमोरी ( $M_{acts}$ ) को संबोधित नहीं करती हैं। मानक PEFT में, कम्प्यूटेशनल ग्राफ टोकन-स्तर का बना रहता है, जिसका अर्थ है कि एक्टिवेशन अनुक्रम लंबाई ( $S$ ), बैच आकार ( $B$ ), और हिडन डायमेंशन ( $H$ ) के साथ रैखिक रूप से स्केल करते हैं, जो $O(BSHL)$ का अनुसरण करते हैं। फलस्वरूप, कम प्रशिक्षण योग्य पैरामीटर्स वाले मॉडल भी लंबे संदर्भ (long contexts) को प्रोसेस करते समय एज डिवाइसेस पर आउट-ऑफ-मेमोरी (OOM) त्रुटियों को ट्रिगर कर सकते हैं।

2. कार्यप्रणाली: LARS (Low-memory Activation-Rank Subspace)

अनुक्रम लंबाई (sequence length) से मेमोरी खपत को अलग करने के लिए, लेखक LARS प्रस्तावित करते हैं, एक ऐसा अनुकूलन ढांचा जो ध्यान को वेट स्पर्सिटी (weight sparsity) से हटाकर एक्टिवेशन ज्योमेट्री (activation geometry) पर केंद्रित करता है। वेट्स पर लो-रैंक बाधाएं लगाने के बजाय (LoRA की तरह), LARS उन्हें एक्टिवेशन सबस्पेस (activation subspace) पर लागू करता है।

LARS पाइपलाइन तीन मुख्य चरणों से बनी है:

पुल्ड फीचर एक्सट्रैक्शन (Pooled Feature Extraction): $S$ पर रैखिक निर्भरता को तोड़ने के लिए, LARS अनुक्रम डायमेंशन $X \in \mathbb{R}^{B \times S \times H}$ को एक संक्षिप्त ग्लोबल कॉन्टेक्स्ट वेक्टर $x_{pool} \in \mathbb{R}^{B \times H}$ में संकुचित (collapse) करता है। लेखक दो रणनीतियों का सुझाव देते हैं: अधिकतम दक्षता के लिए Heuristic-Driven Fixed Pooling (मीन-पूलिंग + फाइनल टोकन), और उच्च सटीकता के लिए Context-Aware Learned Pooling (लाइटवेट अटेंशन)।
लो-रैंक सबस्पेस मॉड्यूलेशन (Low-Rank Subspace Modulations): पुल्ड वेक्टर को एक लो-रैंक सबस्पेस ( $R \ll H$ $R ≪ H$ ) में प्रोजेक्ट किया जाता है। अनुक्रम संकुचन (sequence collapse) से होने वाले सूचना नुकसान को रोकने के लिए, LARS निम्नलिखित का उपयोग करता है:
- फीचर-स्पेस गेटिंग (Feature-Space Gating): एक इंस्टेंस-कंडीशन्ड गेट जो सबस्पेस कोऑर्डिनेट्स को एम्प्लीफाई या सप्रेस करने के लिए सीखने योग्य टेम्परेचर स्केलर्स का उपयोग करता है।
- इंटर-रैंक मिक्सिंग (Inter-Rank Mixing): एक सीखने योग्य ट्रांसफॉर्मेशन ( $M_{mix}$ ) जो विभिन्न सबस्पेस डायमेंशन्स को संवाद करने की अनुमति देता है, जिससे उच्च-क्रम की निर्भरता (higher-order dependencies) का अनुकरण होता है।
- नॉन-लीनियर ट्रांसफॉर्मेशन (Non-Linear Transformation): जटिल रेसिडुअल अपडेट्स को कैप्चर करने के लिए $R$ -डायमेंशनल मैनिफोल्ड के भीतर एक लाइटवेट नॉन-लीनियर बॉटलनेक (जैसे GeLU)।
रेसिडुअल इंटीग्रेशन (Residual Integration): सीखे गए अपडेट्स को मूल मैनिफोल्ड में वापस प्रोजेक्ट किया जाता है और एक गेटेड रेसिडुअल कनेक्शन के माध्यम से एकीकृत किया जाता है, जो संख्यात्मक स्थिरता सुनिश्चित करता है और कैटास्ट्रोफिक फॉरगेटिंगिंग (catastrophic forgetting) को रोकता है।

3. प्रमुख योगदान

वैचारिक परिवर्तन (Conceptual Shift): ऑन-डिवाइस अनुकूलन दक्षता को पैरामीटर गणना के बजाय पीक मेमोरी (peak memory) के फलन (function) के रूप में पुनर्व्याख्यायित करता है।
आर्किटेक्चरल नवाचार: एक ऐसी विधि पेश करता है जो एक्टिवेशन जटिलता को $O(BSRL) $से$ O(BRL)$ तक कम करती है, जिससे प्रभावी रूप से अनुक्रम लंबाई के सापेक्ष मेमोरी वृद्धि दर को "फ्लैटन" किया जाता है।
हार्डवेयर वर्सेटिलिटी: हाई-एंड GPUs से लेकर कंज्यूमर-ग्रेड CPUs और Raspberry Pi तक, विविध हार्डवेयर पर LLM पर्सनलाइजेशन के लिए एक स्केलेबल पथ प्रदर्शित करता है।

4. परिणाम और अनुभवजन्य साक्ष्य

लेखकों ने रीजनिंग, अंडरस्टैंडिंग और लॉन्ग-कॉन्टेक्स्ट कार्यों में LoRA, AdaLoRA, IA3 और प्रॉम्प्ट-ट्यूनिंग विधियों के विरुद्ध LARS का मूल्यांकन किया।

मेमोरी दक्षता: LARS ने LoRA की तुलना में GPUs पर औसतन 33.54% और CPUs पर 51.95% कम पीक ट्रेनिंग मेमोरी दर्ज की। महत्वपूर्ण रूप से, LARS एक बेहतर पारेटो फ्रंटियर (Pareto frontier) को परिभाषित करता है, जिससे समान हार्डवेयर सीमाओं के भीतर लंबे अनुक्रमों की फाइन-ट्यूनिंग संभव होती है।
सटीकता (Accuracy): आक्रामक मेमोरी कटौती के बावजूद, LARS ने अत्याधुनिक PEFT विधियों के साथ प्रतिस्पर्धी सटीकता बनाए रखी। LARS-LP (लर्नड पूलिंग का उपयोग करने वाला वेरिएंट) नामक एक संस्करण ने जटिल रीजनिंग कार्यों में प्रदर्शन के अंतर को और कम कर दिया।
लॉन्ग-कॉन्टेक्स्ट प्रदर्शन: "नीडल-इन-अ-हेस्टैक" (Needle-In-A-Haystack) रिट्रीवल परीक्षणों में, LARS ने 16k टोकन तक LoRA के बराबर प्रदर्शन बनाए रखा, जो यह सिद्ध करता है कि सीक्वेंस पूलिंग के कारण विनाशकारी सूचना हानि नहीं होती है।
एज डिप्लॉयमेंट: एक Raspberry Pi 5 (8GB) पर, LARS ने ~3.01 GB का मेमोरी फुटप्रिंट प्राप्त किया, जो अत्यधिक संसाधन-बाधित वातावरणों के लिए इसकी व्यवहार्यता को सिद्ध करता है।
थ्रूपुट (Throughput): हालांकि LARS का छोटे अनुक्रमों के लिए LoRA की तुलना में थोड़ा कम ट्रेनिंग थ्रूपुट है (पूलिंग ओवरहेड के कारण), यह इंफरेंस लेटेंसी (inference latency) के लिए अत्यधिक अनुकूलित है, जो अधिकांश बेसलाइन्स से बेहतर प्रदर्शन करता है।

5. महत्व

यह कार्य महत्वपूर्ण है क्योंकि यह "सीक्वेंस लेंथ सीलिंग" (Sequence Length Ceiling) का एक व्यावहारिक समाधान प्रदान करता है जो मोबाइल और एज डिवाइसेस पर परिष्कृत LLM अनुकूलन को रोकता है। पैरामीटर बॉटलनेक के बजाय एक्टिवेशन बॉटलनेक को लक्षित करके, LARS उन हार्डवेयर पर स्थानीय, गोपनीयता-संरक्षित और व्यक्तिगत LLM प्रशिक्षण को सक्षम बनाता है जिन्हें पहले ऐसे कार्यों के लिए अक्षम माना जाता था। यह क्षेत्र को लॉन्ग-कॉन्टेक्स्ट मॉडल्स के युग में हार्डवेयर बाधाओं की अधिक यथार्थवादी समझ की ओर ले जाता है।