🤖 machine learning

CR-Net: Scaling Parameter-Efficient Training with Cross-Layer Low-Rank Structure

CR-Net एक पैरामीटर-कुशल फ्रेमवर्क है जो एक डुअल-पाथ आर्किटेक्चर और विशिष्ट रीकंप्यूटेशन रणनीति के माध्यम से इंटर-लेयर एक्टिवेशन रेसिडुअल्स के लो-रैंक गुणों का लाभ उठाता है ताकि LLM प्री-ट्रेनिंग में मौजूदा लो-रैंक विधियों से बेहतर प्रदर्शन करते हुए कम्प्यूटेशनल और मेमोरी लागत को काफी कम किया जा सके।

मूल लेखक: Boao Kong, Junzhu Liang, Yuxi Liu, Renjia Deng, Kun Yuan

प्रकाशित 2026-05-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Boao Kong, Junzhu Liang, Yuxi Liu, Renjia Deng, Kun Yuan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, प्रतिभाशाली छात्र (एक लार्ज लैंग्वेज मॉडल) को इंसान की तरह लिखना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, आपको उन्हें टेक्स्ट के अरबों पन्ने दिखाने होंगे। समस्या यह है कि छात्र का "दिमाग" (मॉडल) इतना विशाल है कि सारी जानकारी रखने के लिए एक सुपरकंप्यूटर की आवश्यकता है, और इस प्रक्रिया में महीनों लग जाते हैं और बिजली का भारी खर्च होता है।

यह शोध पत्र CR-Net को पेश करता है, जो इन विशाल मॉडलों को प्रशिक्षित करने का एक नया तरीका है, जो बिल्कुल वैसा ही है जैसे छात्र को बिना कुछ महत्वपूर्ण भूले, स्मार्ट शॉर्टकट का एक सेट देना।

यह कैसे काम करता है, इसे रोजमर्रा के उदाहरणों के माध्यम से यहाँ समझाया गया है:

1. समस्या: "भारी बैकपैक"

वर्तमान में, इन मॉडलों को प्रशिक्षित करना एक छात्र को एक ऐसा बैकपैक ले जाने के लिए कहने जैसा है जिसमें उनके द्वारा पढ़ी गई हर किताब और उनके हर विचार के लिए एक नोटबुक भरी हुई है।

समस्या: बैकपैक बहुत भारी है (बहुत अधिक मेमोरी)। छात्र अपना सारा समय केवल वजन उठाने में बिता देता है जिससे वह उतनी तेजी से नहीं सीख पाता जितनी उसे सीखनी चाहिए।
पुराने समाधान: पिछले तरीकों ने बैकपैक को हल्का करने की कोशिश की, जैसे किताबें फेंक देना (पैरामीटर्स कम करना) या उन्हें कंप्रेस करना। लेकिन अक्सर, इससे छात्र कम बुद्धिमान (खराब प्रदर्शन) हो जाता था या कंप्रेस/अन-कंप्रेस करने की प्रक्रिया इतनी धीमी थी कि उससे समय की बचत नहीं होती थी।

2. खोज: "पड़ोसी प्रभाव" (The Neighbor Effect)

शोधकर्ताओं ने गौर किया कि ये मॉडल कैसे सोचते हैं, इसके बारे में एक दिलचस्प बात। उन्होंने पाया कि मॉडल की एक परत (layer) के "विचार" (activations), उसके ठीक पहले वाली परत के विचारों के बहुत समान होते हैं।

उदाहरण: कल्पना कीजिए कि यह एक रिले रेस है। लेन 2 में दौड़ने वाले को शून्य से शुरुआत करने की आवश्यकता नहीं है; उसे बस यह जानने की जरूरत है कि रनर 1 कहाँ था और उसे कहाँ होना चाहिए, उसके बीच का सूक्ष्म अंतर क्या है।
अंतर्दृष्टि: पूरे नए विचार को शून्य से कैलकुलेट करने के बजाय, मॉडल को केवल वर्तमान विचार और पिछले विचार के बीच के छोटे से अंतर को कैलकुलेट करने की आवश्यकता है। महत्वपूर्ण बात यह है कि शोधकर्ताओं ने पाया कि ये "अंतर" बहुत सरल हैं और उन्हें आसानी से वर्णित किया जा सकता है (गणितीय रूप से, वे "लो-रैंक" हैं)।

3. समाधान: CR-Net (एक "स्मार्ट रिले")

CR-Net इस अंतर्दृष्टि का उपयोग करने के लिए मॉडल के आर्किटेक्चर को बदल देता है।

यह कैसे काम करता है: हर परत द्वारा शून्य से एक नई, भारी ईंट की दीवार बनाने के बजाय, CR-Net कहता है: "नीचे वाली परत की दीवार लें, और आवश्यक बदलाव करने के लिए उसके ऊपर कागज की एक पतली, हल्की शीट लगा दें।"
परिणाम: मॉडल उसी दीवार को बनाने के लिए बहुत कम सामग्री (पैरामीटर्स) का उपयोग करता है। यह बहुत पहली परत के लिए "भारी" पूर्ण-शक्ति वाली ईंटों को बरकरार रखता है (यह सुनिश्चित करने के लिए कि नींव मजबूत हो) और बाकी सब के लिए इन हल्के "कागज की शीटों" का उपयोग करता है।

4. मेमोरी ट्रिक: "री-डू बटन" (The Re-Do Button)

हल्का बैकपैक होने के बावजूद, मॉडल को अपनी गलतियों से सीखने के लिए अपने कदमों को याद रखने की आवश्यकता होती है (ट्रेनिंग के "बैकवर्ड" पास के दौरान)। आमतौर पर, इसके लिए बहुत बड़ी मात्रा में डेटा स्टोर करने की आवश्यकता होती है।

नवाचार: शोध पत्र एक विशेष रणनीति पेश करता है जहाँ मॉडल सब कुछ स्टोर नहीं करता है। इसके बजाय, यह कुछ प्रमुख चेकपॉइंट्स को स्टोर करता है। यदि इसे उस चरण को याद करने की आवश्यकता है जिसे इसने सेव नहीं किया था, तो यह उस विशिष्ट चरण को तेजी से पुनः कैलकुलेट (re-calculate) करता है, ऊपर बताए गए "पतली शीट" के तर्क का उपयोग करके।
उदाहरण: एक लंबी कहानी को बाद में याद रखने के लिए हर एक शब्द लिखने के बजाय, आप कहानी के शीर्षक और प्रत्येक अध्याय का पहला वाक्य लिखते हैं। यदि आप बीच में कोई विवरण भूल जाते हैं, तो आप संबंधित पैराग्राफ को जल्दी से फिर से पढ़ लेते हैं। क्योंकि "शीट" बहुत सरल हैं, इसलिए उन्हें दोबारा पढ़ना अविश्वसनीय रूप से तेज़ और सस्ता है।

5. परिणाम: तेज़, सस्ता और स्मार्ट

इस शोध पत्र का परीक्षण छोटे (60 मिलियन पैरामीटर्स) से लेकर बड़े (7 बिलियन पैरामीटर्स) मॉडलों पर किया गया।

प्रदर्शन: CR-Net ने भारी, पूर्ण-आकार वाले मॉडलों के समान या कभी-कभी उनसे भी बेहतर तरीके से सीखा।
दक्षता: इसने बहुत कम मेमोरी का उपयोग किया (जिससे इसे कम या छोटे कंप्यूटरों पर चलाना संभव हुआ) और इसके लिए कम कंप्यूटिंग पावर की आवश्यकता पड़ी।
गति: क्योंकि इसमें डेटा को इधर-उधर ले जाने की आवश्यकता कम थी, इसलिए इसने तेजी से प्रशिक्षण दिया।

सारांश में:
CR-Net एक विशाल छात्र को यह सिखाने जैसा है कि, "बार-बार पूरी विश्वकोश (encyclopedia) को याद मत करो। बस पिछला पढ़ा हुआ पन्ना याद रखो, और आज जो नए शब्द तुमने सीखे हैं, बस उन्हें लिखो।" यह सीखने की प्रक्रिया को तेज़, सस्ता और कम थकाऊ बनाता है, बिना छात्र की बुद्धिमत्ता को कम किए।

तकनीकी सारांश: CR-Net – क्रॉस-लेयर लो-रैंक संरचना के साथ पैरामीटर-कुशल प्रशिक्षण को स्केल करना

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का प्री-ट्रेनिंग, जैसे-जैसे मॉडल का पैमाना लाखों से अरबों पैरामीटर्स तक बढ़ता है, कंप्यूटेशनल और मेमोरी आवश्यकताओं में घातीय वृद्धि (exponential growth) का सामना करता है। जबकि लो-रैंक आर्किटेक्चर ने पैरामीटर जटिलता और मेमोरी फुटप्रिंट को कम करने के लिए एक प्राथमिक समाधान के रूप में उभर कर आया है, मौजूदा पद्धतियां तीन महत्वपूर्ण कमियों से ग्रस्त हैं:

सब-ऑप्टिमल प्रदर्शन (Suboptimal Performance): लो-रंक पैरामीट्राइजेशन (जैसे, LoRA) अक्सर मॉडल की क्षमता से समझौता करता है क्योंकि ट्रांसफॉर्मर वेट्स आमतौर पर फुल-रैंक गुणों को प्रदर्शित करते हैं जो ज्ञान प्रतिनिधित्व (knowledge representation) के लिए आवश्यक हैं।
कंप्यूटेशनल बाधाएं (Computational Bottlenecks): लो-रैंक ग्रेडिएंट्स (जैसे, GaLore) पर निर्भर पद्धतियां सिंगुलर वैल्यू डिकंपोजिशन (SVD) या रैंडम प्रोजेक्शन जैसे ऑपरेशन्स के कारण महत्वपूर्ण कंप्यूटेशनल ओवरहेड उत्पन्न करती हैं, जिससे ट्रेनिंग थ्रूपुट कम हो जाता है।
सीमित एक्टिवेशन मेमोरी बचत (Limited Activation Memory Savings): जबकि मौजूदा पद्धतियां पैरामीटर्स, ग्रेडिएंट्स और ऑप्टिमाइज़र स्टेट्स के लिए मेमोरी को कम करती हैं, वे अक्सर एक्टिवेशन स्टोरेज (बैकप्रोपैगेशन के लिए आवश्यक इंटरमीडिएट वेरिएबल्स) के भारी बोझ को संबोधित करने में विफल रहती हैं, जो मॉडल पैरामीटर आकार का 1× से 4× तक हो सकता है।

2. कार्यप्रणाली (Methodology)

मुख्य अंतर्दृष्टि: क्रॉस-लेयर लो-रैंक रेसिडुअल्स (Core Insight: Cross-Layer Low-Rank Residuals)

लेखक एक नवीन अवलोकन प्रस्तावित करते हैं: LLMs में समीपवर्ती परतों (adjacent layers) के बीच एक्टिवेशन का अंतर एक मजबूत लो-रैंक संरचना रखता है। LLaMA-3 और GPT-2 जैसे मॉडल्स पर एम्पिरिकल मूल्यांकन से पता चलता है कि वर्तमान परत के एक्टिवेशन ( $Y_l$ ) को पिछली परत के एक्टिवेशन ( $Y_{l-1}$ ) और एक लो-रैंक डिफरेंस टर्म का उपयोग करके अनुमानित करना, केवल $Y_l$ के प्रत्यक्ष लो-रैंक सन्निकटन (approximation) की तुलना में काफी कम रिलेटिव रिकंस्ट्रक्शन एरर देता है।

CR-Net आर्किटेक्चर

इस अंतर्दृष्टि के आधार पर, लेखक CR-Net (Cross-layer Low-Rank residual Network) पेश करते हैं, जो एक डुअल-पाथ आर्किटेक्चर वाला एक पैरामीटर-कुशल फ्रेमवर्क है:

पहली परत (First Layer): हाई-रैंक जानकारी को बनाए रखने और स्थिर इनिशियलाइजेशन सुनिश्चित करने के लिए फुल-रैंक पैरामीटर्स ( $W_1$ ) को बनाए रखती है।
परवर्ती परतें ( $l \ge 2$ ): फुल-रैंक वेट मैट्रिसेस को क्रॉस-लेयर रेसिड्यूल स्ट्रक्चर से बदल देती हैं। एक्टिवेशन की गणना इस प्रकार की जाती है:
$Y_l^P = \beta_l^P Y_{l-1}^P + X_l^P A_l^P B_l^P$
जहाँ:
- $Y_{l-1}^P$ पिछली परत का एक्टिवेशन है।
- $A_l^P$ और $B_l^P$ सीखने योग्य (learnable) लो-रैंक मैट्रिसेस हैं ( $r \ll \min(h_{in}, h_{out})$ )।
- $\beta_l^P$ एक सीखने योग्य स्केलिंग फैक्टर है जो ऐतिहासिक सिग्नल (हाई-रैंक) और लो-रैंक रेसिड्यूल के योगदान को गतिशील रूप से संतुलित करता है। यह मॉडल को शैलो एक्सप्रेसिव लेयर्स और डीपर लो-रैंक ट्रांजिशन के बीच इंटरपोलेट करने की अनुमति देता है ताकि यह लो-डायमेंशनल सबस्पेस में न सिमट जाए।

एक्टिवेशन-कुशल पुनर्गणना रणनीति (Activation-Efficient Re-computation Strategy)

एक्टिवेशन मेमोरी ओवरहेड को संबोधित करने के लिए, लेखक CR-Net के आर्किटेक्चर के अनुकूल एक विशेष पुनर्गणना रणनीति विकसित करते हैं।

चुनौती: CR-Net पर लागू मानक ग्रेडिएंट चेकपॉइंटिंग (GCP) $O(L^2)$ ओवरहेड उत्पन्न करेगा क्योंकि एक परत के एक्टिवेशन को पुनर्गठित करने के लिए सभी पूर्ववर्ती परतों के फुल फॉरवर्ड पास की आवश्यकता होती है क्योंकि इसमें क्रॉस-लेयर डिपेंडेंसी होती है।
समाधान: यह रणनीति लीनियर एक्टिवेशन्स (चेकपॉइंट्स) और लो-रैंक आउटपुट्स ( $X_l A_l$ ) के एक उपसमूह को स्टोर करती है। गैर-चेकपॉइंटेड परतों के लिए, एक्टिवेशन्स को क्रॉस-लेयर रेसिड्यूल कनेक्शन के व्युत्क्रम (inverse) के माध्यम से प्राप्त किया जाता है:
$Y_{l-1}^P = \frac{1}{\text{sign}(\beta_{l+1}^P)(|\beta_{l+1}^P| + \epsilon)} (Y_l^P - X_l^P A_l^P B_l^P)$
यह दृष्टिकोण पूर्ववर्ती परतों के माध्यम से पूर्ण फॉरवर्ड पास की आवश्यकता को समाप्त करता है, जिससे नैइव (naive) चेकपॉइंटिंग के $O(L^2)$ ओवरहेड के बिना मेमोरी दक्षता बनाए रखते हुए पुनर्गणना लागत को काफी कम कर दिया जाता है।

3. प्रमुख योगदान

नवीन मौलिक सिद्धांत: यह खोज कि इंटर-लेयर एक्टिवेशन रेसिडुअल्स लो-रैंक गुण प्रदर्शित करते हैं, जो पिछले कार्यों द्वारा उपयोग किए जाने वाले ग्रेडिएंट्स या पैरामीटर्स के लो-रैंक गुणों से भिन्न है।
पैरामीटर-कुशल फ्रेमवर्क (CR-Net): एक प्री-ट्रेनिंग फ्रेमवर्क जो क्रॉस-लेयर लो-रैंक एक्टिवेशन अंतरों का लाभ उठाता है। यह एक फुल-रैंक पहली परत और सीखने योग्य रेसिड्यूल स्केलिंग का उपयोग करके मानक LoRA-आधारित दृष्टिकोणों से जुड़े सूचना हानि (information loss) से बचता है।
एक्टिवेशन-कुशल पुनर्गणना: एक अनुकूलित रणनीति जो बैकवर्ड प्रोपेगेशन के दौरान अधिकांश परतों के लिए एक्टिवेशन को स्टोर करने की आवश्यकता को समाप्त करती है, जिससे पारंपरिक चेकपॉइंटिंग के $O(L^2)$ ओवरहेड के बिना एक्टिवेशन मेमोरी बॉटलनेक को हल किया जाता है।
एम्पिरिकल वैलिडेशन: बड़े पैमाने पर प्री-ट्रेनिंग प्रयोग जो दर्शाते हैं कि CR-Net कम कम्प्यूटेशनल संसाधनों और कम मेमोरी की आवश्यकता के साथ स्टेट-ऑफ-द-आर्ट लो-रैंक फ्रेमवर्क्स से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

C4-en डेटासेट का उपयोग करके LLaMA-2 मॉडल्स (60M से 13B पैरामीटर्स तक) पर प्रयोग किए गए।

प्रदर्शन बनाम पैरामीटर्स: CR-Net समान पैरामीटर काउंट वाले पैरामीटर-कुशल बेसलाइन्स (LoRA, ReLoRA, SLTrain, CoLA, LORO) को लगातार पछाड़ता है। उदाहरण के लिए, 1B पैरामीटर मॉडल पर, CR-Net ने पैरामीटर जटिलता को 56.5% और प्रति-स्टेप कम्प्यूटेशन को 63.2% कम करते हुए बेहतर वैलिडेशन परप्लेक्सिटी प्राप्त की।
प्रदर्शन बनाम मेमोरी: जब मेमोरी ओवरहेड के लिए संरेखित किया गया, तो CR-Net, विशेष रूप से 1B से बड़े मॉडल्स के लिए, ऑप्टिमाइज़र-कुशल तरीकों (GaLore, RSO, Apollo) से आगे निकल जाता है।
थ्रूपुट: CR-Net बेहतर ट्रेनिंग और इंफरेंस थ्रूपुट प्रदर्शित करता है। LLaMA-2 1B प्री-ट्रेनिंग में, इसने डेटा-पैरेलल कम्युनिकेशन ओवरहेड को ध्यान में रखते हुए भी स्टेट-ऑफ-द-आर्ट तरीकों की तुलना में 6% से अधिक सुधार के साथ थ्रूपुट प्राप्त किया।
13B तक स्केलिंग: 13B मॉडल पर, CR-Net ने फुल-रैंक ट्रेनिंग की तुलना में केवल 2% डिग्रेडेशन के साथ पैरामीटर्स में >50% की कमी हासिल की।
एब्लेशन स्टडीज (Ablation Studies):
- रैंक चयन: इष्टतम प्रदर्शन मध्य परतों में उच्च रैंक और साइड परतों में कम रैंक के साथ प्राप्त होता है।
- लर्नेबल स्केलिंग: फिक्स्ड स्केलिंग फैक्टर्स की तुलना में सीखने योग्य $\beta_l^P$ का उपयोग करना काफी बेहतर संख्यात्मक स्थिरता (numerical stability) और अभिसरण (convergence) में सुधार करता है।
- पहली परत: फुल-रैंक पहली परत को बनाए रखना महत्वपूर्ण है; इसे लो-रैंक पैरामीटर्स से बदलने से परप्लेक्सिटी में 3.5% की गिरावट आई।

5. महत्व और दावे

यह पेपर CR-Net को एक एड-हॉक (ad-hoc) तकनीकों के संयोजन के बजाय एक सिद्धांत-आधारित फ्रेमवर्क के रूप में स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

अंतराल को पाटना (Bridging the Gap): यह सफलतापूर्वक पैरामीटर दक्षता और मॉडल प्रदर्शन के बीच के ट्रेड-ऑफ को अलग करता है, जिससे लो-रैंक पैरामीटर बजट के साथ फुल-रैंक जैसी क्षमताएं प्राप्त होती हैं।
सिस्टमैटिक एफिशिएंसी: एक्टिवेशन मेमोरी को संबोधित करके—जो कि एक अक्सर अनदेखा किया जाने वाला बॉटलनेक है—यह पारंपरिक ग्रेडिएंट चेकपॉइंटिंग के कम्प्यूटेशनल दंड के बिना मौजूदा हार्डवेयर बाधाओं पर बड़े मॉडल्स को प्रशिक्षित करना सक्षम बनाता है।
स्थिरता: डिज़ाइन यह सुनिश्चित करता है कि फुल-रैंक दृष्टिकोणों के समान स्थिर ट्रेनिंग डायनेमिक्स बनी रहे, जो अक्सर लो-रैंक प्री-ट्रेनिंग से जुड़ी अस्थिरता को दूर करता है।

लेखक निष्कर्ष निकालते हैं कि CR-Net मॉडल क्षमता में सुधार या उसे बनाए रखते हुए, मेमोरी खपत और कम्प्यूटेशनल लागत दोनों को कम करके, कुशल LLM प्री-ट्रेनिंग के लिए एक स्केलेबल मार्ग प्रदान करता है। पहचाने गए भविष्य के कार्य की दिशाओं में मेमोरी ओवरहेड को और कम करने के लिए मिक्स-प्रिसिजन ट्रेनिंग को एकीकृत करना और वैकल्पिक अटेंशन आर्किटेक्चर तक फ्रेमवर्क को सामान्य बनाना शामिल है।