🤖 machine learning

AdaPreLoRA: Adafactor Preconditioned Low-Rank Adaptation

AdaPreLoRA एक नवीन LoRA ऑप्टिमाइज़र है जो वेट स्पेस पर एक Adafactor-आधारित डायगोनल क्रोनेकर प्रीकंडिशनरनर को अपनाकर और $H_t$ -भारित असंतुलन (imbalance) को न्यूनतम करने वाले एक क्लोज्ड-फॉर्म फैक्टर अपडेट को चुनकर फैक्टर-स्पेस प्रीकंडिशनर की सिंगुलैरिटी को संबोधित करता है, जिससे यह कम मेमोरी ओवरहेड बनाए रखते हुए विभिन्न मॉडलों और कार्यों में प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।

मूल लेखक: Ziyun Liu, Fengmiao Bian, Jian-Feng Cai

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ziyun Liu, Fengmiao Bian, Jian-Feng Cai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक विशाल पुस्तकालय को ट्यून करना

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय है (जैसे GPT या Mistral जैसा एक Large Language Model) जिसने दुनिया की लगभग हर चीज़ पढ़ ली है। आप उसे एक नया, विशिष्ट कौशल सिखाना चाहते हैं, जैसे कविता लिखना या गणित की समस्याओं को हल करना।

इसे करने का पुराना तरीका पूरे पुस्तकालय के कैटलॉग को फिर से लिखना और हर एक किताब को पुनर्गठित करना था। यह धीमा, महंगा है और इसके लिए एक बहुत बड़े गोदाम (GPU मेमोरी) की आवश्यकता होती है।

LoRA (Low-Rank Adaptation) एक स्मार्ट तरीका है। पूरे पुस्तकालय को फिर से लिखने के बजाय, आप किताबों में एक छोटा, पोर्टेबल "स्टिकी नोट" सिस्टम जोड़ देते हैं। आप केवल इन स्टिकी नोट्स (दो छोटे मैट्रिसेस, $A$ और $B$ ) को प्रशिक्षित करते हैं जबकि मूल पुस्तकालय को अछूता छोड़ देते हैं। यह बहुत सारा स्थान और पैसा बचाता है।

समस्या: "टूटा हुआ दिशा-सूचक" (The "Broken Compass")

पेपर उस विशिष्ट समस्या की पहचान करता है जो वर्तमान में इन स्टिकी नोट्स को अपडेट करने के तरीके में है।

कल्पना कीजिए कि आप एक मानचित्र (Map) का उपयोग करके एक जहाज (मॉडल) को चलाने की कोशिश कर रहे हैं।

मानचित्र ( $W$ ): पुस्तकालय का पूर्ण भार (Full weight)।
स्टीयरिंग व्हील ( $A$ और $B$ ): वे छोटे स्टिकी नोट्स जिन्हें आप वास्तव में घुमा रहे हैं।

समस्या यह है कि स्टीयरिंग व्हील और जहाज की दिशा के बीच का संबंध टूटा हुआ या "रैंक-डेफिशिएंट" (rank-deficient) है। स्टीयरिंग व्हील को घुमाने के कई अलग-अलग तरीके हैं जिनसे जहाज की गति बिल्कुल समान रहती है। यह एक ढीले बोल्ट वाले स्टीयरिंग व्हील की तरह है; आप इसे बाएँ या दाएँ हिला सकते हैं, और जहाज को कोई फर्क नहीं पड़ता।

इस "ढीलेपन" के कारण, सर्वोत्तम दिशा खोजने के लिए उपयोग किए जाने वाले मानक गणितीय उपकरण (जिन्हें प्रीकंडीशनर कहा जाता है) विफल हो जाते हैं। वे आपको पहिये को घुमाने का वह एक अनूठा सबसे अच्छा तरीका नहीं बता सकते क्योंकि एक ही परिणाम प्राप्त करने के अनंत तरीके हैं। मौजूदा तरीके या तो:

पूरे मानचित्र को पूरी तरह से अनदेखा कर देते हैं और बस अनुमान लगाते हैं (Vanilla LoRA)।
इस टूटे हुए संबंध को ठीक करने के लिए बहुत बड़ी, महंगी गणनाओं का प्रयास करते हैं जिसके लिए पूरे पुस्तकालय को फिर से स्टोर करने की आवश्यकता होती है (LoRA-Pro)।

समाधान: AdaPreLoRA

लेखक AdaPreLoRA का प्रस्ताव देते हैं, जो एक नया तरीका है जो बिना अतिरिक्त गोदाम स्थान की आवश्यकता के इस टूटे हुए संबंध को ठीक करता है।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. "स्मार्ट कंपास" (Adafactor Preconditioner)

अधिकांश तरीके अपडेट करने के लिए एक सरल, सपाट मानचित्र (जैसे एक बुनियादी कंपास) का उपयोग करते हैं। AdaPreLoR एक स्मार्ट कंपास (Adafactor पर आधारित) का उपयोग करता है।

उपमा: कल्पना कीजिए कि आप एक जंगल में चल रहे हैं। एक सपाट मानचित्र कहता है "उत्तर की ओर जाओ।" लेकिन एक स्मार्ट कंपास इलाके (Terrain) को जानता है: "उत्तर की ओर जाएँ, लेकिन धीमे हो जाएँ क्योंकि वहाँ एक दलदल है, और तेज़ हो जाएँ क्योंकि रास्ता साफ़ है।"
यह कंपास पुस्तकालय के "इलाके" (ग्रेडिएंट सांख्यिकी) को देखता है ताकि सबसे अच्छा दिशा तय की जा सके। महत्वपूर्ण रूप से, यह एक "रैंक-1 क्रोनेकर" ट्रिक का उपयोग करके करता है, जो एक गणितीय शॉर्टकट है जो मेमोरी उपयोग को बहुत कम रखता है।

2. "संतुलित टीम" (The Ht-Balance Criterion)

याद है "ढीले बोल्ट" वाली समस्या? क्योंकि जहाज की गति को समान रखने के लिए स्टीयरिंग व्हील को घुमाने के अनंत तरीके हैं, गणित आपको समाधानों का एक पूरा परिवार देता है। आपको बस एक को चुनना है।

मौजूदा तरीके या तो बेतरतीब ढंग से समाधान चुनते हैं या सरल तरीके से "दूरी" को कम करके चुनते हैं। AdaPreLoRA समाधान को संतुलन (Balance) के आधार पर चुनता है।

उपमा: कल्पना कीजिए कि दो लोग (मैट्रिक्स A और मैट्रिक्स B) मिलकर एक भारी गाड़ी को धक्का दे रहे हैं।
- यदि व्यक्ति A 100% बल के साथ धक्का देता है और व्यक्ति B कुछ नहीं करता, तो गाड़ी चलती है, लेकिन टीम असंतुलित है।
- यदि व्यक्ति A 50% और व्यक्ति B 50% धक्का देता है, तो टीम संतुलित है।
- AdaPreLoRA "स्मार्ट कंपास" दिशा की गणना करता है और फिर A और B के लिए वह विशिष्ट तरीका ढूंढता है जो उनके बीच प्रयास को पूरी तरह से संतुलित रखता है। यह सुनिश्चित करता है कि दोनों में से कोई भी सारा भारी काम न करे जबकि दूसरा बस साथ खड़ा रहे।

यह बेहतर क्यों है?

पेपर का दावा है कि स्मार्ट कंपास (जो इलाके को समझता है) को संतुलित टीम दृष्टिकोण (जो श्रम का सबसे कुशल विभाजन चुनता है) के साथ जोड़कर, AdaPreLoRA निम्नलिखित प्राप्त करता है:

बेहतर प्रदर्शन: यह अन्य LoRA विधियों की तुलना में लेखन, तर्क और गणित जैसे कार्यों पर तेजी से सीखता है और उच्च स्कोर प्राप्त करता है।
वही कम लागत: अन्य उन्नत तरीकों के विपरीत जिन्हें दोगुना मेमोरी की आवश्यकता होती है (जिससे आपका कंप्यूटर क्रैश हो सकता है), AdaPreLoRA बुनियादी तरीकों के समान ही कम-मेमोरी "बजट" में रहता है। इसे पूरे पुस्तकालय को स्टोर करने की आवश्यकता नहीं है; इसे केवल छोटे स्टिकी नोट्स की आवश्यकता है।

परिणाम

लेखकों ने इसका परीक्षण किया:

GPT-2: एक छोटा भाषा मॉडल।
Mistral-7B और Qwen2-7B: बड़े 7-बिलियन-पैरामीटर मॉडल।
Diffusion Models: AI जो चित्र उत्पन्न करता है (जैसे Stable Diffusion)।

प्रत्येक परीक्षण में, AdaPreLoRA या तो सर्वश्रेष्ठ था या सर्वश्रेष्ठ के बराबर था, और अक्सर उन तरीकों को भी पछाड़ दिया जिन्होंने बहुत अधिक कंप्यूटर मेमोरी का उपयोग किया था। इसने साबित कर दिया कि बेहतर परिणाम प्राप्त करने के लिए आपको अधिक पैसा (मेमोरी) खर्च करने की आवश्यकता नहीं है; आपको बस जहाज को चलाने के एक स्मार्ट तरीके की आवश्यकता है।

सारांश

AdaPreLoRA AI मॉडल को नए कौशल सिखाने का एक नया तरीका है। यह "स्मार्ट मैप" का उपयोग करके इलाके को समझने और "बैलेंस स्केल" का उपयोग करके यह सुनिश्चित करने के माध्यम से इस गणितीय दोष को ठीक करता है कि सीखना समान रूप से साझा किया जाए। परिणाम एक स्मार्ट, तेज़ और अधिक कुशल तरीका है जिससे महंगे हार्डवेयर की आवश्यकता के बिना AI को कस्टमाइज़ किया जा सकता है।

तकनीकी सारांश: AdaPreLoRA

1. समस्या विवरण (Problem Statement)

लो-रैंक एडेप्टेशन (LoRA) एक मानक पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) विधि है जो लो-रैंक फैक्टर्स $B \in \mathbb{R}^{m \times r}$ और $A \in \mathbb{R}^{r \times n}$ का उपयोग करके वेट अपडेट्स को $W = BA $के रूप में पुनर्रिभाषित करती है, जिससे ट्रेन करने योग्य पैरामीटर्स$ O(mn) $से घटकर$ O((m+n)r) $हो जाते हैं। हालाँकि, सीधे फैक्टर स्पेस$ [B, A] $में ऑप्टिमाइज़ करना एक मौलिक ज्यामितीय बाधा उत्पन्न करता है: जनरेटर मैपिंग (जो फैक्टर्स को वेट्स में बदलती है) का जैकोबियन$ J_G $गेज रिडंडेंसी (अर्थात, किसी भी इनवर्टिबल$ C $के लिए$ (B, A) \to (BC, C^{-1}A)$) के कारण रैंक-डेफिशिएंट होता है।

परिणामस्वरूप, फैक्टर स्पेस में प्राकृतिक प्रीकंडीशनर, जो चेन रूल के माध्यम से $J_G^* F_t J_G$ (जहाँ $F_t$ वेट स्पेस में ग्रेडिएंट-सांख्यिकी-आधारित प्रीक कंडीशनर है) के रूप में प्राप्त होता है, सिंगुलर (singular) होता है। यह सिंगुलैरिटी एक प्रीकंडीशन किए गए वेट-स्पेस डायरेक्शन को वापस फैक्टर-स्पेस अपडेट में मैप करने के लिए आवश्यक अद्वितीय व्युत्क्रम (unique inversion) को रोकती है। मौजूदा LoRA ऑप्टिमाइज़र इस समस्या को या तो:

ग्रेडिएंट सांख्यिकी की अनदेखी करके: सरल डायगोनल एप्रोक्सिमेशन या आइडेंटिटी मैट्रिसेस (जैसे Vanilla LoRA, LoRA+) का उपयोग करके, जो $F_t$ में उपलब्ध कर्वेचर (curvature) जानकारी को त्याग देते हैं।
मेमोरी लागत बढ़ाकर: फुल वेट-स्पेस मोमेंट्स बनाए रखकर या उन स्यूडो-इनवर्स (pseudoinverses) का उपयोग करके जिनमें $O(mn)$ मेमोरी की आवश्यकता होती है (जैसे LoRA-Pro AdamW), जो LLMs के लिए अत्यधिक खर्चीला है।
रीमानियन (Riemannian) दृष्टिकोण: मैनिफोल्ड पर स्टेप्स लेना और रिट्रैक्शन (retracting) करना, जिसमें अक्सर विशिष्ट प्रीकंडीशन किए गए डायरेक्शन के लिए क्लोज्ड-फॉर्म समाधान का अभाव होता है।

एक ऐसे ऑप्टिमाइज़र के लिए अंतराल बना हुआ है जो एक गैर-तुच्छ (non-trivial), ग्रेडिएंट-सांख्यिकी-जागरूक प्रीक कंडीशनर $F_t$ का उपयोग करता है, जबकि मानक LoRA के $O((m+n)r)$ मेमोरी बजट को भी बनाए रखता है।

2. कार्यप्रणाली: AdaPreLoRA (Methodology: AdaPreLoRA)

लेखक AdaPreLoRA (Adafactor Preconditioned Low-Rank Adaptation) का प्रस्ताव करते हैं, जो दो विकल्पों द्वारा परिभाषित एक एकीकृत ढांचे के भीतर कार्य करता है: (i) वेट-स्पेस प्रीक कंडीशनर $F_t$ , और (ii) सिंगुलर लीनियर सिस्टम के एफाइन सॉल्यूशन सेट (affine solution set) से एक विशिष्ट तत्व चुनने का नियम।

A. एकीकृत ढांचा (The Unified Framework)

ऑप्टिमाइज़ेशन समस्या को इस सुसंगत लीनियर सिस्टम को हलने के रूप में प्रस्तुत किया गया है:
$J_G^* F_t J_G [\Delta B_t, \Delta A_t] = J_G^*(G_t)$
जहाँ $G_t$ वेट स्पेस में ग्रेडिएंट है। चूंकि $J_G^* F_t J_G$ सिंगुलर है, इसलिए समाधान सेट $r^2$ आयाम का एक एफाइन सबस्पेस (affine subspace) है। चुनौती एक अद्वितीय अपडेट $[\Delta B_t, \Delta A_t]$ चुनने की है जो प्रीक कंडीशनर के मेट्रिक का सम्मान करता हो।

B. प्रीक कंडीशनर का चयन ( $F_t$ )

AdaPreLoRA, $F_t$ के लिए Adafactor डायगोनल क्रोनेकर प्रीक कंडीशनर को अपनाता है:
$F_t = L_t \otimes R_t$
जहाँ $L_t$ और $R_t$ स्क्वेर्ड ग्रेडिएंट्स ( $G_t \odot G_t$ ) के रो (row) और कॉलम (column) सांख्यिकी को स्टोर करने वाले डायगोनल मैट्रिसेस हैं। यह चुनाव इसके द्वारा $O(m+n)$ मेमोरी की आवश्यकता के साथ ग्रेडिएंट सांख्यिकी को कैप्चर करने की क्षमता से प्रेरित है, जो इसे सबसे सस्ता गैर-तुच्छ प्रीक कंडीशनर बनाता है। ऑपरेटर स्क्वायर रूट को $H_t = F_t^{1/2}$ के रूप में परिभाषित किया गया है, जो $H_t Y = L_t^{1/2} Y R_t^{1/2}$ के रूप में कार्य करता है।

C. चयन नियम ( $H_t$ -बैलेंस मानदंड)

समाधान सेट में $r^2$ -आयामी अस्पष्टता को हल करने के लिए, लेखक एक विशिष्ट चयन नियम प्रस्तावित करते हैं। जबकि समाधान सेट के सभी तत्व वेट अपडेट में दो फैक्टर योगदानों के लिए समान वेट अपडेट को प्रेरित करते हैं, वे अलग-अलग फैक्टर ट्रैजेक्टरीज़ का अनुसरण करते हैं।

AdaPreLoRA उस अद्वितीय तत्व को चुनता है जो वेट अपडेट में दो फैक्टर योगदानों के बीच $H_t$ -इम्बैलेंस (imbalance) को कम करता है:
$\min_{X_t} \|\Delta B_t A_t - B_t \Delta A_t\|_{H_t}^2$
यह मानदंड प्रीक कंडीशनर के मेट्रिक के तहत $B$ और $A$ के अपडेट के परिमाण को संतुलित करता है, जो लो-रैंक मैट्रिक्स रिकवरी में रेगुलाइजेशन तकनीकों के समान है।

D. क्लोज्ड-फॉर्म समाधान (Closed-Form Solution)

Adafactor प्रीक कंडीशनर और $H_t$ -बैलेंस मानदंड को जोड़कर, लेखक एक क्लोज्ड-फॉर्म फैक्टर अपडेट (थ्योरम 3.2) प्राप्त करते हैं। यह अपडेट केवल लो-रैंक फैक्टर ग्रेडिएंट्स और Adafactor सांख्यिकी पर निर्भर करता है, जिससे यह सुनिश्चित होता है कि ऑप्टिमाइज़र स्टेट $O((m+n)r)$ बना रहे। परिणामी वेट अपडेट, $H_t$ -वेटेड नॉर्म के तहत $H_t^{-1}G_t$ के टेंजेंट स्पेस $T_t$ में सबसे निकटतम बिंदु है।

3. मुख्य योगदान (Key Contributions)

एकीकृत ढांचा: यह पेपर मौजूदा LoRA ऑप्टिमाइज़र्स को एक सुसंगत लीनियर सिस्टम $J_G^* F_t J_G [\Delta B, \Delta A] = J_G^*(G_t)$ के रूप में पुनर्गठित करता है, जिसे $F_t$ के चुनाव और एफाइन सॉल्यूशन सेट के लिए चयन नियम द्वारा पैरामीटराइज किया गया है।
AdaPreLoRA एल्गोरिदम: यह एक नया ऑप्टिमाइज़र है जो Adafactor डायगोनल क्रोनेकर प्रीक कंडीशनर को क्लोज्ड-फॉर्म, $H_t$ -बैलेंस्ड फैक्टर अपडेट के साथ जोड़ता है। यह $O((m+n)r)$ मेमोरी बनाए रखते हुए, $H_t$ -वेटेड नॉर्म के तहत प्रीकंडीशन किए गए वेट-स्पेस डायरेक्शन के सबसे करीबी LoRA एप्रोक्सिमेशन होने की सैद्धांतिक गारंटी देता है।
अनुभवजन्य सत्यापन: विभिन्न स्केल्स और कार्यों में विभिन्न डिज़ाइन परिवारों (Vanilla LoRA, LoRA+, LoRA-Pro, SOAP, Riemannian methods) के विरुद्ध AdaPreLoRA का व्यापक परीक्षण, जो दर्शाता है कि यह पूर्ण-वेट प्रीकंडीशनिंग के बिना भी स्टेट-ऑफ-द-आर्ट LoRA ऑप्टिमाइज़र्स के प्रतिस्पर्धी या उससे बेहतर है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखक तीन अक्षों: मॉडल स्केल, टास्क फैमिली और रिसोर्स कॉस्ट के माध्यम से विभिन्न डिज़ाइन परिवारों के प्रतिनिधियों के विरुद्ध AdaPreLoRA का मूल्यांकन करते हैं।

E2E पर GPT-2 (Small/Medium): AdaPreLoRA सभी मेट्रिक्स (BLEU, NIST, METEOR, ROUGE-L, CIDEr) के लिए दोनों SGD और AdamW वेरिएंट के लिए सर्वश्रेष्ठ या टाई-बेस्ट स्कोर प्राप्त करता है। यह Vanilla LoRA और LoRA-Pro से बेहतर प्रदर्शन करता है, विशेष रूप से SGD-आधारित सेटिंग्स में जहाँ ग्रेडिएंट सांख्यिकी सबसे महत्वपूर्ण होती है।
7B-स्केल LLMs (Mistral-7B, Qwen2-7B): GLUE (RTE, CoLA, MRPC), ARC, और GSM8K पर, AdaPreLoRA सात में से छह सेटिंग्स में सर्वश्रेष्ठ सटीकता प्राप्त करता है। उल्लेखनीय रूप से, यह Vanilla AdamW (लगभग 26 GB) के पीक मेमोरी फुटप्रिंट से मेल खाता है, जबकि LoRA-Pro AdamW को फुल-वेट मोमेंट स्टोरेज के कारण लगभग दोगुना (50.4 GB) की आवश्यकता होती है।
डिफ्यूजन मॉडल पर्सनलाइजेशन (Mix-of-Show): Stable Diffusion फाइन-ट्यूनिंग पर, AdaPreLoRA सभी स्केलिंग फैक्टर्स पर सबसे कम FID (डिस्ट्रीब्यूशनल सिमिलैरिटी) और स्केलिंग 1.0 पर सर्वश्रेष्ठ CLIP स्कोर प्राप्त करता है, जो इमेज जनरेशन के लिए विधि की हस्तांतरणीयता (transferability) की पुष्टि करता है।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि AdaPreLoRA PEFT में एक महत्वपूर्ण डिज़ाइन गैप को भरता है: एक गैर-तुच्छ, ग्रेडिएंट-सांख्यिकी-जागरूक प्रीक कंडीशनर को LoRA के सख्त मेमोरी बजट के साथ जोड़ना।

सैद्धांतिक महत्व: यह फैक्टर अपडेट की गैर-विशिष्टता (non-uniqueness) को इस तरह से हल करता है जो वेट-स्पेस प्रीक कंडीशनर के साथ ज्यामितीय रूप से सुसंगत है, यह गारंटी देता है कि अपडेट $H_t$ -वेटेड नॉर्म के तहत इष्टतम एप्रोक्सिमेशन है।
व्यावहारिक महत्व: यह प्रदर्शित करता है कि उच्च-प्रदर्शन फाइन-ट्यूनिंग के लिए $O(mn)$ मेमोरी ओवरहेड (जैसे LoRA-Pro AdamW या Shampoo) की आवश्यकता नहीं है। Adafactor संरचना का उपयोग करके, AdaPreLoRA प्रतिस्पर्धी या बेहतर प्रदर्शन बनाए रखते हुए 7B पैरामीटर मॉडल और डिफ्यूजन मॉडल तक कुशलतापूर्वक स्केल करता है।
विनम्रता (Modesty): लेखक नोट करते हैं कि हालांकि वर्तमान ढांचा Adafactor का उपयोग करता है, दो-अक्ष वाला डिज़ाइन स्पेस (चयन के लिए $F_t$ और चयन नियम) अन्य प्रीक कंडीशनर्स के लिए खुला है। वे यह भी स्वीकार करते हैं कि क्वांटाइज्ड बैकबोन्स (QLoRA) या डिफ्यूजन ट्रांसफॉर्मर जैसे जटिल आर्किटेक्चर तक विस्तार करने के लिए और अधिक अनुकूलन की आवश्यकता होगी।