📊 statistics

When pre-training hurts LoRA fine-tuning: a dynamical analysis via single-index models

यह शोध पत्र गणितीय रूप से प्रदर्शित और अनुभवजन्य रूप से प्रमाणित करता है कि अत्यधिक प्री-ट्रेनिंग (pre-training), सिंगल-इंडेक्स मॉडल पर LoRA फाइन-ट्यूनिंग को एक लंबे खोज चरण (search phase) को प्रेरित करके कम्प्यूटेशनल रूप से बाधित कर सकती है, जो यह प्रकट करता है कि मजबूत प्री-ट्रेनिंग हमेशा डाउनस्ट्रीम अनुकूलन (downstream optimization) को त्वरित नहीं करती है, भले ही कार्य अच्छी तरह से संरेखित हों।

मूल लेखक: Gibbs Nwemadji, Bruno Loureiro, Jean Barbier

प्रकाशित 2026-05-28

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gibbs Nwemadji, Bruno Loureiro, Jean Barbier

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: जब "बहुत अधिक अभ्यास" उल्टा पड़ जाता है

कल्पना कीजिए कि आप एक छात्र को पियानो पर एक विशिष्ट गाना बजाना सिखा रहे हैं। आपके पास दो विकल्प हैं:

शून्य से शुरुआत करें: छात्र को कुछ भी नहीं पता है, इसलिए आप उसे पहले नोट से गाना सिखाते हैं।
एक पूर्व-प्रशिक्षित (pre-trained) छात्र का उपयोग करें: आप एक ऐसे छात्र को काम पर रखते हैं जिसने वर्षों तक कई अन्य गानों का अभ्यास किया है। आप उम्मीद करते हैं कि वह आपका नया गाना जल्दी सीख लेगा क्योंकि उसे पहले से ही पियानो बजाना आता है।

आमतौर पर, हम मानते हैं कि दूसरा विकल्प बेहतर है। यह शोध पत्र तर्क देता है कि कभी-कभी, यह वास्तव में बदतर होता है। यदि छात्र ने अपने पिछले गानों का अभ्यास बहुत अधिक पूर्णता के साथ किया है, तो वे अपनी पुरानी आदतों में "फँस" सकते हैं और नया गाना सीखने में संघर्ष कर सकते हैं, भले ही नया गाना बहुत समान हो।

लेखक इस घटना को "कैटास्ट्रोफिक ओवरट्रेनिंग" (Catastrophic Overtraining) कहते हैं। वे गणितीय रूप से दिखाते हैं कि यदि किसी मॉडल को सोर्स टास्क (source task) पर बहुत मजबूती से प्री-ट्रेन किया जाता है, तो यह वास्तव में नए टास्क के लिए उसे फाइन-ट्यून करने की प्रक्रिया को धीमा कर सकता है।

सेटअप: "LoRA" शॉर्टकट

यह समझने के लिए कि ऐसा क्यों होता है, हमें यह देखना होगा कि आधुनिक AI नए कार्यों को कैसे सीखता है। AI के पूरे मस्तिष्क को फिर से प्रशिक्षित करने के बजाय (जो महंगा और धीमा है), शोधकर्ता LoRA (Low-Rank Adaptation) नामक विधि का उपयोग करते हैं।

उपमा (Analogy):
कल्पना कीजिए कि AI किताबों का एक विशाल पुस्तकालय है (प्री-ट्रेंड मॉडल)।

फुल फाइन-ट्यूनिंग (Full Fine-Tuning): पुस्तकालय की हर एक किताब को नए विषय के अनुकूल फिर से लिखना। (बहुत महंगा)।
LoRA: आप मूल किताबों को बिल्कुल वैसा ही रखते हैं जैसा वे हैं। इसके बजाय, आप किताबों के सामने एक छोटा, स्टिकी नोट पैड (एक लो-रैंक अपडेट) जोड़ देते हैं। आप केवल इन स्टिकी नोट्स पर लिखते हैं ताकि पुस्तकालय को नए विषय के लिए समायोजित किया जा सके।

यह शोध पत्र इस बात का अध्ययन करता है कि क्या होता है जब आप उन स्टिकी नोट्स पर लिखने की कोशिश करते हैं जब नीचे की किताबें पहले से ही अपने "तरीकों" में बहुत अधिक स्थापित हैं।

प्रयोग: शिक्षक और छात्र

लेखकों ने इसका परीक्षण करने के लिए एक सरलीकृत गणितीय दुनिया बनाई। उन्होंने एक "टीचर-स्टूडेंट" सेटअप का उपयोग किया:

शिक्षक (Teacher): एक आदर्श मॉडल जो किसी विशिष्ट समस्या का उत्तर जानता है।
छात्र (Student): एक मॉडल जो शिक्षक से एक "संकेत" (प्री-ट्रेंड वेट्स) के साथ शुरू होता है लेकिन उसे विशिष्ट विवरण सीखने की आवश्यकता होती है।

उन्होंने सीखने की प्रक्रिया का अनुकरण SGD (Stochastic Gradient Descent) का उपयोग करके किया, जो एक छात्र के एक समय में एक कदम उठाने, एक उदाहरण देखने और अपनी गलती को सुधारने के समान है।

सीखने के दो चरण

पेपर सीखने के दो अलग-अलग चरणों की पहचान करता है जिनसे छात्र गुजरता है:

खोज चरण (Search Phase - "कोहरे में खो जाने वाला" चरण):
शुरुआत में, छात्र भ्रमित होता है। उसके पास एक संकेत (प्री-ट्रेंड वेट्स) है, लेकिन उसने अभी तक यह नहीं समझा है कि इसका उपयोग कैसे करना है। वह इधर-उधर भटक रहा है, सही दिशा खोजने की कोशिश कर रहा है। यह सबसे कठिन हिस्सा है।

पेपर का निष्कर्ष: यदि संकेत बहुत मजबूत है (प्री-ट्रेनिंग बहुत गहन थी), तो छात्र गलत दिशा में "अति-आत्मविश्वासी" हो जाता है। वह इस कोहरे में बहुत लंबे समय तक फंसा रहता है, और यह महसूस करने के लिए कि उसे मुड़ने की जरूरत है, हजारों अतिरिक्त कदम लेता है।

अवनति चरण (Descent Phase - "पहाड़ी से नीचे लुढ़कने वाला" चरण):
एक बार जब छात्र सही दिशा पा लेता है, तो वह समाधान की ओर बहुत तेजी से बढ़ता है।

पेपर का निष्कर्ष: यह हिस्सा तेज़ और आसान है। समस्या पूरी तरह से पहले चरण में है।

चौंकाने वाला मोड़: मजबूत होना हमेशा तेज नहीं होता

लेखकों ने विभिन्न प्रकार के "एक्टिवेशन फंक्शन्स" (गणितीय नियम जिनका उपयोग AI निर्णय लेने के लिए करता है, जैसे ReLU या Sigmoid) का परीक्षण किया।

रैखिक मामला (Linear Case): कल्पना कीजिए कि छात्र एक सीधी रेखा सीखने की कोशिश कर रहा है। यदि प्री-ट्रेनिंग संकेत 90% परफेक्ट है, तो छात्र वास्तव में तब से धीमा सीखता है जब संकेत केवल 50% परफेक्ट था। क्यों? क्योंकि मजबूत संकेत एक "फ्लैट" परिदृश्य बनाता है जहाँ छात्र को हिलने के लिए कोई दबाव महसूस नहीं होता। वह एक पठार (plateau) पर फंस जाता है।
"सिंगुलर" मामला (Singular Case): कुछ जटिल नियमों (जैसे कुछ बहुपद/polynomial फंक्शन) के लिए, पेपर ने एक "जाल" पाया। यदि प्री-ट्रेनिंग संकेत एक विशिष्ट 'स्वीट स्पॉट' (जैसे, 32.5% एलाइनमेंट) पर हिट करता है, तो छात्र पूरी तरह से फंस जाता है। वह खोज चरण (search phase) से बाहर नहीं निकल पाता, चाहे वह कितना भी लंबा प्रशिक्षण क्यों न ले। यह एक ऐसी कार की तरह है जो गड्ढे में फंस गई है जहाँ इंजन तो चल रहा है लेकिन पहिए नहीं घूम रहे।

समाधान: लेबल बदलना

पेपर ने यह भी पाया कि इसे ठीक करने का एक चतुर तरीका है। यदि छात्र फंस जाता है, तो आप प्रशिक्षण के शुरुआती चरणों के दौरान उसे दिए जाने वाले "लेबल" (उत्तरों) को बदल सकते हैं।

उपमा (Analogy):
कल्पना कीजिए कि छात्र एक गाना सीखने की कोशिश कर रहा है, लेकिन शीट म्यूजिक बहुत जटिल है, और वह पहले ही हिस्से पर बार-बार अटक रहा है।

तरीका: आप उससे कहते हैं, "अभी सटीक नोट्स की चिंता मत करो। बस ताल (rhythm) को ताली बजाकर समझो।" (यह "लेबल स्क्वेरिंग" है)।
परिणाम: एक बार जब वह ताल (rhythm) पकड़ लेता है (खोज चरण से बाहर निकल जाता है), तो आप उसे असली शीट म्यूजिक वापस दे देते हैं, और वह गाना जल्दी से पूरा कर सकता है।

गणितीय रूप से, लेबल को स्क्वायर करने से "लर्निंग लैंडस्केप" का आकार बदल जाता है, जिससे जाल सुधर जाते हैं और छात्र को फंसे हुए चरण से बाहर निकलने में मदद मिलती है।

वास्तविक दुनिया का प्रमाण

लेखकों ने केवल गणित नहीं किया; उन्होंने वास्तविक AI मॉडल (विज़न ट्रांसफॉर्मर) का उपयोग करके EMNIST (हस्तलिखित अक्षर) और FashionMNIST (कपड़े) जैसे इमेज डेटासेट पर इसका परीक्षण किया।

परिणाम:
उन्होंने उन मॉडलों को लिया जिन्हें पुराने कार्य (old task) पर लंबे समय तक प्री-ट्रेन किया गया था और उन्हें एक नए कार्य पर फाइन-ट्यून करने की कोशिश की।

अवलोकन: जो मॉडल पुराने कार्य पर "सबसे अधिक प्रशिक्षित" थे, वे फाइन-ट्यूनिंग के बाद नए कार्य पर उन मॉडलों की तुलना में बदतर प्रदर्शन करते थे जिन्हें उनके प्री-ट्रेनिंग के दौरान ही रोक दिया गया था।
निष्कर्ष: "परफेक्ट" प्री-ट्रेंड मॉडल बहुत कठोर था जिससे वह जल्दी अनुकूलित नहीं हो सका।

सारांश

अंतर्ज्ञान (Intuition): हम सोचते हैं कि अधिक प्री-ट्रेनिंग = बेहतर फाइन-ट्यूनिंग।
वास्तविकता: बहुत अधिक प्री-ट्रेनिंग मॉडल को "जिद्दी" बना सकती है, जिससे वह सीखने के एक धीमे चरण में फंस सकता है।
मुख्य अंतर्दृष्टि: यहाँ एक ट्रेड-ऑफ (समझौता) है। एक मॉडल जो पुराने कार्य में बहुत अच्छा है, वह नए कार्य को सीखने में बहुत धीमा हो सकता है।
समाधान: कभी-कभी, डेटा को प्रस्तुत करने का तरीका बदलना (जैसे लेबल को स्क्वायर करना) मॉडल को इस फंसे हुए राज्य से बाहर निकलने में मदद कर सकता है।

यह पेपर एक गणितीय मानचित्र प्रदान करता है जो दिखाता है कि ठीक कब और क्यों ऐसा होता है, यह साबित करते हुए कि AI की दुनिया में, कभी-कभी कम प्री-ट्रेनिंग तेजी से अनुकूलन (adaptation) की ओर ले जाती है।

तकनीकी सारांश: "जब प्री-ट्रेनिंग LoRA फाइन-ट्यूनिंग को बाधित करती है: सिंगल-इंडेक्स मॉडल के माध्यम से एक डायनेमिकल विश्लेषण"

समस्या विवरण (Problem Statement)
जबकि यह व्यापक रूप से माना जाता है कि स्रोत कार्यों (source tasks) पर प्री-ट्रेनिंग करने से समान डाउनस्ट्रीम समस्याओं पर फाइन-ट्यूनिंग सुगम होती है, यह कार्य इस सहज धारणा को चुनौती देता है कि मजबूत प्री-ट्रेनिंग हमेशा डाउनस्ट्रीम अनुकूलन (adaptation) को तेज करती है। विशेष रूप से, लेखक यह जांचते हैं कि क्या अत्यधिक प्री-ट्रेनिंग, लो-रैंक अडैप्टेशन (LoRA) फाइन-ट्यूनिंग के दौरान ऑप्टिमाइजेशन प्रक्रिया में कम्प्यूटेशनल रूप से बाधा डाल सकती है। मुख्य प्रश्न यह है कि प्री-ट्रेन्ड वेट्स और डाउनस्ट्रीम टास्क के बीच प्रारंभिक संरेखण (alignment), और लक्ष्य फलन (target function) की गैर-रैखिकता (non-linearity), मिलकर LoRA की लर्निंग डायनेमिक्स और अभिसरण दर (convergence rates) को कैसे आकार देते हैं।

कार्यप्रणाली (Methodology)
लेखक सिंगल-इंडेक्स मॉडल पर आधारित एक गणितीय रूप से सुलभ लेकिन गैर-तुच्छ ढांचे का उपयोग करते हैं, जिसे वन-पास स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) के तहत प्रशिक्षित किया गया है।

टीचर-स्टूडेंट सेटअप: लक्ष्य फलन एक सिंगल-इंडेक्स मॉडल $f^\star(x) = \phi(\omega^\star \cdot x)$ है, जहाँ $\omega^\star$ एक अज्ञात यूनिट वेक्टर है। स्टूडेंट मॉडल LoRA की नकल करता है, जो एक प्री-ट्रेन्ड दिशा $\tilde{\omega}$ को रैंक-वन करेक्शन $u\omega$ के साथ अपडेट करता है। प्री-ट्रेन्ड वेट को $\tilde{\omega} = \mu \omega^\star$ के रूप में मॉडल किया गया है, जहाँ $\mu \in (0, 1)$ प्री-ट्रेनिंग सिग्नल की शक्ति (alignment) को दर्शाता है।
डायनेमिक्स विश्लेषण: अध्ययन दो ऑर्डर पैरामीटर्स के विकास पर केंद्रित है: स्केलर अपडेट मैग्नीट्यूड $u$ और ओवरलैप $m = \omega \cdot \omega^\star$ । सारांश सांख्यिकी (summary statistics) विवरण का लाभ उठाते हुए, उच्च-आयामी डायनेमिक्स को युग्मित स्टोकेस्टिक प्रक्रियाओं (coupled stochastic processes) की एक प्रणाली में कम कर दिया गया है।
हर्मिट एक्सपेंशन (Hermite Expansion): विश्लेषण जनसंख्या लॉस लैंडस्केप (population loss landscape) को चित्रित करने के लिए एक सामान्यीकृत हर्मिट एक्सपेंशन का उपयोग करता है। यह लेखकों को लर्निंग डायनेमिक्स के "इंफॉर्मेशन एक्सपोनेंट" (IE) को व्युत्पन्न करने की अनुमति देता है, जो सैंपल कॉम्प्लेक्सिटी और अभिसरण गति को निर्धारित करता है।
लर्निंग के चरण (Phases of Learning): डायनेमिक्स का दो अलग-अलग चरणों में विश्लेषण किया गया है:
1. कोरिलेटेड सर्च फेज (Correlated Search Phase): एक ऐसा शासन (regime) जहाँ मॉडल का लक्ष्य के साथ परिमित प्रारंभिक सहसंबंध $\mu$ है, लेकिन ऑर्डर पैरामीटर्स $u$ और $m$ छोटे हैं ( $\max(|u|, |m|) \ll \mu$ )। यह चरण प्रासंगिक दिशा की खोज के लिए आवश्यक समय को दर्शाता है।
2. डेसेंट फेज (Descent Phase): एक बार जब पैरामीटर्स सिग्नल स्ट्रेंथ के तुल्य हो जाते हैं, तो मॉडल ग्लोबल ऑप्टिमम की ओर घातांकीय अभिसरण (exponential convergence) के शासन में प्रवेश करता है।

मुख्य योगदान (Key Contributions)

प्री-ट्रेनिंग ट्रेड-ऑफ का परिमाणीकरण: यह शोध पत्र "एस्केप टाइम" ( $t_{exit}$ ) का सटीक लक्षण वर्णन प्रदान करता है। यह एक प्रति-सहज (counter-intuitive) ट्रेड-ऑफ प्रकट करता है: कई एक्टिवेशन फंक्शन्स के लिए, मजबूत प्री-ट्रेनिंग (उच्च $\mu$ ) कोरल सर्च फेज से बाहर निकलने की प्रक्रिया को काफी धीमा कर सकती है, जिससे ग्लोबल ऑप्टिमम तक अभिसरण में देरी होती है। इस घटना को LoRA के संदर्भ में "कैटास्ट्रोफिक ओवरट्रेनिंग" के रूप में वर्णित किया गया है।
सिंगुलर रिजीम्स की पहचान: लेखक उन विशिष्ट शासन की पहचान करते हैं जहाँ मूल लेबल्स के तहत सर्च फेज से बाहर निकलना प्रमाणित रूप से असंभव है। शुद्ध विषम-डिग्री (odd-degree) हर्मिट एक्टिवेशन्स के लिए, विशिष्ट $\tilde{\mu}$ मान मौजूद हैं जहाँ ड्रिफ्ट कोएफिशिएंट $A$ शून्य हो जाता है, जिससे गैर-शून्य प्रारंभिक सहसंबंध के बावजूद एस्केप टाइमماना (diverge) हो जाता है।
लेवल ट्रांसफॉर्मेशन एक उपचार के रूप में: शोध पत्र प्रदर्शित करता है कि लेबल ट्रांसफॉर्मेशन, विशेष रूप से लेबल स्क्वेरिंग (label squaring), लॉस लैंडस्केप के प्रभावी इंफॉर्मेशन एक्सपोनेंट को बदल सकता है। यह रूपांतरण सिंगुलैरिटीज को हटा सकता है और सर्च फेज से कुशल निकास को बहाल कर सकता है, जो प्रभावी रूप से लर्निंग के शुरुआती चरणों के दौरान ऑप्टिमाइजेशन लैंडस्केप को स्मूथ बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation): सैद्धांतिक निष्कर्षों को Loら का उपयोग करके विजन ट्रांसफॉर्मर (ViT) पर नियंत्रित प्रयोगों के माध्यम से सत्यापित किया गया है। ट्रांसफर टास्क (जैसे EMNIST $\to$ FashionMNIST, CIFAR-10 $\to$ SVHN) पर प्रयोग पुष्टि करते हैं कि बाद के प्री-ट्रेनिंग चेकपॉइंट्स, उच्च सोर्स सटीकता के बावजूद, सीमित LoRA अपडेट के तहत शुरुआती चेकपॉइंट्स की तुलना में खराब डाउनस्ट्रीम प्रदर्शन और धीमी अभिसरण दर दे सकते हैं।

परिणाम (Results)

लीनियर और IE=1 एक्टिवेशन्स: लीनियर, erf, सिग्मॉइड और ReLU एक्टिवेशन्स के लिए, विशिष्ट एस्केप टाइम $\tau(\mu)$ आमतौर पर प्री-ट्रेनिंग स्ट्रेंथ $\mu$ के साथ मोनोटोनिक रूप से बढ़ता है। जैसे-जैसे $\mu \to 1$ , एस्केप टाइम डाइवर्ज होता है, जिसका अर्थ है कि अत्यधिक संरेखित प्री-ट्रेन्ड वेट्स मॉडल को लंबे सर्च फेज में फंसा सकते हैं।
हर्मिट एक्टिवेशन्स (IE $\ge$ 2):
- विषम डिग्रियाँ (Odd Degrees): शुद्ध विषम हर्मिट एक्टिवेशन्स के लिए, पेपर एक $\tilde{\mu} \in (0, 1)$ के कम से कम एक सिंगुलर अलाइनमेंट के अस्तित्व को सिद्ध करता है जहाँ ड्रिफ्ट कोएफिशिएंट $A=0$ है, जिससे गैर-शून्य प्रारंभिक सहसंबंध के बावजूद डायनेमिक्स सर्च फेज से बाहर निकलने में विफल रहता है।
- सम डिग्रियाँ (Even Degrees): इवन हर्मिट एक्टिवेशन्स के लिए, एक्टिवेशन फंक्शन में नॉन-जीरो मीन की उपस्थिति के कारण सिंगुलैरिटी के पास भी परिमित एस्केप टाइम मिलता है, हालांकि डायनेमिक्स एक विशिष्ट प्लेटो व्यवहार प्रदर्शित करते हैं जहाँ मीन कंपोनेंट को हायर-ऑर्डर फीचर्स से पहले सीखा जाता है।
लेबल स्क्वेरिंग का प्रभाव: लेबल स्क्वेरिंग लागू करने से प्रभावी IE अधिकतम 2 में बदल जाता है। यह विषम हर्मिट एक्टिवेशन्स में देखे गए सिंगुलर व्यवहार को समाप्त करता है और लीनियर/ReLU एक्टिवेशन्स के लिए ट्रेंड को उलट देता है, जहाँ मजबूत प्री-ट्रेनिंग अब तेज़ एस्केप टाइम की ओर ले जाती है।
ट्रांसफॉर्मर प्रयोग: वास्तविक दुनिया के ट्रांसफर टास्क में, बाद के प्री-ट्रेनिंग चेकपॉइंट्स (उच्च सोर्स सटीकता) ने लगातार धीमा डाउनस्ट्रीम एडैप्टेशन और LoRA के तहत कम अंतिम सटीकता दिखाई, जो इस सैद्धांतिक भविष्यवाणी की पुष्टि करती है कि अत्यधिक प्री-ट्रेनिंग फाइन-ट्यूनिंग ऑप्टिमाइजेशन में बाधा डाल सकती है।

महत्व और दावे (Significance and Claims)
यह शोध पत्र एक एकीकृत सैद्धांतिक चित्र प्रदान करने का दावा करता है कि कैसे प्री-ट्रेनिंग स्ट्रेंथ और टास्क डिफिकल्टी संयुक्त रूप से LoRA फाइन-ट्यूनिंग की डायनेमिक्स और सीमाओं को आकार देती है। यह इस धारणा को चुनौती देता है कि प्री-ट्रेन्ड रिप्रेजेंटेशन्स हमेशा फायदेमंद होते हैं, यह दिखाते हुए कि वे एक लंबा सर्च फेज प्रेरित कर सकते हैं जो कम्प्यूटेशनल रूप से ऑप्टिमाइजेशन को धीमा कर देता है।

लेखक इस कार्य को "कैटास्ट्रोफिक ओवरट्रेनिंग" के हालिया अनुभवजन्य अवलोकनों के लिए एक मौलिक स्पष्टीकरण के रूप में प्रस्तुत करते हैं, जो बड़े भाषा मॉडलों (LLMs) में देखा गया है। एक समाधान योग्य सिंगल-इंडेक्स मॉडल में इस तंत्र को आइसोलेट करके, यह पेपर एक फिजिक्स-प्रेरित व्याख्या (एक डैम्प्ड नॉनलीन ऑसिलेटर के समान) प्रदान करता है जहाँ मजबूत प्री-ट्रेनिंग एक विसरणात्मक बल (dissipative force) के रूप में कार्य कर सकती है जो सिस्टम की स्थानीय प्लेटो से बाहर निकलने की क्षमता में बाधा डालती है। यह कार्य सुझाव देता है कि एक्टिवेशन फंक्शन का चुनाव और संभावित लेबल प्रीप्रोसेसिंग (जैसे स्क्वेरिंग) महत्वपूर्ण कारक हैं जो यह निर्धारित करते हैं कि प्री-ट्रेनिंग फाइन-ट्यूनिंग में सहायता करती है या बाधा डालती है। लेखक स्पष्ट रूप से कहते हैं कि उनका सिद्धांत इन डायनेमिक्स को समझने के लिए एक "सुलभ मॉडल" प्रदान करता है, जबकि वे यह भी स्वीकार करते हैं कि डीप नेटवर्क्स में अटेंशन-आधारित LoRA डायनेमिक्स का पूर्ण सिद्धांत भविष्य के कार्य का विषय बना हुआ है।