🤖 machine learning

Convergence Theory for Iterative LLM-Based Neural Architecture Search: A Parametric Cross-Entropy Framework with Closed-Form Proxy Reliability

यह शोध पत्र इसे एक पैरामीट्रिक क्रॉस-एन्ट्रॉपी विधि के रूप में मॉडल करके, पुनरावृत्ति (iterative) LLM-आधारित न्यूरल आर्किटेक्चर सर्च के लिए पहली औपचारिक अभिसरण (convergence) थ्योरी स्थापित करता है, जो निरंतर गुणवत्ता सुधार और ज्यामितीय अभिसरण को सिद्ध करता है और एक क्लोज्ड-फॉर्म प्रॉक्सी विश्वसनीयता मीट्रिक व्युत्पन्न करता है जो अनुभवजन्य प्रदर्शन सीमाओं (empirical performance ceilings) की व्याख्या करता है।

मूल लेखक: Santosh Premi Adhikari, Radu Timofte, Dmitry Ignatov

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Santosh Premi Adhikari, Radu Timofte, Dmitry Ignatov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े अनाड़ी रोबोट शेफ को एक आदर्श नया व्यंजन (recipe) बनाना सिखाने की कोशिश कर रहे हैं। आप शेफ को कोई कुकबुक नहीं देते; इसके बजाय, आप शेफ को खुद से रेसिपी लिखने, उन्हें चखने और फिर उन रेसिपीज़ से सीखने देते हैं जो सबसे स्वादिष्ट होती हैं। यह अनिवार्य रूप से वही है जो यह पेपर न्यूरल आर्किटेक्चर सर्च (NAS) के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करके करता है।

हालाँकि, अब तक, किसी के पास गणितीय प्रमाण (mathematical proof) नहीं था कि यह "कोशिश करो, चखो और सीखो" वाला चक्र वास्तव में समय के साथ बेहतर होगा, या क्यों कुछ तरकीबें (जैसे पूरी रेसिपी लिखने के बजाय केवल उसमें किए गए बदलावों को लिखना) इतनी अच्छी तरह काम करती हैं।

यह पेपर उस लापता गणित को प्रदान करता है। उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण यहाँ दिया गया है:

1. मुख्य विचार: "एलिट शेफ" क्लब

लेखकों ने महसूस किया कि एक AI द्वारा कोड जेनरेट करने, उसका परीक्षण करने और फिर सर्वोत्तम परिणामों पर खुद को फिर से प्रशिक्षित (retrain) करने की प्रक्रिया, गणितीय रूप से एक प्रसिद्ध अनुकूलन रणनीति (optimization strategy) के समान है जिसे क्रॉस-एंट्रॉपी मेथड (Cross-Entropy Method) कहा जाता है।

उपमा: एक कुकिंग प्रतियोगिता की कल्पना करें। हर हफ्ते, 100 शेफ व्यंजन पेश करते हैं। आप उन्हें चखते हैं, शीर्ष 10 चुनते हैं, और फिर अगली पीढ़ी के शेफ को बताते हैं, "केवल इन 10 लोगों की तरह खाना बनाएं।"
पेपर का दावा: उन्होंने सिद्ध किया कि जब एक AI ऐसा करता है (अपने स्वयं के सर्वश्रेष्ठ कोड पर खुद को फाइन-ट्यून करना), तो यह गणितीय रूप से सही दिशा में आगे बढ़ता है। "व्यंजनों" (AI आर्किटेक्चर) की औसत गुणवत्ता कभी खराब नहीं होगी; यह या तो समान रहेगी या बेहतर होगी।

2. "डेल्टा" ट्रिक: संपादन बनाम पुन लेखन (Editing vs. Rewriting)

पिछले शोधों ने दिखाया कि यदि AI हर बार शून्य से एक नई रेसिपी लिखता है, तो वह अक्सर विफल हो जाता है (कोड टूट जाता है)। लेकिन यदि AI केवल मौजूदा अच्छी रेसिपी में बदलाव (deltas) लिखता है, तो वह बहुत अधिक बार सफल होता है।

उपमा: एक 50 पन्नों का उपन्यास लिखने की कल्पना करें। यदि आपको हर बार टाइपो (लिखने की गलती) ठीक करने के लिए पूरा किताब फिर से लिखनी पड़ती है, तो संभावना है कि आप कहीं और नई गलती कर देंगे। लेकिन यदि आप केवल एक स्टिकी नोट लिखते हैं "पेज 3, लाइन 5 बदलें," तो गलती होने की संभावना बहुत कम है।
पेपर का दावा: उन्होंने AI की गलतियों को एक चेन रिएक्शन (जैसे एक टाइपो के कारण दूसरा टाइपो होना) के रूप में मॉडल किया। उन्होंने गणितीय रूप से सिद्ध किया कि क्योंकि "डेल्टा" छोटे होते हैं, इसलिए पूरे सिस्टम के टूटने की संभावना काफी कम हो जाती। उनके गणित ने भविष्यवाणी की कि सफलता दर दोगुनी से अधिक हो जाएगी, और हालांकि वास्तविक दुनिया का परीक्षण थोड़ा कम था, लेकिन इसने दिशा की पुष्टि की: छोटे बदलाव (edits) अधिक सुरक्षित हैं।

3. "ग्रुपथिंक" को रोकना (Mode Collapse)

AI के साथ एक सामान्य समस्या यह है कि वह एक लूप में फंस जाता है, बार-बार एक ही "अच्छे" समाधान को जेनरेट करता रहता है, जिससे अन्य महान संभावनाओं को खो दिया जाता है। इसे "मोड कोलैप्स" (mode collapse) कहा जाता है।

उपमा: एक बुक क्लब की कल्पना करें जो केवल वही तीन किताबें पढ़ता है क्योंकि वे "सर्वश्रेष्ठ" हैं। वे नए किस्से खोजना बंद कर देते हैं।
पेपर का दावा: शोधकर्ताओं ने एक "नॉवेलिटी फ़िल्टर" (एक गणितीय जांच यह देखने के लिए कि क्या एक नई रेसिपी वास्तव में पुरानी वाली से अलग है) का उपयोग किया। उन्होंने सिद्ध किया कि जब तक यह फ़िल्टर सक्रिय है, AI लूप में नहीं फंस सकता। इसे नए, अद्वितीय विचार खोजने के लिए गणितीय रूप से मजबूर किया जाता है, जो इसे एक टूटे हुए रिकॉर्ड बनने से रोकता है।

4. "नॉइज़ी ईयर" की समस्या (Proxy Reliability)

इस प्रक्रिया में, AI एक पूर्ण, सटीक टेस्ट (जिसमें दिन लगते हैं) का इंतज़ार नहीं करता। यह यह अनुमान लगाने के लिए कि क्या कोई रेसिपी अच्छी है, एक "प्रॉक्सि" टेस्ट (एक त्वरित 1-मिनट का टेस्ट) का उपयोग करता है। समस्या यह है कि त्वरित टेस्ट "शोर" (noise) के कारण गलत हो सकता है।

उपमा: एक खराब फोन पर 5 सेकंड का क्लिप सुनकर किसी गायक की प्रतिभा को आंकने की कोशिश करने की कल्पना करें। यदि गायक अद्भुत है, तो 5 सेकंड का क्लिप आमतौर पर अच्छा लगेगा। लेकिन यदि फोन में बहुत अधिक शोर है, तो आप एक बुरे गायक को अच्छा समझ सकते हैं, या एक अच्छे गायक को बुरा।
पेपर का दावा: उन्होंने यह गणना करने के लिए एक फॉर्मूला बनाया कि आपके त्वरित टेस्ट में कितना "शोर" है। उन्होंने पाया कि एक "सीलिंग इफेक्ट" (ceiling effect) होता है: यदि त्वरित टेस्ट, व्यंजनों की वास्तविक गुणवत्ता की तुलना में बहुत अधिक शोर वाला है, तो AI प्रभावी ढंग से सीखना बंद कर देता है।
- वास्तविक परिणाम: उन्होंने तीन अलग-अलग AI मॉडल (Mistral, Qwen, DeepSeek) का परीक्षण किया। गणित ने भविष्यवाणी की कि Mistral सबसे विश्वसनीय होगा क्योंकि इसका "सिग्नल" (अच्छी रेसिपी) इसके "शोर" (noise) की तुलना में बहुत मजबूत था। प्रयोगों ने इसकी पुष्टि की: Mistral के त्वरित टेस्ट लंबे टेस्ट के साथ पूरी तरह मेल खाते थे, जबकि अन्य बहुत अधिक शोर वाले थे जिससे उन पर भरोसा करना मुश्किल था।

5. "सीलिंग" वास्तविकता की जाँच (The "Ceiling" Reality Check)

पेपर स्वीकार करता है कि हालांकि गणित कहता है कि AI अंततः परफेक्ट समाधान खोज लेगा, वास्तविक दुनिया में, यह एक "सीलिंग" (सीमा) से टकरा जाता है।

उपमा: कल्पना कीजिए कि AI एक पहाड़ चढ़ रहा है। गणित कहता है कि उसे शिखर तक पहुँचना चाहिए। लेकिन क्योंकि AI एक विशिष्ट, हल्के प्रशिक्षण तरीके (जिसे LoRA कहा जाता है) का उपयोग कर रहा है, यह एक भारी बैकपैक के साथ चढ़ने जैसा है। यह बहुत ऊँचा जाता है (लगभग 73-76% तक), लेकिन यह बिल्कुल शिखर तक नहीं पहुँच पाता।
पेपर का दावा: वे समझाते हैं कि AI कुछ समय बाद सुधार करना क्यों बंद कर देता है। यह टूटा हुआ नहीं है; यह बस इतना है कि "बैकपैक" (हल्का प्रशिक्षण तरीका) इसकी ऊंचाई को सीमित करता है।

सारांश

यह पेपर AI को अन्य AI डिजाइन करने के लिए उपयोग करने के एक नए तरीके का "नियम पुस्तिका" (rulebook) है। यह सिद्ध करता है कि:

यह प्रक्रिया हमेशा बेहतर होती है (या स्थिर रहती है)।
कोड को एडिट करना उसे फिर से लिखने से सुरक्षित है।
नवीनता (novelty) की जांच करना AI को ऊब जाने और खुद को दोहराने से रोकता है।
एक त्वरित टेस्ट पर आप कितना भरोसा कर सकते हैं, इसकी एक गणितीय सीमा होती है, और उन्होंने इसे मापने का तरीका ढूंढ लिया है।

उन्होंने इन नियमों का वास्तविक प्रयोगों के विरुद्ध परीक्षण किया, और हालांकि वास्तविक दुनिया की अव्यवस्था के कारण संख्याएँ हमेशा सटीक मिलान नहीं थीं, लेकिन परिणाम की दिशा बिल्कुल वैसी ही थी जैसी उनके गणित ने भविष्यवाणी की थी।

तकनीकी सारांश: पुनरावृत्ति (Iterative) LLM-आधारित न्यूरल आर्किटेक्चर सर्च के लिए अभिसरण सिद्धांत (Convergence Theory)

1. समस्या विवरण

न्यूरल आर्किटेक्चर सर्च (NAS) हाल ही में पूर्व-निर्धारित सर्च स्पेस से हटकर निष्पादन योग्य (executable) torch.nn.Module प्रोग्रामों के ओपन-एंडेड जनरेटर के रूप में लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करने की ओर स्थानांतरित हो गया है। जबकि अनुभवजन्य अध्ययन (जैसे खालिद एट अल., अधिकारी एट अल.) यह प्रदर्शित करते हैं कि अपने स्वयं के सफल जनरेशन पर LLM को पुनरावृत्ति से फाइन-ट्यून करने से जनरेशन विश्वसनीयता और आर्किटेक्चर की गुणवत्ता दोनों में सुधार होता है, इस श्रेणी के एल्गोरिदम के लिए कोई औपचारिक अभिसरण सिद्धांत (formal convergence theory) मौजूद नहीं है।

संबोधित किए गए प्रमुख सैद्धांतिक अंतराल निम्नलिखित हैं:

क्या पुनरावृत्ति LLM फाइन-ट्यूनिंग वास्तव में आर्किटेक्चर की गुणवत्ता में सुधार करती है?
किन परिस्थितियों में यह प्रक्रिया अभिसरण (converge) करती है?
"डेल्टा जनरेशन" (एककृत डिफ (unified diffs) उत्पन्न करना) पूर्ण-कोड जनरेशन की तुलना में उच्च वैध-जनरेशन दर क्यों प्राप्त करता है?
डिजेनरेट समाधानों (mode collapse) को रोकने में नॉवेलिटी फिल्टरिंग (novelty filtering) की सैद्धांतिक भूमिका क्या है?
प्रॉक्सी-आधारित रैंकिंग (शॉर्ट ट्रेनिंग इपोच का उपयोग करके) की विश्वसनीयता को कैसे मापा जा सकता है?

2. कार्यप्रणाली और गणितीय ढांचा

लेखक पुनरावृत्ति LLM-NAS को निष्पादन योग्य प्रोग्रामों पर एक पैरामीट्रिक क्रॉस-एन्ट्रॉपी (CE) विधि के रूप में मॉडल करते हैं। यह ढांचा LLM फाइन-ट्यूनिंग प्रक्रिया और सुस्थापित CE अनुकूलन एल्गोरिथ्म के बीच एक औपचारिक लिंक स्थापित करता है।

मुख्य परिभाषाएं

आर्किटेक्चर स्पेस ( $\mathcal{A}$ ): सिंटैक्टिक रूप से वैध, निष्पादन योग्य पायथन प्रोग्रामों का सेट जो एक torch.nn.Module को परिभाषित करते हैं।
क्वालिटी फंक्शन ( $q$ ): एक निश्चित डेटासेट पर एक आर्किटेक्चर को उसके पहले-इपोच वैलिडेशन एक्यूरेसी (validation accuracy) पर मैप करता है।
एलीट सेट ( $E_\tau$ ): वे आर्किटेक्चर जहाँ $q(a) \geq \tau$ है।
पुनरावृत्ति प्रक्रिया:
1. जनरेट करें: वर्तमान LLM वितरण $p_{\theta_t}$ से $N$ उम्मीदवारों का नमूना लें।
2. मूल्यांकन और फ़िल्टर करें: उन एलीट आर्किटेक्चर का चयन करें जो MinHash–Jaccard नॉवेलिटी फ़िल्टर पास करते हैं।
3. अपडेट करें: एलीट सेट और स्टैटिक कॉर्पस के यूनियन का उपयोग करके LLM पैरामीटर्स $\theta$ को फाइन-ट्यून करें (क्रॉस-एन्ट्रॉपी लॉस को कम करते हुए)।

सैद्धांतिक धारणाएं

प्रमाण विशिष्ट धारणाओं पर निर्भर करते हैं, विशेष रूप से:

नियमितता (Regularity): बाउंडेड क्वालिटी, एलीट आर्किटेक्चर का सकारात्मक प्रारंभिक द्रव्यमान (mass), और नमूना आकार बढ़ने के साथ सुसंगत अनुमान।
क्वालिटी-मोनोटोन प्रोजेक्शन (Quality-Monotone Projection): CE प्रोजेक्शन पैरामीट्रिक परिवार (LLM) पर वितरण की औसत गुणवत्ता को बनाए रखता है या उसमें सुधार करता है।
टोकन-एरर मॉडल: टोकन त्रुटियों के विश्लेषण के लिए (स्वतंत्र-टोकन धारणा के स्थान पर) एक फर्स्ट-ऑर्डर मार्कोव चेन मॉडल (डेल्टा बनाम फुल-कोड जनरेशन का विश्लेषण करने के लिए)।
प्रॉक्सी विश्वसनीयता: यह मानता है कि प्रॉक्सी (शॉर्ट ट्रेनिंग) और पूर्ण-ट्रेनिंग एक्यूरेसी के बीच द्विचरीय नॉर्मल (bivariate Normal) वितरण है।

3. मुख्य योगदान और सैद्धांतिक परिणाम

पेपर छह मुख्य परिणामों को सिद्ध करता है:

A. पैरामीट्रिक CE के रूप में समानता (थ्योरम 1)

एलीट आर्किटेक्चर पर पुनरावृत्ति LLM फाइन-ट्यूनिंग, LLM के पैरामीट्रिक परिवार तक सीमित क्रॉस-एन्ट्रॉपी अपडेट के गणितीय रूप से समकक्ष है। फाइन-ट्यूनिंग चरण एलीट नमूनों के एम्पिरिकल वितरण और LLM के जनरेशन वितरण के बीच कुलबैक–लीब्लर (KL) डाइवर्जेंस को कम करता है।

B. मोनोटोनिक क्वालिटी इम्प्रूवमेंट (थ्योरम 2)

निर्धारित धारणाओं के तहत, अपेक्षित आर्किटेक्चर क्वालिटी ( $Q_t$ ), एक परिमित-नमूना अनुमान त्रुटि पद $\epsilon_t = O(N^{-1/2})$ तक, चक्रों के माध्यम से मोनोटोनिकली नॉन-डिक्रीजिंग (गैर-घटती) है।

C. फिक्स्ड पॉइंट पर अभिसरण (थ्योरम 3 और कोरोलरी 4)

एक एलीट आर्किटेक्चर उत्पन्न करने की संभावना ( $C_t$ ) एक ज्यामितीय दर पर एक फिक्स्ड पॉइंट $C^*$ पर अभिसरित होती है: $C_t \geq 1 - (1 - \rho_0)^t$ ।
LoRA बाधा: यदि LLM को LoRA (लो-रैंक एडेप्टेशन) के माध्यम से अनुकूलित किया जाता है, तो पैरामीट्रिक परिवार की अभिव्यक्तता (expressiveness) प्रतिबंधित हो जाती है। परिणामस्वरूप, प्रक्रिया $C^* = 1$ के बजाय एक प्लेटो (plateau) $C^* \leq 1$ पर अभिसरित होती है, जो प्रदर्शन की ऊपरी सीमा (performance ceiling) के अनुभवजन्य अवलोकनों की व्याख्या करती है।

D. डेल्टा जनरेशन का लाभ (थ्योरम 5 और कोरोलरी 6)

एक फर्स्ट-ऑर्डर मार्कोव टोकन-एरर मॉडल का उपयोग करते हुए, लेखक सिद्ध करते हैं कि डेल्टा जनरेशन (डिफ्स उत्पन्न करना) पूर्ण-कोड जनरेशन की तुलना में स्ट्रिक्टली उच्च वैध-जनरेशन दर प्राप्त करता है।

वैध दरों का अनुपात आउटपुट लंबाई कमी कारक $\alpha$ (जहाँ $L_\delta = \alpha L_{full}$ ) पर निर्भर करता है।
सिद्धांत एक अनुपात $> 1$ की भविष्यवाणी करता है, और विशिष्ट मापदंडों के तहत $\approx 2.23$ का कैलिब्रेटेड अनुमान देता है, हालांकि अनुभवजन्य परिणामों ने एक अनुपात $1.41$ दिखाया (जो दिशा की पुष्टि करता है लेकिन अनमॉडल लंबी दूरी के सहसंबंधों के कारण परिमाण को कम आंकता है)।

E. मोड कोलैप्स की रोकथाम (थ्योरम 7)

MinHash–Jaccard नॉवेलिटी फ़िल्टर का अनुप्रयोग यह सुनिश्चित करता है कि कॉर्पस "सेपरेटेड" रहे। सैद्धांतिक रूप से, यह LLM को एक एकल आर्किटेक्चर में कोलैप्स होने (मोड कोलैप्स) से रोकता है, जिससे जनरेशन वितरण में गैर-शून्य एंट्रॉपी बनी रहती है।

F. क्लोज्ड-फॉर्म प्रॉक्सी रिलायबिलिटी (थ्योरम 8)

पेपर प्रॉक्सी टास्क के सिग्नल-टू-नॉइज़ रेशियो (SNR) और प्रॉक्सी तथा पूर्ण-ट्रेनिंग रैंकिंग के बीच स्पीयरमैन रैंक सहसंबंध ( $\rho_S$ ) के बीच एक क्लोज्ड-फॉर्म संबंध व्युत्पन्न करता है:
$\rho_S = \frac{6}{\pi} \arcsin\left(\frac{\rho_P(SNR)}{2}\right)$
जहाँ $\rho_P(SNR) = (1 + SNR^{-1})^{-1/2}$ ।

डायग्नोस्टिक: प्रॉक्सी-आधारित रैंकिंग के भरोसेमंद होने के लिए एक आवश्यक शर्त $\sigma^2_{arch} \gg \sigma^2_{noise}$ (शोर के सापेक्ष उच्च आर्किटेक्चरल वेरिएंस) है।
सीलिंग इफेक्ट: सिद्धांत समझाता है कि क्यों प्रॉक्सी विश्वसनीयता प्लेटो (plateau) हो जाती है जब SNR कम होता है (उदाहरण के लिए, कम आर्किटेक्चरल विविधता वाले डेटासेट्स में)।

4. अनुभवजन्य सत्यापन (Empirical Validation)

लेखकों ने तीन LLMs (Mistral, Qwen, DeepSeek) और 3,300 जनरेटेड आर्किटेक्चर के साथ 22-साइकिल प्रयोग के विरुद्ध इन सिद्धांतों का परीक्षण किया।

सुसंगत मात्रात्मक भविष्यवाणियाँ:
- मोनोटोनिक क्वालिटी: स्मूथ किया गया मीन क्वालिटी ट्रेंड सभी मॉडल्स के लिए नॉन-डिक्रीजिंग था।
- नॉवेलिटी: हर साइकिल में नवीन आर्किटेक्चर स्वीकार किए गए, जिससे मोड कोलैप्स रुक गया।
- दिशा-प्रभाव निरंतरता: एलीट कंसंट्रेशन $C_t$ 73–76% पर प्लेटो हुआ, जो LoRA एक्सप्रेसिवनेस सीलिंग ( $C^* < 1$ पर अभिसरण) के अनुरूप है।
- प्रॉक्सी रिलायबिलिटी: स्पीयरमैन सहसंबंधों का क्रम (Mistral > Qwen > DeepSeek) SNR रैंकिंग के साथ पूरी तरह मेल खाता है। DeepSeek ने गैर-महत्वपूर्ण सहसंबंध दिखाया, जो कम SNR भविष्यवाणियों के अनुरूप है।
विचलन (Deviations):
- डेल्टा रेट रेशियो: देखा गया अनुपात (1.41) कैलिब्रेटेड सैद्धांतिक भविष्यवाणी (2.23) से कम था, जिसका कारण फॉर्मेट-इनवैलिड डिफ्स और फर्स्ट-ऑर्डर मार्कोव मॉडल से परे सहसंबंध थे।
- Qwen सहसंबंध: देखा गया स्पीयरमैन सहसंबंध (0.635) द्विचरीय नॉर्मल भविष्यवाणी (0.10) से अधिक था, जो एक्यूरेसी सीलिंग ट्रंकेशन के कारण था, जिसे लेखकों द्वारा नोट किया गया एक सीमा बताया गया है।

5. महत्व और दावे

पेपर का दावा है कि यह पुनरावृत्ति LLM-आधारित NAS के लिए पहले औपचारिक अभिसरण गारंटी प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

सैद्धांतिक एकीकरण: LLM-NAS को एक पैरामीट्रिक CE विधि के रूप में पहचानना, जिससे स्थापित अनुकूलन अभिसरण सिद्धांत का अनुप्रयोग संभव होता है।
अनुभवजन्य घटनाओं की व्याख्या: यह गणितीय आधार प्रदान करना कि डेल्टा जनरेशन बेहतर क्यों काम करता है और LoRA के साथ प्रदर्शन प्लेटो क्यों होता है।
डायग्नोस्टिक टूल: प्रॉक्सी-आधारित आर्किटेक्चर रैंकिंग की विश्वसनीयता को डायग्नोस करने के लिए एक क्लोज्ड-फॉर्म फॉर्मूला प्रदान करना, जो पहले देखे गए लेकिन अस्पष्टीकृत "सीलिंग इफेक्ट्स" की व्याख्या करता है।

लेखक विनम्र रहते हुए कहते हैं कि उनका अनुभवजन्य सत्यापन एक एकल मौजूदा डेटासेट पर निर्भर करता है और LoRA-अनुकूलित मॉडलों के लिए उनके सैद्धांतिक बाउंड्स ( $C^* < 1$ पर अभिसरण) उन अभिव्यक्तता धारणाओं पर आधारित हैं जिन्हें विश्लेषणात्मक रूप से सत्यापित करना कठिन है। भविष्य के कार्य के रूप में लो-रैंक बाधाओं तक अभिसरण दरों को विस्तारित करने और ट्रंकेटेड एक्यूरेसी सपोर्ट को संभालने की पहचान की गई है।