🤖 machine learning

Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs

यह योगदान डेल्टा-आधारित न्यूरल आर्किटेक्चर सर्च (Delta-based Neural Architecture Search) को प्रस्तुत करता है, जो एक टोकन-कुशल विधि है जिसमें फाइन-ट्यून्ड एलएलएम (LLMs) बेस मॉडल को परिष्कृत करने के लिए संक्षिप्त कोड डिफ्स (code diffs) उत्पन्न करते हैं, जिससे पारंपरिक पूर्ण मॉडल संश्लेषण (full model synthesis) की तुलना में कई डेटासेट्स पर काफी उच्च वैधता और सटीकता दर प्राप्त होती है, जबकि आउटपुट की लंबाई में भारी कमी आती है।

मूल लेखक: Santosh Premi Adhikari, Radu Timofte, Dmitry Ignatov

प्रकाशित 2026-05-07

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Santosh Premi Adhikari, Radu Timofte, Dmitry Ignatov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल मशीन, जैसे कि कार के इंजन को बेहतर बनाने की कोशिश कर रहे हैं।

पुराना तरीका (पूर्ण जनरेशन - Full Generation):
अतीत में, जब शोधकर्ता बेहतर न्यूरल नेटवर्क (AI के "मस्तिष्क") डिजाइन करने के लिए AI का उपयोग करते थे, तो वे AI से हर बार शून्य से एक बिल्कुल नए इंजन के लिए पूरा ऑपरेटिंग मैनुअल लिखने के लिए कहते थे।

समस्या: यह एक लेखक से एक ही कॉमा बदलने के लिए पूरी किताब फिर से टाइप करने के लिए कहने जैसा है। इसमें बहुत अधिक समय लगता है, भारी मात्रा में कंप्यूटिंग पावर की खपत होती है, और अक्सर इससे अव्यवस्थित, दोहराव वाला कोड बनता है। यदि AI बीच में एक छोटी सी गलती भी कर देता है, तो पूरा इंजन विफल हो जाता है।

नया तरीका (डेल्टा-आधारित खोज - Delta-based Search):
यह कार्य डेल्टा कोड जनरेशन (Delta Code Generation) नामक एक स्मार्ट दृष्टिकोण पेश करता है। एक पूरी तरह से नया मैनुअल लिखने के बजाय, AI से एक मौजूदा, चालू इंजन को ठीक करने के लिए एक छोटा सा "पैच" या "डिफ़" (विशिष्ट परिवर्तनों की एक सूची) बनाने के लिए कहा जाता है।

उपमा: कल्पना कीजिए कि आप वर्ड प्रोसेसर में "ट्रैक चेंजेस" (Track Changes) फीचर का उपयोग कर रहे हैं। पूरे दस्तावेज़ को फिर से लिखने के बजाय, आप केवल उस विशिष्ट वाक्य को हाइलाइट करते हैं जिसे आप सुधारना चाहते हैं और कहते हैं, "इस शब्द को उस शब्द से बदल दें।"
परिणाम: AI केवल 30 से 50 लाइन का कोड (पैच) लिखता है, जबकि पुराने तरीके में 200+ लाइन का (पूरा मैनुअल) लिखना पड़ता था। इससे लगभग 75–85% कंप्यूटिंग पावर की बचत होती है।

उन्होंने इसका परीक्षण कैसे किया

शोधकर्ताओं ने इसे तीन अलग-अलग AI शेफ (सभी "7B" क्लास मॉडल, जो बहुत बुद्धिमान लेकिन बहुत विशाल नहीं हैं) के साथ एक कुकिंग कॉम्पिटिशन की तरह माना:

DeepSeek-Coder (एक शेफ जो प्रोग्रामिंग में विशेषज्ञ है)।
Qwen2.5-Coder (एक अन्य प्रोग्रामिंग विशेषज्ञ)।
Mistral-7B (एक सामान्य-उद्देश्य वाला शेफ जो विशेष रूप से केवल कोड के लिए प्रशिक्षित नहीं है)।

उन्होंने इन शेफ्स को छह अलग-अलग प्रकार के व्यंजनों (जैसे CIFAR-10, MNIST, CelebA, आदि डेटासेट्स) के लिए रेसिपी (न्यूरल नेटवर्क आर्किटेक्चर) में सुधार करने के लिए कहा, जो साधारण अंकों से लेकर जटिल चेहरों तक विस्तृत थे।

परिणाम

दक्षता (Efficiency): "पैच" विधि अविश्वसनीय रूप से कुशल थी। AI शेफ्स ने बहुत छोटे और साफ-सुथरे निर्देश तैयार किए।
प्रदर्शन (Performance): आश्चर्यजनक रूप से, जो शेफ केवल पैच लिखते थे, वे पूर्ण मैनुअल लिखने वाले शेफ के समान ही अच्छा (और अक्सर बेहतर) प्रदर्शन करते थे।
- एक मानक परीक्षण (CIFAR-10) में, पैच लिखने वाले शेफ ने लगभग 85% की सटीकता दर हासिल की, जबकि पुराने "पूर्ण मैनुअल" तरीके ने केवल लगभग 64% प्राप्त किया।
- यहाँ तक कि सामान्य-उद्देश्य वाला शेफ (Mistral), जो प्रोग्रामिंग विशेषज्ञ नहीं था, प्रोग्रामिंग विशेषज्ञों के समान ही अच्छा प्रदर्शन करता था। यह साबित करता है कि पैच लिखने का तरीका ही असली रहस्य है, न कि विशिष्ट AI मॉडल।
विश्वसनीयता (Reliability): "पैच" विधि कहीं अधिक विश्वसनीय थी। लगभग 75% पैच पूरी तरह से काम कर गए, जबकि पुराना तरीका केवल 50% बार ही सफल होता था।

यह क्यों महत्वपूर्ण है

यह कार्य तर्क देता है कि यह "डेल्टा" दृष्टिकोण एक टर्निंग पॉइंट है क्योंकि:

यह सस्ता है: बेहतर परिणाम प्राप्त करने के लिए बहुत कम कंप्यूटिंग पावर (टोकन) की आवश्यकता होती है।
यह लचीला है: यह प्रत्येक व्यक्तिगत समस्या के लिए AI को फिर से प्रशिक्षित करने की आवश्यकता के बिना, कई अलग-अलग प्रकार की समस्याओं (डेटासेट्स) पर काम करता है।
यह स्मार्ट है: मौजूदा, कार्यात्मक कोड पर निर्माण करके, AI को हर बार "पहिए का पुनरुद्धार" (reinvent the wheel) करने की आवश्यकता नहीं होती है; यह केवल आवश्यक सुधारों पर ध्यान केंद्रित करता है।

संक्षेप में, यह कार्य दिखाता है कि मौजूदा समाधान को फाइन-ट्यून करना अक्सर शून्य से नया बनाने की तुलना में बेहतर, तेज़ और अधिक विश्वसनीय होता है।

तकनीकी सारांश: कोड-डिफ़्स के माध्यम से डेल्टा-आधारित न्यूरल आर्किटेक्चर सर्च

समस्या विवरण

न्यूरल आर्किटेक्चर सर्च (NAS) का लक्ष्य डीप न्यूरल नेटवर्क के डिज़ाइन को स्वचालित करना है। यद्यपि निष्पादन योग्य PyTorch कोड उत्पन्न करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का लाभ उठाने वाले हालिया दृष्टिकोण आशाजनक हैं, वे एक महत्वपूर्ण सीमा से ग्रस्त हैं: फुल-जेनरेशन पैराडाइम (पूर्ण-निर्माण प्रतिमान)। मौजूदा विधियों में प्रत्येक इटरेशन (पुनरावृत्ति) पर LLM को शून्य से पूर्ण मॉडल कार्यान्वयन को संश्लेषित करने की आवश्यकता होती है। यह दृष्टिकोण कम्प्यूटेशनल रूपally महंगा है, अत्यधिक विस्तृत आउटपुट (आमतौर पर 200+ पंक्तियों का कोड) उत्पन्न करता है, और मौजूदा, कार्यात्मक आर्किटेक्चर में निहित संरचनात्मक ज्ञान का उपयोग करने में विफल रहता है। इसके अलावा, पिछले LLM-आधारित NAS कार्य मुख्य रूप से एकल डेटासेट (जैसे, CIFAR-10) या सीमित मल्टी-डेटासेट स्कोप तक ही सीमित रहे हैं, जो सामान्यीकरण क्षमताओं के मूल्यांकन को बाधित करते हैं।

कार्यप्रणाली: डेल्टा-कोड जनरेशन

लेखक डेल्टा-कोड जनरेशन का प्रस्ताव करते हैं, जो एक ऐसा पैराडाइम है जहाँ फाइन-ट्यून किए गए LLMs पूरे मॉडलों को संश्लेषित करने के बजाय मौजूदा बेस आर्किटेक्चर को परिष्कृत करने के लिए संक्षिप्त यूनिफाइड डिफ्स (डेल्टा) उत्पन्न करते हैं। यह दृष्टिकोण सॉफ्टवेयर इंजीनियरिंग प्रथाओं से प्रेरित है जहाँ कोड को शून्य से फिर से लिखने के बजाय पैच के माध्यम से संशोधित किया जाता है।

मुख्य पाइपलाइन

यह फ्रेमवर्क एक इटरेटिव 22-साइकिल प्रोटोकॉल के माध्यम से संचालित होता है:

बेस आर्किटेक्चर चयन: सिस्टम LEMUR डेटासेट से बेस आर्किटेक्चर को सैंपल करता है, जो कई डेटासेट्स पर प्रदर्शन एनोटेशन के साथ न्यूरल नेटवर्क का एक क्यूरेटेड संग्रह है।
डेल्टा जनरेशन: LLM को बेस आर्किटेक्चर का सोर्स कोड और एक डेटासेट डिस्क्रिप्टर प्राप्त होता है। एक पूर्ण फ़ाइल आउटपुट करने के बजाय, यह एक संरचित XML आउटपुट उत्पन्न करता है जिसमें शामिल है:
- <delta>: मानक पैच फॉर्मेट (कॉन्टेक्स्ट लाइन्स, एडिशन्स, डिलीशन्स) में एक यूनिफाइड डिफ।
- <hp> और <tr>: हाइपरपैरामीटर्स और डेटा ट्रांसफॉर्मेशन के लिए संरचित टैग्स (NNGPT परंपराओं के अनुसार), हालांकि मूल्यांकन मूल हाइपरपैरामीटर्स का उपयोग करता है ताकि आर्किटेक्चरल परिवर्तनों को अलग किया जा सके।
एप्लीकेशन और वैलिडेशन: उत्पन्न डिफ को स्टैंडर्डाइज्ड पैच यूटिलिटीज का उपयोग करके बेस कोड पर लागू किया जाता है। सफल पैच सिंथैक्स वैलिडेशन, इंस्टेंशिएशन चेक और एक इपॉक (epoch) के प्रशिक्षण से गुजरते हैं।
फिल्टरिंग: संरचनात्मक विविधता और गुणवत्ता बनाए रखने के लिए, स्वीकृत आर्किटेक्चर को दो फिल्टर पास करने चाहिए:
- एक्यूरेसी फिल्टर: मॉडल को एक इपॉक के बाद कम से कम 40% टॉप-1 वैलिडेशन एक्यूरेसी प्राप्त करनी चाहिए।
- नोवेल्टी फिल्टर: MinHash-Jaccard समानता का उपयोग करते हुए, उत्पन्न कोड को मौजूदा कॉर्पस से कम से कम 90% ( $\tau_{nov} = 0.90$ ) संरचनात्मक विशिष्टता प्रदर्शित करनी चाहिए ताकि मोड कोलैप्स को रोका जा सके।
फाइन-ट्यूनिंग: LLM को स्थिर, क्यूरेटेड LEMUR कॉर्पस पर LoRA (लो-रैंक एडेप्टेशन) का उपयोग करके इटरेटिव रूप से फाइन-ट्यून किया जाता है। महत्वपूर्ण बात यह है कि LoRA के लिए ट्रेनिंग डेटा स्थिर रहता है; उत्पन्न आर्किटेक्चर का विस्तारित पूल विशेष रूप से भविष्य के डेल्टा जनरेशन के लिए विविध बेस आर्किटेक्चर के रूप में कार्य करता है, न कि LLM के लिए ट्रेनिंग डेटा के रूप में।

प्रयोगात्मक सेटअप

अध्ययन छह विविध इमेज क्लासिफिकेशन डेटासेट्स (CIFAR-10, CIFAR-100, MNIST, SVHN, ImageNette, CelebA) पर तीन 7B-क्लास LLMs का मूल्यांकन करता है:

DeepSeek-Coder-7B-Instruct-v1.5 (कोड-विशेषकृत)
Qwen2.5-Coder-7B-Instruct (कोड-विशेषकृत)
Mistral-7B-Instruct-v0.3 (सामान्य निर्देश, कोड-विशेषकृत नहीं)

सभी मॉडल्स 50 कैंडिडेट्स प्रति साइकिल के साथ 22 फाइन-ट्यूनिंग साइकिल्स (प्रत्येक LLM के लिए कुल 1,100 कैंडिडेट्स) से गुजरते हैं। प्रदर्शन को पूर्ववर्ती LLM-आधारित NAS साहित्य के अनुरूप, एक प्रॉक्सी के रूप में फर्स्ट-इपॉक वैलिडेशन एक्यूरेसी के माध्यम से मापा जाता है।

मुख्य परिणाम

1. दक्षता और आउटपुट लंबाई

डेल्टा पैराडाइम टोकन खपत में भारी कमी लाता है। तीनों LLMs में, आउटपुट लंबाई समान रूप से संक्षिप्त है:

DeepSeek: 30.4 लाइनें (फुल जनरेशन की तुलना में 85% कमी)
Qwen: 31.4 लाइनें (84% कमी)
Mistral: 49.5 लाइनें (75% कमी)
यह विशिष्ट ~200+ लाइनों के फुल-जनरेशन बेसलाइन्स की तुलना में 75–85% की कमी को दर्शाता है, जो लगभग 5.4x आउटपुट टोकन की संचित बचत के बराबर है।

2. जनरेशन रिलायबिलिटी और एक्यूरेसी

छह डेटासेट्स के संतुलित बेस डेटासेट पूल के साथ एक यूनिफाइड क्लस्टर प्रोटोकॉल के तहत, तीनों LLMs फुल-जनरेशन बेसलाइन (Khalid et al. [24]) और फ्रोजन LLM (Gu et al. [13]) के साथ इटरेटिव दृष्टिकोण को काफी पीछे छोड़ देते हैं:

वैलिड जनरेशन रेट: DeepSeek (75.3%), Qwen (72.1%), Mistral (66.6%) बनाम फुल जनरेशन (50.6%)।
मीन फर्स्ट-इपॉक एक्यूरेसी: DeepSeek (65.8%), Qwen (64.6%), Mistral (66.1%) बनाम फुल जनरेशन (42.3%)।
बेस्ट फर्स्ट-इपॉक एक्यूरेसी (CIFAR-10): Mistral (85.5%), DeepSeek (85.2%), Qwen (80.6%) बनाम फुल जनरेशन (63.98%) और Gu et al. (71.5%)।

3. मल्टीपल डेटासेट्स पर सामान्यीकरण

केवल CIFAR-10 या तीन डेटासेट्स तक सीमित पिछले कार्यों के विपरीत, डेल्टा दृष्टिकोण सभी छह डेटासेट्स पर सफलतापूर्वक सामान्यीकृत होता है, जिसमें चुनौतीपूर्ण फाइन-ग्रेंड क्लासिफिकेशन (CIFAR-100) और फेशियल एट्रिब्यूट्स (CelebA) भी शामिल हैं। तीनों LLMs ने MNIST पर 99.5% और SVHN पर ~95% की बेस्ट फर्स्ट-इपॉक एक्यूरेसी हासिल की।

4. मॉडल एगोस्टिकिज्म (मॉडल तटस्थता)

प्रदर्शन में सुधार विशिष्ट LLM के चुनाव के बजाय पैराडाइम (डेल्टा जनरेशन) द्वारा संचालित होता है। प्री-ट्रेनिंग (कोड-विशेषकृत बनाम सामान्य निर्देश) में अंतर के बावजूद, तीनों मॉडल अपने प्राथमिक मेट्रिक्स पर ओवरलैपिंग कॉन्फिडेंस इंटरवल के साथ मजबूती से क्लस्टर करते हैं। यहाँ तक कि सामान्य Mistral-7B भी, जो थोड़े लंबे डिफ जनरेट करता है, उच्चतम CIFAR-10 एक्यूरेसी (85.5%) प्राप्त करता है।

महत्व और दावे

यह कार्य डेल्टा-आधारित न्यूरल आर्किटेक्चर सर्च को फुल-मॉडल सिंथेसिस के एक टोकन-एफिशिएंट, मल्टी-डोमेन, और LLM-अग्नोस्टिक विकल्प के रूप में स्थापित करता है। लेखक अपने कार्य के महत्व के संबंध में तीन प्राथमिक दावे प्रस्तुत करते हैं:

मॉडल के ऊपर पैराडाइम: फुल-फ़ाइल जनरेशन से डिफ-आधारित जनरेशन की ओर बदलाव प्रदर्शन सुधार का प्राथमिक चालक है। यह इस तथ्य से प्रमाणित होता है कि एक ही बेस LLM (DeepSeek-Coder-7B) और एक ही इटरेटिव प्रोटोकॉल के लिए आउटपुट फॉर्मेट को बदलने से वैलिड जनरेशन रेट, फुल-जनरेशन बेसलाइन के कॉन्फिडेंस इंटरवल से बाहर चला जाता है।
डिज़ाइन डायमेंशन के रूप में क्रॉस-डेटासेट कवरेज: डिफ्स पर काम करके, पाइपलाइन बेसलाइन्स के फंक्शनिंग, डेटासेट-विशिष्ट स्कैफोल्डिंग स्ट्रक्चर को सुरक्षित रखती है, जिससे बिना LLM को प्रति डोमेन रिट्रेन किए छह विविध डेटासेट्स पर सामान्यीकरण संभव होता है। यह पिछले कार्यों के विपरीत है जिन्होंने लगभग विशेष रूप से CIFAR-10 पर मूल्यांकन किया था।
एसिम्प्टोटिक एफिशिएंसी (सीमांत दक्षता): आउटपुट लंबाई में 75–85% की कमी इटरेशन के दौरान जमा होती है, जो इस दृष्टिकोण को कंज्यूमर GPUs पर स्थानीय तैनाती के लिए काफी अधिक व्यावहारिक बनाती है, जहाँ LLM इंफरेंस प्रमुख लागत होती है।

लेखक नोट करते हैं कि सभी एक्यूरेसी दावे फर्स्ट-इपॉक वैलिडेशन एक्यूरेसी के प्रॉक्सी पर आधारित हैं, जिसे वे टॉप-20 आर्किटेक्चर पर 50-इपॉक फुल-ट्रेनिंग अध्ययन के माध्यम से सत्यापित करते हैं। यह अध्ययन पुष्टि करता है कि 1-इपॉक प्रॉक्सी प्रदर्शन रैंकिंग को विश्वसनीय रूप से सुरक्षित रखता है (Mistral के लिए स्पीयरमैन $\rho = 0.926$ ), जो इसे साहित्य में रिपोर्ट किए गए NAS प्रॉक्सी सहसंबंधों के ऊपरी स्तर पर रखता है।

कार्य निष्कर्ष निकालता है कि जबकि डिफ फॉर्मेट "कॉन्टेक्स्ट इनकोग्रुएंस" (संदर्भ विसंगति) का एक अनूठा फेल्योर मोड पेश करता है, दक्षता, संरचनात्मक अखंडता और मल्टी-डोमेन सामान्यीकरण के संबंध में समग्र लाभ डेल्टा-आधारित जनरेशन को एक मजबूत प्रगति के रूप में स्थापित करते हैं।