💬 NLP

SPARKLING: Balancing Signal Preservation and Symmetry Breaking for Width-Progressive Learning

यह शोध पत्र SPARKLING को प्रस्तुत करता है, जो प्रोग्रेसिव लर्निंग में मिड-स्टेज विड्थ एक्सपेंशन (मध्य-चरण चौड़ाई विस्तार) के लिए एक नवीन फ्रेमवर्क है जो प्रशिक्षण अस्थिरता को दूर करने के लिए सिग्नल प्रिजर्वेशन (सिग्नल संरक्षण) और सिमिट्री ब्रेकिंग (सममिति भंग) के बीच संतुलन बनाता है, जिससे कंप्यूटेशनल लागत में 35% तक की कमी आती है और स्क्रैच से प्रशिक्षण की तुलना में बेहतर प्रदर्शन होता है।

मूल लेखक: Qifan Yu, Xinyu Ma, Zhijian Zhuo, Minrui Wang, Deyi Liu, Shiyi Zhan, Yiyuan Ma, Liang Xiang, Xingyan Bin, Di He

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qifan Yu, Xinyu Ma, Zhijian Zhuo, Minrui Wang, Deyi Liu, Shiyi Zhan, Yiyuan Ma, Liang Xiang, Xingyan Bin, Di He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप मानव ज्ञान को संग्रहीत करने और समझने के लिए एक विशाल, अविश्वसनीय रूप से जटिल पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) बना रहे हैं। आमतौर पर, सबसे बड़े, सबसे स्मार्ट पुस्तकालय को बनाने के लिए, आपको पूरी इमारत को शुरू से, ईंट-दर-ईंट, एक साथ बनाना पड़ता है। यह अविश्वसनीय रूप से महंगा है और इसमें बहुत अधिक समय और ऊर्जा लगती है।

प्रोग्रेसिव लर्निंग (Progressive Learning) एक स्मार्ट तरीका है: आप एक छोटा, आरामदायक रीडिंग रूम (पढ़ने का कमरा) से शुरुआत करते हैं और जैसे-जैसे आप आगे बढ़ते हैं, आप धीरे-धीरे और कमरे जोड़ते जाते हैं। यह पैसा बचाता है क्योंकि आपको महल का उपयोग करने से पहले पूरा महल बनाने की आवश्यकता नहीं होती है।

हालाँकि, इसमें एक पेंच है: शोधकर्ताओं ने यह तो पता लगा लिया है कि निर्माण के दौरान और अधिक मंजिलें (गहराई/depth) कैसे जोड़ी जाती हैं, लेकिन निर्माण प्रक्रिया के बीच में और अधिक कमरे (चौड़ाई/width) जोड़ना एक दुस्वप्न जैसा है। यदि आप बिना सावधानी के मौजूदा इमारत में नए कमरे बस चिपका देते हैं, तो पूरी संरचना डगमगाने और ढहने लगती है।

यह पेपर एक नई विधि पेश करता है जिसे SPARKLING कहा जाता है (इसका अर्थ है balancing Signal Preservation And symmetry breaking for width-progressive LearnING)। इसे SPARKLING के रूप में समझें जो निर्माण के बीच में पुस्तकालय को सुरक्षित रूप से विस्तारित करने के लिए एक मास्टर आर्किटेक्ट के टूलकिट की तरह है।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करके यहाँ दिया गया है:

दो बड़ी समस्याएँ

जब आप निर्माण के बीच में पुस्तकालय के आकार को दोगुना करने की कोशिश करते हैं, तो दो चीजें गलत होती हैं:

"वॉल्यूम शॉक" (सिग्नल प्रिजर्वेशन/Signal Preservation):
कल्पना कीजिए कि पुस्तकालय का एक सख्त नियम है: हर गलियारे में शोर का स्तर बिल्कुल समान होना चाहिए। यदि आप अचानक बहुत सारे नए, खाली कमरे जोड़ देते हैं, तो ध्वनिकी (acoustics) बदल जाती है। डेटा (ध्वनि) नए क्षेत्रों में बहुत शांत या बहुत तेज़ हो जाता है, जिससे पुस्तकालयाध्यक्षों (मॉडल के न्यूरॉन्स) को भ्रम होता है।

SPARKLING का समाधान: वे एक तकनीक का उपयोग करते हैं जिसे RMS-scale consistency कहा जाता है। यह हर नए कमरे पर एक "वॉल्यूम नॉब" लगाने जैसा है। नए कमरों के उपयोग में आने से पहले, उन्हें इस तरह ट्यून किया जाता है कि शोर का स्तर पुराने कमरों के साथ पूरी तरह मेल खाए। यह सुनिश्चित करता है कि डेटा बिना किसी झटके के सुचारू रूप से प्रवाहित हो।

"क्लोन ट्रैप" (सिमेट्री ब्रेकिंग/Symmetry Breaking):
मौजूदा कमरे के ब्लूप्रिंट को ठीक से कॉपी करना नया कमरा जोड़ने का सबसे आसान तरीका है। लेकिन समस्या यह है कि यदि आपके पास दो समान कमरे हैं जिनमें समान फर्नीचर और समान पुस्तकालयाध्यक्ष हैं, तो वे बिल्कुल एक जैसा काम करेंगे। उन्हें बिल्कुल एक ही निर्देश मिलेंगे और वे बिल्कुल एक ही तरह से काम करेंगे। वे "क्लोन" बन जाएंगे जो कुछ भी नया नहीं सीखते; वे बस वही करते हैं जो मूल कमरा करता है। पुस्तकालय बड़ा तो हो जाता है, लेकिन स्मार्ट नहीं।

SPARKLING का समाधान: वे दो तरीकों से "क्लोन ट्रैप" को तोड़ते हैं:
- "फ्रेश स्टार्ट" (ऑप्टिमाइज़र स्टेट रिसेट/Optimizer State Reset): भले ही नया कमरा पुराने कमरे जैसा दिखता हो, वे नए पुस्तकालयाध्यक्षों के लिए सब कुछ साफ कर देते हैं। वे उन्हें पुराने पुस्तकालयाध्यक्षों की यादें या आदतें नहीं देते। यह उन्हें खुद चीजों को समझने के लिए मजबूर करता है।
- "स्पेशल बूस्ट" (एसिमेट्रिक लर्निंग रेट/Asymmetric Learning Rate): वे नए पुस्तकालयाध्यक्षों को थोड़े समय के लिए एक अस्थायी, थोड़ा तेज़ मेगाफोन (उच्च लर्निंग रेट) देते हैं। यह उन्हें नई चीजें आज़माने और अन्वेषण करने के लिए प्रोत्साहित करता है, जबकि पुराने पुस्तकालयाध्यक्ष अपने सामान्य गति से काम करते रहते हैं। यह सुनिश्चित करता है कि नए कमरे पुराने कमरे की नकल करने के बजाय अपनी अनूठी पहचान विकसित करें।

परिणाम

शोधकर्ताओं ने दो प्रकार के पुस्तकालयों पर परीक्षण किया:

डेंस मॉडल्स (Dense Models): एक मानक पुस्तकालय जहाँ हर किताब हर शेल्फ पर होती है।
MoE (Mixture-of-Experts): एक हाई-टेक पुस्तकालय जिसमें विशेषज्ञ कमरे होते हैं जो केवल आवश्यकता पड़ने पर खुलते हैं।

उन्होंने पाया कि SPARKLING जादू की तरह काम करता है:

यह पैसा बचाता है: निर्माण प्रक्रिया के बीच में पुस्तकालय का विस्तार करके, उन्होंने पारंपरिक तरीके से बड़े पुस्तकालय को शुरू से बनाने की तुलना में कुल निर्माण लागत (कंप्यूटिंग पावर) में 35% तक की बचत की।
यह बेहतर काम करता है: कम ऊर्जा का उपयोग करने के बावजूद, अंतिम पुस्तकालय वास्तव में अधिक स्मार्ट था और पारंपरिक, महंगे तरीके से बनाए गए पुस्तकालयों की तुलना में परीक्षणों पर बेहतर प्रदर्शन करता था।

निचोड़

SPARKLING AI मॉडल को बढ़ाने का एक नया तरीका है जो कहता है: "बस नए हिस्सों को कॉपी-पेस्ट न करें; उन्हें मौजूदा ध्वनि के अनुरूप ट्यून करें, और फिर उन्हें अद्वितीय होने के लिए थोड़ा धक्का दें।" यह हमें पहले की तुलना में बहुत तेज़ी से और सस्ते में विशाल, शक्तिशाली AI सिस्टम बनाने की अनुमति देता है, बिना सिस्टम को विफल किए।

तकनीकी सारांश: SPARKLING

समस्या विवरण (Problem Statement)

प्रोग्रेसिव लर्निंग (PL) का लक्ष्य बड़े भाषा मॉडलों (LLMs) के प्रशिक्षण के दौरान पूर्ण पैमाने (full scale) से शुरू करने के बजाय, प्रशिक्षण के दौरान मॉडल के पैमाने को धीरे-धीरे विस्तारित करके कम्प्यूटेशनल ओवरहेड को कम करना है। जबकि मौजूदा PL अनुसंधान ने गहराई विस्तार (जैसे, लेयर स्टैकिंग) का व्यापक रूप से अन्वेषण किया है, चौड़ाई विस्तार (width expansion) काफी हद तक अल्पअध्ययनित रहा है। पूर्ववर्ती चौड़ाई-विस्तार विधियाँ मुख्य रूप से प्रशिक्षण के शुरुआती चरणों (जैसे, <10–30% टोकन) तक सीमित हैं, जो लक्षित-चौड़ाई वाले मॉडल को शुरू से प्रशिक्षित करने की तुलना में नगण्य कम्प्यूटेशनल लाभ प्रदान करती हैं।

प्री-ट्रेनिंग के मध्य-चरण (mid-stage) के दौरान चौड़ाई का विस्तार करना कम्प्यूटेशनल बचत को अधिकतम करने के लिए आवश्यक है, लेकिन यह कठिन चुनौतियाँ पेश करता है। शोध पत्र दो मुख्य समस्याओं की पहचान करता है जो इस चरण में प्रशिक्षण अस्थिरता और प्रदर्शन गिरावट का कारण बनती हैं:

सिग्नल प्रिजर्वेशन फेलियर (Signal Preservation Failure): विस्तार बिंदु पर 'नेइव इनिशियलाइजेशन' (naive initialization) मध्यवर्ती एक्टिवेशन (विशेष रूप से रूट-मीन-स्क्वायर या RMS स्केल) के सांख्यिकीय वितरण को बाधित करता है। यह बेमेल (mismatch) लेयर-वाइज सिग्नल मैग्नीट्यूड को बदल देता है, जिससे अनुकूलन (optimization) अस्थिर हो जाता है, भले ही तत्काल लॉस (loss) में उछाल न आए।
सिमेट्री लॉकिंग (Symmetry Locking): कॉपी-आधारित इनिशियलाइजेशन, जो फंक्शन को सुरक्षित रखता है, बैकवर्ड सिमेट्री (backward symmetry) उत्पन्न करता है। डुप्लिकेट किए गए चैनल्स को समान ग्रेडिएंट्स प्राप्त होते हैं और यदि ऑप्टिमाइज़र स्टेट्स भी सममित (symmetric) हैं, तो वे समान रूप से विकसित होते हैं। यह नए कैपेसिटी को विशिष्ट फीचर्स में विविधता लाने से रोकता है, जिससे विस्तारित पैरामीटर्स कार्यात्मक रूप से रेडंडेंट (redundant) हो जाते हैं। यह समस्या विभिन्न ऑप्टिमाइज़र परिवारों में बनी रहती है, जिसमें एलिमेंट-वाइज ऑप्टिमाइज़र (AdamW) और स्पेक्ट्रल-स्टाइल ऑप्टिमाइज़र (Muon) शामिल हैं।

कार्यप्रणाली (Methodology): SPARKLING

लेखक SPARKLING (balancing Signal Preservation And symmetRy Keeping for width-progressive LearnING) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे मिड-स्टेज चौड़ाई विस्तार के दौरान सिग्नल प्रिजर्वेशन और सिमेट्री ब्रेकिंग को संतुलित करने के लिए डिज़ाइन किया गया है। इस फ्रेमवर्क में चार ठोस तंत्र (mechanisms) शामिल हैं:

1. RMS-स्केल निरंतरता के माध्यम से सिग्नल प्रिजर्वेशन

लेखकों का तर्क है कि वास्तविक सिग्नल प्रिजर्वेशन के लिए केवल फंक्शन प्रिजर्वेशन (लॉस निरंतरता) के बजाय हिडन रिप्रेजेंटेशन्स के सांख्यिकीय वितरण, विशेष रूप से RMS स्केल को बनाए रखना आवश्यक है।

तंत्र (Mechanism): वे विस्तार के दौरान वेट्स (weights) के लिए रीस्केलिंग फैक्टर्स को व्युत्पन्न करते हैं ताकि यह सुनिश्चित हो सके कि आउटपुट RMS स्केल अपरिवर्तित रहे।
- Fan-out expansion: नए आउटपुट चैनल्स को मौजूदा वेट्स के समान वितरण से कॉपी करके या रैंडम सैंपलिंग द्वारा इनिशियलाइज़ किया जाता है।
- Fan-in expansion: नए इनपुट चैनल्स के लिए विशिष्ट वेट रीस्केलिंग की आवश्यकता होती है। यदि नए कोऑर्डिनेट्स रैंडम हैं या वन-साइडेड कॉपी किए गए हैं, तो वेट्स को $\sqrt{d_{in}/d'_{in}}$ द्वारा स्केल किया जाता है। यदि दोनों पक्ष कॉपी किए गए हैं (मौजूदा डायमेंशन को डुप्लिकेट करना), तो वेट्स को $1/\sqrt{1+3c}$ (जहाँ $c$ कॉपी रेश्यो है) द्वारा स्केल किया जाता है ताकि कोवेरिएंस (covariance) के क्वाड्रेटिक योगदान को समायोजित किया जा सके।
- RMSNorm Expansion: नए RMSNorm पैरामीटर्स को बिना किसी अतिरिक्त रीस्केलिंग के कॉपी या रैंडम सैंपलिंग द्वारा इनिशियलाइज़ किया जाता है, क्योंकि लीनियर लेयर्स की तुलना में पैरामीटर काउंट नगण्य है।

2. एसिमेट्रिक इंटरवेंशन के माध्यम से सिमेट्री ब्रेकिंग

उस "सिमेट्री लॉक" को हल करने के लिए जहाँ कॉपी किए गए घटक विविध होने में विफल रहते हैं, SPARKLING लक्षित हस्तक्षेप (targeted interventions) पेश करता है जो फॉरवर्ड फंक्शन को संरक्षित करते हुए केवल बैकवर्ड डायनेमिक्स पर कार्य करते हैं।

एसिमेट्रिक ऑप्टिमाइज़र स्टेट रिसेट (Asymmetric Optimizer State Reset): ऑप्टिमाइज़र स्टेट्स (मोमेंटम) को कॉपी करने या वैश्विक रूप से रिसेट करने के बजाय, यह फ्रेमवर्क मूल पैरामीटर्स ( $W$ ) के लिए ऑप्टिमाइज़र स्टेट्स को बनाए रखता है लेकिन नए पेश किए गए पैरामीटर्स ( $\tilde{W}$ ) के स्टेट्स को शून्य पर रिसेट कर देता है। यह ग्रेडिएंट कपलिंग को तुरंत तोड़ देता है, जिससे नए पैरामीटर्स को अलग होने की अनुमति मिलती है।
एसिमेट्रिक लर्निंग रेट री-वॉर्मअप (Asymmetric Learning Rate Re-warmup): विस्तार बिंदु पर, मूल पैरामीटर्स बेसलाइन लर्निंग रेट शेड्यूल पर जारी रहते हैं। नए पैरामीटर्स वर्तमान लर्निंग रेट ( $\eta_e$ ) से एक उच्च पीक ( $\hat{\eta}_{max} = \rho \cdot \eta_e$ ) तक एक छोटे विंडो ( $\tau_w$ ) के दौरान री-वॉर्मअप से गुजरते हैं, इससे पहले कि वे साझा न्यूनतम (shared minimum) तक वापस गिरें। यह अच्छी तरह से अनुकूलित प्री-ट्रेन मॉडल को वैश्विक रूप से बाधित किए बिना, फीचर डायवर्सिफिकेशन को उत्तेजित करने के लिए नियंत्रित ऑप्टिमिज़ेशन एसिमेट्री इंजेक्ट करता है।

प्रमुख योगदान (Key Contributions)

मिड-स्टेज चुनौतियों की पहचान: पेपर स्थापित करता है कि सफल मिड-स्टेज चौड़ाई विस्तार दो पूरक सिद्धांतों पर निर्भर करता है: सिग्नल प्रिजर्वेशन (RMS निरंतरता के माध्यम से एक्टिवेशन स्टैटिस्टिक्स को स्थिर करना) और सिमेट्री ब्रेकिंग (कॉपी-आधारित इनिशियलाइजेशन में ग्रेडिएंट कपलिंग को हल करना)।
SPARKLING फ्रेमवर्क: एक व्यावहारिक कार्यान्वयन जो RMS-प्रिजर्विंग स्केलिंग, कॉपी-आधारित इनिशियलाइजेशन, एसिमेट्रिक ऑप्टिमाइज़र स्टेट रिसेट और एसिमेट्रिक लर्निंग रेट री-वॉर्मअप को जोड़ता है।
अनुभवजन्य सत्यापन (Empirical Validation): डेंस और मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर, कई चौड़ाई अक्षों (हिडन डायमेंशन और MoE एक्सपर्ट इंटरमीडिएट डायमेंशन) और ऑप्टिमाइज़र परिवारों (AdamW और Muon) में व्यापक प्रयोग।

परिणाम (Results)

प्रदर्शन (Performance): एक निश्चित टोकन बजट के तहत, SPARKLING लगातार डाउनस्ट्रीम इवैल्यूएशन (जैसे, ARC, MMLU, HellaSwag) पर शुरू से पूर्ण-स्केल मॉडल को प्रशिक्षित करने से बेहतर प्रदर्शन करता है और नेइव फंक्शन-प्रिजर्विंग बेसलाइन्स के प्रदर्शन से मेल खाता है या उससे अधिक होता है।
दक्षता (Efficiency): SPARKLING प्रशिक्षण लागत को काफी कम कर देता है। 2× चौड़ाई विस्तार के तहत, यह विस्तारित मॉडल को शुरू से प्रशिक्षित करने की तुलना में 35% तक प्रशिक्षण FLOPs में कमी और 1.49× तक वॉल-क्लॉक स्पीड-अप प्राप्त करता है।
अभिसरण (Convergence): नेइव अनस्केल्ड इनिशियलाइजेशन की तुलना में RMS-प्रिजर्विंग स्केलिंग लेट-स्टेज कन्वर्जेंस में सुधार करती है। एसिमेट्रिक इंटरवेंशन (स्टेट रिसेट और री-वॉर्मअप) सिमेट्री लॉक को तोड़ने के लिए महत्वपूर्ण हैं, जिसमें कॉपी-कॉपी इनिशियलाइजेशन के साथ ये हस्तक्षेप सभी वेरिएंट्स में सबसे अच्छा अंतिम लॉस प्राप्त करते हैं।
सामान्यीकरण (Generality): यह विधि डेंस मॉडल्स, विभिन्न ऑप्टिमाइज़र्स (Muon सहित), और इटरेटिव मल्टी-स्टेज एक्सपेंशन (जैसे, 256→512→1024) तक सामान्यीकृत होती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि SPARKLING मिड-स्टेज चौड़ाई विस्तार को व्यावहारिक रूप से व्यवहार्य बनाता है, जो प्रोग्रेसिव लर्निंग के प्राथमिक उद्देश्य को संबोधित करता है: लक्षित-चौड़ाई मॉडल्स के प्रदर्शन को बनाए रखते हुए या उससे बेहतर प्रदर्शन करते हुए प्रशिक्षण लागत को कम करना।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण फॉरवर्ड निरंतरता (प्री-ट्रेंड फंक्शन को बनाए रखना) और बैकवर्ड विविधता (नए पैरामीटर्स को विशिष्ट फीचर्स सीखने की अनुमति देना) के बीच के तनाव को हल करता है। सिग्नल स्टैटिस्टिक्स को संरक्षित करते हुए ऑप्टिमिज़ेशन डायनेमिक्स में सिमेट्री को तोड़कर, SPARKLING कुशल LLM स्केलिंग को सक्षम बनाता है। यह कार्य सुझाव देता है कि फ्रेमवर्क एक अधिक अनुकूल कम्प्यूट-लॉस स्केलिंग व्यवहार प्रदान करता है, जो मैच किए गए कम्प्यूट बजट पर फ्रॉम-स्क्रैच ट्रेनिंग की तुलना में कम लॉस प्राप्त करता है।

पेपर यह नोट करते हुए समाप्त होता है कि हालांकि परिणाम आशाजनक हैं, भविष्य के काम में चौड़ाई और गहराई विस्तार के एक साथ होने के लिए एक एकीकृत सिद्धांत स्थापित करने और यह जांचने की आवश्यकता है कि क्या RMS प्रिजर्वेशन रणनीति हाइपरपैरामीटर ट्रांसफर क्षमता के लिए $\mu$ P (मैक्सिमल अपडेट पैरामीटराइजेशन) स्थिति को संतुष्ट करती है।