🤖 AI

PC Layer: Polynomial Weight Preconditioning for Improving LLM Pre-Training

यह शोध पत्र एक पॉलिनॉमियल वेट प्रीकंडीशनिंग (PC) लेयर पेश करता है जो कम-डिग्री वाले पॉलिनॉमियल्स के माध्यम से वेट सिंगुलर-वैल्यू स्पेक्ट्रा को पुनर्गठित करके LLM प्री-ट्रेनिंग को स्थिर करता है, जिससे मर्ज करने के बाद इन्फरेंस ओवरहेड के बिना ज्यामितीय अभिसरण (geometric convergence) सुनिश्चित होता है और प्रदर्शन में सुधार होता है।

मूल लेखक: Senmiao Wang, Tiantian Fang, Haoran Zhang, Yushun Zhang, Kunxiang Zhao, Alex Schwing, Ruoyu Sun

प्रकाशित 2026-06-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Senmiao Wang, Tiantian Fang, Haoran Zhang, Yushun Zhang, Kunxiang Zhao, Alex Schwing, Ruoyu Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल रोबोट (एक लार्ज लैंग्वेज मॉडल) को बोलना और सोचना सिखाने के लिए प्रशिक्षित कर रहे हैं। ऐसा करने के लिए, आप इसे भारी मात्रा में डेटा खिलाते हैं और बार-बार इसके आंतरिक "मांसपेशियों" (गणितीय भार/weights) को समायोजित करते हैं।

समस्या यह है कि जैसे-जैसे रोबोट सीखता है, इसकी कुछ मांसपेशियां बहुत सख्त (बहुत मजबूत) हो जाती हैं, जबकि अन्य बहुत कमजोर (बहुत ढीली) हो जाती हैं। जब ऐसा होता है, तो रोबोट भ्रमित हो जाता है। यह एक मैराथन दौड़ने की कोशिश करने जैसा है जहाँ एक पैर स्टील का बना है और दूसरा जेली का; आप कुशलतापूर्वक आगे नहीं बढ़ सकते, और आप लड़खड़ा सकते हैं या गिर सकते हैं (प्रशिक्षण अस्थिर या धीमा हो जाता है)।

यह पेपर इस मांसपेशियों के असंतुलन को ठीक करने के लिए PC लेयर (पॉलीनोमियल वेट प्रीकंडीशनिंग) नामक एक नया टूल पेश करता है। यह कैसे काम करता है, इसका सरल विवरण यहाँ दिया गया है:

1. समस्या: "मांसपेशियों का असंतुलन"

रोबोट के मस्तिष्क में, सूचना भार (weights) के माध्यम से परतों से होकर बहती है।

मजबूत भार (Strong weights): संकेतों को बहुत अधिक बढ़ा देते हैं (जैसे चिल्लाना)।
कमजोर भार (Weak weights): संकेतों को बहुत अधिक कम कर देते हैं (जैसे फुसफुसाना)।
यदि सबसे मजबूत और सबसे कमजोर भारों के बीच का अंतर बहुत बड़ा है, तो रोबोट के माध्यम से यात्रा करते समय संकेत विकृत हो जाता है। यह सीखने की प्रक्रिया को धीमा और कठिन बना देता है।

2. समाधान: "पॉलीनोमियल ट्यूनर" (PC लेयर)

लेखकों ने PC लेयर नामक एक विशेष मॉड्यूल बनाया है जो इन मांसपेशियों के लिए एक स्मार्ट ट्यूनर के रूप में कार्य करता है।

यह कैसे काम करता है: केवल यह अनुमान लगाने के बजाय कि भारों को कैसे ठीक किया जाए, यह लेयर भार को नया आकार देने के लिए एक गणितीय "नुस्खे" (एक लो-डिग्री पॉलीनोमियल) का उपयोग करती है।
उपमा: एक साउंड मिक्सर की कल्पना करें जिसमें 1,000 स्लाइडर्स हैं। कुछ पूरी तरह से ऊपर किए गए हैं, और कुछ पूरी तरह से नीचे हैं। PC लेयर एक स्वचालित सहायक है जो धीरे से सबसे तेज़ स्लाइडर्स को कम करता है और सबसे शांत स्लाइडर्स को ऊपर उठाता है, जिससे वे सभी एक आरामदायक, संतुलित वॉल्यूम पर आ जाते हैं।
"सॉफ्ट" स्पर्श: अन्य तरीकों के विपरीत जो हर स्लाइडर को बिल्कुल एक समान करने की कोशिश करते हैं (जिससे रोबोट रोबोटिक हो जाएगा और जटिल चीजें सीखने में असमर्थ होगा), PC लेयर एक "सॉफ्ट" समायोजन करती है। यह भारों के बीच के अंतर को बनाए रखती है लेकिन यह सुनिश्चित करती है कि वे अत्यधिक न हों। यह रोबोट को अभिव्यंजक रखते हुए भी स्थिर बनाए रखती है।

3. जादुई ट्रिक: कोई अतिरिक्त लागत नहीं

आमतौर पर, इन असंतुलनों को ठीक करने के लिए भारी गणनाओं की आवश्यकता होती है (जैसे हर मांसपेशी को मापने के लिए पूरे रोबोट को खोलना), जो सब कुछ धीमा कर देता है।

नवाचार: PC लेयर एक चतुर गणितीय ट्रिक (पॉलीनोमियल्स) का उपयोग करती है ताकि उन्हें खोलने या महंगी गणना करने के बिना भारों को ठीक किया जा सके।
परिणाम: यह प्रशिक्षण प्रक्रिया को काफी तेज कर देता है। उनके परीक्षणों में, रोबोट ने मानक तरीकों की तुलना में आधे डेटा (या दोगुनी गति) का उपयोग करके समान मात्रा में ज्ञान प्राप्त किया।
इन्फरेंस (Inference): एक बार जब रोबोट प्रशिक्षित हो जाता है, तो PC लेयर गायब हो जाती है। यह रोबोट की सामान्य संरचना में वापस मिल जाती है। इसलिए, जब आप बाद में रोबोट का उपयोग करते हैं, तो यह बिना किसी अतिरिक्त लागत के एक सामान्य रोबोट की तरह ही तेजी से चलता है।

4. यह क्यों काम करता है (सिद्धांत)

लेखकों ने गणितीय रूप से सिद्ध किया है कि यदि आप "मांसपेशियों" (भारों) को संतुलित रखते हैं ताकि वे बहुत कमजोर या बहुत मजबूत न हों, तो रोबोट की सीखने की प्रक्रिया (ग्रेडिएंट डिसेंट) गारंटी के साथ सबसे अच्छे संभव समाधान तक तेजी से पहुँचती है। यह सुनिश्चित करने जैसा है कि जीत की राह चिकनी और समतल हो, न कि बड़े गड्ढों और खड़ी ढलानों वाली।

5. वास्तविक दुनिया के परिणाम

टीम ने दो आकार के लैंग्वेज मॉडल्स (Llama-271M और Llama-1B) पर दो अलग-अलग ट्रेनिंग इंजनों (AdamW और Muon) का उपयोग करके परीक्षण किया।

गति: PC लेयर वाले मॉडल्स ने समान स्तर की बुद्धिमत्ता बहुत तेजी से प्राप्त की।
स्मार्टनेस: PC लेयर का उपयोग करने वाले मॉडल प्रशिक्षण के बाद प्रश्नों के उत्तर देने और पहेलियाँ सुलझाने में भी थोड़े बेहतर थे।
स्थिरता: प्रशिक्षण प्रक्रिया अधिक सुचारू थी, जिसमें कम "स्पाइक्स" या त्रुटियां थीं।

सारांश

PC लेयर को सीखने वाले रोबोट के लिए एक स्मार्ट कोच के रूप में समझें। यह लगातार रोबोट के आंतरिक संतुलन की जाँच करता है, "मजबूत" हिस्सों को धीरे से नीचे और "कमजोर" हिस्सों को ऊपर की ओर धकेलता है ताकि सब कुछ सामंजस्य के साथ काम करे। यह रोबोट को बिना किसी अतिरिक्त हार्डवेयर की आवश्यकता के या काम पर लगाए जाने के बाद धीमा किए बिना, दोगुनी तेजी से सीखने की अनुमति देता है।

तकनीकी सारांश: PC लेयर — LLM प्री-ट्रेनिंग में सुधार के लिए पॉलिनोमियल वेट प्रीकंडीशनिंग

1. समस्या विवरण

बड़े पैमाने पर लार्ज लैंग्वेज मॉडल्स (LLMs) को प्रशिक्षित करना अनुकूलन (optimization) को स्थिर करने के लिए नॉर्मलाइजेशन तकनीकों पर बहुत अधिक निर्भर करता है। जबकि RMSNorm और QK-Norm जैसे तरीके लेयर आउटपुट्स को नियंत्रित करते हैं, और वेट नॉर्मलाइजेशन (WN) या स्पेक्ट्रल नॉर्मलाइजेशन (SN) वेट स्पेस में कार्य करते हैं, अब इस बात की बढ़ती मान्यता है कि वेट मैट्रिसेस की ज्यामिति (geometry)—विशेष रूप से उनका सिंगुलर-वैल्यू स्पेक्ट्रम—एक महत्वपूर्ण, फिर भी कम खोजा गया डिज़ाइन अक्ष है।

मुख्य समस्या जिसका समाधान किया गया है वह है वेट मैट्रिसेस की कंडीशनिंग। डीप नेटवर्क में, सबसे बड़े और सबसे छोटे सिंगुलर मानों का अनुपात (कंडीशन नंबर) सिग्नल प्रसार (signal propagation) की स्थिरता को निर्धारित करता है। सिंगुलर मानों का एक कोलैप्स्ड लोअर टेल (collapsed lower tail) गहराई के माध्यम से सिग्नल प्रसार को खराब कर देता है, जिससे नेटवर्क को ऑप्टिमाइज़ करना कठिन हो जाता है। जबकि सटीक ऑर्थोगोनैलिटी (सभी सिंगुलर मानों को 1 पर समेटना) को लागू करना नॉर्म को सुरक्षित रखता है, यह आवश्यक स्पेक्ट्रल एनिसोट्रॉपी (anisotropy) को हटा सकता है, जिससे मॉडल की रिप्रजेंटेशनल पावर कमजोर हो सकती है। चुनौती एक ऐसी प्रणाली डिजाइन करने की है जो वेट स्पेक्ट्रम को सॉफ्टली कंडीशन (softly condition) करे—अर्थात, स्पेक्ट्रम को पूरी तरह से एकता (unity) पर मजबूर किए बिना, सिंगुलर मानों के फैलाव को कम करना ताकि कंडीशनिंग में सुधार हो सके और मॉडल की एक्सप्रेसिविटी बनी रहे। इसके अलावा, ऐसा तंत्र कम्प्यूटेशनल रूप से कुशल होना चाहिए, जो प्रशिक्षण के दौरान स्पष्ट सिंगुलर वैल्यू डीकंपोजिशन (SVD) जैसी महंगी प्रक्रियाओं से बच सके।

2. कार्यप्रणाली: PC लेयर

लेखक प्रीकंडीशनिंग (PC) लेयर का प्रस्ताव करते हैं, जो एक इन-बिल्ट मॉड्यूल है जो पॉलिनोमियल प्रीकंडीशनिंग के माध्यम से चयनित वेट मैट्रिसेस के सिंगुलर-वैल्यू स्पेक्ट्रम को नया आकार देता है।

मुख्य तंत्र

वेट मैट्रिक्स $W$ को सीधे सिंगुलर मानों को संशोधित करने के लिए स्पष्ट SVD ( $W = U \Sigma V^\top$ ) की गणना करने के बजाय, PC लेयर वेट मैट्रिक्स $W$ पर एक निम्न-डिग्री मैट्रिक्स पॉलिनोमियल $g(W)$ लागू करती है।

स्पेक्ट्रल मैपिंग: यदि $W$ के सिंगुलर मान $\sigma_i$ हैं, तो रूपांतरित मैट्रिक्स $g(W)$ के सिंगुलर मान $|g(\sigma_i)|$ होंगे। एक ऐसा पॉलिनोमियल $g$ चुनकर जो छोटे सिंगुलर मानों को बढ़ाता है और बड़े मानों को संतृप्त (saturate) करता है, यह विधि प्रभावी रूप से कंडीशन नंबर को कम करती है।
आयताकार मैट्रिसेस (Rectangular Matrices) के लिए कार्यान्वयन: चूंकि वेट मैट्रिसेस आयताकार होते हैं, इसलिए पॉलिनोमियल ग्राम मैट्रिक्स (Gram matrix) के माध्यम से लागू किया जाता है। एक वेट $W$ के लिए, रूपांतरण $g(W) = p(WW^\top)W$ (या $Wp(W^\top W)$ ) द्वारा परिभाषित है, जहाँ $p$ एक निम्न-डिग्री पॉलिनोमियल है। यह मैट्रिक्स के आकार को सुरक्षित रखता है और इसमें केवल बार-बार मैट्रिक्स गुणन की आवश्यकता होती है।
पॉलिनोमियल डिज़ाइन: पॉलिनोमियल $g(\sigma) = p(\sigma^2)\sigma$ को एक पीसवाइज-लीनियर टारगेट फंक्शन $PL_b(\sigma) = \min(\sigma/b, 1)$ को अनुमानित करने के लिए वेटेड लीस्ट स्क्वायर्स के माध्यम से फिट किया जाता है। यह टारगेट $b$ कटऑफ के नीचे के सिंगुलर मानों को बढ़ाता है और $b$ से ऊपर के मानों को 1 पर कैप करता है। "PC लेवल" ( $k$ ) पॉलिनोमियल की डिग्री और शेपिंग की आक्रामकता को नियंत्रित करता है (छोटा $b$ अधिक आक्रामक शेपिंग का संकेत देता है)।

प्रशिक्षण प्रक्रिया (एल्गोरिदम 1)

PC लेयर प्रशिक्षण के दौरान एक रीपैरामीट्राइजेशन के रूप में कार्य करती है:

स्पेक्ट्रल नॉर्मलाइजेशन: वेट $W$ को इसके स्पेक्ट्रल नॉर्म के अनुमान $s(W) \approx \|W\|_2$ द्वारा नॉर्मलाइज किया जाता है, जिसे पूर्ण SVD से बचने के लिए स्ट्रीमिंग पावर इटरेशन (पिछले स्टेप्स से वार्म-स्टार्ट के साथ 10 स्टेप्स) के माध्यम से कंप्यूट किया जाता है। इससे $\tilde{W} = W/s(W)$ प्राप्त होता है, जो सिंगुलर मानों को लगभग $[0, 1]$ के भीतर रखता है।
पॉलिनोमियल प्रीकंडीशनिंग: स्पेक्ट्रम को नया आकार देने के लिए $\tilde{W}$ पर पॉलिनोमियल $g$ लागू किया जाता है।
नॉर्म रिकवरी और स्केलिंग: परिमाण को बहाल करने के लिए परिणाम को अनुमानित स्पेक्ट्रल नॉर्म $[s(W)]_{\text{stop-grad}}$ द्वारा पुन: स्केल किया जाता है, जिसके बाद एक लर्नेबल स्केलर $\gamma$ (जो 1 पर इनिशियलाइज किया गया है) आता है, ताकि सिग्नल प्रोपेगेशन मेट्रिक्स का एडेप्टिव एडजस्टमेंट किया जा सके।
इन्फरेंस (Inference): प्रशिक्षण के बाद, प्रीकंडीशन किए गए वेट्स को मूल आर्किटेक्चर में वापस मर्ज कर दिया जाता है। इन्फरेंस के दौरान कोई पॉलिनोमियल गणना नहीं होती है, जिससे जीरो इन्फरेंस ओवरहेड सुनिश्चित होता है।

लक्षित ब्लॉक्स (Target Blocks)

Llama-स्टाइल आर्किटेक्चर में, PC लेयर को FFN प्रोजेक्शन्स ( $W_{\text{gate}}, W_{\text{up}}, W_{\text{down}}$ ) और अटेंशन आउटपुट प्रोजेक्शन ( $W_O$ ) पर लागू किया जाता है।

3. सैद्धांतिक औचित्य

पेपर डीप लीनियर नेटवर्क का उपयोग करके स्पेक्ट्रम-कंट्रोल सिद्धांत के लिए सैद्धांतिक आधार प्रदान करता है।

अभिसरण गारंटी (Convergence Guarantee): लेखक सिद्ध करते हैं कि यदि डीप लीनियर नेटवर्क में वेट मैट्रिसेस यूनिफॉर्मली बाउंडेड कंडीशन नंबर्स (अर्थात, सिंगुलर मान 0 और $\infty$ से दूर हैं) बनाए रखते हैं, तो ग्रेडिएंट डिसेंट एल्गोरिदम एक जियोमेट्रिक रेट पर ग्लोबल मिनिमम पर अभिसरित (converge) होता है।
इटरेशन कॉम्प्लेक्सिटी: अभिसरण दर ग्लोबल कंडीशन नंबर बाउंड $\kappa_R$ पर निर्भर करती है। विशेष रूप से, एरर $\epsilon$ तक पहुँचने के लिए इटरेशन कॉम्प्लेक्सिटी $O(\kappa_R^{2L} \log(1/\epsilon))$ के रूप में स्केल होती है। इसका तात्पर्य यह है कि बेहतर वेट कंडीशनिंग (छोटा $\kappa_R$ ) सीधे तौर पर तेज़ अभिसरण की ओर ले जाती है, जो वेट स्पेक्ट्रम के ट्रेनिंग-टाइम कंट्रोल को प्रेरित करती है।

4. प्रयोगात्मक परिणाम

PC लेयर का मूल्यांकन FineWeb डेटासेट पर दो ऑप्टिमाइज़र: AdamW और Muon का उपयोग करते हुए Llama-271M और Llama-1B मॉडल्स पर किया गया।

ऑप्टिमाइजेशन प्रदर्शन

AdamW: PC ने टोकन दक्षता में महत्वपूर्ण सुधार किया।
- Llama-271M: बेसलाइन लॉस के साथ 39% कम टोकन प्राप्त किए (1.63× स्पीडअप)।
- Llama-1B: बेसलाइन लॉस के साथ 50% कम टोकन प्राप्त किए (2× स्पीडअप)।
Muon: PC ने निरंतर लाभ भी प्रदान किया, हालांकि AdamW की तुलना में कम (संभवतः क्योंकि Muon पहले से ही एक निहित स्पेक्ट्रल कंट्रोल लगाता है)।
- Llama-271M: 1.07× स्पीडअप।
- Llama-1B: 1.13× स्पीडअप।
डाउनस्ट्रीम टास्क: जीरो-शॉट इवैल्यूएशन (LAMBADA, HellaSwag, आदि) पर, PC ने 1B मॉडल पर औसत सटीकता में 0.0206 पॉइंट्स (AdamW) और 0.0125 पॉइंट्स (Muon) का सुधार किया।

स्पेक्ट्रल कंडीशनिंग

कंडीशन नंबर: ग्लोबल मॉडिफाइड कंडीशन नंबर (GMCN) काफी कम हो गया। 1B मॉडल के लिए AdamW के तहत, ग्लोबल GMCN बेसलाइन के ~42.4 से घटकर PC के साथ ~25.0 हो गया, जो ~41% की कमी है।
सिंगुलर वैल्यू डिस्ट्रीब्यूशन: हिस्टोग्राम दिखाते हैं कि PC सिंगुलर-वैल्यू स्पेक्ट्रम के मास को निचले छोर (शून्य के पास) से हटाकर एक अधिक रेगुलर मिडिल रेंज की ओर ले जाता है, जिससे स्पेक्ट्रम को एक सिंगल वैल्यू में कोलैप्स किए बिना सापेक्ष फैलाव को कम किया जाता है।

एब्लेशन स्टडीज (Ablation Studies)

PC लेवल ( $k$ ): AdamW के तहत, उच्च डिग्री ( $k=4$ ) इष्टतम थी। Muon के तहत, निम्न डिग्री ( $k=2$ ) इष्टतम थी, जो सुझाव देती है कि Muon का निहित कंट्रोल कम आक्रामक बाहरी शेपिंग की मांग करता है।
नॉर्म रिकवरी: प्रदर्शन के लिए आवश्यक है; पॉलिनोमियल शेपिंग के बाद स्पेक्ट्रल स्केल को बहाल किए बिना, प्रदर्शन बेसलाइन से नीचे गिर गया।
लर्नेबल $\gamma$ : ट्रेनिंग डायनेमिक्स को स्थिर करने (एक्टिवेशन RMS स्पाइक्स को कम करने) के लिए महत्वपूर्ण है, लेकिन फाइनल वैलिडेशन लॉस पर अंतिम प्रभाव के मामले में नॉर्म रिकवरी की तुलना में इसका प्रभाव मामूली था।

कम्प्यूटेशनल लागत

FLOPs: लो-डिग्री पॉलिनोमियल और कुशल हॉर्नर मेथड (Horner's method) के कारण ओवरहेड न्यूनतम है (~1B मॉडल के लिए AdamW पर ~0.39%, Muon पर ~0.24%)।
मेमोरी: बैकप्रोपैगेशन के लिए इंटरमीडिएट टेंसरों के कारण पीक मेमोरी में ~9.56% (AdamW) और ~8.73% (Muon) की वृद्धि हुई, जो प्रबंधनीय है।

5. महत्व और दावे

पेपर का दावा है कि PC लेयर वेट स्पेक्ट्रम कंडीशनिंग को स्पष्ट रूप से नियंत्रित करके LLM प्री-ट्रेनिंग में सुधार के लिए एक लाइटवेट, प्लग-एंड-प्ले समाधान प्रदान करती है।

सैद्धांतिक अंतर्दृष्टि: यह ज्यामितीय अभिसरण के लिए बाउंडेड कंडीशन नंबर्स की सैद्धांतिक आवश्यकता और व्यावहारिक एल्गोरिदम डिजाइन के बीच के अंतर को पाटता है।
व्यावहारिक दक्षता: स्पष्ट SVD या जटिल बाधाओं की आवश्यकता वाले तरीकों के विपरीत, PC केवल मैट्रिक्स गुणन का उपयोग करता है, जिससे यह स्केलेबल और मौजूदा ऑप्टिमाइज़र (AdamW, Muon) और आर्किटेक्चर के साथ संगत बनता है।
जीरो इन्फरेंस ओवरहेड: ट्रेनिंग के बाद प्रीकंडीशन किए गए वेट्स को मर्ज करके, यह विधि इन्फरेंस के समय कोई अतिरिक्त लागत नहीं लेती है।
सॉफ्ट कंडीशनिंग: लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण "सॉफ्ट स्पेक्ट्रम शेपिंग" करता है न कि लगभग ऑर्थोगोनैलिटी को थोपना, जिससे मॉडल की एक्सप्रेसिविटी के लिए आवश्यक एनिसोट्रोपिक ट्रांसफॉर्मेशन सीखने की क्षमता बनी रहती है।

यह कार्य वेट ज्योमेट्री को सिग्नल प्रोपेगेशन के लिए एक प्रत्यक्ष कंट्रोल नॉब के रूप में उपयोग करने की दिशा में एक कदम के रूप में प्रस्तुत किया गया है, जो विभिन्न मॉडल स्केल्स और ऑप्टिमाइज़र पर सुसंगत सुधार प्रदान करता है।