Beyond Sunk Costs: Boosting LLM Pre-training Efficiency via Orthogonal Growth of Mixture-of-Experts

तकनीकी सारांश: डूबे हुए खर्चों से परे: Mixture-of-Experts के ऑर्थोगोनल विकास के माध्यम से LLM प्री-ट्रेनिंग दक्षता को बढ़ावा देना

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के प्री-ट्रेनिंग के लिए कम्प्यूटेशनल मांगें तेजी से बढ़ रही हैं, फिर भी मौजूदा प्री-ट्रेन्ड चेकपॉइंट्स अक्सर आर्किटेक्चरल सीमाओं के कारण कम उपयोग किए जाते हैं। वर्तमान मॉडल ग्रोथ रणनीतियाँ आमतौर पर प्रशिक्षण के शुरुआती चरणों के दौरान मॉडल के विस्तार पर ध्यान केंद्रित करती हैं, जो अच्छी तरह से अभिसरित (converged) चेकपॉइंट्स के पर्याप्त "डूबे हुए खर्चों" (prior computational investment) का लाभ उठाने में विफल रहती हैं। मुख्य चुनौती यह निर्धारित करना है कि कैसे एक अच्छी तरह से अभिसरित MoE मॉडल्स को बिना मूल मॉडल के सीखे गए ज्ञान और अनुकूलित मापदंडों (parameters) को छोड़े, अधिक सक्षम मॉडल्स बनाने के लिए प्रभावी रूप से "रीसायकल" किया जाए।

कार्यप्रणाली

लेखक एक "ऑर्थोगोनल ग्रोथ" (orthogonal growth) फ्रेमवर्क का प्रस्ताव करते हैं जिसे अभिसरित MoE मॉडल्स को दो स्वतंत्र आयामों में विस्तारित करने के लिए डिज़ाइन किया गया है: गहराई (Depth) (परतों को बढ़ाना) और चौड़ाई (Width) (विशेषज्ञों/experts की संख्या बढ़ाना)।

1. गहराई विकास (Depth Growth): इंटरपोजीशनल बनाम स्टैकिंग

पेपर मॉडल की गहराई बढ़ाने के दो तरीकों के बीच अंतर करता है:

• स्टैकिंग (Stacking): मूल परतों के अनुक्रम को $k$ बार जोड़ना ($l_1, \dots, l_n, l_1, \dots, l_n$)।
• इंटरपोजीशनल ग्रोथ (Interpositional Growth): प्रत्येक परत को यथास्थान डुप्लिकेट करना ($l_1, l_1, \dots, l_2, l_2, \dots$)।

मुख्य अंतर्दृष्टि: प्री-ट्रेन्ड LLMs का विश्लेषण एक विशिष्ट परत-वार वेट नॉर्म (weight norm) वितरण प्रकट करता: नॉर्म्स शुरुआती परतों में छोटे होते हैं, मध्य में निरंतर बढ़ते हैं, और अंत के पास थोड़ा कम हो जाते हैं। यह पैटर्न एक स्वस्थ अभिसरण (convergence) का संरचनात्मक हस्ताक्षर है।

• स्टैकिंग इस निरंतर बढ़ते रुझान को बाधित करती है क्योंकि यह शुरुआती-परत के नॉर्म्स को बाद की-परत के नॉर्म्स के बाद रख देती है, जिससे तीव्र विच्छेदन (discontinuities) पैदा होते हैं जिन्हें निरंतर प्रशिक्षण के दौरान "मरम्मत" करने की आवश्यकता होती है।
• इंटरपोजीशनल ग्रोथ यथास्थान परतों को डुप्लिकेट करके सीखे गए वेट-नॉर्म प्रक्षेपवक्र (trajectory) को सुरक्षित रखती है, जिससे एक सुचारू संरचनात्मक प्रगति बनी रहती है।
• थ्रेशोल्ड (Threshold): इंटरपोजीशनल ग्रोथ की श्रेष्ठता तब महत्वपूर्ण हो जाती है जब आधार मॉडल को चिनचिला स्केलिंग लॉ द्वारा परिभाषित कंप्यूट-ऑप्टिमल FLOPs (लगभग $1\times F_c$) से आगे प्रशिक्षित किया जाता है।

2. चौड़ाई विकास (Width Growth): नॉइज़ी एक्सपर्ट डुप्लिकेशन

मॉडल की चौड़ाई बढ़ाने के लिए, लेखक कुल विशेषज्ञों ($E \to 2E$) और सक्रिय विशेषज्ञों ($k \to 2k$) दोनों को दोगुना करते हैं।

• इनिशियलाइजेशन रणनीति: नए विशेषज्ञों को मौजूदा विशेषज्ञों के भार (weights) को कॉपी करके और उसमें थोड़ा गॉसियन नॉइज़ ($\epsilon \sim \mathcal{N}(0, (\alpha\sigma_{orig})^2)$ जहाँ $\alpha \approx 0.01$) जोड़कर इनिशियलाइज़ किया जाता है।
• तर्क: सटीक डुप्लिकेशन पूर्ण समरूपता (symmetry) बनाता है, जो कार्यात्मक विचलन (functional divergence) को रोकता है। एक छोटा सा व्यवधान (perturbation) इस समरूपता को इतना तोड़ देता है कि राउटर निरंतर प्रशिक्षण के दौरान विशेषज्ञों के बीच अंतर कर सके, जबकि सीखे गए प्रतिनिधित्व (representations) को सुरक्षित रखा जा सके। यह "अपसाइक्लिंग" के विपरीत है, जो डेंस मॉडल्स से की जाती है, जिसमें अक्सर उच्च नॉइज़ स्तर ($\ge 50\%$) और रैंडम राउटर इनिशियलाइजेशन की आवश्यकता होती है।

3. ऑर्थोगोनैलिटी (Orthogonality)

पेपर यह प्रदर्शित करता है कि गहराई और चौड़ाई का विकास ऑर्थोगोनल है।

• संरचनात्मक पृथकता (Structural Disjointness): गहराई का विकास नई परतें जोड़ता है; चौड़ाई का विकास मौजूदा परतों के भीतर नए विशेषज्ञ जोड़ता है। वे गैर-अतिव्यापी (non-overlapping) मापदंड सेट पर काम करते हैं।
• अनुकूलन गतिशीलता (Optimization Dynamics): ग्रेडिएंट विश्लेषण से पता चलता है कि गहराई-बढ़े हुए और चौड़ाई-बढ़े हुए मॉडल्स के अनुकूलन दिशाएं, प्री-ग्रोथ दिशा और एक-दूसरे के प्रति लगभग ऑर्थोगोनल हैं।
• क्रम स्वतंत्रता (Order Independence): अंतिम प्रदर्शन विस्तार के क्रम (डेप्थ-देन-विड्थ बनाम विड्थ-देन-डेप्थ) के प्रति अपरिवर्तनीय है, जो पुष्टि करता है कि रणनीतियों को लचीले ढंग से एकीकृत किया जा सकता है।

मुख्य परिणाम

फ्रेमवर्क को 1-ट्रिलियन-टोकन डेटासेट का उपयोग करके 3B से 70B पैरामीटर्स तक के मॉडल्स पर व्यापक प्रयोगों के माध्यम से मान्य किया गया।

• डेप्थ ग्रोथ प्रभावकारिता: 3B MoE मॉडल को 6B तक बढ़ाकर, इंटरपोजीशनल विधि ने ट्रेनिंग लॉस और डाउनस्ट्रीम एक्यूरेसी दोनों में स्टैकिंग की तुलना में लगातार बेहतर प्रदर्शन किया। बेस मॉडल जितना अधिक अभिसरित हुआ, प्रदर्शन का अंतर उतना ही बढ़ गया।
• डूबे हुए खर्चों (Sunk Cost) के साथ सहसंबंध: "डूबे हुए FLOPs" (विकास से पहले प्रशिक्षण चरण) की मात्रा और बढ़े हुए मॉडल की अंतिम सटीकता के बीच एक मजबूत सकारात्मक सहसंबंध है। बाद के, अधिक अभिसरित चेकपॉइंट्स से बढ़ाए गए मॉडल्स ने समान अतिरिक्त कंप्यूट बजट के बावजूद, शुरुआती चेकपॉइंट्स से बढ़ाए गए मॉडल्स की तुलना में उच्च अंतिम प्रदर्शन प्राप्त किया।
• स्क्रैच ट्रेनिंग से तुलना:
  • एक निश्चित अतिरिक्त कंप्यूट बजट के तहत, मॉडल ग्रोथ ने स्क्रैच से बड़े मॉडल को प्रशिक्षित करने की तुलना में काफी बेहतर प्रदर्शन किया (जैसे, 70B प्रयोग में 10.6% की सटीकता सुधार)।
  • एक निश्चित कुल कंप्यूट बजट (डूबा हुआ + अतिरिक्त) के तहत, मॉडल ग्रोथ ने स्क्रैच से प्रशिक्षण के बराबर या थोड़ा बेहतर परिणाम दिया, बशर्ते कि विकास पर्याप्त डूबे हुए खर्च वाले चेकपॉइंट से शुरू किया गया हो।
• स्केलेबिलिटी (Scalability): पद्धति ने एक 17B MoE मॉडल (लगभग 600B टोकन पर प्रशिक्षित) को 70B पैरामीटर्स (कुल 1T टोकन पर प्रशिक्षित) तक सफलतापूर्वक स्केल किया। अंतिम 70B मॉडल ने 64.17 की औसत सटीकता प्राप्त की, जो 17B बेसलाइन से 5.62 अंक अधिक थी और समान अतिरिक्त FLOPs बजट के तहत स्क्रैच से 70B बेसलाइन की तुलना में 10.6% सापेक्ष लाभ था।

महत्व और दावे

पेपर का दावा है कि यह बड़े पैमाने पर LLM विकास के लिए एक लागत प्रभावी ब्लूप्रिंट प्रदान करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

1. डूबे हुए खर्चों का पुनर्चक्रण (Recycling Sunk Costs): यह प्रदर्शित करना कि प्री-ट्रेन्ड चेकपॉइंट्स, जिन्हें अक्सर डिस्पोजेबल इंटरमीडिएट एसेट्स के रूप में देखा जाता है, का व्यवस्थित रूप से बड़े मॉडल्स बनाने के लिए उपयोग किया जा सकता है, जिससे पूर्व कम्प्यूटेशनल निवेशों का मूल्य संरक्षित होता है।
2. इष्टतम विकास रणनीतियाँ: यह स्थापित करना कि अच्छी तरह से अभिसरित मॉडल्स के लिए, इंटरपोजीशनल लेयर कॉपीइंग और मिनिमल-नॉइज़ एक्सपर्ट डुप्लिकेशन, पारंपरिक स्टैकिंग और रैंडम इनिशियलाइजेशन की तुलना में बेहतर हैं।
3. ऑर्थोगोनल स्केलिंग: यह सिद्ध करना कि गहराई और चौड़ाई को बिना किसी हस्तक्षेप के स्वतंत्र रूप से और किसी भी क्रम में बढ़ाया जा सकता है, जो संसाधन-बाधित स्केलिंग परिदृश्यों में लचीलापन प्रदान करता है।
4. दक्षता: यह दिखाना कि ग्रोथ समान अतिरिक्त कंप्यूट बजट के तहत स्क्रैच से प्रशिक्षण की तुलना में प्रदर्शन लाभ प्राप्त कर सकती है, जिससे फ्रंटियर-स्केल मॉडल प्री-ट्रेनिंग के लिए बाधा कम हो जाती है।

लेखक इस बात पर जोर देते हैं कि यह कार्य LLMs में निहित सामाजिक जोखिमों के अलावा कोई नया सामाजिक जोखिम पेश नहीं करता है, बल्कि मॉडल विकास की दक्षता में सुधार करके उनके पर्यावरणीय फुटप्रिंट को कम करने का लक्ष्य रखता है।