Compute-Optimal Is Not Cluster-Optimal: Systems-Aware Scaling for Sparse Mixture-of-Experts
यह शोधपत्र MOSAIC को प्रस्तुत करता है, जो एक सिस्टम-अवेयर को-डिज़ाइन फ्रेमवर्क है जो यह प्रदर्शित करता है कि स्पार्स मिक्स्चर-ऑफ-एक्सपर्ट्स मॉडल्स के लिए इष्टतम स्पर्सिटी (sparsity) केवल तभी उभरती है जब मॉडल आर्किटेक्चर को हार्डवेयर बाधाओं के साथ संयुक्त रूप से अनुकूलित किया जाता है, न कि केवल पारंपरिक कंप्यूट-ऑप्टिमल स्केलिंग लॉज़ के माध्यम से।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दुनिया का सबसे शक्तिशाली, सर्वश्रेष्ठ रोबोट मस्तिष्क बनाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह "मस्तिष्क" एक विशाल कंप्यूटर प्रोग्राम है जिसे लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है। इन मस्तिष्कों को स्मार्ट बनाने के लिए, वैज्ञानिकों ने एक सरल नियम खोजा है: यदि आप उन्हें अधिक डेटा और अधिक बड़ा आकार देते हैं, तो वे दुनिया को समझने में बेहतर हो जाते हैं। इस नियम को "स्केलिंग लॉ" (scaling law) कहा जाता है। लंबे समय तक, इन मस्तिष्कों को बनाने की रेसिपी दो अलग-अलग चरणों में विभाजित थी। पहले, एक गणितज्ञ उपलब्ध कंप्यूटर शक्ति (जिसे "कंप्यूट" कहा जाता है) के आधार पर मस्तिष्क का आदर्श आकार तय करता था। फिर, एक अलग इंजीनियर उस मस्तिष्क को विशिष्ट कंप्यूटर चिप्स पर चलाने के लिए यथासंभव तेज़ बनाने की कोशिश करता था।
इसे एक रोड ट्रिप की योजना बनाने जैसा समझें। पहला चरण यह तय करना है कि आप अपने गैस बजट के आधार पर कितनी दूर तक गाड़ी चलाना चाहते हैं। दूसरा चरण कार चुनना है। लेकिन क्या होगा अगर आपकी चुनी हुई कार इतनी भारी और बोझिल है कि वह बहुत अधिक गैस पीती है, जिसका अर्थ है कि आप वास्तव में उतनी दूर नहीं जा पाएंगे जितनी दूर आप जाना चाहते थे? यही वह समस्या है जिसे यह पेपर संबोधित करता है। यह तर्क देता है कि आप केवल एक मस्तिष्क का आकार नहीं चुन सकते और फिर कार की चिंता कर सकते हैं। आपको मस्तिष्क और कार को एक साथ डिजाइन करना होगा, क्योंकि मस्तिष्क का आकार यह बदल देता है कि कार कितनी कुशलता से चलती है। यदि आप कार के इंजन को अनदेखा करते हैं, तो आप एक "परफेक्ट" मस्तिष्क के साथ समाप्त हो सकते हैं जो चलने के लिए बहुत भारी है, जिससे आप शुरुआती रेखा पर ही फंसे रह जाएंगे।
समस्या: एक "परफेक्ट" मस्तिष्क जो फिट नहीं बैठता
यह पेपर एक नया सोचने का तरीका पेश करता है जिसे MOSAIC (Model Optimization via Systems-Aware TraIning Co-design) कहा जाता है। Amazon AGI Foundations के लेखकों ने देखा कि पुराने तरीके से काम करने का मतलब था अवसर खोना। पारंपरिक रूप से, शोधकर्ता "कंप्यूट-ऑप्टिमल" (Compute-Optimal) मॉडल की गणना करते थे। यह वह मॉडल आकार है जो कंप्यूटर शक्ति की एक निश्चित मात्रा के लिए सर्वोत्तम परिणाम प्राप्त करता है, यह मानते हुए कि शक्ति के हर बिट का पूर्ण रूप से उपयोग किया जाता है।
हालाँकि, लेखकों ने एक छिपा हुआ जाल पाया। उन्होंने मिक्सचर-ऑफ्ट-एक्सपर्ट्स (Mixture-of-Experts - MoE) नामक एक विशेष प्रकार के AI आर्किटेक्चर पर ध्यान केंद्रित किया। कल्पना कीजिए कि एक विशाल पुस्तकालय है जहाँ एक विशाल लाइब्रेरियन द्वारा हर किताब पढ़ने के बजाय, आपके पास हजारों छोटे, विशेषज्ञ मौजूद हैं। जब कोई प्रश्न आता है, तो एक स्मार्ट राउटर उसे केवल कुछ विशेषज्ञों (मान लीजिए 100 में से 2) के पास उत्तर देने के लिए भेजता है। यह मॉडल को बहुत तेज़ और कुशल बनाता है क्योंकि इसे हर प्रश्न के लिए पूरे पुस्तकालय को जगाने की आवश्यकता नहीं होती है।
पुराने गणित ने सुझाव दिया कि सर्वोत्तम परिणाम प्राप्त करने के लिए, आपको पुस्तकालय को जितना संभव हो उतना बड़ा बनाना चाहिए और जितने कम विशेषज्ञों को जगाना चाहिए। दूसरे शब्दों में, "परफेक्ट" मॉडल अविश्वसनीय रूप से स्पार्स (sparse - यानी अधिकतर खाली) होना चाहिए। गणित कहता है कि सर्वोत्तम स्पर्सिटी (sparsity) हमेशा उस सीमा पर होती है जो संभव है।
ट्विस्ट: कार का इंजन मायने रखता है
यहाँ कहानी बदल जाती है। लेखक महसूस कर गए कि जबकि गणित कहता है "सुपर स्पार्स बनाओ," भौतिक वास्तविकता (कंप्यूटर चिप्स) कहती है "बिल्कुल नहीं।"
जब आपके पास हजारों छोटे विशेषज्ञ होते हैं, तो कंप्यूटर को यह तय करने के लिए बहुत अधिक अतिरिक्त काम करना पड़ता है कि किन विशेषज्ञों को जगाना है और उनके बीच जानकारी कैसे पास करनी है। यह एक बड़े कार्यालय भवन की तरह है जहाँ मैनेजर मेमो डिलीवर करने के लिए क्यूबिकल्स के बीच दौड़ने में अपना पूरा दिन बिता देता है, जिससे वास्तविक काम के लिए बहुत कम समय बचता है। मॉडल जितना अधिक स्पार्स होता जाएगा, कंप्यूटर उतना ही अधिक समय इन "दौड़ने-भागने" वाले कार्यों (जिन्हें कम्युनिकेशन कॉस्ट कहा जाता है) में बर्बाद करेगा और वास्तविक सोचने (कैलकुलेशन) के लिए उतना ही कम समय बचेगा।
पेपर का तर्क है कि पुराना "कंप्यूट-ऑप्टिमल" गणित त्रुटिपूर्ण था क्योंकि इसने यह मान लिया था कि कंप्यूटर अपनी पूरी शक्ति सोचने वाले हिस्से को दे सकता है। वास्तव में, एक सुपर-स्पार्स मॉडल अपनी शक्ति का केवल 8% ही वास्तविक सोचने के लिए प्राप्त कर सकता है, जबकि एक थोड़ा अधिक डेंस (dense) मॉडल 15% प्राप्त कर सकता है।
समाधान: MOSIC
इसे ठीक करने के लिए, टीम ने MOSAIC बनाया। यह पूछने के बजाय कि "गणित की एक निश्चित मात्रा के लिए सबसे अच्छा मॉडल कौन सा है?", उन्होंने पूछा, "हमारे विशिष्ट कंप्यूटर क्लस्टर पर हमारे निश्चित समय में हम वास्तव में कौन सा मॉडल चला सकते हैं?"
उन्होंने दो चीजों को जोड़ा:
- एक स्केलिंग लॉ (Scaling Law): एक भविष्यवाणी कि मॉडल के आकार और आकार के आधार पर वह कितना स्मार्ट होगा।
- एक परफॉरमेंस मॉडल (Performance Model): एक सिम्युलेटर जो यह भविष्यवाणी करता है कि वास्तविक हार्डवेयर पर आपका मॉडल वास्तव में कितनी तेज़ी से चलेगा, जिसमें "दौड़ने-भागने" की लागत भी शामिल है।
जब उन्होंने MOSAIC चलाया, तो परिणाम आश्चर्यजनक थे। "परफेक्ट" मॉडल वह नहीं था जो स्पर्सिटी के चरम छोर पर था। इसके बजाय, सबसे अच्छा मॉडल एक इंटरियर (interior) समाधान था—एक सुखद मध्य मार्ग। यह कुशल होने के लिए पर्याप्त स्पार्स था, लेकिन इतना भी नहीं कि कंप्यूटर उन छोटे विशेषज्ञों को प्रबंधित करने के ओवरहेड से दब जाए।
उन्होंने क्या पाया
टीम ने NVIDIA B200 GPUs का उपयोग करके वास्तविक हार्डवेयर पर इनका परीक्षण किया। उन्होंने 700 मिलियन से 18 बिलियन सक्रिय पैरामीटर्स (और 79 बिलियन कुल पैरामीटर्स तक) वाले मॉडल को प्रशिक्षित किया।
- पुराना तरीका: यदि आप केवल पुराने गणित का पालन करते, तो आप लगभग 0.985 की स्पर्सिटी वाला मॉडल चुनते (इसका अर्थ है कि 98.5% विशेषज्ञ सो रहे हैं)। लेकिन उनके विशिष्ट क्लस्टर पर, यह मॉडल इतना धीमा होता कि इसे प्रशिक्षित करने में अनंत काल लग जाता, और वास्तव में यह एक थोड़े अधिक डेंस मॉडल की तुलना में कम स्मार्ट होता।
- MOSAIC का तरीका: सिस्टम ने पाया कि सही बिंदु (sweet spot) लगभग 0.96 की स्पर्सिटी था। यह मॉडल "सैद्धांतिक" रूप से सर्वश्रेष्ठ नहीं था, लेकिन यह व्यावहारिक रूप से सर्वश्रेष्ठ था। यह तेज़ चला, कंप्यूटर की शक्ति का अधिक कुशलता से उपयोग किया, और एक कम एरर रेट (यानी अधिक स्मार्ट) प्राप्त किया।
वास्तव में, उन्होंने दिखाया कि जो मॉडल कागज पर सबसे अच्छा दिखता था (जिसमें सबसे अधिक "Model FLOPs" थे), वह वास्तविक जीवन में प्रशिक्षित होने में सबसे धीमा था। जीतने वाला मॉडल वह था जिसने गणित और हार्डवेयर की वास्तविकता के बीच संतुलन बनाया।
यह क्यों महत्वपूर्ण है
यह पेपर सुझाव देता है कि हमें AI मॉडल के डिजाइन और उन्हें चलाने वाले कंप्यूटरों के डिजाइन को अलग-अलग चरणों के रूप में मानना बंद करना होगा। आप केवल एक मॉडल का आकार नहीं चुन सकते और उम्मीद नहीं कर सकते कि कंप्यूटर उसे संभाल लेंगे। मॉडल का आकार यह बदल देता है कि कंप्यूटर कैसे व्यवहार करता है।
लेखक सावधानी बरतते हुए कहते हैं कि उनके निष्कर्ष उनके द्वारा उपयोग किए गए विशिष्ट कंप्यूटर चिप्स (NVIDIA B200s) और उनके द्वारा बनाए गए विशिष्ट सॉफ़्टवेयर के लिए विशिष्ट हैं। उन्हें कोई सार्वभौमिक नियम नहीं मिला जो ब्रह्मांड के हर कंप्यूटर पर लागू होता हो। हालाँकि, उन्होंने साबित किया कि AI ट्रेनिंग के फ्रंटियर के लिए, "सिस्टम्स" (हार्डवेयर और डेटा मूवमेंट) को अनदेखा करने से उप-इष्टतम (suboptimal) परिणाम मिलते हैं।
MOSAIC का उपयोग करके, उन्होंने दिखाया कि "सर्वश्रेष्ठ" मॉडल कोई स्थिर बिंदु नहीं है, बल्कि एक गतिशील लक्ष्य है जो आपके विशिष्ट हार्डवेयर बजट पर निर्भर करता है। सबसे कुशल मॉडल वह है जो आपके क्लस्टर में दस्ताने की तरह सटीक बैठता है, न कि वह जो कागज के एक टुकड़े पर सबसे अच्छा दिखता है। यह "कंप्यूट-ऑप्टिमल" (जो गणित कहता है) से "क्लस्टर-ऑप्टिमल" (जो हार्डवेयर वास्तव में प्रदान कर सकता है) की ओर एक बदलाव है।
संक्षेप में, यदि आप सबसे स्मार्ट AI बनाना चाहते हैं, तो आपको केवल एक बड़ा मस्तिष्क ही नहीं चाहिए; आपको एक ऐसा मस्तिष्क चाहिए जो उस शरीर में फिट बैठे जिसमें वह रहता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।