एक सुपर-इंटेलिजेंट कंप्यूटर के मस्तिष्क की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें। पुराने दिनों में, एक अकेले प्रश्न का उत्तर देने के लिए, कंप्यूटर एक लाइब्रेरियन को सुरक्षा के लिए एक-एक करके शेल्फ पर मौजूद हर किताब को पढ़ने के लिए भेजता था। यह धीमा था और बहुत सारी ऊर्जा बर्बाद करता था। फिर, इंजीनियरों ने एक स्मार्ट तरीका निकाला: एक "मिक्सचर ऑफ एक्सपर्ट्स" (Mixture of Experts)। एक अकेला लाइब्रेरियन सब कुछ पढ़ने के बजाय, उन्होंने हजारों विशेषज्ञों को काम पर रखा। जब खाना पकाने से जुड़ा कोई सवाल आता है, तो केवल "शेफ" लाइब्रेरियन अपनी किताब खोलता है; जब अंतरिक्ष के बारे में कोई सवाल आता है, तो केवल "खगोलशास्त्री" जागता है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) में मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) का मूल विचार है: यह AI मॉडल्स को अविश्वसनीय रूप से विशाल और स्मार्ट बनने देता है बिना हर एक शब्द को प्रोसेस करने के लिए हर एक गणना किए।

लेकिन यहाँ पेचीदा हिस्सा है: यदि आपके पास दस लाख विशेषज्ञ हैं, तो आप कैसे तय करेंगे कि किसे काम दिया जाए? यदि आप सभी "स्पेस" वाले प्रश्न खगोलशास्त्री को भेज देते हैं, तो वे अभिभूत हो जाएंगे और सब कुछ धीमा कर देंगे, जबकि "शेफ" खाली बैठा रहेगा। यह "रूटिंग" (routing) की समस्या है। यह एक विशाल संगीत कार्यक्रम का प्रबंधन करने जैसा है जहाँ आपको तुरंत निर्णय लेना होता है कि कौन सा संगीतकार कौन सा नोट बजाएगा, यह सुनिश्चित करते हुए कि कोई भी अभिभूत न हो, कोई बोर न हो, और संगीत पूरी तरह से प्रवाहित होता रहे। यदि आप रूटिंग में गलती करते हैं, तो पूरा सिस्टम रुक जाता है।

यह पेपर, जिसे अगस्त 2026 में जिगुओ ली द्वारा लिखा गया है, इस बात की गहरी पड़ताल करता है कि ये "एक्सपर्ट" सिस्टम समय के साथ कैसे विकसित हुए हैं। यह तर्क देता है कि MoE का इतिहास केवल साल दर साल रिलीज़ किए गए नए, बड़े मॉडल्स की सूची नहीं है। इसके बजाय, यह एक विशिष्ट ट्रैफिक जाम को एक के बाद एक हल करने की कहानी है। लेखक का सुझाव है कि यह क्षेत्र आठ प्रमुख "माइलस्टोन्स" (milestones) के माध्यम से आगे बढ़ा है, जो सरल सांख्यिकीय ट्रिक्स से जटिल, गतिशील प्रणालियों में बदल गया है जहाँ कंप्यूटर न केवल यह तय कर सकता है कि कौन मदद करेगा, बल्कि कितनी मदद की आवश्यकता है, और यहाँ तक कि वह मदद कंप्यूटर के हार्डवेयर में भौतिक रूप से कहाँ रहती है। पेपर पाता है कि भविष्य केवल अधिक विशेषज्ञों को जोड़ने के बारे में नहीं है, बल्कि "AI क्या सोचता है" के तर्क को "कंप्यूटर कैसे चलता है" की भौतिक वास्तविकता से अलग करने के बारे में है, जिससे स्मार्ट, तेज़ और अधिक कुशल AI बन सके जो ट्रैफिक में न फंसे।

आठ माइलस्टोन्स की कहानी

MoE के विकास को एक शहर की सार्वजनिक परिवहन प्रणाली के इतिहास की तरह समझें। इसकी शुरुआत एक एकल बस से हुई जो हर जगह रुकती थी, फिर यह एक ऐसी प्रणाली में बदली जहाँ आप टैक्सी बुला सकते थे, और अंततः यह ड्रोन और सबवे के एक हाइपर-एफिशिएंट, स्व-संगठित नेटवर्क में बदल गई। पेपर इस यात्रा को आठ अलग-अलग चरणों, या "माइलस्टोन्स" में विभाजित करता है, जहाँ प्रत्येक कदम ने एक बड़ी बाधा को हल किया लेकिन एक नई चुनौती भी पैदा की।

1. सांख्यिकीय श्रम विभाजन (पुरानी बस)
शुरुआती दिनों में, विचार सरल था: एक "गेट" रखें जो तय करे कि कौन सा "एक्सपर्ट" (मस्तिष्क का एक छोटा हिस्सा) कार्य को संभालेगा। लेकिन शुरुआत में, हर कोई थोड़ा बहुत मदद करता था। यह एक ऐसी बस की तरह था जहाँ हर यात्री को उतरने से पहले ही खड़ा होकर ड्राइवर को हाथ हिलाना पड़ता था, भले ही वे उतर नहीं रहे हों। यह एक सांख्यिकीय श्रम विभाजन था, लेकिन इसने कोई ऊर्जा नहीं बचाई। कंप्यूटर अभी भी सारा काम करता था; उसने बस इसे थोड़ा स्मार्ट तरीके से किया था।

2. "टॉप-के" स्विच (टैक्सी सेवा)
फिर एक बड़ी सफलता आई: स्पार्स कंडिशनल कंप्यूटेशन (Sparse Conditional Computation)। कल्पना करें कि एक स्विच है जो कहता है, "केवल शीर्ष 2 विशेषज्ञ काम करेंगे; बाकी 98 घर जा सकते हैं।" यह टॉप-के (Top-K) रूटिंग है। अचानक, कंप्यूटर के पास ज्ञान का एक विशाल पुस्तकालय (लाखों पैरामीटर्स) हो सकता था लेकिन वह प्रत्येक शब्द के लिए इसका केवल एक छोटा सा हिस्सा ही उपयोग करता था। यह "क्षमता लीवर" (capacity lever) था: आप मॉडल को धीमा किए बिना उसे स्मार्ट बना सकते थे। लेकिन, इसने एक नई समस्या पेश की: क्या होगा यदि "शेफ" को 1,000 ऑर्डर मिलते हैं और "खगोलशास्त्री" को एक भी नहीं? सिस्टम असंतुलित होने लगा।

3. क्लस्टर स्केल-अप (सबवे नेटवर्क)
जैसे-जैसे मॉडल्स हजारों कंप्यूटर चिप्स (GPUs) पर फिट होने के लिए बढ़े, समस्या डेटा को स्थानांतरित करने की हो गई। यदि "शेफ" चिप A पर रहता है और "खगोलशास्त्री" चिप B पर, तो आप सामग्री वहाँ कैसे पहुँचाएंगे? इस युग ने एक्सपर्ट पैरेललिज्म (Expert Parallelism) और ऑल-टू-ऑल (All-to-All) संचार पेश किया। यह एक विशाल सबवे नेटवर्क बनाने जैसा है जहाँ टोकन (शब्द) यात्री हैं, और उन्हें सही विशेषज्ञ तक पहुँचने के लिए ट्रेनों में सवार होना पड़ता है। चुनौती "कौन गणित करता है" से बदलकर "हम डेटा को कितनी तेज़ी से स्थानांतरित कर सकते हैं ताकि ट्रेन फँसे नहीं" पर आ गई।

4. ओपन-वेट एरा (सार्वजनिक परिवहन ऐप)
फिर, मिस्ट्रल (Mixtral) जैसे मॉडल्स ने दिखाया कि यह जटिल प्रणाली वास्तव में आम लोगों के लिए भी काम कर सकती है, न कि केवल बड़े लैब्स के लिए। उन्होंने साबित किया कि आप एक विशाल, मोटे-दानेदार (coarse-grained) MoE रख सकते थे जो सबके उपयोग के लिए खुला था। लेकिन, "एक्सपर्ट्स" अभी भी बहुत बड़े और अनाड़ी थे। वे बुनियादी चीजें (जैसे "हेलो" कहना) फिर से सीखने की प्रवृत्ति रखते थे, जो स्थान की बर्बादी थी।

5. फाइन-ग्रेन्ड और शेयर्ड एक्सपर्ट्स (विशेष कियोस्क)
इस अनाड़ीपन को ठीक करने के लिए, इंजीनियरों ने बड़े विशेषज्ञों को कई छोटे, फाइन-ग्रेन्ड विशेषज्ञों में विभाजित करना शुरू कर दिया। यह एक बड़े "जनरल स्टोर" को सैकड़ों छोटे कियोस्क में बदलने जैसा है: एक "मसालेदार भोजन" के लिए, एक "डेसर्ट" के लिए, एक "वीगन विकल्पों" के लिए। इसने बहुत अधिक सटीक रूटिंग की अनुमति दी। उन्होंने शेयर्ड एक्सपर्ट्स (Shared Experts) भी जोड़े—बुनियादी चीजों (जैसे व्याकरण) के लिए एक स्थायी मार्ग—ताकि रूटिंग सिस्टम को बुनियादी बातों पर निर्णय लेने में समय बर्बाद न करना पड़े। इसने सिस्टम को तेज़ और स्मार्ट बनाया, लेकिन इसने एक नया ट्रैफिक जाम पैदा किया: बहुत अधिक छोटे कियोस्क का मतलब था सबवे के लिए बहुत अधिक छोटी यात्राएं, जिससे चीजें धीमी हो गईं।

6. अल्ट्रा-स्पार्स स्केलिंग (दस लाख विशेषज्ञ लाइब्रेरी)
इसके बाद, शोधकर्ताओं ने पूछा: "क्या होगा यदि हमारे पास बहुत अधिक विशेषज्ञ हों, लेकिन और भी छोटे विशेषज्ञ हों?" किमी K2 (Kimi K2) और पीईआर (PEER) जैसे मॉडल्स ने सैकड़ों छोटे विशेषज्ञों (कभी-कभी दस लाख से अधिक!) का उपयोग करना शुरू किया। विचार यह था कि एक ऐसा कैंडिडेट पूल इतना बड़ा हो कि AI हर एक शब्द के लिए परफेक्ट विशेषज्ञ पा सके। लेकिन, पेपर एक पकड़ बताता है: यदि आपके पास बहुत अधिक विशेषज्ञ हैं, तो कंप्यूटर वास्तव में काम करने के बजाय यह देखने में अधिक समय बिताता है कि किसे बुलाना है (रिट्रीवल) और डेटा को स्थानांतरित करने में। "वेट I/O" (विशेषज्ञ के मस्तिष्क को लोड करना) नया बॉटलनेक बन गया।

7. डायनेमिक कंप्यूट (लचीला बजट)
अब तक, हर शब्द को समान मात्रा में मदद मिलती थी (जैसे, "टॉप-2" विशेषज्ञ)। लेकिन कुछ शब्द कठिन होते हैं (जैसे "क्वांटम फिजिक्स") और कुछ आसान (जैसे "द")। डायनेमिक कंप्यूट (Dynamic Compute) नियम बदल देता है: AI तय कर सकता है कि आसान शब्दों के लिए 1 विशेषज्ञ और कठिन शब्दों के लिए 4 विशेषज्ञ का उपयोग किया जाए। कुछ मॉडल्स "जीरो-कंप्यूट" स्लॉट्स का भी उपयोग करते हैं, जहाँ AI बस कहता है "मैं यह जानता हूँ, किसी को बुलाने की ज़रूरत नहीं है।" यह ऊर्जा बचाता है, लेकिन यह एक नया जोखिम पैदा करता है: यदि एक साथ कई कठिन शब्द आते हैं, तो सिस्टम अभिभूत हो सकता है, जिससे देरी (टेल लेटेंसी) हो सकती है।

8. लॉजिक को फिजिक्स से अलग करना (टेलीपोर्टेशन नेटवर्क)
अंतिम सीमा है सिमेंटिक रूटिंग जो फिजिकल एग्जीक्यूशन से अलग है (Semantic Routing Decoupled from Physical Execution)। वर्तमान में, यदि AI "खगोलशास्त्री" को बुलाने का निर्णय लेता है, तो डेटा को तुरंत खगोलशास्त्री की चिप तक भौतिक रूप से पहुँचना ही होगा। नए विचार (जैसे ScMoE या हेटरोजीनियस एक्सपर्ट्स) सुझाव देते हैं कि हम निर्णय को गति से अलग कर सकते हैं। शायद AI खगोलशास्त्री का उपयोग करने का निर्णय लेता है, लेकिन डेटा एक बफर में प्रतीक्षा करता है, या खगोलशास्त्री कार्य के आधार पर अलग आकार का होता है। यह एक टेलीपोर्टेशन नेटवर्क जैसा है जहाँ गंतव्य तार्किक रूप से तय किया जाता है, लेकिन भौतिक परिवहन को ट्रैफिक जाम से बचने के लिए अलग से अनुकूलित किया जाता है।

चार कंट्रोल प्लेन

पेपर इन सभी परिवर्तनों को चार "कंट्रोल प्लेन" में व्यवस्थित करता है, जो एक विशाल कंपनी में प्रबंधन के विभिन्न स्तरों की तरह हैं:

1. ऑब्जेक्ट लेयर (टोपोलॉजी): यह "ऑर्ग चार्ट" है। यह परिभाषित करता है कि विशेषज्ञ कौन हैं, वे कितने बड़े हैं, और क्या वे एक डेस्क साझा करते हैं। यह पूछता है: "क्या हमारे पास 8 बड़े विशेषज्ञ हैं या 128 छोटे?"
2. डिसीजन लेयर (रूटिंग): यह "डिस्पैचर" है। प्रत्येक शब्द के लिए, यह तय करता है: "मैं किसे बुलाऊं?" यह सर्वश्रेष्ठ विशेषज्ञ चुनने के लिए "टॉप-के" नियम का उपयोग करता है।
3. कंट्रोल लेयर (बैलेंस): यह "एचआर मैनेजर" है। यह इस बात पर नज़र रखता है कि कोई विशेषज्ञ 24/7 काम न करे जबकि दूसरे सो रहे हों। यदि "शेफ" ओवरलोड है, तो यह धीरे से सिस्टम को कुछ ऑर्डर "बेकर" को भेजने के लिए प्रेरित कर सकता है, विशेष गणितीय ट्रिक्स (जैसे ऑक्सिलरी-लॉस-फ्री बैलेंसिंग) का उपयोग करके, ताकि AI की लर्निंग को बाधित किए बिना ऐसा किया जा सके।
4. एग्जीक्यूशन लेयर (एक्सपर्ट पैरेललिज्म): यह "लॉजिस्टिक्स टीम" है। यह तय करता है कि डेटा को भौतिक चिप्स के माध्यम से कैसे स्थानांतरित किया जाए, ट्रैफ़िक को कैसे संभाला जाए, और यह सुनिश्चित किया जाए कि गणित तेज़ी से हो।

पेपर क्या खारिज करता है और क्या सुझाव देता है

लेखक इस बात को लेकर बहुत स्पष्ट है कि क्या चीज़ "जादुई समाधान" के रूप में काम नहीं करती है। वे इस विचार के विरुद्ध तर्क देते हैं कि सभी MoE मॉडल्स के लिए एक एकल "परफेक्ट" संरचना है। वे सुझाव देते हैं कि केवल अधिक विशेषज्ञ जोड़ना उत्तर नहीं है यदि सिस्टम डेटा को तेज़ी से स्थानांतरित नहीं कर सकता। वे यह भी बताते हैं कि सॉफ्ट MoE (जहाँ विशेषज्ञ एक को चुनना के बजाय निरंतर रूप से मिलते हैं) को आज के विशाल, वास्तविक दुनिया के सिस्टम पर प्रभावी रूप से काम करते हुए सिद्ध नहीं किया गया है, भले ही यह सिद्धांत में अच्छा लगता हो।

पेपर सुझाव देता है कि भविष्य डिकपलिंग (decoupling) में निहित है। हमें "स्मार्ट निर्णय" (किस विशेषज्ञ का उपयोग किया जाए) को "भौतिक वास्तविकता" (वह चिप जिस पर वह रहता है) से बांधना बंद करना होगा। वे प्रस्तावित करते हैं कि सर्वोत्तम सिस्टम डायनेमिक बजट (कठिनाई के आधार पर कितना काम किया जाए) और रनटाइम प्लेसमेंट (ट्रैफिक जाम से बचने के लिए कंप्यूटर के चलते समय विशेषज्ञों को इधर-उधर ले जाना) का उपयोग करेंगे।

हालाँकि, पेपर इस बात का दावा करने में सावधान है कि ये "हल" हो चुके प्रश्न हैं। उदाहरण के लिए, जबकि हेटरोजीनियस एक्सपर्ट्स (अलग-अलग आकार के विशेषज्ञ) सुनने में अच्छे लगते हैं, पेपर नोट करता है कि वे अभी भी "रिसर्च फ्रंटियर" चरण में हैं और ट्रिलियन-पैरामीटर मॉडल्स के विशाल पैमाने पर पूरी तरह से परीक्षण नहीं किए गए हैं। इसी तरह, क्रॉस-लेयर शेयरिंग (जहाँ लेयर 1 का एक विशेषज्ञ लेयर 100 की मदद करता है) एक अच्छा विचार है, लेकिन लेखक कहते हैं कि हमें और प्रमाण की आवश्यकता है कि क्या यह भ्रम पैदा किए बिना काम करता है।

निष्कर्ष

सरल शब्दों में, यह पेपर हमें बताता है कि AI को स्मार्ट बनाने की यात्रा केवल एक बड़ा मस्तिष्क बनाने के बारे में नहीं है। यह एक बेहतर ट्रैफिक सिस्टम बनाने के बारे में है। हम एक एकल बस से टैक्सी, सबवे और ड्रोन के एक जटिल नेटवर्क तक पहुँच गए हैं। अगला कदम केवल अधिक वाहन जोड़ना नहीं है; यह ट्रैफिक लाइट को स्मार्ट बनाना, सड़कों को लचीला बनाना और डिस्पैचर को रश ऑवर को बिना क्रैश हुए संभालने में सक्षम बनाना है। लेखक निष्कर्ष निकालते हैं कि "अगली पीढ़ी" का AI एक एकल नया मॉडल नहीं होगा, बल्कि स्मार्ट रूटिंग ट्रिक्स, डायनेमिक बजट और फिजिकल ऑप्टिमाइजेशन का एक संयोजन होगा जो एक साथ मिलकर काम करेंगे। यह हमें याद दिलाता है कि सुपर-इंटेलिजेंट कंप्यूटरों की दुनिया में, कभी-कभी सबसे कठिन काम सोचना नहीं—वहाँ पहुँचना होता है।