🤖 machine learning

A theoretical model for task routing in mixture-of-expert transformers

यह शोध पत्र विविक्त भाषा निरूपणों (discrete language representations) का उपयोग करते हुए एक सैद्धांतिक मॉडल प्रस्तुत करता है ताकि यह औपचारिक रूप से सिद्ध किया जा सके कि सिंगल-लेयर मिक्सचर-ऑफ-एक्सपर्ट्स ट्रांसफॉर्मर, विशिष्ट कार्यों की अंतर्निहित जटिलता के अनुसार अद्वितीय विशेषज्ञों तक क्वेरीज़ को रूट करके कार्य-विशेषज्ञता (task-expert specialization) प्राप्त कर सकते हैं, जिससे स्थानीयकृत ज्ञान सर्किट (localized knowledge circuits) के अनुभवजन्य अवलोकनों के लिए एक सैद्धांतिक आधार प्राप्त होता है।

मूल लेखक: Yongli Xiang, Vinoth Nandakumar, Yunzhi Yao, Peike Li, Tongliang Liu

प्रकाशित 2026-06-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yongli Xiang, Vinoth Nandakumar, Yunzhi Yao, Peike Li, Tongliang Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक विशाल पुस्तकालय की कल्पना करें जहाँ हर किताब विशेषज्ञों की एक अलग टीम द्वारा लिखी गई है। एक मानक पुस्तकालय (एक नियमित AI मॉडल) में, यदि आप कोई प्रश्न पूछते हैं, तो हजारों लोगों की एक विशाल टीम उस किताब को पढ़ने और मिलकर उत्तर देने के लिए दौड़ पड़ती है। यह शोर भरा, महंगा और धीमा है क्योंकि हर कोई एक ही समय में सब कुछ करने की कोशिश कर रहा है।

अब, एक Mixture-of-Experts (MoE) पुस्तकालय की कल्पना करें। यहाँ, एक विशाल टीम के बजाय, कई छोटी, विशिष्ट टीमें (विशेषज्ञ) हैं। जब आप कोई प्रश्न पूछते हैं, तो एक बुद्धिमान लाइब्रेरियन (router) आपके प्रश्न को तुरंत उस विशिष्ट टीम के पास भेज देता है जो उसका उत्तर जानती है। बाकी पुस्तकालय शांत रहता है। यह प्रक्रिया को बहुत तेज़ और सस्ता बनाता है।

लंबे समय तक, हमें पता था कि यह "विशेषज्ञ टीम" वाला विचार व्यवहार में काम करता है, लेकिन हमारे पास एक गणितीय नियम पुस्तिका नहीं थी जो यह समझा सके कि यह भाषा के लिए इतना अच्छा क्यों काम करता है। यह शोध पत्र वह नियम पुस्तिका प्रदान करता है।

यहाँ इस शोध पत्र की कहानी है, जिसे सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: हम इस जादू को कैसे समझाएं?

वैज्ञानिकों ने देखा है कि इन AI मॉडलों में, विभिन्न "विशेषज्ञ" स्वाभाविक रूप से विभिन्न प्रकार के कार्यों (जैसे एक विशेषज्ञ भूगोल संभालता है, दूसरा इतिहास) को संभालने के लिए सीख जाते हैं। हालाँकि, पिछले गणितीय सिद्धांतों ने भाषा को डेटा के एक सुचारू, निरंतर बादल (जैसे रंगों को मिलाना) के रूप में माना। लेकिन मानव भाषा पेंट की तरह नहीं है; यह LEGO ब्लॉक्स की तरह है। इसकी अपनी सख्त संरचनाएँ (वाक्य) और विशिष्ट तथ्य (नाम, स्थान) होते हैं। पुराना गणित यह नहीं समझा सका कि AI इन LEGO ब्लॉक्स को सही विशेषज्ञ के बॉक्स में कैसे छाँटता है।

2. समाधान: एक "टेम्पलेट और डिक्शनरी" प्रणाली

लेखकों ने अपने सिद्धांत का परीक्षण करने के लिए भाषा का एक सरलीकृत मॉडल बनाया। उन्होंने भाषा की कल्पना दो चीजों के रूप में की:

टेम्पलेट्स (कंकाल/ढांचा): ये खाली स्थानों वाले वाक्य की संरचनाएँ हैं। उदाहरण के लिए: "____ ____ में है।"
डिक्शनरी (तथ्य): ये खाली स्थानों को भरने के लिए विशिष्ट उत्तरों की सूचियाँ हैं। उदाहरण के लिए: पेरिस फ्रांस में है; मैड्रिड स्पेन में है।

उन्होंने पूछा: क्या हम एक सैद्धांतिक AI बना सकते हैं जो "पेरिस फ्रांस में है" वाक्य को विशेष रूप से भूगोल के बारे में जानने वाले विशेषज्ञ के पास भेजेगा, और "हिंदी भारत में बोली जाती है" को भाषाओं के बारे में जानने वाले दूसरे विशेषज्ञ के पास भेजेगा?

3. बड़ी खोज: "एक-परत" (One-Layer) प्रमाण

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि हाँ, एक एकल-परत वाला AI इसे पूरी तरह से कर सकता है।

यहाँ उनका सैद्धांतिक मशीन कैसे काम करता है:

अटेंशन मैकेनिज्म (स्कैनर): सबसे पहले, AI वाक्य को स्कैन करता है। यह संरचना (टेम्पलेट "____ है में ____") को तथ्यों (शब्द "पेरिस" और "फ्रांस") से अलग करता है।
रूटर (ट्रैफिक पुलिस): अभी-अभी स्कैन की गई संरचना के आधार पर, रूटर जानता है कि किस "विशेषज्ञ" की आवश्यकता है। उसे पूरी डिक्शनरी पढ़ने की आवश्यकता नहीं है; वह बस वाक्य के पैटर्न को देखता है।
विशेषज्ञ (विशेषज्ञ): प्रत्येक विशेषज्ञ एक छोटा, समर्पित मस्तिष्क है।
- "भूगोल विशेषज्ञ" का आकार शहरों और देशों की सूची को रखने के लिए बिल्कुल सटीक है।
- "भाषा विशेषज्ञ" का आकार भाषाओं और देशों की सूची को रखने के लिए बिल्कुल सटीक है।
- महत्वपूर्ण बिंदु: विशेषज्ञ का आकार केवल उसके विशिष्ट कार्य की जटिलता के अनुसार बढ़ता है। यह अन्य कार्यों के बारे में बेकार की जानकारी लेकर नहीं घूमता।

4. प्रयोग: क्या यह वास्तव में काम करता है?

इस सिद्धांत का परीक्षण करने के लिए कि क्या यह वास्तविक दुनिया में (भले ही सरलीकृत हो) काम करता है, शोधकर्ताओं ने वास्तविक दुनिया के तथ्यों (जैसे "फ्रांस की राजधानी पेरिस है") का उपयोग करके एक कृत्रिम डेटासेट बनाया और एक छोटे AI मॉडल को प्रशिक्षित किया।

उन्होंने AI को प्रशिक्षित करने के तीन अलग-अलग तरीके आजमाए:

बस "सही होना": AI अगले शब्द की भविष्यवाणी करने की कोशिश करता है।
"सही होना + भार साझा करना": AI अगले शब्द की भविष्यवाणी करने की कोशिश करता है, लेकिन ट्रेनर AI को सभी विशेषज्ञों का समान रूप से उपयोग करने के लिए मजबूर करता है (ताकि कोई भी विशेषज्ञ बहुत अधिक थके नहीं)।
"सही होना + अपना काम जानना": AI को स्पष्ट रूप से बताया जाता है, "जब आप भूगोल का वाक्य देखें, तो उसे विशेषज्ञ #1 के पास भेजें।"

परिणाम:

जब उन्होंने केवल AI को "भार साझा करने" के लिए कहा, तो विशेषज्ञ भ्रमित हो गए। उन सभी ने सब कुछ करने की कोशिश की, और रूटिंग अव्यवस्थित रही।
जब उन्होंने स्पष्ट रूप से AI को "अपना काम जानने" (टास्क रूटिंग) के लिए कहा, तो विशेषज्ञ सच्चे विशेषज्ञ बन गए। एक विशेषज्ञ ने भूगोल संभाला, दूसरे ने इतिहास, और वे शायद ही कभी अपने कामों में गड़बड़ी करते थे।
सबसे अच्छी बात: AI विशेष रूटिंग के साथ उतना ही सटीक (या थोड़ा बेहतर भी) था, जिससे यह सिद्ध हुआ कि आपको एक विशिष्ट कार्य के लिए विशाल मस्तिष्क की आवश्यकता नहीं है; एक विशेष, छोटा मस्तिष्क भी ठीक से काम करता है।

सारांश

यह शोध पत्र एक विशेषज्ञ कारखाने के ब्लूप्रिंट की तरह है। यह गणितीय रूप से सिद्ध करता है कि यदि आप AI को कार्य के प्रकार (टेम्पलेट) को पहचानने का एक स्पष्ट तरीका देते हैं, तो वह स्वाभाविक रूप से उस कार्य को एक समर्पित, छोटे कार्यकर्ता (विशेषज्ञ) के पास भेज सकता है जो उस काम के लिए बिल्कुल उपयुक्त आकार का है।

यही कारण है कि आधुनिक AI मॉडल स्मार्ट और तेज़ हो रहे हैं: वे केवल बड़े नहीं हो रहे हैं; वे अपने काम को व्यवस्थित करने, प्रत्येक विशिष्ट कार्य को सही विशेषज्ञ के पास भेजने और ऊर्जा बचाने के लिए कारखाने के बाकी हिस्से को खाली छोड़ने में बेहतर हो रहे हैं।

तकनीकी सारांश: Mixture-of-Experts ट्रांसफॉर्मर में टास्क रूटिंग के लिए एक सैद्धांतिक मॉडल

समस्या विवरण

फ्रंटियर Mixture-of-Experts (MoE) ट्रांसफॉर्मर मॉडल्स के अनुभवजन्य अध्ययनों (empirical studies) में यह देखा गया है कि "टास्क-एक्सपर्ट स्पेशलाइजेशन" (task-expert specialization) होता है—जहाँ विशिष्ट एक्सपर्ट्स सूक्ष्म से सूक्ष्म सिमेंटिक कार्यों को संभालने के लिए सीख जाते हैं—परंतु मौजूदा सैद्धांतिक ढांचे इस घटना की प्राकृतिक भाषा के संदर्भ में कठोरता से व्याख्या करने में विफल रहते हैं। वर्तमान सैद्धांतिक विश्लेषण निरंतर डेटा वितरणों (जैसे Gaussian mixture models) और केवल फीडफॉरवर्ड आर्किटेक्चर पर निर्भर हैं। ये ढांचे प्राकृतिक भाषा की विविक्त (discrete), अनुक्रमिक प्रकृति (जैसे n-gram टेम्पलेट्स) को प्रभावी ढंग से मॉडल नहीं कर सकते और न ही आधुनिक ट्रांसफॉर्मर्स के अभिन्न अंग मल्टी-हेड अटेंशन मैकेनिज्म को ध्यान में रख सकते हैं। फलस्वरूप, इस बात की एक कठोर सैद्धांतिक नींव का अभाव है कि कैसे MoE ट्रांसफॉर्मर्स विविक्त संरचित ज्ञान (discrete structured knowledge) को प्रोसेस और स्टोर करने के लिए अटेंशन और स्पार्स रूटिंग का उपयोग करते हैं।

कार्यप्रणाली (Methodology)

इन कमियों को दूर करने के लिए, लेखक संरचित ज्ञान के एक सरलीकृत विविक्त मॉडल पर आधारित एक सैद्धांतिक ढांचे का प्रस्ताव करते हैं। कार्यप्रणाली में तीन मुख्य घटक शामिल हैं:

विविक्त ज्ञान मॉडल (Discrete Knowledge Model): लेखक ज्ञान कार्यों को सिंटैक्टिक टेम्पलेट्स (वाइल्डकार्ड प्रतीकों $\star_1, \star_2$ वाले स्ट्रिंग्स) और परिमित की-वैल्यू डिक्शनरीज़ (विषय-वस्तु संबंध) का उपयोग करके परिभाषित करते हैं। एक ज्ञान कार्य को टेम्पलेट्स के एक सेट और एक संबंधित डिक्शनरी द्वारा परिभाषित किया जाता है। एक कार्य की जटिलता को इसके सिंटैक्टिक पैटर्न और तथ्यात्मक डिक्शनरी के संयुक्त आकार के रूप में मापा जाता है।
सैद्धांतिक निर्माण (Theoretical Construction): शोध पत्र टास्क रूटिंग की क्षमता प्रदर्शित करने के लिए एक सिंगल-लेयर MoE ट्रांसफॉर्मर मॉडल का निर्माण करता है।
- अटेंशन मैकेनिज्म: मल्टी-हेड अटेंशन लेयर को संरचनात्मक जानकारी को तथ्यात्मक सामग्री से अलग करने के लिए डिज़ाइन किया गया है। एक अटेंशन हेड टेम्पलेट संरचना को एनकोड करता है (जो विशिष्ट विषय से स्वतंत्र है), जबकि दूसरा विशिष्ट विषय (की/key) को एनकोड करता है।
- स्पार्स रूटिंग (Sparse Routing): एक गेटिंग मैकेनिज्म अटेंशन मैकेनिज्म द्वारा पहचाने गए टेम्पलेट स्ट्रक्चर के आधार पर इनपुट सीक्वेंस को एक विशिष्ट एक्सपर्ट तक रूट करता है।
- एक्सपर्ट स्पेशलाइजेशन: प्रत्येक एक्सपर्ट को अपने संबंधित ज्ञान डिक्शनरी पर एसोसिएटिव रिट्रीवल (associative retrieval) करने के लिए बनाया गया है। यह सिद्ध किया गया है कि प्रत्येक एक्सपर्ट का आकार उसके सौंपे गए कार्य की अंतर्निहित जटिलता (टेम्पलेट लंबाई + डिक्शनरी आकार) के साथ सख्ती से स्केल करता है।
अनुभवजन्य सत्यापन (Empirical Validation): सैद्धांतिक निष्कर्षों का समर्थन WikiData5M से प्राप्त एक सिंथेटिक डेटासेट पर प्रयोगों द्वारा किया गया है। लेखक तीन अलग-अलग उद्देश्यों के तहत एक-लेयर MoE ट्रांसफॉर्मर को प्रशिक्षित करते हैं: केवल क्रॉस-एन्ट्रॉपी (CE) लॉस, CE के साथ लोड बैलेंसिंग लॉस, और CE के साथ एक स्पष्ट टास्क राउटर लॉस (जो रूटिंग टोकन्स को उनके विशिष्ट कार्य से जुड़े एक्सपर्ट तक पहुँचाने को लागू करता है)।

प्रमुख योगदान

यह शोध पत्र निम्नलिखित विशिष्ट योगदान देता है:

विविक्त भाषा के लिए सैद्धांतिक ढांचा: यह सिंटैक्टिक टेम्पलेट्स और परिमित की-वैल्यू डिक्शनरीज़ पर आधारित MoE ट्रांसफॉर्मर्स में स्पार्स रूटिंग के लिए एक ढांचा पेश करता है, जो निरंतर सैद्धांतिक मॉडलों और विविक्त प्राकृतिक भाषा संरचनाओं के बीच के अंतर को पाटता है।
टास्क-एक्सपर्ट स्पेशलाइजेशन का औपचारिक प्रमाण: लेखक सिद्ध करते हैं (प्रमेय 4.2) कि एक सिंगल-लेयर MoE ट्रांसफॉर्मर प्रतीकात्मक ज्ञान को बिना किसी उलझाव (entanglement) के विशिष्ट, कार्य-विशिष्ट एक्सपर्ट्स में स्पष्ट रूप से विभाजित कर सकता है। महत्वपूर्ण रूप से, यह निर्माण दर्शाता है कि एक एक्सपर्ट के लिए आवश्यक क्षमता उसके सौंपे गए कार्य की जटिलता के साथ योगात्मक (additively) रूप से स्केल करती है।
डिसेंटैंगलमेंट (Disentanglement) का तंत्र: यह कार्य सैद्धांतिक रूप से स्थापित करता है कि अटेंशन ब्लॉक्स टेम्पलेट संरचनाओं को तथ्यात्मक विषयों से अलग कर सकते हैं, जिससे रिलेशनल स्ट्रक्चर के आधार पर रूटिंग संभव होती है जबकि स्पार्स एक्सपर्ट्स कार्य-विशिष्ट एसोसिएटिव रिट्रीवल करते हैं।
रूटिंग एलाइनमेंट का अनुभवजन्य साक्ष्य: प्रयोग दर्शाते हैं कि जबकि मानक उद्देश्य (CE या CE + Load Balancing) विसरित (diffuse) रूटिंग पैटर्न का परिणाम देते हैं, एक स्पष्ट टास्क-अवेयर रूटिंग उद्देश्य काफी स्पष्ट टास्क-एक्सपर्ट एलाइनमेंट उत्पन्न करता है, जहाँ प्रत्येक कार्य मुख्य रूप से एक विशिष्ट एक्सपर्ट की ओर रूट किया जाता है।

परिणाम

सैद्धांतिक परिणाम: शोध पत्र स्थापित करता है कि एक सिंगल-लेयर MoE ट्रांसफॉर्मर परिभाषित ज्ञान डेटासेट के किसी भी कार्य के लिए वैध अगले टोकन की भविष्यवाणी करने में $\epsilon$ से कम त्रुटि दर प्राप्त कर सकता है। मॉडल यह उपलब्धि तब प्राप्त करता है जब वह इनपुट को उन एक्सपर्ट्स की ओर रूट करता जिनका आकार $L|T(k)| + N$ (जहाँ $L$ अधिकतम टेम्पलेट लंबाई है, $|T(k)|$ टेम्पलेट्स की संख्या है, और $N$ डिक्शनरी का आकार है) द्वारा सीमित है।
प्रायोगिक परिणाम:
- रूटिंग व्यवहार: रूटिंग डिस्ट्रीब्यूशन का विज़ुअलाइज़ेशन (चित्र 2) प्रकट करता है कि टास्क राउटर लॉस के साथ प्रशिक्षित मॉडल कार्यों और एक्सपर्ट्स के बीच लगभग पूर्ण एक-से-एक मैपिंग प्रदर्शित करते हैं, जबकि CE या Load Balancing लॉस के साथ प्रशिक्षित मॉडल विसरित, गैर-विशेषज्ञ रूटिंग दिखाते हैं।
- प्रदर्शन: कार्यों और एक्सपर्ट्स की बदलती संख्या के बावजूद, टास्क-आधारित रूटिंग के साथ प्रशिक्षित मॉडल मानक उद्देश्यों के साथ प्रशिक्षित मॉडलों के समान, और कुछ मामलों में थोड़ा उच्च सटीकता प्राप्त करते हैं। यह सुझाव देता है कि विशिष्ट कार्य-रूटिंग को लागू करने से भविष्य कहने वाला प्रदर्शन (predictive performance) कम नहीं होता है और यह सक्रिय पैरामीटर काउंट को कम करने में मदद कर सकता है।

महत्व और दावे

यह शोध पत्र MoE मॉडल्स में लोकलाइज्ड नॉलेज सर्किट्स के अनुभवजन्य अवलोकन के लिए एक कठोर सैद्धांतिक आधार प्रदान करने का दावा करता है। यह सिद्ध करके कि MoE ट्रांसफॉर्मर्स स्पार्स सर्किट्स का उपयोग करके ज्ञान को संरचनात्मक रूप से मॉड्यूलराइज कर सकते हैं जिनका आकार केवल कार्य की जटिलता पर निर्भर करता है, यह कार्य व्याख्या योग्य (interpretable) आर्किटेक्चर डिजाइन करने के लिए एक गणितीय ब्लूप्रिंट प्रदान करता है।

लेखक दावा करते हैं कि उनका निर्माण इस परिकल्पना का समर्थन करता है कि टास्क-एक्सपर्ट स्पेशलाइजेशन विविक्त भाषा संरचनाओं को संभालने के लिए एक स्वाभाविक और सैद्धांतिक रूप से सुदृढ़ तंत्र है। वे सुझाव देते हैं कि स्पष्ट टास्क रूटिंग प्रदर्शन बनाए रखते हुए सक्रिय पैरामीटर काउंट को कम करके इन्फरेंस-टाइम स्पीडअप (inference-time speedups) की ओर ले जा सकती है। हालाँकि, लेखक अपने निष्कर्षों के दायरे के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि उनका वर्तमान सैद्धांतिक मॉडल सिंगल-लेयर ट्रांसफॉर्मर और सरलीकृत विविक्त डेटा तक सीमित है, और इन परिणामों को गहरे, पदानुक्रमित (hierarchical) भाषा मॉडलों तक विस्तारित करना भविष्य के कार्य के लिए एक खुला विषय है।