🤖 machine learning

Systematic Exploration of 4-Expert Heterogeneous Mixture-of-Experts via Automated Pipeline Search

यह शोध पत्र LEMUR डेटासेट के भीतर विषम 4-एक्सपर्ट मिक्स्चर-ऑफ-एक्सपर्ट आर्किटेक्चर की खोज के लिए एक स्वचालित पाइपलाइन प्रस्तुत करता है, जो एक महत्वपूर्ण वर्णमाला क्रम संबंधी पूर्वाग्रह (alphabetical enumeration bias) को प्रकट करता है जिसने खोज स्थान को AirNet-केंद्रित संयोजनों तक सीमित कर दिया था, जबकि उच्च-सटीकता वाले एन्सेम्बल्स के लिए ShuffleNet और MobileNetV3 को इष्टतम भागीदारों के रूप में पहचाना।

मूल लेखक: Yashkumar R Lukhi, Harsh Rameshbhai Moradiya, Radu Timofte, Dmitry Ignatov

प्रकाशित 2026-06-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yashkumar R Lukhi, Harsh Rameshbhai Moradiya, Radu Timofte, Dmitry Ignatov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक परम "सुपर-सूप" बनाने की कोशिश कर रहे हैं। आपके पास एक पेंट्री (LEMUR डेटासेट) है जिसमें 24 अलग-अलग प्रकार के पहले से बने हुए शोरबे (जैसे चिकन, बीफ, वेजिटेबल, आदि) हैं। आपका लक्ष्य इन 29 शोरबों में से ठीक चार को आपस में मिलाना है ताकि यह देखा जा सके कि कौन सा संयोजन सबसे अच्छा स्वाद देता है।

यह पेपर एक रोबोट शेफ के बारे में बताता है जिसने इसे स्वचालित रूप से करने की कोशिश की, लेकिन एक मज़ेदार गलती हुई जिसने परिणामों को बदल दिया। यहाँ बताया गया है कि क्या हुआ, जिसे सरल रूप में तोड़कर समझाया गया है।

1. लक्ष्य: एक "सुपर-सूप" बनाना

AI की दुनिया में, एक Mixture-of-Experts (MoE) विशेषज्ञों की एक टीम की तरह है। एक विशाल मस्तिष्क द्वारा समस्या को हल करने के बजाय, आपके पास चार छोटे, अलग-अलग मस्तिष्क हैं जो मिलकर काम करते हैं।

कार्य: रोबोट को 29 विकल्पों वाली पेंट्री में से 4 अलग-अलग AI "मस्तिष्क" (आर्किटेक्चर) चुनने और उन्हें एक टीम में मिलाने की आवश्यकता थी।
गणित: 29 में से 4 मस्तिष्क चुनने के 23,751 संभावित तरीके हैं। सूप के इतने सारे रेसिपी टेस्ट करना!

2. रोबोट शेफ की रसोई

शोधकर्ताओं ने इस काम को बिना मानवीय सहायता के करने के लिए एक स्वचालित रसोई (एक पाइपलाइन) बनाई।

जेनेरेटर: एक रोबोट स्क्रिप्ट जो नए सूप रेसिपी के लिए कोड लिखती है। यह केवल अनुमान नहीं लगाती; यह कोड को लेगो सेट की तरह सावधानीपूर्वक जोड़ती है।
सुरक्षा जांच: पकाने से पहले, रोबोट रेसिपी की तीन बार जांच करता है:
1. क्या व्याकरण सही है? (सिंटैक्स चेक)
2. क्या बर्तन चूल्हे पर फिट बैठता है? (CPU टेस्ट यह देखने के लिए कि आकार काम करता है या नहीं)
3. क्या हमने यह सूप पहले बनाया है? (डुप्लिकेट की जाँच करना)
खाना बनाना: यदि रेसिपी पास हो जाती है, तो यह केवल एक दिन (एक ट्रेनिंग इपोक) के लिए एक बहुत शक्तिशाली चूल्हे (NVIDIA RTX 4090 ग्राफिक्स कार्ड) पर पकती है। लक्ष्य एक आदर्श सूप बनाना नहीं था, बल्कि सबसे उम्मीदवार संयोजनों को तेज़ी से खोजना था।

3. बड़ी गलती: "वर्णानुक्रम" (Alphabetical) का जाल

रोबोट शेफ को सभी 23,751 संयोजनों को आज़माना था। हालाँकि, इसने अपने सामग्री चुनने के तरीके में एक गंभीर त्रुटि की।

रोबोट को वर्णानुक्रम (alphabetical order) में संयोजन चुनने के लिए कहा गया था।

कल्पना कीजिए कि आपकी पेंट्री वर्णानुक्रम में व्यवस्थित है। सबसे पहला आइटम है "AirNet।"
रोबोट ने रेसिपी चुनना शुरू किया। उसने हर उस संयोजन को चुना जिसमें "AirNet" शामिल था।
क्योंकि "AirNet" को तीन अन्य सामग्रियों के साथ मिलाने के बहुत सारे तरीके हैं, रोबोट ने अपना सारा समय "AirNet" वाले सूप बनाने में बिता दिया।
परिणाम: 28 दिनों तक खाना बनाने के बाद, रोबोट ने 1,146 रेसिपी आजमा ली थीं। लेकिन क्या आप जानते हैं? उनमें से हर एक में "AirNet" शामिल था।
इसने कभी भी ऐसा सूप नहीं बनाया जिसमें "AirNet" न हो। इसने कुल संभावित रेसिपी में से केवल 4.8% का ही पता लगाया। यह एक ऐसे शेफ की तरह था जो केवल "चिकन-आधारित" सूप बनाता रहता है और कभी "बीफ-आधारित" सूप नहीं आज़माता, सिर्फ इसलिए क्योंकि सूची में "चिकन" पहले आता है।

4. उन्होंने क्या पाया ( "AirNet" ज़ोन के अंदर)

भले ही उन्होंने केवल "AirNet" सूप देखे, फिर भी उन्हें कुछ दिलचस्प चीजें मिलीं:

सबसे अच्छी सामग्रियां: जब "AirNet" को ShuffleNet या MobileNetV3 के साथ मिलाया गया, तो सूप का स्वाद सबसे अच्छा था (उच्चतम सटीकता)। ये दो "गुप्त मसाले" थे जिन्होंने टीम को अच्छी तरह से काम करने में मदद की।
खराब सामग्रियां:
- FractalNet: यह सामग्री आपदा थी। यह इतनी जटिल थी कि इसने बार-बार चूल्हा तोड़ दिया (मेमोरी खत्म हो गई)। यह एक "डेड एंड" (बंद रास्ता) था।
- MNASNet: इस सामग्री ने चूल्हा तो नहीं तोड़ा, लेकिन सूप का स्वाद बहुत खराब था। यह एक "कम उपज" वाली सामग्री थी जिसने टीम का प्रदर्शन खराब कर दिया।
विजेता: सबसे अच्छा सूप जो मिला वह था AirNet + AlexNet + DPN68 + ResNet का मिश्रण। इसने केवल एक दिन में मानक परीक्षण (CIFAR-10) पर 68% का स्कोर प्राप्त किया।

5. सीखा गया सबक

शोधकर्ताओं ने महसूस किया कि उनका रोबोट पक्षपाती था क्योंकि वह बहुत व्यवस्थित था।

सुधार: सूची को वर्णानुक्रम में चुनने के बजाय, उन्हें शुरू करने से पहले सूची को रैंडमली (यादृच्छिक रूप से) शफल करना चाहिए था। इस तरह, "AirNet" केवल लगभग 14% रेसिपी में दिखाई देता (जो कि निष्पक्ष है), और उन्हें सभी संभावित संयोजनों का वास्तविक स्वाद मिलता।

सारांश

उन्होंने क्या किया: सबसे अच्छी टीम खोजने के लिए 4 अलग-अलग AI मॉडल को स्वचालित रूप से मिलाने के लिए एक रोबोट बनाया।
क्या गलत हुआ: रोबोट एक "वर्णानुक्रम लूप" में फंस गया, जिससे वह केवल एक विशिष्ट मॉडल (AirNet) वाला संयोजन ही टेस्ट कर सका, जिससे 95% संभावनाएं छूट गईं।
उन्होंने क्या सीखा: इस गलती के बावजूद, उन्होंने पाया कि ShuffleNet और MobileNetV3 AI टीमों के लिए बेहतरीन साथी हैं, जबकि FractalNet और MNASNet बुरे साथी हैं।
सीख: सर्वोत्तम संयोजन खोजने के लिए, क्रम में न चलें; इसे रैंडमली मिक्स करें ताकि बेहतरीन विकल्पों को मिस करने से बचा जा सके।

इस "वर्णानुक्रम जाल" के लिए कोड और सुधार दूसरों के उपयोग के लिए जारी कर दिया गया है, ताकि भविष्य के रोबोट शेफ ऐसी गलती न करें।

तकनीकी सारांश: स्वचालित पाइपलाइन खोज के माध्यम से 4-एक्सपर्ट हेटेरोजेनियस मिक्सचर-ऑफ-एक्सपर्ट्स का व्यवस्थित अन्वेषण

समस्या विवरण
यह शोध पत्र हेटेरोजेनियस मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेटेक्चर के विशाल कॉम्बिनेटोरियल स्पेस को खोजने की चुनौती को संबोधित करता है। विशेष रूप से, यह LEMUR न्यूरल नेटवर्क डेटासेट का उपयोग करके 4-एक्सपर्ट MoE (MoE4) एन्सेम्बल्स के निर्माण को लक्षित करता है, जिसमें 29 विशिष्ट बेस आर्किटेक्चर परिवार शामिल हैं। 29 में से 4 अद्वितीय परिवारों को चुनने के लिए सैद्धांतिक खोज स्थान $\binom{29}{4} = 23,751$ संभावित संयोजन है। LEMUR इकोसिस्टम के पिछले कार्यों में केवल कुछ ही कॉन्फ़िगरेशन को मैन्युअल रूप से डिज़ाइन किया गया था, जिससे इस स्थान का अधिकांश हिस्सा अनछुआ रह गया। लेखक बिना LLM (Large Language Models) पर निर्भर हुए उच्च प्रदर्शन वाले हेटेरोजेनियस एन्सेम्बल्स की खोज को स्वचालित करने का लक्ष्य रखते हैं, क्योंकि पूर्व में 2-एक्सपर्ट परिदृश्यों में LLM का उपयोग सीमित सफलता दिखाता रहा है।

कार्यप्रणाली (Methodology)
लेखकों ने NNGPT फ्रेमवर्क पर निर्मित एक पूर्णतः स्वचालित, 28-दिवसीय खोज पाइपलाइन विकसित की है, जो चार क्रमिक चरणों से बनी है:

एक्सपर्ट पूल निर्माण: सिस्टम CIFAR-10 पर प्रशिक्षित 29 स्थापित बेस आर्किटेक्चर परिवारों को प्राप्त करने के लिए LEMUR डेटाबेस को क्वेरी करता है। यह स्पष्ट और विशिष्ट आर्किटेक्चर परिवारों का एक शुद्ध पूल सुनिश्चित करने के लिए LLM-जनरेटेड म्यूटेशन, मौजूदा MoE मॉडल्स और लोअरकेस-प्रीफिक्स्ड जनरेटेड मॉडल्स को फ़िल्टर कर देता है।
डिटरमिनिस्टिक कोड असेंबली: एक जनरेटर स्क्रिप्ट (AlterHeteroMoE4.py) उम्मीदवार MoE4 मॉडल्स को प्रोग्रामेटिक रूप से असेंबल करती है। यह चार चयनित परिवारों के सोर्स कोड को प्राप्त करती है, क्लास के टकराव (collisions) से बचने के लिए उन्हें पुन: नाम देती है, इम्पोर्ट्स को मर्ज करती है, और एक रैपर टेम्पलेट को इंस्टेंटिएट करती है। यह आर्किटेक्चर इनपुट को रूट करने के लिए एक HeterogeneousGate (एक टेम्परेचर स्केलिंग वाला कनवोल्यूशनल गेटिंग नेटवर्क) का उपयोग करता है। आउटपुट एक्सपर्ट लॉजिट्स का एक भारित योग (weighted sum) है: $y = \sum_{i=1}^{4} g_i(x) \cdot f_i(x)$ । ट्रेनिंग के लिए AdamW, mixup ऑग्मेंटेशन ( $\alpha=0.2$ ), लेबल स्मूथिंग और कोसाइन-एनियल्ड लर्निंग रेट्स का उपयोग किया जाता है।
बहु-चरणीय सत्यापन (Multi-Stage Validation): GPU मूल्यांकन से पहले, उम्मीदवारों को तीन फिल्टरों से गुजरना पड़ता है:
- सिंटैक्स चेक: पायथन का compile() कोड की शुद्धता की पुष्टि करता है।
- CPU फॉरवर्ड-पास प्रोब: डाइमेंशन मिसमैच का पता लगाने के लिए (जो सिंटैक्स चेक से छूट जाते हैं) CPU पर एक डमी बैच (2, 3, 256, 256) पास किया जाता है।
- डेटाबेस डीडुप्लिकेशन: एक MD5 चेकसम यह सुनिश्चित करता है कि कोई भी डुप्लिकेट मॉडल मूल्यांकित न हो।
अभियान स्वचालन (Campaign Automation): एक फॉल्ट-टॉलरेंट ऑर्केस्ट्रेटर (CampaignMoE4.py) 197 बैचों पर जनरेट-इवैल्यूएट लूप को प्रबंधित करता है। यह JSON फाइलों के माध्यम से स्टेट को सुरक्षित रखता है, जिससे व्यवधानों के बाद SSH-सुरक्षित पुनरारंभ (resumption) संभव होता है, और इसका लक्ष्य 1,000 सफल मूल्यांकन करना है।

प्रमुख योगदान
यह पत्र तीन प्राथमिक इंजीनियरिंग योगदान प्रस्तुत करता है:

डिटरमिनिस्टिक कोड-असेंबली जनरेटर: एक टूल जो सिद्ध गेटिंग और ट्रेनिंग कॉन्फ़िगरेशन का पुन: उपयोग करते हुए, LLM कॉल की आवश्यकता के बिना, सिंटैक्स रूप से वैध और फॉरवर्ड-पास-वेरिफाइड MoE4 मॉडल्स को व्यवस्थित रूप से जोड़ता है।
बहु-चरणीय सत्यापन पाइपलाइन: एक प्री-GPU फ़िल्टरिंग सिस्टम जो सिंटैक्स त्रुटियों, रेजोल्यूशन-डिपेंडेंट डाइमेंशन मिसमैच और डुप्लिकेट्स को पकड़कर गणना संसाधनों की बर्बादी को काफी कम कर देता है।
फॉल्ट-टॉलरेंट अभियान स्वचालन: एक मजबूत ऑर्केस्ट्रेशन सिस्टम जो पर्सिस्टेंट स्टेट मैनेजमेंट के साथ अनअटेंडेड, लंबे समय तक चलने वाले (28-दिवसीय) निष्पादन को सक्षम बनाता है।

परिणाम
अभियान NVIDIA RTX 4090 पर 28 दिनों तक चला, जिसमें 4,463 उम्मीदवार मॉडल जनरेट किए गए और 1,021 मॉडल्स का सफलतापूर्वक मूल्यांकन किया गया।

कवरेज बायस (Coverage Bias): एक महत्वपूर्ण पोस्ट-कैंपेन विश्लेषण ने गंभीर कवरेज बायस का खुलासा किया। सॉर्ट की गई लिस्ट पर itertools.combinations के उपयोग के कारण, जनरेटर लेक्सिकोग्राफिक क्रम में संयोजनों को सूचीबद्ध करता है। चूंकि "AirNet" वर्णानुक्रम में सबसे पहले आता है, इसलिए जनरेटर ने अगले परिवार पर जाने से पहले AirNet वाले सभी $\binom{28}{3} = 3,276$ संयोजनों को समाप्त कर दिया। अभियान 1,146 संयोजनों पर रुक गया, जिसका अर्थ है कि 100% खोजा गया स्थान AirNet पर केंद्रित था, जो सैद्धांतिक खोज स्थान के केवल 4.8% को कवर करता है।
प्रदर्शन मेट्रिक्स: AirNet-केंद्रित दायरे के भीतर, सर्वश्रेष्ठ मॉडल (AirNet + AlexNet + DPN68 + ResNet) ने एकल ट्रेनिंग इपोच में CIFAR-10 पर 68.0% Top-1 सटीकता प्राप्त की। सफल मॉडल्स की औसत सटीकता 0.5221 थी।
फैमिली-लेवल विश्लेषण:
- उच्च-उपज वाले परिवार (High-Yield Families): ShuffleNet (औसत सटीकता: 0.632) और MobileNetV3 (औसत सटीकता: 0.621) ने लगातार उच्चतम-सटीकता वाले एन्सेमबल्स और >96% सफलता दर के साथ सह-उत्पादन किया।
- निम्न-उपज वाले परिवार (Low-Yield Families): FractalNet की सफलता दर केवल 0.7% थी, जिसका मुख्य कारण बार-बार होने वाली OOM (Out-of-Memory) त्रुटियां और शेप मिसमैच थे। MNASNet ने लगातार एन्सेम्बल की गुणवत्ता को कम किया (औसत सटीकता: 0.218)।
विफलता विश्लेषण: 99.7% विफलताएं CUDA OOM त्रुटियों के कारण हुईं, जो मुख्य रूप से 256×256 रेजोल्यूशन पर चार पूर्ण नेटवर्क को संयोजित करने की मेमोरी मांगों के कारण थीं।

महत्व और दावे
यह पत्र दावा करता है कि हेटेरोजेनियस एक्सपर्ट्स का स्वचालित संयोजन बिना मैनुअल ट्यूनिंग के प्रतिस्पर्धी उम्मीदवार बना सकता है, जैसा कि एकल इपोच में प्राप्त 68.0% सटीकता से प्रमाणित होता है। हालांकि, लेखक विशिष्ट सटीकता रैंकिंग की सामान्यीकरण क्षमता के बारे में विनम्र हैं, यह नोट करते हुए कि वे AirNet की उपस्थिति के कारण सशर्त हैं।

प्राथमिक वैज्ञानिक योगदान एक कवरेज ब्लाइंड स्पॉट की पहचान करना है जो थ्रूपुट-आधारित स्टॉप कंडीशंस के साथ उपयोग किए जाने वाले बड़े पैमाने के कॉम्बिनेटोरियल सर्च में निहित है। लेखक भविष्य के रन में इस बायस को खत्म करने के लिए एक सरल समाधान—संयोजन सूची का स्ट्रैटिफाइड रैंडम शफलिंग—का प्रस्ताव करते हैं। वे विशिष्ट आर्किटेक्चर परिवारों (FractalNet, MNASNet) की भी पहचान करते हैं जिन्हें भविष्य के अभियानों में दक्षता और गुणवत्ता में सुधार के लिए एक्सपर्ट पूल से बाहर रखा जाना चाहिए। पाइपलाइन, विश्लेषण आर्टिफैक्ट्स और सुधारा गया जनरेटर ओपन-सोर्स के रूप में जारी किया गया है।