FedWeave: Rethinking the Unit of Specialization in Heterogeneous Federated MoE-LoRA

एक ऐसी दुनिया की कल्पना करें जहाँ हज़ारों लोग एक सुपर-स्मार्ट रोबोट को बोलना, लिखना और समस्याओं को हल करना सिखाना चाहते हैं, लेकिन वे अपनी निजी नोटबुक साझा नहीं कर सकते। यही फेडरेटेड लर्निंग (Federated Learning) का सार है: एक ऐसा तरीका जिससे कंप्यूटर बिना किसी केंद्रीय बॉस को अपना व्यक्तिगत डेटा भेजे मिलकर सीख सकते हैं। आमतौर पर, यह तब बहुत अच्छा काम करता है जब हर कोई एक ही चीज़ सीख रहा हो, जैसे कि बिल्लियों को पहचानना। लेकिन क्या होगा अगर एक व्यक्ति रोबोट को गणित सिखा रहा है, दूसरा कविता, और तीसरा यह कि इंजन कैसे ठीक किया जाए? इसे टास्क हेटेरोजेनिटी (task heterogeneity) कहा जाता है। यदि आप इन सभी अलग-अलग पाठों को एक बड़े बर्तन में मिला देते हैं, तो रोबोट भ्रमित हो जाएगा, गणित के सूत्रों को कविताओं के साथ मिला देगा।

इसे ठीक करने के लिए, वैज्ञानिक LoRA (Low-Rank Adaptation) नामक एक तरकीब का उपयोग करते हैं, जो रोबोट को अपने पूरे मस्तिष्क को फिर से लिखे बिना नए कौशल सीखने के लिए छोटे, हटाने योग्य "नोटबुक" देने जैसा है। वे मिक्सचर ऑफ एक्सपर्ट्स (Mixture of Experts - MoE) का भी उपयोग करते हैं, जो विशेषज्ञों की एक टीम की तरह है जहाँ एक "राउटर" तय करता है कि किस प्रश्न के लिए किस विशेषज्ञ को बुलाना है। हालाँकि, समूह सेटिंग में इसे करने का पुराना तरीका एक कमरे में मौजूद हर व्यक्ति को एक विशेषज्ञ सौंपने जैसा था। यदि एक व्यक्ति गणित और कविता दोनों सीखने की कोशिश कर रहा था, तो उसका एकल विशेषज्ञ एक उलझा हुआ, भ्रमित अपडेट प्राप्त करेगा, और राउटर को पता नहीं चलेगा कि किसे विश्वास करना है।

यहाँ FedWeave आता है, एक नई विधि जो इस तरह से पुनर्विचार करती है कि हम इन सीखने वाली टीमों को कैसे व्यवस्थित करते हैं। विशेषज्ञों को पूरे लोगों को सौंपने के बजाय, FedWeave प्रत्येक व्यक्ति की नोटबुक के अंदर झाँकता है ताकि समान प्रश्नों के छोटे, शुद्ध समूहों को ढूँढा जा सके। फिर यह उन विशिष्ट समूहों को एक विशेषज्ञ सौंपता है, जबकि एक एकल, स्मार्ट "राउटर" को बनाए रखता है जिसने सब कुछ देखा है। परिणाम? एक रोबोट जो तेज़ी से सीखता है, कम गलतियाँ करता है, और जानता है कि कब किस विशेषज्ञ को बुलाना है, भले ही सभी छात्र एक ही समय में बहुत अलग-अलग चीजें सीखने की कोशिश कर रहे हों।

समस्या: भ्रमित कक्षा

एक ऐसी कक्षा की कल्पना करें जहाँ हर छात्र अलग-अलग विषय सीखने की कोशिश कर रहा है। कुछ इतिहास पढ़ रहे हैं, कुछ कैलकुलस कर रहे हैं, और कुछ बेकिंग सीख रहे हैं। पुराने फेडरेटेड लर्निंग सेटअप में, शिक्षक प्रत्येक छात्र को एक "ट्यूटर" (शिक्षक) सौंपता है। लेकिन यहाँ एक पेंच है: छात्र A कैलकुलस और बेकिंग दोनों सीखने की कोशिश कर रहा है। जब छात्र A अपना होमवर्क ट्यूटर को भेजता है, तो ट्यूटर को गणित के समीकरणों और कुकी रेसिपी का एक उलझा हुआ मिश्रण मिलता है। ट्यूटर भ्रमित हो जाता है, और बेकिंग के नियमों को गणित की समस्याओं पर लागू करने की कोशिश करता है। इस बीच, छात्र B भी कैलकुलस सीख रहा है, लेकिन क्योंकि वह एक अलग व्यक्ति है, उसका ट्यूटर छात्र A की गणित की समस्याओं की तुलना करने के लिए कभी नहीं देख पाता। ट्यूटर अलग-थलग (silos में) काम करते हैं, और "राउटर" (वह व्यक्ति जो तय करता है कि किस ट्यूटर का उपयोग करना है) को एक अस्त-व्यस्त संकेत मिलता है क्योंकि वह केवल छात्र को एक संपूर्ण इकाई के रूप रूप में देखता है, न कि उनके द्वारा किए जा रहे विशिष्ट कार्यों के रूप में।

शोधकर्ताओं ने महसूस किया कि समस्या केवल बहुत अधिक छात्रों की नहीं थी; बल्कि यह इस बारे में थी कि वे पाठों को कैसे समूहित (group) कर रहे थे। उन्होंने पाया कि विशेषज्ञों (experts) को शुद्धता (purity) की आवश्यकता होती है। उन्हें वास्तव में गणित में कुशल होने के लिए केवल गणित की समस्याओं को देखने की आवश्यकता है, या बेकिंग में महारत हासिल करने के लिए केवल बेकिंग रेसिपी को देखने की आवश्यकता है। यदि वे एक मिश्रण देखते हैं, तो वे अपने विशेष कौशल खो देते हैं। लेकिन राउटर (router) को विपरीतता (contrast) की आवश्यकता होती है। यह जानने के लिए कि गणित के ट्यूटर को कब बुलाना है और बेकर को कब बुलाना है, राउटर को सब कुछ देखने की आवश्यकता है। उसे गणित की समस्या की तुलना बेकिंग की समस्या से करने की आवश्यकता है ताकि अंतर सीखा जा सके।

पुराने तरीकों ने इन दोनों को एक ही समूहीकरण के साथ एक साथ करने की कोशिश की, जो एक बिल्ली और एक कुत्ते को एक ही कटोरे में खाना खिलाने और यह उम्मीद करने जैसा है कि दोनों खुश रहेंगे। यह काम नहीं करता है।

समाधान: FedWeave का विषम नृत्य (Asymmetric Dance)

FedWeave इसे दो अलग-अलग ट्रैक में विभाजित करके हल करता है, जिसे लेखक असिमेट्रिक एग्रीगेशन (asymmetric aggregation) कहते हैं। इसे एक हाई-टेक लाइब्रेरी सिस्टम की तरह समझें।

1. "बकेट" की खोज (शुद्ध समूहों को खोजना)
सबसे पहले, प्रत्येक छात्र (क्लाइंट) अपने स्वयं के बिखरे हुए होमवर्क के ढेर को देखता है। बिना शिक्षक से विषय पूछे, वे अपने कागजों को इस आधार पर "बकेट" (बाल्टियों) में समूहबद्ध करने के लिए एक स्मार्ट सॉर्टिंग टूल का उपयोग करते हैं कि वे कितने समान दिखते हैं। एक बकेट गणित की समस्याओं से भरा हो सकता है, दूसरा कविता से, और तीसरा बेकिंग निर्देशों से। यह स्थानीय स्तर पर होता है, इसलिए छात्र की मेज से कोई भी निजी डेटा बाहर नहीं जाता है।

2. विशेषज्ञ असाइनमेंट (विशेषज्ञों के लिए शुद्धता)
एक बार बकेट बन जाने के बाद, छात्र प्रत्येक बकेट का एक छोटा "हस्ताक्षर" (signature) केंद्रीय सर्वर को भेजते हैं। सर्वर इन हस्ताक्षरों को देखता है और विभिन्न छात्रों से समान बकेट को मिलाता है। छात्र A, छात्र B और छात्र C के सभी "गणित के बकेट" को एक साथ रखा जाता है। फिर इस वैश्विक गणित समूह को एक एकल विशेषज्ञ (Expert) सौंपा जाता है। यह विशेषज्ञ केवल सभी लोगों से गणित की समस्याएं देखता है, जिससे उनका प्रशिक्षण शुद्ध और केंद्रित रहता है। उन्हें गणित की कक्षा में कुकी रेसिपी कभी नहीं मिलती।

3. ग्लोबल राउटर (निर्णय लेने के लिए विपरीतता)
यही चतुर हिस्सा है। जबकि विशेषज्ञों को शुद्ध गणित या शुद्ध कविता पर प्रशिक्षित किया जा रहा है, राउटर (Router) को अलग तरह से प्रशिक्षित किया जाता है। यह बकेट को अलग-अलग नहीं देखता है। इसके बजाय, यह छात्र की पूरी यात्रा को देखता है। यह देखता है कि छात्र A गणित कर रहा है, फिर कविता में बदलता है, फिर वापस गणित पर आता है। पूरी प्रक्रिया को देखकर, राउटर विपरीतता (contrast) सीखता है। वह सीखता है, "आह, जब होमवर्क ऐसा दिखता है, तो मुझे गणित विशेषज्ञ को बुलाना चाहिए। जब वह वैसा दिखता है, तो मुझे कवि को बुलाना चाहिए।" राउटर वैश्विक रहता है और सब कुछ देखता है, इसलिए वह सही चुनाव करने में माहिर बन जाता है।

4. इन्फरेंस (अंतिम परीक्षा)
जब रोबोट को वास्तव में किसी प्रश्न का उत्तर देना होता है, तो FedWeave "स्पार्स इन्फरेंस" (sparse inference) मोड का उपयोग करता है। सभी विशेषज्ञों को बुलाने और उनके उत्तरों को मिलाने के बजाय (जो धीमा और भारी है), राउटर केवल एक विशेषज्ञ को चुनता है—उस विशिष्ट प्रश्न के लिए सबसे अच्छा मिलान—और केवल उसे सक्रिय करता है। यह केवल गणित के सवाल के लिए गणित के ट्यूटर को बुलाने जैसा है, बेकर को पूरी तरह से अनदेखा करते हुए। यह सिस्टम को अविश्वसनीय रूप से तेज़ और कुशल बनाता है।

उन्होंने क्या पाया

शोधकर्ताओं ने चार बहुत अलग कार्यों वाले एक बेंचमार्क पर इस विचार का परीक्षण किया: टेक्स्ट एडिटिंग, गणित की वर्ड प्रॉब्लम्स हल करना, ट्वीट सेंटिमेंट का विश्लेषण करना और रीजनिंग चुनौतियों का उत्तर देना। उन्होंने दो लोकप्रिय लार्ज लैंग्वेज मॉडल्स (Llama3.2-3B और Gemma-2-2B) का उपयोग किया और 20 छात्रों के एक नेटवर्क का अनुकरण किया जिनके सीखने के अलग-अलग तरीके थे।

परिणाम स्पष्ट थे: FedWeave ने मौजूदा सर्वोत्तम तरीकों को पीछे छोड़ दिया।

• Llama मॉडल पर, इसने समग्र स्कोर को 0.5673 से बढ़ाकर 0.5872 कर दिया।
• Gemma मॉडल पर, यह 0.4839 से बढ़कर 0.5163 हो गया।
• इसने त्रुटि दर (loss) को भी काफी कम कर दिया, Llama मॉडल पर 0.7496 से गिरकर 0.7264 हो गया।

महत्वपूर्ण रूप से, अध्ययन ने दिखाया कि यह सुधार केवल इसलिए नहीं था क्योंकि उनके पास अधिक विशेषज्ञ थे। जब उन्होंने पुराने "क्लाइंट-लेवल" समूहीकरण (जहाँ एक विशेषज्ञ पूरे मिश्रित होमवर्क को संभालता है) को लागू करने की कोशिश की, तो प्रदर्शन गिर गया। जब उन्होंने राउटर को हर बकेट के लिए छोटे टुकड़ों में विभाजित करने की कोशिश की, तो राउटर भ्रमित हो गया और अच्छे निर्णय नहीं ले सका। केवल असिमेट्रिक दृष्टिकोण—विशेषज्ञों के लिए शुद्ध बकेट, राउटर के लिए मिश्रित बकेट—ही काम कर सका।

उन्होंने यह भी पाया कि "स्पार्स इन्फरेंस" मोड (केवल एक विशेषज्ञ को सक्रिय करना) लगभग "सॉफ्ट राउटिंग" मोड (सभी विशेषज्ञों को मिलाने) के समान ही अच्छा था, लेकिन यह बहुत तेज़ था। उनके परीक्षणों में, केवल एक विशेषज्ञ का उपयोग करने से उत्तर उत्पन्न करने में लगने वाला समय 3177 मिलीसेकंड से घटकर 2147 मिलीसेकंड हो गया, जो गुणवत्ता में लगभग कोई कमी नहीं आए बिना, 32.4% की गति वृद्धि है।

निष्कर्ष

FedWeave हमें सिखाता है कि मिश्रित डेटा की दुनिया में, एक आकार सबके लिए उपयुक्त नहीं होता। आप एक "छात्र" को एक एकल इकाई के रूप में नहीं मान सकते यदि वे कई चीजें सीख रहे हैं। शुद्धता (विशेषज्ञों के लिए) और विपरीतता (राउटर के लिए) की आवश्यकता को अलग करके, और उन्हें अलग तरह से व्यवहार करके, हम स्मार्ट, तेज़ और अधिक सहयोगात्मक AI सिस्टम बना सकते हैं। यह एक याद दिलाता है कि कभी-कभी, जटिल समस्या को हल करने का सबसे अच्छा तरीका यह है कि सब कुछ एक ही तरीके से करने की कोशिश करना बंद करें और अलग-अलग धागों को एक स्मार्ट पैटर्न में बुनना शुरू करें।