DeepFusion: Accelerating MoE Training via Federated Knowledge Distillation from Heterogeneous Edge Devices
डीपफ्यूजन (DeepFusion) एक नवीन फेडरेटेड लर्निंग फ्रेमवर्क है जो संसाधन-सीमित एज डिवाइसेस को कस्टम लोकल एलएलएम (LLM) प्रशिक्षित करने और एक नए व्यू-अलाइन्ड अटेंशन (View-Aligned Attention) मॉड्यूल के माध्यम से उनके विषम ज्ञान को एक ग्लोबल एमओई (MoE) मॉडल में डिस्टिल करने में सक्षम बनाकर मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) प्रशिक्षण को त्वरित करता है, जिससे आर्किटेक्चर बेमेल की समस्याओं को दूर किया जाता है और उच्च प्रदर्शन बनाए रखते हुए संचार लागत को काफी कम किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दुनिया का सबसे बुद्धिमान विश्वकोश (encyclopedia) बनाना चाहते हैं, लेकिन आपके पास अपनी लाइब्रेरी में पर्याप्त किताबें नहीं हैं। आप जानते हैं कि लाखों लोगों के पास उनके दिमाग में मूल्यवान ज्ञान है, लेकिन वे इसे साझा नहीं कर सकते क्योंकि उनका डेटा निजी है, और उनके फोन या स्मार्ट डिवाइस एक विशाल विश्वकोश को अपने आप चलाने के लिए बहुत कमजोर हैं।
यह समस्या DEEPFUSION हल करता है।
यहाँ इसका एक सरल विवरण दिया गया है कि यह कैसे काम करता है, कुछ रोजमर्रा के उदाहरणों का उपयोग करते हुए।
समस्या: "बहुत बड़ा होने का" संकट (The "Too Big to Fit" Dilemma)
आधुनिक AI मॉडल (जैसे जो चैटबॉट्स को शक्ति देते हैं) को विशाल, जटिल कारखानों के रूप में सोचें।
- MoE (Mixture of Experts) कारखाना: यह एक सुपर-स्मार्ट कारखाना है जिसमें सैकड़ों विशेषज्ञ कार्यबल (specialized workers) हैं। इस कारखाने को प्रशिक्षित करने के लिए, आपको इसे सब कुछ दिखाना होगा—मेडिकल रिकॉर्ड, वित्तीय रिपोर्ट, कानूनी दस्तावेज़, आदि।
- एज डिवाइसेस (Edge Devices): ये आपके स्मार्टफोन, स्मार्ट फ्रिज और कारें हैं। ये छोटे, आरामदायक घरेलू वर्कशॉप की तरह हैं।
- टकराव: आप चाहते हैं कि घरेलू वर्कशॉप उस विशाल कारखाने को प्रशिक्षित करने में मदद करें। लेकिन कारखाना इतना विशाल है कि वह एक छोटे से वर्कशॉप में समा ही नहीं सकता। यदि आप उस कारखाने को जबरदस्ती एक छोटे वर्कशॉप में डालने की कोशिश करते हैं, तो वर्कशॉप ढह जाता है (मेमोरी खत्म हो जाती है)।
पारंपरिक तरीकों ने कारखाने को इतना छोटा करने की कोशिश की कि वह वर्कशॉप में फिट हो सके, लेकिन "सिकुड़ा हुआ" संस्करण भी कई उपकरणों के लिए बहुत भारी था।
समाधान: DEEPFUSION
DEEPFUSION नियमों को बदल देता है। छोटे वर्कशॉप को विशाल कारखाना बनाने के लिए मजबूर करने के बजाय, यह उन्हें अपने स्वयं के विशिष्ट उपकरण (specialized tools) बनाने देता है और फिर विशाल कारखाने को सिखाता है कि उनका उपयोग कैसे किया जाए।
यहाँ चरण-दर-चरण प्रक्रिया दी गई है:
1. "विशिष्ट उपकरण" चरण (स्थानीय प्रशिक्षण - Local Training)
हर एज डिवाइस (फोन, कार, आदि) अलग होता है। कुछ शक्तिशाली होते हैं; कुछ कमजोर।
- क्या होता है: सबको एक ही चीज़ बनाने के लिए मजबूर करने के बजाय, प्रत्येक डिवाइस अपने आकार और जरूरतों के अनुसार एक कस्टम टूल (custom tool) बनाता है।
- एक शक्तिशाली फोन थोड़ा बड़ा टूल बना सकता है।
- एक कमजोर स्मार्ट स्पीकर एक छोटा, कुशल टूल बना सकता है।
- लाभ: वे इन टूल्स को अपने निजी डेटा (जैसे आपका व्यक्तिगत मेडिकल इतिहास या आपके स्थानीय बैंक लेनदेन) का उपयोग करके प्रशिक्षित करते हैं। कोई भी डेटा डिवाइस से बाहर नहीं जाता। डिवाइस बस अपने विशिष्ट क्षेत्र में विशेषज्ञ बनने की सीखता है।
2. "समूहीकरण" चरण (Clustering)
एक बार जब डिवाइस प्रशिक्षण पूरा कर लेते हैं, तो वे अपने टूल्स को एक केंद्रीय "मास्टर बिल्डर" (सर्वर) के पास भेजते हैं।
- समस्या: मास्टर बिल्डर के पास हजारों टूल्स हैं। कुछ चिकित्सा के लिए हैं, कुछ वित्त के लिए, कुछ खाना पकाने के लिए। यह एक अव्यवस्था है।
- समाधान: मास्टर बिल्डर इन टूल्स को उनके ज्ञान के आधार पर बाल्टियों (buckets) में छाँटता है। सभी "मेडिकल टूल्स" एक बाल्टी में जाते हैं, सभी "फाइनेंस टूल्स" दूसरी बाल्टी में।
- "प्रॉक्सि" (Proxy): प्रत्येक बाल्टी के अंदर, मास्टर बिल्डर उस समूह के सर्वोत्तम ज्ञान का प्रतिनिधित्व करने के लिए टूल्स को आपस में मिला देता है और एक सुपर-टूल (Super-Tool) बनाता है।
3. "परिप्रेक्ष्य परिवर्तन" (असली जादू: VAA)
यह सबसे चतुर हिस्सा है।
- विसंगति (The Mismatch): "सुपर-टूल्स" (शिक्षक) सरल, संक्षिप्त तरीके से सोचते हैं क्योंकि उन्हें छोटे उपकरणों के लिए बनाया गया था। "विशाल कारखाना" (छात्र) एक जटिल, विशाल तरीके से सोचता है। यदि आप विशाल कारखाने को सीधे सुपर-टूल के निर्देशों से सिखाने की कोशिश करते हैं, तो कारखाना भ्रमित हो जाता है। यह वैसा ही है जैसे किसी पीएचडी छात्र को किंडरगार्टन की किताब से पढ़ाने की कोशिश करना; अवधारणाएं सही हैं, लेकिन उन्हें समझाने का तरीका बहुत सरल है।
- समाधान (View-Aligned Attention - VAA): शोधकर्ताओं ने एक विशेष अनुवादक बनाया जिसे VAA कहा जाता है।
- कल्पना करें कि सुपर-टूल एक आवर्धक लेंस (magnifying glass) के माध्यम से एक पहेली को देख रहा है (बारीकियों पर ध्यान केंद्रित करना)।
- विशाल कारखाना उसी पहेली को ऊंचाई से देख रहा है (पूरी तस्वीर देखना)।
- VAA अनुवादक उस "आवर्धक लेंस वाले दृश्य" को लेता है और विशाल कारखाने को सिखाता है कि उन छोटी बारीकियों को ऐसे कैसे देखा जाए जैसे कि वह भी उस लेंस के माध्यम चाहिए। यह उनके "परिप्रेक्ष्य" को संरेखित करता है ताकि कारखाना वास्तव में टूल से सीख सके।
4. "ग्रैंड फ्यूजन" (वैश्विक मॉडल - Global Model)
एक बार जब विशाल कारखाना सभी सुपर-टूल्स से सीख लेता है, तो यह अंतिम विशेषज्ञ बन जाता है।
- अब इसके पास एक "मेडिकल एक्सपर्ट" है जो बीमारियों के बारे में सब कुछ जानता है (हजारों फोन से सीखा गया)।
- इसके पास एक "फाइनेंस एक्सपर्ट" है जो बाजारों के बारे में सब कुछ जानता है (हजारों बैंकिंग ऐप्स से सीखा गया)।
- यह सारा ज्ञान एक विशाल, गोपनीयता-सुरक्षित मॉडल में संयोजित हो जाता है।
यह एक बड़ी बात क्यों है?
- निजता सर्वोपरि: आपका डेटा आपके डिवाइस को कभी नहीं छोड़ता है। डिवाइस केवल "ज्ञान" (मॉडल के वेट्स/weights) भेजता है, न कि आपकी वास्तविक तस्वीरें या संदेश।
- समावेशिता: आपको भाग लेने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है। यहाँ तक कि एक कमजोर, पुराने डिवाइस भी योगदान दे सकता है क्योंकि उसे केवल एक छोटा, कस्टम टूल चलाना होता है।
- दक्षता: यह इंटरनेट ट्रैफिक की भारी मात्रा को बचाता है। कई बार बड़े मॉडल अपडेट को वापस और आगे भेजने के बजाय, डिवाइस एक बार प्रशिक्षित होते हैं, अपना टूल ऊपर भेजते हैं, और मास्टर बिल्डर भारी काम करता है।
- बेहतर परिणाम: क्योंकि यह कई अलग-अलग प्रकार के उपकरणों (heterogeneous) से ज्ञान एकत्र करता है, अंतिम मॉडल अधिक स्मार्ट और अधिक बहुमुखी होता है यदि इसे केवल एक प्रकार के कंप्यूटर पर प्रशिक्षित किया गया होता।
संक्षेप में: DEEPFUSION एक वैश्विक पॉटलक (potluck) आयोजित करने जैसा है जहाँ हर कोई अपने स्वयं के किचन में बनाई गई डिश लाता है (अपने स्वयं के अवयवों का उपयोग करके)। सभी के किचन को एक विशाल कमरे में फिट करने के बजाय, आप उन्हें घर पर खाना पकाने देते हैं, डिश को एक केंद्रीय हॉल में लाते हैं, और फिर एक मास्टर शेफ उन सभी रेसिपी को मिलाकर दुनिया का सबसे बेहतरीन मेनू तैयार करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।