🤖 machine learning

Federated Lightweight Fine-Tuning

यह शोध पत्र FLITE को प्रस्तुत करता है, जो एक फेडरेटेड लर्निंग फ्रेमवर्क है जो छोटे, साझा एफ़ाइन लेटेंट वेक्टर्स और एक लो-रैंक डेल्टा फॉर्मूलेशन से मॉडल वेट्स जेनरेट करके बैंडविड्थ में भारी कमी (8,718x तक) प्राप्त करता है, जिससे प्रति क्लाइंट प्रति राउंड केवल ~5 KB संचार के साथ उच्च-सटीक फाइन-ट्यूनिंग सक्षम होती है।

मूल लेखक: Radhakrishna Achanta, Will Reed

प्रकाशित 2026-07-22

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Radhakrishna Achanta, Will Reed

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ऐसी दुनिया की कल्पना करें जहाँ हज़ारों कंप्यूटर, जिनमें से प्रत्येक एक अलग घर में बैठा है, एक साथ एक नया कौशल सीखना चाहते हैं, लेकिन वे कभी भी अपना निजी होमवर्क अपने शिक्षक को नहीं दिखाना चाहते। यही फेडरेटेड लर्निंग (Federated Learning) का मूल है। सारा डेटा एक विशाल पुस्तकालय में इकट्ठा करने के बजाय (जो धीमा और जोखिम भरा है), शिक्षक हर घर में एक "मस्तिष्क" (एक मशीन लर्निंग मॉडल) भेजता है। कंप्यूटर अपने स्वयं के डेटा का उपयोग करके स्थानीय रूप से सीखते हैं, मस्तिष्क में किए गए केवल बदलावों को वापस भेजते हैं, और शिक्षक एक स्मार्ट संस्करण बनाने के लिए उन सभी को मिला देता है। समस्या क्या है? उन बदलावों को भेजना एक 50 पाउंड के विश्वकोश को भेजने जैसा है, जब आप हर एक नया शब्द सीखते हैं। यह बहुत भारी है, बहुत धीमा है, और इंटरनेट जाम कर देता है।

इसे ठीक करने के लिए, वैज्ञानिक आमतौर पर विश्वकोश को छोटा करने की कोशिश करते हैं, जैसे कि पन्ने फाड़कर या सारांश बनाकर, लेकिन किताब फिर भी बहुत बड़ी रहती है। यह नया शोध पत्र, जिसका शीर्षक "फेडरेटेड लाइटवेट फाइन-ट्यूनिंग" है, एक अलग सवाल पूछता है: क्या होगा अगर, पूरे भारी विश्वकोश को भेजने के बजाय, हम बस एक छोटा सा, जादुई निर्देश कार्ड भेजें जो शिक्षक को उस किताब को पूरी तरह से फिर से बनाने का तरीका बताए? लेखक, रेडकृष्ण अचनांत और विल रीड (सिस्को सिस्टम्स से), ने एक प्रणाली बनाई है जिसे FLITE (फेडरेटेड लो-रैंक इटरेटिव ट्रेनिंग इंजन) कहा जाता है, जो बिल्कुल यही करता है। उन्होंने संदेश भेजने का एक ऐसा तरीका खोजा है जो इतना छोटा है कि एक पोस्टकार्ड में समा जाए, फिर भी यह कंप्यूटरों को ठीक उसी तरह सीखने की अनुमति देता है जैसे कि उन्होंने पूरा भारी विश्वकोश भेजा हो।

समस्या: भारी बैकपैक

पुराने तरीके (जिसे FedAvg कहा जाता है) में, हर बार जब एक कंप्यूटर कुछ नया सीखता है, तो उसे अपने ज्ञान का पूरा "बैकपैक" वापस भेजना पड़ता है। एक आधुनिक AI मॉडल के लिए, इस बैकपैक का वजन लगभग 45 मेगाबाइट होता है। यदि 8 कंप्यूटर एक साथ सीख रहे हैं, तो यह बहुत सारा डेटा इधर-उधर उड़ रहा है। भले ही आप बैकपैक को कंप्रेस (जैसे कि उसे सूटकेस में दबाना) करने की कोशिश करें, वह फिर भी भारी रहता है। पेपर का तर्क है कि हम बैकपैक को हल्का बनाने की कोशिश कर रहे थे, जबकि हमें वास्तव में यह बदलना चाहिए था कि हम क्या भेज रहे हैं।

समाधान: जादुई निर्देश कार्ड

लेखकों ने महसूस किया कि यदि आपके पास पहले से ही एक बहुत ही स्मार्ट, प्री-ट्रेंड AI (आधार मॉडल) है, तो आपको इसे फिर से भेजने की आवश्यकता नहीं है। आपको केवल छोटा अंतर भेजने की आवश्यकता है—उस विशिष्ट सुधार की आवश्यकता जो उस स्मार्ट AI को एक नए कार्य के अनुकूल बनाने के लिए चाहिए।

इसे ऐसे सोचें: कल्पना करें कि आपके और आपके दोस्तों के पास अपने लिविंग रूम में बिल्कुल एक जैसा, उच्च गुणवत्ता वाला लेगो (Lego) किला बना हुआ है। अब, आप सभी अपने किलों में एक नया, अनूठा टॉवर जोड़ना चाहते हैं। अपने पूरे किले को (जो बहुत बड़ा है) शिक्षक को वापस भेजने के बजाय, आप बस एक छोटा सा, 5 किलोबाइट का नोट भेजते हैं जिसमें लिखा है, "यहाँ एक लाल टॉवर जोड़ें।" शिक्षक उन सभी छोटे नोट्स को प्राप्त करता है, उन्हें मिलाता है, और एक अपडेटेड निर्देश वापस भेजता है। फिर प्रत्येक मित्र उस निर्देश को अपने स्वयं के किले पर लागू करता है। क्योंकि हर कोई एक ही आधार किले से शुरू करता है, इसलिए छोटे नोट्स पूरे चीज़ को पूरी तरह से फिर से बनाने के लिए पर्याप्त हैं।

FLITE इसे कैसे काम करता है

पेपर "मैपिंग नेटवर्क" का उपयोग करके एक चतुर ट्रिक पेश करता है। वेट्स (वे नंबर जो AI को काम करने में मदद करते हैं) भेजने के बजाय, कंप्यूटर एक छोटा "लेटेंट" वेक्टर भेजते हैं—संख्याओं की एक छोटी सूची, जैसे कि एक गुप्त कोड।

गुप्त कोड: कंप्यूटर केवल 1,280 नंबरों (लगभग 5 KB डेटा) की एक सूची भेजता है।
जादुई डिकोडर: कंप्यूटर और शिक्षक दोनों के पास एक ही "डिकोडर" (एक स्थिर गणितीय मानचित्र) होता है जो उन 1,280 नंबरों को AI के लिए आवश्यक पूर्ण परिवर्तनों में बदल देता है।
परिणाम: शिक्षक सभी कंप्यूटरों के छोटे कोड को मिलाता है, और परिणाम गणितीय रूप से भारी बैकपैक को मिलाने के समान ही होता है।

आश्चर्यजनक निष्कर्ष

लेखकों ने ResNet-18 नामक मॉडल का उपयोग करके CIFAR-100 (100 प्रकार की छवियों का एक संग्रह) नामक डेटासेट पर इसका परीक्षण किया। यहाँ उन्हें क्या मिला:

भारी बचत: उन्होंने डेटा भेजने की मात्रा को 8,718 के कारक से कम कर दिया। 45 MB भेजने के बजाय, उन्होंने केवल 5 KB भेजा।
वही बुद्धिमत्ता: इतनी कम डेटा भेजने के बावजूद, उनके तरीके ने 74.67% की सटीकता प्राप्त की, जो लगभग भारी विधि (75.16%) के समान है।
अराजकता में बेहतर: जब डेटा अव्यवस्थित और प्रत्येक कंप्यूटर के लिए अलग-अलग था (जिसे "non-IID" कहा जाता है), तो उनका छोटा-कोड वाला तरीका भारी विधि से भी बेहतर प्रदर्शन कर गया। ऐसा लगता है कि छोटे, केंद्रित निर्देश भेजने से कंप्यूटर भ्रमित होने से बच जाते हैं, जबकि पूरा बैकपैक भेजने से कभी-कभी त्रुटियां हो जाती हैं।
छोटा है मजबूत: उन्होंने छोटे कोड को int4 (प्रत्येक नंबर के लिए केवल 4 बिट का उपयोग करना) तक सिकोड़ने का भी परीक्षण किया। छोटा कोड अभी भी पूरी तरह से काम करता रहा, जिसने 74.73% सटीकता प्राप्त की। हालाँकि, जब उन्होंने पूरे भारी बैकपैक को उसी आकार में सिकोड़ने की कोशिश की, तो AI ढह गया और केवल रैंडम चांस (Random Chance) से ही सही उत्तर दे पाया (1.11%)। यह साबित करता है कि छोटा कोड संपीड़न (compression) के प्रति बहुत अधिक लचीला है।

उन्होंने क्या खारिज किया

पेपर ने एक ऐसे विचार का भी परीक्षण किया जो काम नहीं आया। उन्होंने इस "छोटे कोड" वाले तरीके का उपयोग करके एक AI को शुरुआत से (एक खाली स्लेट से) प्रशिक्षित करने की कोशिश की। यह बुरी तरह विफल रहा, और केवल 2.5% सटीकता तक पहुँच पाया। यह साबित करता है कि यह तरीका केवल तभी काम करता है जब आप एक मजबूत, प्री-ट्रेंड AI के साथ शुरुआत करते हैं और केवल सुधार भेजते हैं। छोटा कोड फाइन-ट्यूनिंग के लिए एक उपकरण है, शून्य से मस्तिष्क बनाने के लिए नहीं।

"मुफ्त" बोनस

लेखकों ने एक विशेष "फ्रोजन ऑर्थोगोनल क्लासिफायर" (AI के निर्णय लेने वाले हिस्से को सेट करने का एक विशिष्ट तरीका) भी जोड़ा। इसके लिए कोई अतिरिक्त डेटा भेजने की आवश्यकता नहीं थी, लेकिन इसने वास्तव में AI को स्मार्ट बनाया, जिससे मानक सेटअप की तुलना में सटीकता में लगभग 0.54% की वृद्धि हुई। यह फर्नीचर को अलग तरह से व्यवस्थित करके एक मुफ्त अपग्रेड पाने जैसा है।

निचोड़

यह पेपर दिखाता है कि हमें AI मॉडल को एक साथ सिखाने के लिए भारी, बोझिल अपडेट भेजने की आवश्यकता नहीं है। एक छोटा, लो-डायमेंशनल "निर्देश कार्ड" भेजकर जो एक प्री-ट्रेंड मॉडल को कैसे एडजस्ट करना है यह बताता है, हम अपनी बुद्धिमत्ता खोए बिना हजारों गुना अधिक बैंडविड्थ बचा सकते हैं। सिमुलेशन में, यह तरीका कंप्यूटरों को कुशलतापूर्वक सीखने की अनुमति देता है, भले ही उनका डेटा अव्यवस्थित हो या उनका इंटरनेट कनेक्शन धीमा हो, जो यह साबित करता है कि कभी-कभी, सबसे छोटा संदेश ही सबसे बड़ा प्रभाव डालता है।

तकनीकी सारांश: फेडरेटेड लाइटवेट फाइन-ट्यूनिंग (FLITE)

समस्या विवरण

फेडरेटेड लर्निंग (FL) एक मौलिक संचार बाधा (communication bottleneck) का सामना करता है। प्रमुख प्रतिमान जैसे FedAvg और छद्म-ग्रेडिएंट स्कीमा (जैसे DioloCo), मॉडल स्टेट्स या पूर्ण-आकार के वेट डेल्टा (weight deltas) को ट्रांसमिट करते हैं, जिसके परिणामस्वरूप प्रति-राउंड बैंडविड्थ पैरामीटर्स की संख्या ( $\Theta(|W|)$ ) के रैखिक रूप से बढ़ती है। ResNet-18 जैसे आधुनिक नेटवर्क के लिए, इसका अर्थ है प्रत्येक क्लाइंट द्वारा प्रति राउंड कई दस मेगाबाइट डेटा ट्रांसमिट करना।

मौजूदा संपीड़न तकनीकें (लो-रैंक प्रोजेक्शन, स्पारसिफिकेशन, क्वांटाइजेशन) केवल संदेश के आकार को एक स्थिर कारक (constant factor) से कम करती हैं, फिर भी वे $|W|$ के समान वस्तुओं को ही ट्रांसमिट करती हैं। इसके अलावा, लागत को कम करने के लिए संचार की आवृत्ति (communication frequency) को कम करना अक्सर क्लाइंट ड्रिफ्ट (client drift) को बढ़ा देता है, विशेष रूप से विषम (non-IID) डेटा वितरण के तहत। शोध पत्र का तर्क है कि क्षेत्र ने संचार की आवृत्ति को कम करने पर ध्यान केंद्रित किया है जबकि संदेश के आकार को स्थिर माना है, जबकि प्रस्तावित दृष्टिकोण आकार अक्ष (size axis) को लक्षित करता है: प्रत्येक संदेश को एक छोटा, मॉडल-स्वतंत्र लेटेंट (latent) बनाना, जबकि बार-बार सिंक्रोनाइज़ेशन बनाए रखना।

कार्यप्रणाली: FLITE

लेखक FLITE (फेडरेटेड लो-रैंक इटरेटिव ट्रेनिंग इंजन) का प्रस्ताव करते हैं, जो "मैपिंग नेटवर्क" की अवधारणा को एक व्यावहारिक कम-बैंडविड्थ वाले फेडरेटेड संचार चैनल में बदल देता है। मुख्य विचार एक छोटे, प्रशिक्षित लेटेंट वेक्टर $z$ के माध्यम से एक साझा एफाइन प्रोजेक्शन (affine projection) का उपयोग करके नेटवर्क के वेट्स उत्पन्न करना है।

1. एवरेजिंग आइडेंटिटी (The Averaging Identity)

एक मानक मैपिंग नेटवर्क में, वेट्स $\theta$ को एक एफाइन मैप $\theta = b + W_m z$ के माध्यम से जनरेट किया जाता है। यदि जनरेटर ( $b, W_m$ ) सभी क्लाइंट्स के लिए साझा और फ्रोजन (frozen) है, तो जनरेट किए गए वेट्स का औसत निकालना, लेटेंट्स के औसत के गणितीय रूप से समान है:
$\frac{1}{K} \sum_{k=1}^K (b + W_m z_k) = b + W_m \left( \frac{1}{K} \sum_{k=1}^K z_k \right)$
यह सर्वर को लो-डायमेंशनल लेटेंट स्पेस में मानक FedAvg एग्रीगेशन करने की अनुमति देता है, जिससे केवल $z$ ट्रांसमिट होता है, न कि पूर्ण वेट वेक्टर $\theta$ ।

2. स्केलेबिलिटी अवरोधों का समाधान

मूल मैपिंग नेटवर्क अवधारणा स्केल पर दो कारणों से विफल हो जाती है:

मेमोरी/कंप्यूट: प्रोजेक्शन मैट्रिक्स $W_m$ सघन (dense) और विशाल है (उदाहरण के लिए, ResNet-18 के लिए ~80 GB)।
शून्य से प्रशिक्षण की विफलता (From-Scratch Failure): रैंडम इनिशियलाइजेशन से पूरे नेटवर्क को एनकोड करने के लिए लेटेंट को प्रशिक्षित करना लगभग शून्य सटीकता पर समाप्त हो जाता है।

FLITE इन दोनों को दो विशिष्ट नवाचारों के माध्यम से हल करता है:

डेल्टा लो-रैंक मैपिंग: शून्य से वेट्स जनरेट करने के बजाय, यह विधि एक साझा, सेंट्रली-प्री-ट्रेन्ड बेस ( $\theta_{pre}$ ) के आसपास एक एडिटिव करेक्शन (additive correction) सीखना है। वेट्स को इस प्रकार परिभाषित किया गया है:
$\theta_l = \theta_{pre, l} + U_l V_l^\top z_l$
यहाँ, $U_l$ और $V_l$ फ्रोजन, लो-रैंक फैक्टर्स हैं (रैंक $r \ll d$ ) जो सभी क्लाइंट्स के बीच साझा हैं। लेटेंट $z_l$ केवल रिफाइनमेंट (सुधार) सीखता है। यह जनरेटर मेमोरी को ~80 GB से घटाकर ~2 GB (या ~10 MB यदि फैक्टर्स सीड-रीजनरेटेड हैं) कर देता है और सुनिश्चित करता है कि लेटेंट को केवल एक लो-डायमेंशनल करेक्शन को एनकोड करना है, जिससे अनुकूलन (optimization) सुलभ हो जाता है।
सीड-रीजनरेबल प्रोजेक्शन: मेमोरी को और कम करने के लिए, फैक्टर्स $U_l, V_l$ को एक एकल 64-बिट साझा सीड से प्रत्येक क्लाइंट पर नियत रूप से (deterministically) पुन: उत्पन्न किया जा सकता है, जिससे फैक्टर्स को स्टोर करने की आवश्यकता समाप्त हो जाती है।

3. फ्रोजन ऑर्थोगोनल क्लासिफायर

अंतिम क्लासिफायर हेड को एक ऑर्थोगोनल वेट मैट्रिक्स के साथ इनिशियलाइज किया जाता है और फ्रोजन रखा जाता है। यह क्लासिफायर को संचार पेलोड से पूरी तरह से हटा देता है। लेखक पाते हैं कि यह न केवल बैंडविड्थ बचाता है बल्कि बैकबोन के लिए एक वेल-कंडीशन्ड टारगेट ज्योमेट्री प्रदान करके सटीकता में सुधार करता है।

4. प्रोटोकॉल

प्रोटोकॉल FedAvg के एक ड्रॉप-इन रिप्लेसमेंट के रूप में कार्य करता है:

सर्वर फ्रोजन बेस $\theta_{pre}$ और सीड को एक बार ब्रॉडकास्ट करता है।
क्लाइंट्स $z=0$ (जो $\theta_{pre}$ के समान है) के साथ इनिशियलाइज होते हैं।
क्लाइंट्स केवल लेटेंट $z$ को स्थानीय रूप से प्रशिक्षित करते हैं।
क्लाइंट्स $z$ (वैकल्पिक रूप से क्वांटाइज्ड) अपलोड करते हैं।
सर्वर $z$ का औसत निकालता है और नया ग्लोबल लेटेंट ब्रॉडकास्ट करता है।

मुख्य योगदान

डेल्टा लो-रैंक मैपिंग: एक पैरामीट्राइजेशन $\theta = \theta_{pre} + UV^\top z$ जो सटीक FedAvg एवरेजिंग आइडेंटिटी को बनाए रखता है (precision $6 \times 10^{-8}$ तक सत्यापित) जबकि जनरेटर मेमोरी को ~40× कम करता है (सीड रीजनरेशन के माध्यम से ~10 MB तक)।
लो-बैंडविड्थ प्रोटोकॉल: CIFAR-100 पर ResNet-18 के लिए प्रति क्लाइंट प्रति राउंड ~5 KB (1,280 फ्लोट्स) ट्रांसमिट करने की विधि, जो फुल-वेट FedAvg के 45 MB के बराबर सटीकता प्राप्त करती है। यह पेलोड साइज में 8,718× की कमी है।
डिज़ाइन घटक:
- एक फ्रोजन ऑर्थोगोनल क्लासिफायर जो सटीकता में सुधार करता है और हेड को पेलोड से हटा देता है।
- लेटेंट चैनल की क्वांटाइजेशन के प्रति मजबूती का प्रदर्शन: int4 लेटेंट्स (648 bytes/round) सटीकता बनाए रखते हैं, जबकि int4 फुल-वेट FedAvg 'चांस' (chance) स्तर पर गिर जाता है।
नेगेटिव रिजल्ट: यह पेपर स्थापित करता है कि मैपिंग नेटवर्क एक स्टैंड-अलोन ट्रेनिंग मेथड (शून्य से) के रूप में, डायमेंशन या रैंक के बावजूद ResNet-18 स्केल पर विफल रहते हैं। इसकी प्रभावकारिता पूरी तरह से फेडरेटेड फाइन-ट्यूनिंग शासन (regime) से जुड़ी है (एक मजबूत प्री-ट्रेन्ड बेस को अनुकूलित करना)।

परिणाम

प्रयोग CIFAR-10, CIFAR-100, TinyImageNet और WikiText-2 (TinyGPT) पर किए गए।

सटीकता बनाम बैंडविड्थ: CIFAR-100 (ResNet-18+GroupNorm) पर, FLITE 5 KB पेलोड के साथ 74.67% सटीकता प्राप्त करता है, जबकि 45 MB पेलोड वाले फुल-वेट FedAvg की सटीकता 75.16% है। यह विधि पावरSGD और top-k के बैंडविड्थ-सटीकता पारेटो फ्रंटियर (Pareto frontier) से 1-2 ऑर्डर ऑफ मैग्नीट्यूड नीचे स्थित है।
Non-IID मजबूती: तीव्र डेटा विषमता (Dirichlet $\alpha=0.1$ ) के तहत, FLITE फुल-वेट FedAvg से बेहतर प्रदर्शन करता है (+0.97 pp on CIFAR-100)। लो-डायमेंशनल लेटेंट स्पेस अपडेट्स को सीमित करता है, जिससे फुल-वेट अपडेट्स की तुलना में क्लाइंट ड्रिफ्ट कम होता है।
क्वांटाइजेशन: लेटेंट चैनल क्वांटाइजेशन के प्रति अत्यधिक मजबूत है। int4 लेटेंट्स (648 bytes/round) 74.73% सटीकता प्राप्त करते हैं, जबकि int4 फुल-वेट FedAvg 1.11% (चांस) पर गिर जाता है।
स्केलेबिलिटी: विधि TinyImageNet और TinyGPT पर ResNet-34 तक स्केल होती है, और बैंडविड्थ-सटीकता ट्रेड-ऑफ को बनाए रखती है।

महत्व और दावे

पेपर का दावा है कि FLITE यह प्रदर्शित करता है कि फेडरेटेड फाइन-ट्यूनिंग वह शासन है जहाँ मैपिंग नेटवर्क व्यावहारिक बन जाते हैं। एक साझा प्री-ट्रेन्ड बेस पर प्रतिनिधित्व (representation) का भार स्थानांतरित करके, यह विधि प्राप्त करती है:

अत्यधिक संपीड़न: पूर्ण सटीकता के साथ प्रति-राउंड संचार को किलोबाइट रेंज तक कम करना।
स्थिरता: अपडेट्स को लो-डायमेंशनल सबस्पेस में सीमित करके, जो non-IID सेटिंग्स में क्लाइंट ड्रिफ्ट के प्रति मजबूती में सुधार करता है।
कंपोजिबिलिटी: दृष्टिकोण मॉड्यूलर है (सीड रीजनरेशन, फ्रोजन हेड्स) और मानक संपीड़न (क्वांटाइजेशन) के साथ कंपोजेबल है, जो पेलोड को पूर्ण सटीकता के साथ 1 KB से नीचे ले जाता है।

लेखक स्पष्ट रूप से सीमाओं का उल्लेख करते हैं: विधि के लिए GroupNorm की आवश्यकता होती है (जो BatchNorm SOTA की तुलना में थोड़ी कम पूर्ण सटीकता देती है), एक साझा प्री-ट्रेन्ड बेस की आवश्यकता होती (फाइन-ट्यूनिंग, शून्य से ट्रेनिंग नहीं), और परिणाम सटीक बाइट अकाउंटिंग के साथ फेडरेटेड सिमुलेशन पर आधारित हैं, न कि वॉल-क्लॉक सिस्टम थ्रूपुट दावों पर।