🤖 machine learning

FLoRIST: Singular Value Thresholding for Efficient and Accurate Federated Fine-Tuning of Large Language Models

FLoRIST एक फेडरेटेड फाइन-ट्यूनिंग फ्रेमवर्क है जो लार्ज लैंग्वेज मॉडल्स के लिए, स्टैक्ड लोकल एडेप्टर्स पर सिंगुलर वैल्यू डिकंपोजिशन और ट्यूनेबल थ्रेशोल्डिंग का उपयोग करके विषम क्लाइंट्स के बीच गणितीय रूप से सटीक एकत्रीकरण और इष्टतम प्रदर्शन प्राप्त करता है, जिससे उच्च-लागत वाले ग्लोबल मैट्रिक्स पुनर्निर्माण की आवश्यकता को समाप्त करते हुए उत्कृष्ट संचार दक्षता बनी रहती है।

मूल लेखक: Hariharan Ramesh, Jyotikrishna Dass

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hariharan Ramesh, Jyotikrishna Dass

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय है (एक लार्ज लैंग्वेज मॉडल या LLM) जो दुनिया के बारे में सब कुछ जानता है। हालाँकि, आप इसे एक विशिष्ट नया कौशल सिखाना चाहते हैं, जैसे कविता लिखना या गणित की समस्याओं को हल करना।

सामान्यतः, इस पुस्तकालय को सिखाने के लिए, आपको इसके पूरे विश्वकोश (encyclopedia) को फिर से लिखना होगा। इसमें बहुत समय लगता है, भारी लागत आती है, और इसके लिए एक सुपरकंप्यूटर की आवश्यकता होती है।

समस्या: "फेडरेटेड" पहेली
अब, कल्पना कीजिए कि आपके पास एक बड़ा पुस्तकालय नहीं है। इसके बजाय, आपके पास अलग-अलग शहरों में बिखरी हुई 100 छोटी शाखाएँ हैं (ये क्लाइंट्स हैं)। प्रत्येक शाखा के पास अपने स्वयं के नोट्स का एक अनूठा सेट (स्थानीय डेटा) है जिसे गोपनीयता नियमों के कारण वे दूसरों के साथ साझा नहीं कर सकते। आप चाहते हैं कि सभी शाखाएँ मिलकर वह नया कौशल सीखें, बिना अपने निजी नोट्स को किसी केंद्रीय मुख्यालय को भेजे।

इसे कुशलतापूर्वक करने के लिए, शोधकर्ता LoRA (लो-रैंक अडैप्टेशन) नामक एक ट्रिक का उपयोग करते हैं। पूरे पुस्तकालय को फिर से लिखने के बजाय, प्रत्येक शाखा बस एक छोटा, हल्का "स्टिकी नोट" (अडैप्टर) लिखती है जिसमें नए नियम होते हैं।

पुराने तरीके (और वे क्यों विफल हुए)
यह शोध पत्र बताता है कि इन स्टिकी नोट्स को संयोजित करने के पिछले तरीकों में तीन मुख्य समस्याएँ थीं:

"ब्लाइंड एवरेजिंग" विधि: मुख्यालय बस सभी स्टिकी नोट्स का औसत ले लेता था। लेकिन क्योंकि नोट्स अलग-अलग आकार के कागजों पर लिखे गए थे (विभिन्न रैंक), इसने एक धुंधली और अस्पष्ट तस्वीर बना दी जो ठीक से काम नहीं करती थी।
"स्टैकिंग" विधि: धुंधलेपन से बचने के लिए, कुछ तरीकों ने बस सभी स्टिकी नोट्स को एक के ऊपर एक ढेर कर दिया और पूरा ढेर वापस शाखाओं को भेज दिया। यह सटीक तो था, लेकिन वह ढेर इतना भारी था कि शाखाएँ उसे तेज़ी से डाउनलोड नहीं कर पाती थीं (खराब संचार दक्षता)।
"हैवी मैथ" विधि: अन्य तरीकों ने मुख्यालय के सुपरकंप्यूटर पर भारी, महंगे कैलकुलेशन करके एक आदर्श वैश्विक नोट को गणितीय रूप से पुनर्गठित करने की कोशिश की। यह बहुत धीमा था और इसके लिए बहुत अधिक मेमोरी की आवश्यकता थी।

समाधान: FLoRIST (एक "स्मार्ट फ़िल्टर")
लेखक FLoRIST प्रस्तावित करते हैं। इसे एक स्मार्ट फ़िल्टर या सीखने की प्रक्रिया के लिए "नॉइज़-कैंसलिंग हेडफ़ोन" के रूप में समझें।

यहाँ बताया गया है कि FLoRIST चरण-दर-चरण कैसे काम करता है:

संग्रह (The Collection): प्रत्येक शाखा अपना छोटा स्टिकी नोट (LoRA अडैप्टर) लिखती है और उसे मुख्यालय भेजती है।
"स्टैकिंग" (बिना वजन के): उन्हें केवल औसत लेने या एक के ऊपर एक रखने के बजाय, मुख्यालय उन्हें एक विशेष तरीके से स्टैक करता है जो गणित को सटीक रखता है लेकिन एक विशाल, बोझिल फ़ाइल बनाने से बचता है।
"SVD" (एक्स-रे): मुख्यालय इस ढेर पर एक गणितीय "एक्स-रे" (जिसे सिंगुलर वैल्यू डीकंपोजिशन कहा जाता है) करता है। यह एक्स-रे नए ज्ञान की वास्तविक संरचना को प्रकट करता है। यह दिखाता है कि हालांकि शाखाओं ने बहुत सारा डेटा भेजा, लेकिन उसका अधिकांश हिस्सा वास्तव में रिडंडेंट (अनावश्यक) या केवल "शोर" (जैसे रेडियो पर स्टेटिक शोर) है।
"थ्रेशोल्डिंग" (द फ़िल्टर): यही जादू वाला कदम है। FLoRIST एक थ्रेशोल्ड (फ़िल्टर सेटिंग) का उपयोग करता है। यह एक्स-रे को देखता है और कहता है, "तेज और स्पष्ट संकेतों (नये कौशल के सबसे महत्वपूर्ण हिस्सों) को रखो और शांत, धुंधले शोर को हटा दो।"
- उपमा: कल्पना कीजिए कि 100 लोग मिलकर एक गाना गाने की कोशिश कर रहे हैं। कुछ सुर से बाहर हैं, कुछ फुसफुसा रहे हैं। FLoRIST पूरे समूह को सुनता है, उस मुख्य धुन की पहचान करता है जिस पर सभी सहमत हैं, और सुर से बाहर की फुसफुसाहट को फ़िल्टर कर देता है। फिर यह केवल वही सटीक, साफ धुन वापस भेजता है।
परिणाम: मुख्यालय सभी शाखाओं को एक एकल, छोटा, और सटीक वैश्विक स्टिकी नोट वापस भेजता है। क्योंकि इसने अनावश्यकता (redundancy) को फ़िल्टर कर दिया है, इसलिए यह नोट सभी हिस्सों के योग की तुलना में बहुत छोटा है, जिससे इसे डाउनलोड करना अविश्वसनीय रूप से तेज़ हो जाता है।

यह एक बड़ी बात क्यों है?
पेपर का दावा है कि FLoRIST एक "गोल्डिलॉक्स" समाधान है:

यह सटीक है: "तेज संकेतों" को बनाए रखकर और शोर को फ़िल्टर करके, अंतिम मॉडल धुंधले औसत वाले तरीकों की तुलना में बेहतर सीखता है।
यह तेज़ है: क्योंकि यह रिडंडेंसी को फ़िल्टर कर देता है, शाखाओं को वापस भेजा जाने वाला फ़ाइल बहुत छोटा होता है। पेपर दिखाता है कि यह पिछले तरीकों की तुलना में डाउनलोड करने में सैकड़ों गुना तेज़ हो सकता है।
यह लचीला है: यह तब भी काम करता है जब शाखाओं के पास अलग-अलग कंप्यूटिंग शक्ति हो (कुछ लंबे नोट लिख सकते हैं, दूसरों के छोटे नोट)। FLoRIST इस मिश्रण को सहजता से संभालता है।

निष्कर्ष
FLoRIST AI मॉडल्स को कई अलग-अलग कंप्यूटरों के माध्यम से सिखाने का एक नया तरीका है, बिना निजी डेटा साझा किए। यह एक गणितीय "फ़िल्टर" का उपयोग करता है जो अनावश्यक शोर और रिडंडेंसी को हटा देता है, जिससे केवल सबसे महत्वपूर्ण सीख ही बचती है। यह इस प्रक्रिया को पुराने तरीकों की तुलना में बहुत तेज़, सस्ता और अधिक सटीक बनाता है।

तकनीकी सारांश: FLoRIST

समस्या विवरण

लो-रैंक एडेप्टेशन (LoRA) को फेडरेटेड लर्निंग (FL) में एकीकृत करना, स्थानीय डेटा साझा किए बिना लार्ज लैंग्वेज मॉडल्स (LLMs) के पैरामीटर-कुशल फाइन-ट्यूनिंग का एक मार्ग प्रदान करता है। हालांकि, मौजूदा फेडरेटेड LoRA विधियां संचार दक्षता (communication efficiency), मॉडल सटीकता और कंप्यूटेशनल लागत के बीच महत्वपूर्ण ट्रेड-ऑफ का सामना करती हैं, विशेष रूप से विषम (heterogeneous) वातावरणों में जहाँ क्लाइंट्स की कंप्यूटेशनल क्षमताएं भिन्न होती हैं।

वर्तमान दृष्टिकोण विशिष्ट सीमाओं से ग्रस्त हैं:

FedIT: स्थानीय एडेप्टर्स के सरल औसत (averaging) पर निर्भर करता है, जो एकत्रीकरण (aggregation) के दौरान गणितीय रूप से गलत "क्रॉस-टर्म नॉइज़" ( $B_i A_j$ ) पेश करता है, जिससे अभिसरण (convergence) और प्रदर्शन घट जाता है। यह विषम रैंकों के लिए भी संघर्ष करता है, क्योंकि इसमें अक्सर जीरो-पैडिंग की आवश्यकता होती है जो संचार लागत को बढ़ा देती है।
FLoRA: गणितीय शुद्धता सुनिश्चित करने और विषमता का समर्थन करने के लिए एक स्टैकिंग रणनीति का उपयोग करता है, लेकिन इसके लिए सभी क्लाइंट्स को स्टैक्ड स्थानीय एडेप्टर वापस भेजने की आवश्यकता होती है। इसके परिणामस्वरूप डाउनलोड संचार दक्षता खराब हो जाती है क्योंकि ग्लोबल रैंक स्थानीय रैंकों के योग के रूप में रैखिक रूप से बढ़ता है।
FlexLoRA: क्लाइंट रैंकों के लिए ग्लोबल एडेप्टर्स को कस्टमाइज़ करने का प्रयास करता है, जो पूर्ण ग्लोबल वेट-अपडेट मैट्रिक्स ( $\Delta W$ ) को पुनर्गठित करता है और SVD करता है। यह सर्वर पर एक सघन (dense) $m \times n$ मैट्रिक्स अपघटन के कारण अत्यधिक कंप्यूटेशनल और मेमोरी ओवरहेड का कारण बनता है।
FFA-LoRA: शोर को कम करने के लिए एक एडेप्टर को फ्रीज कर देता है, लेकिन इसमें नेटिव विषम रैंक समर्थन की कमी है और यह मॉडल की अभिव्यक्ति क्षमता (expressivity) को कम कर सकता है।

एक महत्वपूर्ण खुला प्रश्न बना हुआ है: विषम LoRAs से प्राप्त एग्रीगेटेड स्थानीय एडेप्टर्स की अंतर्निहित विमा (intrinsic dimensionality) क्या है? क्या हर घटक को संरक्षित करना आवश्यक है, या क्या छिपी हुई रेडंडेंसी (redundancies) को समाप्त करके एक एकीकृत, कुशल ग्लोबल LoRA बनाया जा सकता है?

कार्यप्रणाली: FLoRIST

लेखक FLoRIST (सिंगुलर वैल्यू थ्रेशोल्डिंग के साथ फेडरेटेड लो-रैंक इंटीग्रेशन) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे उच्च संचार या कंप्यूटेशनल ओवरहेड के बिना गणितीय रूप से सटीक एकत्रीकरण प्राप्त करने के लिए डिज़ाइन किया गया है।

मुख्य वर्कफ़्लो

वेटेड स्टैकिंग (Weighted Stacking): क्लाइंट अपने विशिष्ट रैंक ( $r_k$ ) और वेटिंग फैक्टर्स ( $n_k/N$ ) के साथ अपने स्थानीय LoRA एडेप्टर्स ( $A_k, B_k$ ) सर्वर को अपलोड करते हैं। पूर्ण ग्लोबल अपडेट $\Delta W$ की गणना करने के बजाय, सर्वर इन मैट्रिसेस को स्टैक करता है:
- $B_{stack} = B_1 \oplus \dots \oplus B_K \in \mathbb{R}^{m \times r}$
- $A_{stack} = \frac{n_1}{N}A_1 \oplus \dots \oplus \frac{n_K}{N}A_K \in \mathbb{R}^{r \times n}$
- जहाँ $r = \sum r_k$ है और $\oplus$ क्षैतिज/ऊर्ध्वाधर स्टैकिंग को दर्शाता है।
मध्यवर्ती स्थान में कुशल SVD (Efficient SVD in Intermediate Space): पूर्ण $\Delta W$ (जैसा कि FlexLoRA में है) बनाने के बजाय, FLoRIST स्वतंत्र रूप से स्टैक्ड मैट्रिसेस पर SVD करता है:
- $B_{stack} = U_B S_B V_B^T$
- $A_{stack} = U_A S_A V_A^T$
- एक मध्यवर्ती मैट्रिक्स $P = S_B Q S_A$ की गणना की जाती है, जहाँ $Q = V_B^T U_A$ है। यह एक कॉम्पैक्ट $r \times r$ स्पेस ( $r \ll \min(m, n)$ ) में क्रॉस-एडेप्टर इंटरैक्शन को कैप्चर करता है।
सिंगुलर वैल्यू थ्रेशोल्डिंग (Singular Value Thresholding - SVT): मध्यवर्ती मैट्रिक्स $P$ का अपघटन ( $P = U_P S_P V_P^T$ ) किया जाता है। डायगोनल मैट्रिक्स $S_P$ वास्तविक एग्रीगेटेड अपडेट के सिंगुलर वैल्यूज को समाहित करता है। FLoRIST एक ऊर्जा-आधारित थ्रेशोल्ड $\tau \in (0, 1]$ लागू करता है ताकि केवल शीर्ष- $p$ सिंगुलर वैल्यूज को बनाए रखा जा सके जो कुल वेरिएंस (ऊर्जा) के एक निर्दिष्ट अंश को संरक्षित करती हैं।
- ग्लोबल एडेप्टर्स को $(U_B U_P)_{:,:p} (S_P)_{:p,:p}$ के रूप में $B_g$ और $(V_P^T V_A)_{:p,:}$ के रूप में $A_g$ के रूप में पुनर्गठित किया जाता है।
ब्रॉडकास्ट (Broadcast): सर्वर कॉम्पैक्ट ग्लोबल एडेप्टर्स ( $B_g, A_g$ ) को रैंक $p$ के साथ सभी क्लाइंट्स को ब्रॉडकास्ट करता है। क्लाइंट इन साझा एडेप्टर्स का उपयोग करके अपने स्थानीय मॉडल्स को अपडेट करते हैं, यदि आवश्यक हो तो जीरो-पैडिंग या ट्रंकेशन के माध्यम से अपने स्थानीय रैंकों को समायोजित करते हैं।

मुख्य योगदान

नया फ्रेमवर्क: FLoRIST पहला फेडरेटेड फाइन-ट्यूनिंग फ्रेमवर्क है जो वेटेड स्टैकिंग का उपयोग करके सीधे लो-रैंक लेटेंट स्पेस में एकत्रीकरण करता है, जिससे पूर्ण ग्लोबल वेट-अपडेट मैट्रिक्स के निर्माण से बचा जा सकता है।
कंप्यूटेशनल रूप से कुशल SVD: स्टैक्ड एडेप्टर्स और एक मध्यवर्ती $r \times r$ मैट्रिक्स पर काम करके, FLoRIST FlexLoRA की तुलना में अत्यधिक $O(LKmn)$ सर्वर जटिलता से बचता है, जिससे सर्वर-साइड कंप्यूटेशनल लागत काफी कम हो जाती है।
इष्टतम रैंक चयन: ट्यूनेबल सिंगुलर वैल्यू थ्रेशोल्डिंग का परिचय प्रदर्शन और डाउनलोड संचार दक्षता के बीच संतुलन बनाने के लिए एक एकीकृत ग्लोबल रैंक $p$ के चयन की अनुमति देता है। यह जटिल पुनर्वितरण के माध्यम से रेडंडेंट घटकों को ट्रांसमिट करने या विशिष्ट क्लाइंट रैंकों से मेल खाने की आवश्यकता को समाप्त करता है।
कम अंतर्निहित विमा का अनुभवजन्य प्रमाण: लेयर-वाइज विश्लेषण से पता चलता है कि ग्लोबल अपडेट को पुनर्गठित करने के लिए आवश्यक प्रभावी रैंक अक्सर अधिकतम क्लाइंट रैंक (जैसे, 64) या स्थानीय रैंकों के योग (जैसे, 6-10) से काफी कम होता है, जो आक्रामक रैंक रिडक्शन को न्यायसंगत बनाता है।
व्यापक मूल्यांकन: पेपर होमोजेनियस और हेटेरोजेनियस सेटिंग्स में अत्याधुनिक तरीकों (FedIT, FFA-LoRA, FLoRA, FlexLoRA) के विरुद्ध कठोर तुलना प्रदान करता है, जो बेहतर संचार दक्षता और प्रतिस्पर्धी या बेहतर सटीकता प्रदर्शित करता है।

प्रयोगात्मक परिणाम

TinyLlama और LLaMA-3.2-1B का उपयोग करके नॉन-IID पार्टिशन के तहत 100 क्लाइंट्स के साथ Dolly, Alpaca और Wizard डेटासेट पर प्रयोग किए गए।

संचार दक्षता (Communication Efficiency): FLoRIST उच्चतम डाउनलोड संचार दक्षता प्राप्त करता है। होमोजेनियस सेटिंग्स में, यह फुल फाइन-ट्यूनिंग की तुलना में 345–400× अधिक कुशल है और बेसलाइन्स (जैसे, FLoRA से ~60× अधिक कुशल) से काफी बेहतर प्रदर्शन करता है। हेटेरोजेनियस सेटिंग्स में, यह क्लाइंट्स के बीच 16× रैंक विसंगति के बावजूद उच्च दक्षता बनाए रखता है।
सटीकता (Accuracy): FLoRIST लगातार बेसलाइन्स के समान या बेहतर सटीकता प्राप्त करता है। उदाहरण के लिए, Wizard डेटासेट के साथ TinyLlama पर, FLoRIST ( $\tau^*$ ) ने 40.95% MMLU सटीकता प्राप्त की, जो FedIT, FLoRA और FlexLoRA से बेहतर है।
अभिसरण (Convergence): FLoRIST, FedIT और FLoRA की तुलना में तेज़ अभिसरण प्रदर्शित करता है। जबकि FFA-LoRA पैरामीटर फ्रीजिंग के कारण धीरे-धीरे अभिसरित होता है, FLoRIST प्रभावशीलता और दक्षता को प्रभावी ढंग से संतुलित करता है।
सर्वर लागत (Server Cost): FLoRIST, पूर्ण-मैट्रिक्स SVD से बचकर, FlexLoRA की तुलना में लगभग 7.5× कम सर्वर-साइड FLOPs (466.95M बनाम 3516.01M FLOPs) कम करता है।
थ्रेशोल्डिंग का प्रभाव: एक निश्चित थ्रेशोल्ड $\tau=0.9$ एक मजबूत व्यावहारिक डिफॉल्ट के रूप में कार्य करता है, जो संचार बचत को अधिकतम करते हुए इष्टतम रूप से ट्यून किए गए थ्रेशोल्ड के भीतर ±1% सटीकता प्राप्त करता है।

महत्व और दावे

पेपर का दावा है कि FLoRIST एकत्रित स्थानीय एडेप्टर्स की कम अंतर्निहित विमा (low intrinsic dimensionality) की पहचान करके और उसका लाभ उठाकर मौजूदा फेडरेटेड LoRA विधियों की मूलभूत सीमाओं को संबोधित करता है। एक कॉम्पैक्ट मध्यवर्ती स्थान में काम करके और सिंगुलर वैल्यू थ्रेशोल्डिंग लागू करके, FLoRIST एक "सर्वश्रेष्ठ संतुलन" प्राप्त करता है:

गणितीय सटीकता: सरल औसत में निहित क्रॉस-टर्म नॉइज़ को समाप्त करना।
संचार दक्षता: स्टैक्ड या फुल-रैंक अपडेट के बजाय एक एकीकृत, लो-रैंक ग्लोबल एडेप्टर ट्रांसमिट करके डाउनलोड लागत को भारी रूप से कम करना।
कंप्यूटेशनल व्यवहार्यता: सघन मैट्रिक्स अपघटन से बचकर बड़े मॉडल्स के लिए सर्वर-साइड एकत्रीकरण को स्केलेबल बनाना।

लेखक FLoRIST को विषम फेडरेटेड फाइन-ट्यूनिंग के लिए एक स्केलेबल, मजबूत समाधान के रूप में प्रस्तुत करते हैं, जो मॉडल प्रदर्शन से समझौता किए बिना गोपनीयता-संवेदनशील, संसाधन-बाधित वितरित वातावरणों में LLMs को तैनात करने के लिए एक व्यावहारिक मार्ग प्रदान करता है। वे नोट करते हैं कि हालांकि एक निश्चित थ्रेशोल्ड प्रभावी है, भविष्य के कार्य स्वचालित थ्रेशोल्ड चयन रणनीतियों की खोज कर सकते हैं।