FedProxy: Federated Fine-Tuning of LLMs via Proxy SLMs and Heterogeneity-Aware Fusion

यहाँ शोध पत्र "FedProxy: Proxy SLMs और Heterogeneity-Aware Fusion के माध्यम से LLMs की Federated Fine-Tuning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए फेडरेटेड लर्निंग (FL) के "त्रिपथ" (trilemma) को संबोधित करता है, जिसमें तीन परस्पर विरोधी उद्देश्यों के बीच संतुलन बनाना शामिल है:

1. बौद्धिक संपदा (IP) संरक्षण: क्लाइंट्स को सर्वर के प्रोप्रायटरी (propriance) LLM को पूरी तरह से उजागर होने से रोकना।
2. क्लाइंट गोपनीयता: यह सुनिश्चित करना कि क्लाइंट का डेटा स्थानीय और निजी बना रहे।
3. विषम डेटा (Heterogeneous Data) पर प्रदर्शन: विभिन्न क्लाइंट्स के बीच गैर-IID (सांख्यिकीय रूप से विषम) डेटा वितरण के बावजूद उच्च मॉडल प्रदर्शन बनाए रखना।

मौजूदा विधियों की सीमाएँ:
वर्तमान अत्याधुनिक दृष्टिकोण जैसे Offsite-Tuning (OT) और इसके फेडरेटेड संस्करण (FedOT, FedBiOT), क्लाइंट साइड पर केवल हल्के वजन वाले एडैप्टर्स (adapters) को प्रशिक्षित करके और बैकबोन को फ्रीज और अस्पष्ट (obfuscated) रखकर इसे हल करने का प्रयास करते हैं। हालाँकि, लेखक एक मौलिक बाधा की पहचान करते हैं: इन हल्के एडैप्टर्स में पर्याप्त रिप्रेजेंटेशन क्षमता (representation capacity) की कमी होती है, जिससे विशेष रूप से विषम सेटिंग्स में सेंट्रलाइज्ड फाइन-ट्यूनिंग की तुलना में महत्वपूर्ण प्रदर्शन अंतराल पैदा होता है।

2. कार्यप्रणाली: FedProxy फ्रेमवर्क (Methodology: The FedProxy Framework)

FedProxy एक सरोगेट-संचालित अनुकूलन प्रतिमान (surrogate-driven optimization paradigm) पेश करता है। छोटे एडैप्टर्स को प्रशिक्षित करने के बजाय, यह प्रोप्रायटरी LLM को एक एकीकृत, शक्तिशाली Proxy Small Language Model (SLM) में संकुचित करता है। यह Proxy SLM सहयोगात्मक फाइन-ट्यूनिंग के लिए एक उच्च-सटीक सरोगेट के रूप में कार्य करता है। यह फ्रेमवर्क तीन विशिष्ट चरणों में संचालित होता है:

चरण 1: सर्वर-निर्देशित संपीड़न के माध्यम से कुशल प्रतिनिधित्व (Efficient Representation via Server-Guided Compression)

• लक्ष्य: प्रोप्रायटरी LLM ($f_\theta$) से पूर्ण मॉडल IP को उजागर किए बिना एक संसाधन-अनुकूल Proxy SLM ($f_\phi$) बनाना।
• तंत्र: सर्वर एक सार्वजनिक डेटासेट ($D_{pub}$) का उपयोग करके LLM पर स्ट्रक्चर्ड प्रूनिंग (structured pruning) करने के लिए उपयोग करता है।
• मीट्रिक: यह हिडन स्टेट रिप्रेजेंटेशन पर प्रत्येक ट्रांसफार्मर ब्लॉक के प्रभाव के आधार पर प्रत्येक ब्लॉक के महत्व को मापने के लिए ब्लॉक इन्फ्लुएंस (BI) मीट्रिक का उपयोग करता है।
• परिणाम: उच्चतम BI स्कोर वाले ब्लॉक्स को रिटेन किया जाता है ताकि एक कॉम्पैक्ट Proxy SLM ($|\phi| \ll |\theta|$) बनाया जा सके, जिसे फिर सभी क्लाइंट्स को वितरित किया जाता है। यह सुनिश्चित करता है कि प्रॉक्सी बैकबोन के संरचनात्मक ज्ञान को बनाए रखते हुए क्लाइंट के संसाधन प्रतिबंधों में फिट हो सके।

चरण 2: हस्तक्षेप-निवारण एकत्रीकरण के माध्यम से मजबूत अनुकूलन (Robust Optimization via Interference-Mitigating Aggregation)

• लक्ष्य: डेटा विषमता (heterogeneity) और पैरामीटर संघर्षों को संबोधित करना।
• तंत्र: प्रति संचार राउंड (communication round) एक तीन-चरणीय एकत्रीकरण रणनीति:
  1. सर्वर-साइड विश्लेषण: सर्वर टास्क वेक्टर्स (Task Vectors) (अपडेट्स) की गणना करता है और समूह से विचलन को मापने के लिए पेयरवाइज कोसाइन समानता (pairwise cosine similarities) निकालता है:
     • विषमता गुणांक ($h_k$): यह मापता है कि एक क्लाइंट समूह से कितना विचलित होता है।
     • अनुकूली भार ($w_k$): उन क्लाइंट्स को प्राथमिकता देता है जिनमें मजबूत सहमति (consensus) होती है।
     • पैरामीटर-स्तरीय संघर्ष स्कोर ($C_d$): विशिष्ट पैरामीटर्स के लिए अपडेट संकेतों में असहमति को मात्रात्मक रूप से दर्शाता है।
  2. क्लाइंट-साइड रेगुलराइजेशन (PCR): क्लाइंट्स संघर्ष स्कोर को अपने स्थानीय लॉस फंक्शन में शामिल करते हैं। उन्हें उन पैरामीटर्स पर वैश्विक मॉडल से विचलित होने के लिए दंडित किया जाता है जिनमें उच्च संघर्ष होता है, जिससे सहमति वाले पैरामीटर्स पर संरेखण को बढ़ावा मिलता है जबकि संघर्षित पैरामीटर्स पर वैयक्तिकरण (personalization) की अनुमति मिलती है।
  3. विषमता-जागरूक TIES-Merging (H-TIES): सर्वर अपडेट को संशोधित TIES-Merging दृष्टिकोण का उपयोग करके मर्ज करता है:
     • स्पारसिफिकेशन (Sparsification): अत्यधिक विषम क्लाइंट्स के अपडेट को स्पारसिफाई किया जाता है (रिटेंशन रेट कम कर दी जाती है)।
     • स्केलिंग (Scaling): अपडेट को सहमति की ताकत के आधार पर भारित किया जाता है।
     • संघर्ष समाधान (Conflict Resolution): प्रत्येक पैरामीटर आयाम के लिए, केवल उन अपडेट्स को औसत निकाला जाता है जो प्रमुख संकेत (धनात्मक या ऋणात्मक) के अनुरूप होते हैं, जो प्रभावी रूप से विपरीत ग्रेडिएंट्स को रद्द कर देता है।

चरण 3: प्रशिक्षण-मुक्त "प्लग-इन" के माध्यम से सहज संलयन (Effessless Fusion via Training-Free "Plug-in")

• लक्ष्य: सीखे गए ज्ञान को मूल LLM में वापस एकीकृत करना।
• तंत्र: चूंकि Proxy SLM, LLM का एक सीधा सब-नेटवर्क है (आर्किटेक्चरल मैपिंग $\phi \subset \theta$), फ्रेमवर्क प्रत्यक्ष पैरामीटर प्रतिस्थापन (direct parameter replacement) करता है।
• प्रक्रिया: अपडेट किए गए लेयर्स को मूल LLM के संगत लेयर्स द्वारा ओवरराइट किया जाता है।
• लाभ: यह एक ट्रेनिंग-फ्री प्रक्रिया है जिसमें विशाल LLM पर शून्य अतिरिक्त अनुमान विलंबता (inference latency) आती है, जो डिकोडिंग-टाइम फ्यूजन विधियों के विपरीत है।

3. मुख्य योगदान (Key Contributions)

1. FedProxy फ्रेमवर्क: एक समग्र समाधान जो कमजोर एडैप्टर्स को एक शक्तिशाली, संकुचित Proxy SLM से बदलकर IP-प्राइवेसी-परफॉरमेंस त्रिपथ को हल करता है।
2. H-TIES और PCR: विषमता-जागरूक एकत्रीकरण (Heterogeneity-Aware Aggregation) के लिए नवीन एल्गोरिदम।
   • PCR संघर्ष-जागरूक स्थानीय प्रशिक्षण को निर्देशित करता है।
   • H-TIES विषमता-जागरूक सर्वर मर्जिंग करता है, जो विविध फेडरेटेड इकोसिस्टम में पैरामीटर इंटरफेरेंस को प्रभावी ढंग से कम करता है।
3. सैद्धांतिक विश्लेषण: शोध पत्र फ्यूजन एरर पर एक सैद्धांतिक सीमा प्रदान करता है, जो इसे प्रॉक्सी उप-इष्टतमता (suboptimality), संपीड़न विरूपण (compression distortion) और सबस्पेस सन्निकटन (subspace approximation) में विभाजित करता है, जो प्रत्यक्ष पैरामीटर प्रतिस्थापन रणनीति को न्यायसंगत बनाता है।
4. अनुभवजन्य श्रेष्ठता (Empirical Superiority): व्यापक प्रयोग जो प्रदर्शित करते हैं कि FedProxy, OT-आधारित विधियों से काफी बेहतर प्रदर्शन करता है और सेंट्रलाइज्ड फाइन-ट्यूनिंग के प्रदर्शन के करीब पहुँच जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन LLaMA2-7B और Mistral-7B पर दो परिदृश्यों में किया गया: होमोजेनियस (IID) और हेटरोजेनियस (Non-IID) कार्य (QA और GLUE बेंचमार्क)।

• प्रदर्शन लाभ:
  • विषम सेटिंग्स (Heterogeneous settings) में, 50% संपीड़न के साथ, FedProxy ने QA सटीकता 0.6011 और GLUE सटीकता 0.7944 (LLaMA2-7B) प्राप्त की।
  • यह OT (जैसे, +12.6% एब्सोल्यूट इम्प्रूवमेंट ऑन QA) की तुलना में एक बड़ा सुधार है।
  • FedProxy ने सेंट्रलाइज्ड फाइन-ट्यूनिंग (CentSFT) के ~90-91% प्रदर्शन तक पहुँच प्राप्त की, जबकि OT-आधारित विधियाँ काफी पीछे रह गईं।
• लागत-प्रदर्शन ट्रेड-ऑफ (Cost-Performance Trade-off):
  • हालांकि FedProxy के लिए अधिक पुनरावृत्ति संचार (iterative communication) और क्लाइंट कंप्यूटेशन की आवश्यकता होती है (छोटे एडैप्टर्स बनाम बड़े Proxy SLM के प्रशिक्षण के कारण), प्रारंभिक संचार लागत OT के समान है।
  • प्रदर्शन लाभ बढ़े हुए संसाधन निवेश को न्यायसंगत बनाते हैं, जो सेंट्रलाइज्ड ट्रेनिंग के अंतर को पाटते हैं।
• एब्लेशन अध्ययन (Ablation Studies):
  • PCR या H-TIES में से किसी एक को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो सिद्ध करता है कि दोनों घटक महत्वपूर्ण हैं।
  • FedProxy ने यहाँ तक कि एक मजबूत बेसलाइन से भी बेहतर प्रदर्शन किया जहाँ OT एमुलेटर को भी प्रशिक्षित किया गया था (FedOT-ET), जो एडैप्टर-आधारित संरचनाओं के ऊपर Proxy SLM के आर्किटेक्चरल लाभ की पुष्टि करता है।
  • IP संरक्षण: प्रारंभिक संकुचित Proxy SLM मूल LLM (Zero-Shot) की तुलना में काफी खराब प्रदर्शन करता है, जो पुष्टि करता है कि संकुचित मॉडल पूर्ण IP को लीक नहीं करता है।

5. महत्व और प्रभाव (Significance and Impact)

• नया बेंचमार्क: FedProxy सुरक्षित, उच्च-प्रदर्शन वाले फेडरेटेड LLM एडैप्टेशन के लिए एक नया मानक स्थापित करता है, यह साबित करता है कि पूर्ण मॉडल एक्सपोजर के बिना उच्च-सटीक एडैप्टेशन संभव है।
• व्यावहारिक तैनाती: "प्लग-इन" फ्यूजन तंत्र बड़े पैमाने के LLM में बिना रिट्रेनिंग या अनुमान ओवरहेड के तत्काल क्षमता अपग्रेड की अनुमति देता है, जिससे यह वास्तविक दुनिया के औद्योगिक अनुप्रयोगों के लिए अत्यधिक उपयुक्त हो जाता है।
• स्केलेबिलिटी: मौजूदा OT विधियों की प्रदर्शन बाधा को संबोधित करके, FedProxy फेडरेटेड फाइन-ट्यूनिंग को गोपनीयता-संवेदनशील डोमेन (जैसे वित्त, स्वास्थ्य सेवा) के लिए एक व्यवहार्य समाधान बनाता है जहाँ डेटा को केंद्रीकृत नहीं किया जा सकता है।

सीमाएँ: लेखक नोट करते हैं कि उच्च संपीड़न अनुपात (>50%) क्षमता हानि के कारण प्रदर्शन में गिरावट लाते हैं। इसके अतिरिक्त, वर्तमान एकत्रीकरण रणनीति क्लाइंट्स की संख्या के साथ द्विघात ($O(K^2)$) रूप से स्केल करती है, जो बड़े पैमाने पर तैनाती के लिए अनुमानित निकटतम पड़ोसी खोज (approximate nearest neighbor search) या पदानुक्रमित एकत्रीकरण (hierarchical aggregation) की आवश्यकता का सुझाव देती है।