तकनीकी सारांश: सहयोगात्मक संरेखण के माध्यम से LLMs के लिए Federated LoRA Fine-Tuning

1. समस्या विवरण (Problem Statement)

यह शोध पत्र फेडरेटेड लर्निंग (FL) सेटिंग में लो-रैंक अडैप्टेशन (LoRA) का उपयोग करके लार्ज लैंग्वेज मॉडल्स (LLMs) को फाइन-ट्यून करने की चुनौती को संबोधित करता है। जबकि LoRA एक प्रीट्रेन्ड बैकबोन $W_0$ को फ्रीज करके और केवल लो-रैंक अडैप्टर्स $\Delta^{(k)} = B^{(k)}A^{(k)}$ को अपडेट करके पैरामीटर दक्षता प्रदान करता है, फेडरेटेड परिनियोजन (deployment) तीन महत्वपूर्ण कठिनाइयाँ पेश करता है:

1. अज्ञात बैकबोन्स (Unknown Backbones): कई व्यावहारिक FL परिदृश्यों में, सर्वर के पास साझा ग्लोबल बैकबोन $W_0$ या विशिष्ट अडैप्टर अपघटन (decompositions) तक पहुंच नहीं होती है। यह केवल प्रारंभिक स्थानीय अनुमानकों (preliminary local estimators) $\hat{W}^{(k)}$ (जैसे, स्थानीय रूप से फाइन-ट्यून किए गए वेट्स) को देखता है। यह एक पहचान संबंधी समस्या (identifiability issue) पैदा करता है: $W_0$ के बिना, अडैप्टर घटकों को सीधे तौर पर नहीं देखा जा सकता है।
2. सांख्यिकीय विषमता और संदूषण (Statistical Heterogeneity and Contamination): क्लाइंट्स वितरण संबंधी बदलाव (distributional shifts) और कार्य अंतर प्रदर्शित करते हैं। महत्वपूर्ण रूप से, यह सेटिंग "संदूषित" (contaminated) क्लाइंट्स (आउटलेयर्स या एडवर्सियल) के एक उपसमूह की अनुमति देती है जिनके अडैप्टर्स "सौम्य" (benign) क्लाइंट्स की सामान्य संरचना साझा नहीं करते हैं। मानक एकत्रीकरण विधियाँ जैसे FedAvg यहाँ विफल हो जाती हैं, क्योंकि संदूषण साझा संरचना को विकृत कर सकता है और नकारात्मक हस्तांतरण (negative transfer) को प्रेरित कर सकता है।
3. साझा संरचना की पहचान (Identifiability of Shared Structure): मौजूदा विधियाँ अक्सर एक साझा बैकबोन या सीधे अडैप्टर तक पहुंच मानती हैं। यह शोध पत्र पूछता है: जब न तो बेस मॉडल और न ही अडैप्टर्स को अलग से देखा जाता है, तो केवल प्रारंभिक स्थानीय अनुमानकों से कौन सी साझा लो-रैंक संरचना पहचानी जा सकती है?

मुख्य उद्देश्य एक ऐसा ढांचा विकसित करना है जो क्लाइंट्स के बीच LoRA अडैप्टर्स को सहयोगात्मक रूप से परिष्कृत (refine) कर सके, सौम्य क्लाइंट्स के उपसमूह की पहचान कर सके, और साझा लो-रैंक सबस्पेस को रिकवर कर सके, और यह सब साझा बैकबोन तक पहुंच के बिना और संदूषण के प्रति रोबस्ट रहते हुए किया जा सके।

2. कार्यप्रणाली: CLAIR

लेखक Collaborative Low-rank Alignment and Identifiable Recovery (CLAIR) का प्रस्ताव करते हैं, जो एक संदूषण-जागरूक (contamination-aware) ढांचा है जो फेडरेटेड LoRA फाइन-ट्यूनिंग को एक स्ट्रक्चर्ड मैट्रिक्स अपघटन समस्या में बदल देता है।

2.1 कैनोनिकल निर्माण (Canonical Construction)

$W_0$ का सीधे अनुमान लगाने के बजाय, CLAIR एक पेयरवाइज कंट्रास्ट मैट्रिक्स $\hat{D}$ का निर्माण करता है। प्रत्येक क्लाइंट जोड़ी $(j, k)$ के लिए, यह अंतर $\hat{D}^{(j,k)} = \hat{W}^{(j)} - \hat{W}^{(k)}$ की गणना करता है। इन अंतरों को स्टैक करने से एक बड़ा मैट्रिक्स $\hat{D} \in \mathbb{R}^{Gq \times p}$ प्राप्त होता है (जहाँ $G = \binom{K}{2}$)।

• मुख्य अंतर्दृष्टि: साझा बैकबोन $W_0$ अंतर में निरस्त (cancel out) हो जाता है: $W^{(j)} - W^{(k)} \approx (B^{(j)} - B^{(k)})A$।
• अपघटन (Decomposition): पॉपुलेशन कंट्रास्ट मैट्रिक्स $D$ एक अपघटन $D = L_0 + S_0 + E_0$ स्वीकार करता है, जहाँ:
  • $L_0$ एक लो-रैंक घटक है जो सौम्य क्लाइंट्स की साझा संरचना (साझा रो स्पेस $A$ को स्पैन करता है) का प्रतिनिधित्व करता है।
  • $S_0$ एक ब्लॉक-स्पार्स घटक है जो संदूषण (कम से कम एक संदूषित क्लाइंट वाले जोड़ों के लिए गैर-शून्य) को कैप्चर करता है।
  • $E_0$ सौम्य क्लाइंट्स के अपूर्ण संरेखण के कारण होने वाली सन्निकटन त्रुटियों (approximation errors) का प्रतिनिधित्व करता है।

2.2 पहचान और रिकवरी (Identifiability and Recovery)

शोध पत्र स्थापित करता है कि हालांकि कच्चा जोड़ा $(L_0, S_0)$ एक "शिफ्ट करने योग्य सबस्पेस" (जहाँ सिग्नल लो-रैंक और स्पार्स घटकों के बीच जा सकता है) के कारण पहचानने योग्य नहीं है, लेकिन प्रोजेक्टेड घटक पहचानने योग्य हैं। विशेष रूप से, रो-स्पेस प्रोजेक्टर $P_A$ (जो साझा LoRA सबस्पेस का प्रतिनिधित्व करता है) और संदूषण का सपोर्ट रिकवर किया जा सकता है।

विधि एक दंडित उत्तलीय प्रोग्राम (penalized convex program) को हल करती है:
$$(\hat{L}, \hat{S}) \in \arg \min_{L, S} \frac{1}{2} \sum_{g \in G} \omega_g \| P_g(\hat{D} - L - S) \|_F^2 + \lambda_L \|L\|_* + \lambda_S \|S\|_{\text{blk},1}$$
जहाँ $\|L\|_*$ न्यूक्लियर नॉर्म (लो-रैंकनेस को बढ़ावा देने के लिए) है और $\|S\|_{\text{blk},1}$ ब्लॉक $\ell_1$-नॉर्म (ब्लॉक-स्पर्सिटी को बढ़ावा देने के लिए) है।

2.3 एल्गोरिदम चरण

1. अपघटन (Decomposition): $\hat{L}$ (लो-रैंक अनुमान) और $\hat{S}$ (स्पार्स अनुमान) प्राप्त करने के लिए कॉनवेक्स प्रोग्राम को हल करें।
2. सबस्पेस अनुमान (Subspace Estimation): साझा रो स्पेस प्रोजेक्टर $\hat{P}_A$ का अनुमान लगाने के लिए $\hat{L}$ का सिंगुलर वैल्यू अपघटन (SVD) करें।
3. संदूषण का पता लगाना (Contamination Detection): बहुमत-मतदान नियम (majority-voting rule) का उपयोग करके सौम्य क्लाइंट्स के सहयोगी सेट $\hat{C}_\alpha$ की पहचान करें। एक क्लाइंट $k$ को तब रिटेन किया जाता है यदि अन्य क्लाइंट्स के साथ इसके पेयरवाइज अंतरों का अधिकांश भाग एक छोटा ऑर्थोगोनल घटक रखता है (अर्थात, $\|\hat{S}^{(j,k)}_{A^\perp}\|_F \le \tau_n$)।
4. परिष्करण (Refinement): प्रत्येक सौम्य क्लाइंट $k \in \hat{C}_\alpha$ के लिए, पेयरवाइज अडैप्टेशन को सहयोगी सेट के माध्यम से औसत निकालकर एक परिष्कृत अनुमानक $\hat{W}^{(k)}$ की गणना करें, जो अनुमानित साझा घटक को ठीक करता है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक योगदान (Theoretical Contributions)

• Federated LoRA में पहचान (Identifiability in Federated LoRA): यह शोध पत्र जब केवल प्रारंभिक स्थानीय अनुमानक उपलब्ध हों, तो साझा LoRA सबस्पेस की पहचान का औपचारिक उपचार प्रदान करता है। यह सिद्ध करता है कि साझा रो स्पेस $P_A$ अद्वितीय रूप से रिकवर करने योग्य है, भले ही कच्चे लो-रैंक और स्पार्स घटकों की पहचान न हो सके।
• रिकवरी गारंटी (Recovery Guarantees):
  • सटीक रिकवरी (Exact Recovery): नॉइलेस केस में, विधि हल्के रैंक-स्पर्सिटी इनकोहेरेंस (rank-sparsity incoherence) स्थितियों के तहत साझा रो स्पेस प्रोजेक्टर $P_A$ को सटीक रूप से रिकवर करती है।
  • स्थिर रिकवरी (Stable Recovery): नॉइजी सेटिंग में (अनुमान त्रुटियों और सन्निकटन त्रुटियों के साथ), विधि $O_P(K^{-1/2})$ की त्रुटि दर के साथ स्थिर रिकवरी प्राप्त करती है, जो यह दर्शाती है कि क्लाइंट्स की संख्या बढ़ने से साझा सबस्पेस का अनुमान और भी सटीक हो जाता है।
  • सहयोगी सेट रिकवरी (Collaborative Set Recovery): विधि सौम्य क्लाइंट्स की पहचान लगातार करती है, बशर्ते सौम्य क्लाइंट्स बहुमत ($\eta > 1/2$) में हों और सौम्य एवं संदूषित जोड़ों के बीच एक सिग्नल गैप हो।
• त्रुटि विश्लेषण और लाभ मात्रा निर्धारण (Error Analysis and Gain Quantification): लेखक एक स्पष्ट MSE गेन का लक्षण वर्णन करते हैं। वे दिखाते हैं कि सहयोग केवल तभी प्रदर्शन में सुधार करता है जब साझा सबस्पेस के ऑर्थोगोनल कॉम्प्लीमेंट में सौम्य क्लाइंट्स को औसत निकालने से होने वाली वेरिएंस कमी, सबस्पेस अनुमान और विषमता की लागतों से अधिक हो। यह एक "गेन-टू-कॉस्ट" स्थिति प्रदान करता है जो समझाता है कि नकारात्मक हस्तांतरण कब होता है।

अनुभवजन्य योगदान (Empirical Contributions)

• सिमुलेशन (Simulation): मल्टीपल-रिस्पॉन्स लीनियर मॉडल्स पर प्रयोगों से पता चलता है कि CLAIR, स्थानीय OLS, मानक FedAvg (जो संदूषण के तहत विफल हो जाता है), और ओरकल FedAvg (जो विषम सौम्य क्लाइंट्स को औसत निकालने में पर्सनलाइजेशन बायस से ग्रस्त होता है) की तुलना में काफी बेहतर प्रदर्शन करता है। CLAIR सटीक संदूषण डिटेक्शन और कम कोएफिशिएंट एरर प्राप्त करता है।
• LLM फाइन-ट्यूनिंग: विधि को टेक्स्ट-कॉपीइंग टास्क पर ट्रांसफार्मर आर्किटेक्चर पर लागू किया गया है।
  • सेटअप: 9 सौम्य क्लाइंट्स और 1 संदूषित क्लाइंट।
  • परिणाम: CLAIR होमोजेनियस और हेटरोजेनियस दोनों रिजीम में संदूषित क्लाइंट की सफलतापूर्वक पहचान करता है। हेटरोजेनियस सेटिंग में, CLAIR उच्चतम औसत सटीकता प्राप्त करता है, जो स्थानीय फाइन-ट्यूनिंग और नॉन-रोबस्ट FedAvg को पछाड़ देता है, जो नकारात्मक ज्ञान हस्तांतरण से बचने की इसकी क्षमता को प्रदर्शित करता है।

4. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि CLAIR एक संदूषण-जागरूक ढांचा (contamination-aware framework) प्रदान करता है जो साझा बैकबोन तक पहुंच के बिना सहयोगात्मक फेडरेटेड LoRA फाइन-ट्यूनिंग के लिए काम करता है। इसका महत्व निम्नलिखित में निहित है:

1. मजबूती (Robustness): यह सौम्य भिन्नता को संदूषण से प्रभावी ढंग से अलग करता है, जिससे आउटलेयर्स द्वारा साझा संरचना के विरूपण को रोका जा सकता है।
2. सैद्धांतिक आधार (Theoretical Grounding): कई अनुभवजन्य अध्ययनों के विपरीत, यह कार्य इस बात का कठोर सैद्धांतिक विश्लेषण प्रदान करता है कि सहयोग अनुमान में क्यों और कब सुधार करता है। यह स्पष्ट करता है कि लाभ साझा सबस्पेस के भीतर क्लाइंट-विशिष्ट भिन्नता को संरक्षित करते हुए ऑर्थोगोनल-कॉम्प्लीमेंट एरर को कम करने से आता है।
3. व्यावहारिक प्रयोज्यता (Practical Applicability): यह विधि मैट्रिक्स-वैल्यूड अपडेट्स के रूप में स्थानीय अनुकूलन को दर्शाने वाले मॉडल्स की एक विस्तृत श्रेणी (लीनियर रिग्रेशन से लेकर न्यूरल नेटवर्क तक) के लिए लागू करने योग्य है, जो इसे वास्तविक दुनिया के FL परिदृश्यों के लिए उपयुक्त बनाती है जहाँ डेटा गोपनीयता कच्चे डेटा या बेस मॉडल्स को साझा करने से रोकती है।

लेखक निष्कर्ष निकालते हैं कि हालांकि CLAIR पर्याप्त लाभ प्रदान करता है, लेकिन इसके लाभ सशर्त हैं: सहयोग केवल तभी फायदेमंद होता है जब ओरकल वेरिएंस रिडक्शन, सबस्पेस अनुमान और विषमता की लागतों पर हावी हो जाता है। यह डायग्नोस्टिक स्थिति अभ्यासकर्ताओं को यह समझने में मदद करती है कि नकारात्मक हस्तांतरण कब हो सकता है। भविष्य के कार्य में सिंगल-मेजोरिटी धारणा को शिथिल करना (ओवरलैपिंग कोलैबोरेटिव ग्रुप्स की अनुमति देने के लिए) और डीप लर्निंग फाइन-ट्यूनिंग की गतिशीलता तक विश्लेषण का विस्तार करना शामिल है।