तकनीकी सारांश: PreLort – रैंक विषमता के तहत फेडरेटेड फाइन-ट्यूनिंग के लिए प्रीफ़िक्स-नेस्टेड LoRA

1. समस्या विवरण

फेडरेटेड लर्निंग (FL) कच्चे डेटा को साझा किए बिना लार्ज लैंग्वेज मॉडल्स (LLMs) के सहयोगात्मक प्रशिक्षण को सक्षम बनाता है, लेकिन यह लो-रैंक एडेप्टेशन (LoRA) जैसे पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) विधियों के माध्यम से फाउंडेशन मॉडल्स को अनुकूलित करने में महत्वपूर्ण चुनौतियों का सामना करता है। एक प्राथमिक बाधा रैंक विषमता (rank heterogeneity) है: वास्तविक क्रॉस-डिवाइस सेटिंग्स में, क्लाइंट्स के पास अलग-अलग कंप्यूटेशनल और मेमोरी सीमाएं होती हैं, जिससे वे विभिन्न रैंक ($r$) के साथ LoRA एडेप्टर्स को इनिशियलाइज़ करते हैं।

विषम (heterogeneous) फेडरेटेड LoRA के मौजूदा समाधान मुख्य रूप से एकत्रीकरण चरण (aggregation phase) पर ध्यान केंद्रित करते हैं, जो अक्सर विभिन्न रैंकों के एडेप्टर्स को संरेखित करने के लिए ज़ीरो-पैडिंग (zero-padding) का उपयोग करते हैं। हालांकि, लेखक इन दृष्टिकोणों में एक मौलिक सीमा की पहचान करते हैं: प्रतिनिधित्व मिसअलाइनमेंट (representation misalignment)। भले ही एकत्रीकरण गणितीय रूप से परिभाषित हो, अलग-अलग रैंकों के साथ स्वतंत्र रूप से प्रशिक्षित मॉडल्स को संयोजित करने से विसंगतियां पैदा होती हैं। विशेष रूप से, कम-रैंक वाले क्लाइंट्स उच्च-रैंक वाले क्लाइंट्स के अपडेट से लाभ नहीं उठा पाते हैं क्योंकि जानकारी रैंक आयामों (dimensions) में पदानुक्रमित रूप से वितरित नहीं होती है। ज़ीरो-पैडिंग उच्च-रैंक वाले क्लाइंट्स के योगदान को ज़ीरो-वैल्यूड सेगमेंट पेश करके कमज़ोर बना देता है, जिससे साझा लो-रैंक रिप्रेजेंटेशन का इष्टतम उपयोग नहीं हो पाता है।

2. कार्यप्रणाली: PreLort

लेखक PreLort (प्रीफ़िक्स-नेस्टेड LoRA) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो प्रशिक्षण गतिकी (training dynamics) और एकत्रीकरण नियमों (aggregation rules) को संयुक्त रूप से व्यवस्थित करके रैंक विषमता को संबोधित करता है। इसका मूल दर्शन एडेप्टर आयामों को एक प्रीफ़िक्स पदानुक्रम (prefix hierarchy) में व्यवस्थित करना है, यह सुनिश्चित करते हुए कि निचले-रैंक के आयाम उन कार्य-प्रासंगिक सूचनाओं को एनकोड करें जो सभी क्लाइंट्स के बीच साझा की जाती हैं, जबकि उच्च-रैंक के आयाम वृद्धिशील क्षमता (incremental capacity) को कैप्चर करते हैं।

2.1 नेस्टेड लो-रैंक संरचना

PreLort एडेप्टर आयामों पर एक प्रीफ़िक्स-स्ट्रक्चर्ड संगठन लागू करता है। $r_k$ रैंक वाले क्लाइंट के लिए, केवल पहले $r_k$ आयाम सक्रिय होते हैं। महत्वपूर्ण रूप से, स्थानीय प्रशिक्षण के दौरान, एडेप्टर को केवल इसके पूर्ण रैंक पर अनुकूलित नहीं किया जाता है। इसके बजाय, इसे एकाधिक ट्रंकेटेड कॉन्फ़िगरेशन (prefix sub-ranks) के तहत अनुकूलित किया जाता है।

• तंत्र: $r_k$ रैंक वाले क्लाइंट को न केवल $r_k$ पर, बल्कि फेडरेशन में मौजूद सभी निचले रैंक स्तरों ($r \in \{r \mid r \le r_k\}$) पर भी अच्छा प्रदर्शन करने के लिए प्रशिक्षित किया जाता है।
• उद्देश्य: यह मॉडल को कार्य-प्रासंगिक संकेतों को अग्रणी (low-rank) आयामों में केंद्रित करने के लिए मजबूर करता है, जिससे यह सुनिश्चित होता है कि ये आयाम ट्रंकेट होने के बाद भी सूचनात्मक और उपयोगी बने रहें।

2.2 स्थानीय प्रशिक्षण रणनीति

क्लाइंट $k$ के लिए स्थानीय उद्देश्य सभी वैध प्रीफ़िक्स सब-रैंक्स $R_k$ पर गणना किए गए क्रॉस-एन्ट्रॉपी लॉस का औसत है:
$$\mathcal{L}_k = \frac{1}{|R_k|} \sum_{r \in R_k} \mathcal{L}_{CE}(f(\cdot; \theta, r), \mathcal{D}_k)$$
व्यवहार में, प्रत्येक प्रशिक्षण चरण में एक फुल-रैंक फॉरवर्ड/बैकवर्ड पास और सभी सब-रैंक्स के लिए अतिरिक्त पास शामिल होते हैं। यह रणनीति सुनिश्चित करती है कि प्रीफ़िक्स सेगमेंट को उसी सूक्ष्मता (granularity) पर स्पष्ट रूप से अनुकूलित किया जाए जिसका उपयोग एकत्रीकरण के दौरान किया जाता है, जिससे एक सुसंगत पदानुक्रम को बढ़ावा मिलता जहां निचले आयाम सबसे महत्वपूर्ण जानकारी को कैप्चर करते हैं।

2.3 सेगमेंट-वाइज एकत्रीकरण

ज़ीरो-पैडिंग के कारण होने वाले नुकसान (dilution) से बचने के लिए, PreLort ग्रेडिएंट (अपडेट) स्पेस में संचालित होने वाला एक सेगमेंट-वाइज एकत्रीकरण नियम पेश करता है।

• प्रक्रिया: प्रत्येक आयाम के लिए सभी क्लाइंट्स का औसत निकालने के बजाय, सर्वर प्रत्येक रैंक सेगमेंट $[r_{l-1}, r_l)$ के लिए केवल उन क्लाइंट्स के उपसमूह (subset) पर ग्रेडिएंट को एकत्रित करता जिनका रैंक $r_k$ उस सेगमेंट में योगदान देने के लिए पर्याप्त है (अर्थात, $r_k \ge r_l$)।
• फॉर्मूला: $l$-वें सेगमेंट के लिए, एकत्रित ग्रेडिएंट है:
  $$\nabla A_{global}^{r_{l-1}:r_l} = \frac{\sum_{k: r_k \ge r_l} n_k \nabla A_k^{r_{l-1}:r_l}}{\sum_{k: r_k \ge r_l} n_k}$$
• लाभ: यह ज़ीरो-पैड किए गए लो-रैंक क्लाइंट्स से सिग्नल डिल्यूशन को रोकता है और यह सुनिश्चित करता है कि उच्च-रैंक के आयाम केवल उन्हीं क्लाइंट्स द्वारा अपडेट किए जाएं जिनके पास उन्हें सीखने की क्षमता है, जबकि निचले आयाम पूरी आबादी से लाभान्वित होते हैं।

3. प्रमुख योगदान

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

1. प्रतिनिधित्व मिसअलाइनमेंट की पहचान: लेखक बताते हैं कि रैंक आयामों के बीच संरचित संरेखण (structured alignment) की कमी वर्तमान विषम फेडरेटेड LoRA विधियों की एक प्रमुख सीमा है, जिससे असंगत प्रतिनिधित्व होता है।
2. नेस्टेड फॉर्मूलेशन और एकीकृत रणनीति: वे एक नेस्टेड लो-रैंक फॉर्मूलेशन प्रस्तावित करते हैं जो एक सामान्य प्रीफ़िक्स संरचना लागू करता है। इसे एक एकीकृत प्रशिक्षण और एकत्रीकरण रणनीति के साथ जोड़ा गया है जो ज़ीरो-पैडिंग के बिना विषम रैंकों के बीच सुसंगत एकत्रीकरण को सक्षम बनाता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): इस पद्धति को इंस्ट्रक्शन-ट्यूनिंग बेंचमार्क पर पूर्ववर्ती विषम फेडरेटेड LoRA विधियों पर लगातार बेहतर प्रदर्शन करते हुए प्रदर्शित किया गया है।

4. प्रयोगात्मक परिणाम

लेखकों ने दो बेस मॉडल्स (TinyLlama-1.1B और Qwen2.5-0.5B) पर तीन डेटासेट्स: Alpaca, Databricks-dolly-15, और 20 Newsgroups पर PreLort का मूल्यांकन किया।

• प्रदर्शन मेट्रिक्स: PreLort ने सटीकता (Accuracy) (MMLU, 20 Newsgroups) और ROUGE-L स्कोर में बेसलाइन्स (ZeroPad, HetLoRA, FLoRA) को लगातार पछाड़ दिया।
  • TinyLlama-1.1B पर, PreLort ने MMLU (Dolly) पर 33.86% सटीकता और Alpaca पर 30.76% प्राप्त किया, जो अगले सर्वश्रेष्ठ बेसलाइन्स से अधिक है।
  • Qwen2.5-0.5B पर, इसने MMLU (Dolly) पर 39.85% सटीकता प्राप्त की।
• परप्लेक्सिटी (Perplexity): PreLort ने दोनों बेस मॉडल्स के लिए Dolly और NewsGroup पर सबसे कम परप्लेक्सिटी प्राप्त की, जो बेहतर टोकन-लेवल लाइकलीहुड (likelihood) को प्रदर्शित करता है।
• रैंक मजबूती (Rank Robustness): विश्लेषण ने दिखाया कि PreLort विभिन्न प्रीफ़िक्स ट्रंकेशन स्तरों के बीच स्थिर प्रदर्शन बनाए रखता है। इसके विपरीत, "Nested Aggregation Only" जैसे बेसलाइन्स ने अस्थिरता दिखाई, विशेष रूप से उच्च रैंक पर, जो पुष्टि करता है कि नेस्टेड ट्रेनिंग ऑब्जेक्टिव के बिना केवल एकत्रीकरण अपर्याप्त है।
• प्रति-आयाम महत्व (Per-Dimension Importance): आयाम महत्व के विज़ुअलाइज़ेशन ने खुलासा किया कि PreLort कार्य-प्रासंगिक सिग्नल को अग्रणी आयामों में केंद्रित करता है (एक संरचित वितरण), जबकि मानक प्रशिक्षण एक समान (uniform) वितरण देता है। यह पदानुक्रमित प्राथमिकता विषम रैंकों के बीच स्थिर अपडेट की सुविधा प्रदान करती है।

5. महत्व और दावे

पेपर का दावा है कि PreLort रैंक विषमता को संबोधित करने में एक बदलाव का प्रतिनिधित्व करता है: इसे केवल एक पोस्ट-हॉक एकत्रीकरण समस्या के रूप में मानने के बजाय, इसे स्वयं प्रशिक्षण प्रक्रिया को संरचित करके हल किया जाता है।

• मुख्य तर्क: लेखकों का तर्क है कि रैंक विषमता को संबोधित करने के लिए न केवल बेहतर एकत्रीकरण की आवश्यकता है, बल्कि रैंकों के बीच प्रतिनिधित्व के संरचित संरेखण की भी आवश्यकता है।
• दक्षता: यह विधि कम-रैंक वाले क्लाइंट्स को उच्च-रैंक वाले क्लाइंट्स द्वारा दिए गए समृद्ध सूचना से लाभ उठाने की अनुमति देती है क्योंकि प्रीफ़िक्स आयामों को लगातार सीखा और एकत्रित किया जाता है।
• सीमाओं पर विनम्रता: लेखक स्वीकार करते हैं कि नेस्टेड ट्रेनिंग रणनीति प्रति बैच कई फॉरवर्ड/बैकवर्ड पास के कारण लगभग 40% अतिरिक्त कंप्यूटेशनल ओवरहेड पेश करती है। वे यह भी नोट करते हैं कि इसकी प्रभावशीलता पर्याप्त स्थानीय अनुकूलन चरणों (local optimization steps) पर निर्भर करती; बहुत सीमित स्थानीय इपोक (epochs) के साथ, मॉडल पूरी तरह से अच्छी तरह से संरेखित लो-रैंक प्रीफ़िक्स रिप्रेजेंटेशन को नहीं सीख सकता है।

निष्कर्षतः, PreLort यह प्रदर्शित करता है कि फेडरेटेड LoRA में रैंक विषमता को सबसे अच्छी तरह से तब संभाला जा सकता है जब एडेप्टर को कैसे प्रशिक्षित किया जाता है (नेस्टेड प्रीफ़िक्स ऑप्टिमाइज़ेशन के माध्यम से) और उनके अपडेट को कैसे एकत्रित किया जाता है (सेगमेंट-वाइज नियमों के माध्यम से) दोनों को संयुक्त रूप से संरचित किया जाता है, जिसके परिणामस्वरूप संरेखित, मजबूत प्रीफ़िक्स रिप्रेजेंटेशन प्राप्त होते हैं जो मौजूदा विषम एकत्रीकरण विधियों से बेहतर प्रदर्शन करते हैं।