Who Trains Matters: Federated Learning under Enrollment and Participation Selection Biases

यहाँ गोटा मोरिशिता के शोध पत्र "Who Trains Matters: Federated Learning under Enrollment and Selection Biases" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

फेडरेटेड लर्निंग (FL) का लक्ष्य वितरित क्लाइंट्स के कच्चे डेटा (raw data) को केंद्रीकृत किए बिना, एक लक्षित जनसंख्या (target population) पर एक वैश्विक मॉडल को प्रशिक्षित करना है। मानक एल्गोरिदम (जैसे, FedAvg) अंतर्निहित रूप से यह मान लेते हैं कि प्रत्येक संचार दौर (communication round) में भाग लेने वाले क्लाइंट्स लक्षित जनसंख्या का एक प्रतिनिधि नमूना (representative sample) हैं। हालाँकि, व्यवहार में, यह धारणा अक्सर विफल हो जाती है क्योंकि इसमें चयन पूर्वाग्रह (selection bias) होता है, जिसे शोध पत्र दो अलग-अलग चरणों में पहचाना गया है:

1. नामांकन पूर्वाग्रह (Enrollment Bias): यह पात्रता नियमों (डिवाइस की बाधाएं, सॉफ्टवेयर आवश्यकताएं, उपयोगकर्ता सहमति) द्वारा निर्धारित होता है जो यह तय करते हैं कि कौन से क्लाइंट प्रशिक्षण के लिए कभी सुलभ (reachable) हो सकते हैं। यह नामांकित पूल (enrolled pool) और लक्षित जनसंख्या (target population) के बीच एक विसंगति पैदा करता है।
2. भागीदारी पूर्वाग्रह (Participation Bias): यह गतिशील कारकों (बैटरी, नेटवर्क, स्थानीय समय) द्वारा निर्धारित होता है जो यह तय करते हैं कि नामांकित क्लाइंट्स में से कौन वास्तव में एक विशिष्ट संचार दौर में भाग लेता है।

मुख्य मुद्दा: मौजूदा साहित्य मुख्य रूप से राउंड-स्तरीय भागीदारी पूर्वाग्रह (round-level participation bias) को संबोधित करता है। हालाँकि, शोध पत्र का तर्क है कि यदि भागीदारी पूर्वाग्रह को पूरी तरह से ठीक भी कर दिया जाए, तो भी नामांकन पूर्वाग्रह (enrollment bias) प्रशिक्षण उद्देश्य (नामांकित उपसमूह के लिए अनुकूलन) और लक्षित-जनसंख्या उद्देश्य के बीच एक निरंतर विसंगति उत्पन्न करता है। यदि नामांकित पूल प्रतिनिधि नहीं है, तो मॉडल इच्छित जनसंख्या के लिए एक उप-इष्टतम (suboptimal) समाधान की ओर अभिसरित (converge) होता है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एक दो-चरणीय चयन मॉडल (two-stage selection model) के तहत FL को औपचारिक रूप देता है और इनवर्स प्रोबेबिलिटी वेटिंग (Inverse Probability Weighting - IPW) पर आधारित एक डिबायसिंग फ्रेमवर्क प्रस्तावित करता है।

A. दो-चरणीय चयन ढांचा (Two-Stage Selection Framework)

लेखक क्लाइंट समावेश को एक कारण प्रक्रिया (causal process) के रूप में मॉडल करते हैं:

• चरण 1 (नामांकन): एक क्लाइंट $i$ नामांकित ($E_i=1$) होता है जिसकी प्रायिकता $\pi^{enroll}_i = P(E_i=1 | Z_i)$ है, जहाँ $Z_i$ पूर्व-नामांकन सहचर (pre-enrollment covariates) हैं (जैसे, डिवाइस प्रकार, क्षेत्र)।
• चरण 2 (भागीदारी): नामांकन की स्थिति में, क्लाइंट $i$ दौर $r$ में भाग लेता है ($A_{i,r}=1$) जिसकी प्रायिकता $\pi^{part}_{i,r} = P(A_{i,r}=1 | E_i=1, Z_i, X_{i,r})$ है, जहाँ $X_{i,r}$ पूर्व-राउंड सहचर (जैसे, बैटरी, नेटवर्क) हैं।

कुल समावेश प्रायिकता इस प्रकार विभाजित होती है:
$$p_{i,r} = \pi^{enroll}_i \times \pi^{part}_{i,r}$$

B. प्रस्तावित एल्गोरिदम: FedIPW

लक्षित-जनसंख्या माध्य अपडेट (target-population mean update) को पुनः प्राप्त करने के लिए, लेखक FedIPW (Federated Inverse Probability Weighting) प्रस्तावित करते हैं।

• तंत्र: प्रत्येक क्लाइंट के अपडेट $\Delta_{i,r}$ को समान रूप से औसत करने के बजाय, सर्वर प्रत्येक क्लाइंट के अपडेट को उनके समावेश की प्रायिकता के व्युत्क्रम (inverse) से भारित (weight) करता है:
  $$\hat{\bar{\Delta}}_r = \frac{1}{N} \sum_{i: A_{i,r}=1} \frac{\Delta_{i,r}}{\hat{p}_{i,r}}$$
• अनुमान (Estimation): चूंकि वास्तविक प्रायिकताएं अज्ञात हैं, FedIPW दोनों घटकों का अलग-अलग अनुमान लगाता है:
  1. $\hat{\pi}^{enroll}_i$ का अनुमान पूर्व-नामांकन सहचरों और नामांकन संकेतकों (जिसके लिए जनसंख्या-स्तरीय डेटा की आवश्यकता होती है) का उपयोग करके लगाया जाता है।
  2. $\hat{\pi}^{part}_{i,r}$ का अनुमान नामांकित क्लाइंट्स के बीच राउंड-स्तरीय सहचरों का उपयोग करके लगाया जाता है।
• सैद्धांतिक गारंटी: इग्नोरैबिलिटी (ignorability) और पॉजिटिविटी (positivity) धारणाओं के तहत, FedIPW लक्षित-जनसंख्या माध्य अपडेट का एक निष्पक्ष अनुमान (unbiased estimator) प्रदान करता है।

C. सीमित-सूचना विस्तार: एग्रीगेट कैलिब्रेशन (Limited-Information Extension: Aggregate Calibration)

कई वास्तविक दुनिया के परिदृश्यों में, गैर-नामांकित क्लाइंट्स के लिए व्यक्तिगत-स्तरीय सहचर उपलब्ध नहीं होते हैं, जिससे पूर्ण नामांकन IPW असंभव हो जाता है।

• समाधान: लेखक एक एग्रीगेट-कैलिब्रेशन (Aggregate-Calibration) विस्तार पेश करते हैं।
• विधि: यह नामांकित नमूने को इस तरह से पुन: भारित (reweights) करता है कि पूर्व-नामांकन सहचरों (जैसे, क्षेत्र, OS संस्करण) का भारित वितरण ज्ञात एग्रीगेट सारांशों (जैसे, जनगणना डेटा) के साथ मेल खाता है।
• भूमिका: यह पूर्ण व्यक्तिगत-स्तरीय डेटा गायब होने की स्थिति में नामांकन पूर्वाग्रह के लिए एक आंशिक सुधार के रूप में कार्य करता है।

3. मुख्य योगदान (Key Contributions)

1. दो-चरणीय चयन का औपचारिकीकरण: शोध पत्र नामांकन पूर्वाग्रह को भागीदारी पूर्वाग्रह से अलग करता है, उन्हें एक क्रमिक कारण प्रक्रिया के रूप में औपचारिक रूप देता है। यह प्रदर्शित करता है कि नामांकन पूर्वाग्रह को अनदेखा करने से एक संरचनात्मक विसंगति उत्पन्न होती है जिसे केवल भागीदारी सुधारों से ठीक नहीं किया जा सकता है।
2. FedIPW एल्गोरिदम: एक इनवर्स-प्रोबेबिलिटी-वेटेड एग्रीगेशन योजना का व्युत्पन्न जो मानक मान्यताओं के तहत लक्षित-जनसंख्या उद्देश्य को पुनः प्राप्त करता है।
3. बायस फ्लोर के साथ अनुकूलन विश्लेषण: लेखक एक एल्गोरिदम-अज्ञेयवादी (algorithm-agnostic) विश्लेषण प्रदान करते हैं जो दिखाते हैं कि अवशिष्ट वेटिंग त्रुटियां (residual weighting errors) (अनुमान त्रुटि या संरचनात्मक मिसस्पेसिफिकेशन के कारण, जैसे नामांकन चरण को छोड़ देना) एक नॉन-वेनिशिंग बायस फ्लोर (non-vanishing bias floor) उत्पन्न करती हैं।
   • त्रुटि सीमा एक क्षणिक पद (transient term), एक वेरिएंस पद और एक बायस फ्लोर में विभाजित होती है जो $\epsilon_w^2 G^2 / \mu$ के समानुपाती है, जहाँ $\epsilon_w$ वेटिंग त्रुटि है और $G$ ग्रेडिएंट विषमता (gradient heterogeneity) है।
   • यह सिद्ध करता है कि अधूरा चयन सुधार (जैसे, केवल भागीदारी को ठीक करना) निरंतर उप-इष्टतमता (suboptimality) का परिणाम देता है।
4. एग्रीगेट कैलिब्रेशन: सीमित-सूचना व्यवस्थाओं के लिए एक व्यावहारिक विधि जो नामांकन पूर्वाग्रह को आंशिक रूप से कम करने के लिए जनसंख्या सारांशों का उपयोग करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखक अपने सिद्धांत को सिंथेटिक फेडरेटेड लॉजिस्टिक रिग्रेशन का उपयोग करके सत्यापित करते हैं, जहाँ वास्तविक लक्षित-जनसंख्या इष्टतम (optimum) की सटीक गणना की जा सकती है।

• उद्देश्य विसंगति (Objective Mismatch): Naive FedAvg एक "चयनित-क्लाइंट समाधान" की ओर अभिसरित होता है जिसमें वास्तविक इष्टतम की तुलना में लक्षित-जनसंख्या लॉस काफी अधिक होता है।
• FedIPW का प्रदर्शन: FedIPW सफलतापूर्वक लक्षित-जनसंख्या उद्देश्य को पुनः प्राप्त करता है, और जैसे-जैसे नामांकन पूर्वाग्रह बढ़ता है, यह "ओरेकल" (आदर्श) प्रदर्शन के करीब रहता है।
• केवल-भागीदारी की विफलता: वे तरीके जो केवल राउंड-स्तरीय भागीदारी को ठीक करते हैं, FedAvg की तुलना में सुधार तो करते हैं लेकिन जैसे-जैसे नामांकन पूर्वाग्रह मजबूत होता है, वे इष्टतम तक पहुँचने में विफल रहते हैं, जो बायस फ्लोर के अस्तित्व की पुष्टि करता है।
• एग्रीगेट कैलिब्रेशन: उन सेटिंग्स में जहाँ गैर-नामांकित उपयोगकर्ताओं का व्यक्तिगत डेटा गायब है, एग्रीगेट कैलिब्रेशन भागीदारी-केवल विधियों द्वारा छोड़ी गई अवशिष्ट त्रुटि को काफी कम कर देता है, हालांकि यह जनसंख्या सारांशों के शोर (noise) के प्रति संवेदनशील है।

5. महत्व और निहितार्थ (Significance and Implications)

• प्रतिमान परिवर्तन (Paradigm Shift): शोध पत्र का तर्क है कि "कौन प्रशिक्षण ले सकता है" (नामांकन) उतना ही महत्वपूर्ण है जितना कि "कौन एक दौर में भाग लेता है" (भागीदारी)। वर्तमान FL डिबायसिंग प्रयास जो केवल राउंड-स्तरीय चयन पर ध्यान केंद्रित करते हैं, अपर्याप्त हैं यदि नामांकित पूल प्रतिनिधि नहीं है।
• संरचनात्मक बनाम सांख्यिकीय त्रुटि: विश्लेषण सांख्यिकीय अनुमान त्रुटियों (जिन्हें बेहतर मॉडलों के साथ कम किया जा सकता है) और संरचनात्मक मिसस्पेसिफिकेशन (जैसे, नामांकन चरण को छोड़ना) के बीच अंतर करता है, जो एक अपरिवर्तनीय बायस फ्लोर बनाता है।
• व्यावहारिक मार्गदर्शन: यह कार्य चिकित्सकों के लिए एक रोडमैप प्रदान करता है:
  1. यदि गैर-नामांकित उपयोगकर्ताओं के लिए व्यक्तिगत डेटा उपलब्ध है, तो दो-चरणीय वेटिंग के साथ FedIPW का उपयोग करें।
  2. यदि केवल एग्रीगेट जनसंख्या डेटा उपलब्ध है, तो नामांकन पूर्वाग्रह को आंशिक रूप से ठीक करने के लिए एग्रीगेट कैलिब्रेशन का उपयोग करें।
  3. विषम वातावरणों में जनसंख्या-संरेखित उद्देश्यों को प्राप्त करने के लिए केवल भागीदारी सुधार पर निर्भर रहना सैद्धांतिक रूप से अपर्याप्त है।

संक्षेप में, यह शोध पत्र स्थापित करता है कि FL में लक्षित जनसंख्या का प्रतिनिधित्व करने वाला मॉडल प्राप्त करने के लिए नामांकन और भागीदारी दोनों चरणों में चयन पूर्वाग्रह को ठीक करना आवश्यक है, और इसे प्राप्त करने के लिए एक कठोर गणितीय ढांचा और व्यावहारिक एल्गोरिदम प्रदान करता है।