Distributed sequential federated learning

तकनीकी सारांश: डिस्ट्रीब्यूटेड सीक्वेंशियल फेडरेटेड लर्निंग (Distributed Sequential Federated Learning)

पेपर का शीर्षक: डिस्ट्रीब्यूटेड सीक्वेंशियल फेडरेटेड लर्निंग (Distributed sequential federated learning)
लेखक: Z. F. Wang, X. Y. Zhang, और Y-c I. Chang
दिनांक: फरवरी 2023

1. समस्या विवरण (Problem Statement)

पारंपरिक फेडरेटेड लर्निंग (FL) मुख्य रूप से सूचना सुरक्षा और डेटा परिवहन लागत को कम करने के तकनीकी पहलुओं पर ध्यान केंद्रित करता है। हालाँकि, लेखक FL में एक महत्वपूर्ण कमी की पहचान करते हैं, जो कि इसकी सांख्यिकीय कार्यप्रणाली (statistical methodology) से संबंधित है। विशेष रूप से, जब डेटा कई साइटों पर वितरित होता है, तो दो प्रमुख समस्याएं उत्पन्न होती हैं:

• डेटा गैर-समरूपता (Data Non-homogeneity): विभिन्न साइटों के बीच नमूना आकार (sample sizes) और डेटा गुणवत्ता में अंतर मानक एकत्रीकरण विधियों (जैसे सरल या भारित औसत) को अक्षम या सांख्यिकीय रूप से पक्षपाती बना देता है।
• सूचना की हानि (Information Loss): पारंपरिक सुदृढ़ (robust) विधियाँ, जो स्थानीय परिणामों को यादृच्छिक अवलोकनों (random observations) के रूप में मानती हैं, अक्सर व्यक्तिगत विश्लेषणों से पूर्ण जानकारी को बनाए रखने में विफल रहती हैं, जिससे अनुमान की सटीकता में कमी आती है।

मूल चुनौती यह है: हम कई स्वतंत्र साइटों के परिणामों को प्रभावी ढंग से और वैध रूप से कैसे एकीकृत कर सकते हैं ताकि एक वैश्विक अनुमान प्राप्त किया जा सके जो सटीक भी हो और सांख्यिकीय रूप से वैध भी, विशेष रूप से तब जब साइटों के पास अलग-अलग डेटा गुणवत्ता और आकार हों?

2. कार्यप्रणाली (Methodology)

लेखक एक नवीन डिस्ट्रीब्यूटेड सीक्वेंशियल फेडरेटेड लर्निंग (DSFL) ढांचे का प्रस्ताव करते हैं। निश्चित नमूना आकार का उपयोग करने के बजाय, वे प्रत्येक स्थानीय साइट के भीतर सीक्वेंशियल एडेप्टिव डिज़ाइन (sequential adaptive design) का लाभ उठाते हैं।

A. स्थानीय अनुक्रमिक अनुमान (Local Sequential Estimation):
प्रत्येक $M$ साइट एक जनरलाइज्ड लीनियर मॉडल (GLM) का उपयोग करके स्थानीय अनुमान लगाती है। प्रत्येक साइट पर नमूनाकरण (sampling) प्रक्रिया निश्चित नहीं है; इसके बजाय, यह दो मानदंडों के आधार पर एक स्टॉपिंग रूल (stopping rule) का पालन करती है:

1. अनुमान सटीकता (Estimation Precision): रुचि के मापदंडों ($\theta$) के लिए कॉन्फिडेंस सेट को एक निर्धारित सटीकता ($d_1$) तक पहुँचना चाहिए।
2. पूर्वानुमान प्रदर्शन (Prediction Performance): मॉडल की भविष्य कहने वाली शक्ति (जैसे लीनियर रिग्रेशन के लिए MSE या लॉजिस्टिक रिग्रेशन के लिए AUC) को एक न्यूनतम थ्रेशोल्ड ($d_2$) को पूरा करना चाहिए।

स्टॉपिंग रूल $\tilde{N}_j$ इस प्रकार परिभाषित है कि नमूनाकरण तब तक जारी रहता है जब तक कि स्थानीय डेटा इन सटीकता और गुणवत्ता आवश्यकताओं को पूरा नहीं कर लेता। यह उन साइटों को जल्दी समाप्त करने की अनुमति देता है जिनके पास उच्च गुणवत्ता वाला डेटा है और कम गुणवत्ता वाले डेटा वाली साइटों को (यदि संभव हो) निरंतर नमूनाकरण करने की अनुमति देता है।

B. वैश्विक एकीकरण (Global Integration/Aggregation):
एक बार जब सभी $M$ साइटें अपने संबंधित स्टॉपिंग मानदंडों तक पहुँच जाती हैं, तो परिणामों को "यादृच्छिक भारित" (randomly weighted) दृष्टिकोण का उपयोग करके एकीकृत किया जाता है। वैश्विक अनुमान $\hat{\theta}$ की गणना इस प्रकार की जाती है:
$$\hat{\theta} = \sum_{j=1}^{M} \rho_j \tilde{\theta}_j$$
जहाँ भार $\rho_j = \tilde{N}_j / \hat{N}$ प्रत्येक साइट पर उपयोग किए गए नमूनों की संख्या के समानुपाती है। यह वेटिंग स्कीम गणितीय रूप से डेटा के समरूप होने पर एसिम्प्टोटिक एफिशिएंसी (asymptotic efficiency) (न्यूनतम कोवेरिएंस) प्राप्त करने के लिए डिज़ाइन की गई है।

C. एडेप्टिव सैंपलिंग रणनीति (Adaptive Sampling Strategy):
प्रक्रिया को और अधिक अनुकूलित करने के लिए, लेखक A-ऑप्टिमल डिज़ाइन मानदंड (A-optimal design criterion) को शामिल करते हैं। यह एक्टिव लर्निंग दृष्टिकोण प्रत्येक चरण में स्थानीय डेटा पूल से सबसे अधिक "सूचनात्मक" नमूनों का चयन करता है, जिससे स्टॉपिंग मानदंडों की ओर अभिसरण (convergence) तेज हो जाता है।

3. मुख्य योगदान (Key Contributions)

• सांख्यिकीय एकीकरण ढांचा (Statistical Integration Framework): सीक्वेंशियल प्रक्रियाओं से प्राप्त परिणामों को यादृच्छिक स्टॉपिंग समय के साथ संयोजित करने की एक विधि विकसित की गई, जो पहले FL साहित्य में कम खोजी गई थी।
• डेटा-संचालित नमूना आकार (Data-Driven Sample Size): पारंपरिक FL के विपरीत, जो पूर्व-निर्धारित नमूना आकार का उपयोग करता है, यह विधि डेटा की गुणवत्ता और उपयोगकर्ता की वांछित सटीकता द्वारा निर्धारित एक यादृच्छिक चर (random variable) के रूप में नमूना आकार की अनुमति देती है।
• सांख्यिकीय गुणों का संरक्षण (Preservation of Statistical Properties): यह सिद्ध किया गया कि प्रस्तावित विधि एसिम्प्टोटिक कंसिस्टेंसी (asymptotic consistency) (अनुमान सत्य के करीब पहुँचता है) और एसिम्प्टोटिक एफिशिएंसी (asymptotic efficiency) (अनुमान सर्वोत्तम संभव वेरिएंस प्राप्त करता है) को बनाए रखती है।
• दोहरा-प्रतिबंध स्टॉपिंग नियम (Dual-Constraint Stopping Rule): एक ऐसा स्टॉपिंग मानदंड पेश किया गया जो पैरामीटर अनुमान त्रुटि और पूर्वानुमान सटीकता (जैसे AUC) दोनों को एक साथ नियंत्रित करता है।

4. परिणाम (Results)

लेखकों ने दो मुख्य माध्यमों से पद्धति को मान्य किया:

• सिमुलेशन अध्ययन (Simulation Studies):
  • DSFL पद्धति ने "स्ट्रेट एवरेज" (straight average) विधियों की तुलना में बेहतर प्रदर्शन किया, विशेष रूप से विषम कोवेरिएट्स और परिवर्तनशील नमूना आकारों ($p_2$ सेटअप) वाले परिदृश्यों में।
  • एडेप्टिव सैंपलिंग (A) रणनीति ने रैंडम सैंपलिंग (R) रणनीति की तुलना में काफी तेजी से स्टॉपिंग मानदंडों तक पहुँच प्राप्त की।
  • जैसे-जैसे सटीकता की आवश्यकताएं बढ़ीं, कॉन्फिडेंस सेट्स की कवरेज फ्रीक्वेंसी सैद्धांतिक $1-\alpha$ स्तर के करीब पहुँच गई।
• वास्तविक अनुप्रयोग (COVID-19 डेटा):
  • इसे मेक्सिको के 32 अस्पतालों के एक विशाल डेटासेट पर लागू किया गया।
  • पद्धति ने प्रमुख जोखिम कारकों (जैसे आयु, मधुमेह और मोटापा जो COVID-19 के सकारात्मक भविष्यवक्ता हैं) को सफलतापूर्वक पहचाना।
  • DSFL पद्धति ने बेसलाइन मॉडल की तुलना में उच्च AUC मान प्राप्त किए और यह प्रदर्शित किया कि सीमित डेटा वाली साइटें भी सीक्वेंशियल फ्रेमवर्क के माध्यम से वैश्विक मॉडल में सार्थक योगदान दे सकती हैं।

5. महत्व (Significance)

यह पेपर फेडरेटेड लर्निंग के फोकस को विशुद्ध रूप से कम्प्यूटेशनल/सुरक्षा चिंताओं से हटाकर सांख्यिकीय कठोरता (statistical rigor) की ओर ले जाता है। डेटा को स्वयं नमूनाकरण प्रयास (sampling effort) को निर्धारित करने की अनुमति देकर, DSFL विधि वितरित डेटा (परिवर्तनशील आकार, गुणवत्ता और विषमता) की "अव्यवस्थित" वास्तविकता को संभालने का एक सुदृढ़ तरीका प्रदान करती है। यह चिकित्सा अनुसंधान और बड़े पैमाने पर वितरित सेंसिंग के लिए अत्यधिक महत्वपूर्ण है, जहाँ डेटा अक्सर अलग-थलग, गैर-समान होता है और जिसे सख्त सटीकता गारंटी की आवश्यकता होती है।