🤖 machine learning

Robust Federated Learning Under Real-World Client Churn

FeLiX एक सुदृढ़ फेडरेटेड लर्निंग फ्रेमवर्क है जो स्ट्रीमिंग-अवेयर क्लाइंट सिलेक्शन, फ्रेश-यूटिलिटी प्रायोरिटाइजेशन और डिले-रोबस्ट एग्रीगेशन को पेश करके वास्तविक दुनिया के परिनियोजन में वॉल-क्लॉक टाइम-टू-टारगेट एक्यूरेसी को कम करता है ताकि क्षणिक क्लाइंट उपलब्धता और गतिशील डेटा विषमता जैसी चुनौतियों से निपटा जा सके।

मूल लेखक: Dhruv Garg, Neha Lakhani, Debopam Sanyal, Myungjin Lee, Alexey Tumanov, Ada Gavrilovska

प्रकाशित 2026-07-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dhruv Garg, Neha Lakhani, Debopam Sanyal, Myungjin Lee, Alexey Tumanov, Ada Gavrilovska

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप छात्रों की एक विशाल कक्षा (आपके फोन और डिवाइस) को एक पहेली को मिलकर हल करने के लिए सिखाने की कोशिश कर रहे हैं, बिना कभी उनकी निजी नोटबुक दिखाए। यह फेडरेटेड लर्निंग (Federated Learning - FL) है। आमतौर पर, यह प्रक्रिया धीमी और बोझिल होती है, जैसे एक शिक्षक अगले प्रश्न पर बढ़ने से पहले हर छात्र के हाथ उठाने का इंतज़ार करता है। यदि एक भी छात्र बाथरूम में है या उसका सिग्नल खराब है, तो पूरी कक्षा इंतज़ार करती है।

लेकिन वास्तविक दुनिया में, चीजें तेज़ी से चलती हैं। रुझान घंटों में बदलते हैं, खबरें तुरंत आती हैं, और उपयोगकर्ता की आदतें रोज़ाना बदलती हैं। "क्लास अपडेट" के लिए दिनों तक इंतज़ार करने का मतलब है कि जब तक शिक्षक का ज्ञान अपडेट होगा, तब तक वह पुराना हो चुका होगा।

यह पेपर FeLiX पेश करता है, जो इस "कक्षा" को चलाने का एक नया तरीका है जो तेज़, लचीला और इतना स्मार्ट है कि लगातार आने-जाने वाले छात्रों को भी संभाल सके।

यहाँ बताया गया है कि FeLiX कैसे काम करता है, जिसे तीन सरल भागों में बांटा गया है:

1. "हाज़िरी" प्रणाली (TierTrack)

समस्या: पुराने सिस्टम में, शिक्षक (सर्वर) चिल्लाता था, "कौन तैयार है?" और इंतज़ार करता था। यदि किसी छात्र ने तुरंत जवाब नहीं दिया, तो शिक्षक या तो हमेशा के लिए इंतज़ार करता (कक्षा को रोक देता) या 5 छात्रों को खोजने के लिए 100 छात्रों पर चिल्लाता (जिससे सबका समय और बैटरी बर्बाद होती)।

FeLiX का समाधान: चिल्लाने और इंतज़ार करने के बजाय, FeLiX हर छात्र को एक स्मार्ट बैज देता है।

हरा बैज (ट्रेनिंग के लिए तैयार): छात्र के पास पूरी बैटरी, अच्छा वाई-फाई और खाली समय है। वे भारी होमवर्क कर सकते हैं।
पीला बैज (चेक करने के लिए तैयार): छात्र की बैटरी कम है या सिग्नल कमजोर है। वे भारी होमवर्क नहीं कर सकते, लेकिन वे यह देखने के लिए एक समस्या पर जल्दी से नज़र डाल सकते हैं कि वह कितनी कठिन है।
लाल बैज (दूर/अनुपलब्ध): छात्र व्यस्त है या ऑफलाइन है।

शिक्षक अंदाज़ा नहीं लगाता; छात्र सक्रिय रूप से अपने बैज टैप करके कहते हैं, "मैं ग्रीन हूँ!" या "मैं येलो हूँ!" इससे शिक्षक बिना शून्य में चिल्लाकर समय बर्बाद किए तुरंत देख सकता है कि कौन उपलब्ध है।

2. "स्काउट और सेलेक्ट" रणनीति (TierSelect)

समस्या: भले ही शिक्षक को पता हो कि कौन उपलब्ध है, फिर भी वे गलत छात्रों को चुन सकते हैं। शायद वे ऐसे छात्र को चुन लें जो बहुत तेज़ है लेकिन जिसके पास उबाऊ, अनुपयोगी डेटा है। या वे ऐसे छात्र को चुन लें जिसके पास बेहतरीन डेटा है लेकिन वह वास्तव में क्लास खत्म होने से पहले काम पूरा करने के लिए बहुत धीमा है।

FeLiX का समाधान: FeLiX दो-चरणीय चयन प्रक्रिया का उपयोग करता है:

स्काउट्स (Eval Selector): बड़ा होमवर्क सौंपने से पहले, शिक्षक "पीले बैज" वाले छात्रों या उन छात्रों को एक छोटा, त्वरित "स्काउट" कार्य भेजता है जो कुछ समय से दिखाई नहीं दिए हैं। इसमें कुछ ही सेकंड लगते हैं। यह शिक्षक को बताता है: "अरे, इस छात्र के पास वास्तव में दिलचस्प डेटा है, भले ही वह थोड़ा धीमा हो।"
टीचर्स (Train Selector): अब, शिक्षक सबसे अच्छा मिश्रण चुनता है। वे "हरे" छात्रों को चुनते जो तेज़ हैं और उन "पीले" छात्रों को चुनते जिन्हें स्काउट्स ने पुष्टि की है कि उनके पास मूल्यवान डेटा है। यह सुनिश्चित करता है कि कक्षा सबसे सहायक स्रोतों से सीखे, न कि केवल सबसे तेज़ लोगों से।

3. "स्मार्ट ग्रेडिंग" प्रणाली (TierFuse)

समस्या: कभी-कभी, एक छात्र अपना होमवर्क पूरा कर लेता है लेकिन उसे शिक्षक को देर से वापस करता है। पुराने सिस्टम में, शिक्षक इसे फेंक सकता है क्योंकि यह "पुराना (stale)" हो गया है, या वे इसे बिना सोचे-समझे स्वीकार कर सकते हैं, जिससे कक्षा भ्रमित हो जाती है क्योंकि छात्र एक पुराने संस्करण वाली पहेली पर काम कर रहा था।

FeLiX का समाधान: FeLiX होमवर्क को दो चीजों के आधार पर ग्रेड करता है: यह कितना पुराना है? और जवाब कितना अच्छा है?

यदि कोई छात्र देर से उत्तर भेजता है, तो FeLiX जाँचता है: "क्या यह उत्तर वास्तव में व्यावहारिक है?"
यदि उत्तर उच्च गुणवत्ता का है (भले ही देर से आया हो), तो FeLiX कहता है: "बहुत बढ़िया! हमें इस जानकारी की आवश्यकता है, भले ही यह कुछ मिनट पुरानी क्यों न हो।"
यदि उत्तर निम्न गुणवत्ता का है या बस पुराने डेटा की पुनरावृत्ति है, तो FeLiX कहता है: "नहीं धन्यवाद, हमें इस शोर (noise) की आवश्यकता नहीं है।"

इस प्रकार, शिक्षक मूल्यवान देर से मिली जानकारी को फेंकता नहीं है, लेकिन वह खराब डेटा से भी भ्रमित नहीं होता।

परिणाम: एक तेज़, स्मार्ट कक्षा

पेपर ने वास्तविक दुनिया के डेटा ट्रेसेस (यह सिम्युलेट करते हुए कि फोन वास्तव में खराब सिग्नल और कम बैटरी के साथ कैसे व्यवहार करते हैं) और दो प्रकार की पहेलियों (जैसे इमेज पहचानना (CIFAR-10) और स्पीच समझना (Google Speech Commands)) का उपयोग करके FeLiX का परीक्षण किया।

दावे:

गति: FeLiX ने मौजूदा सर्वोत्तम सिस्टमों की तुलना में 2.37 गुना तेज़ी से लक्ष्य सटीकता प्राप्त की। इसने कक्षा को रुकने और इंतज़ार करने से बचाया।
दक्षता: इसने 1.30 गुना कम संचार बैंडविड्थ का उपयोग किया। क्योंकि इसने सही छात्रों को चुना और अनुपलब्ध लोगों को चिल्लाकर समय बर्बाद नहीं किया, इसलिए डेटा की बचत हुई।
यथार्थवाद: अन्य सिस्टमों के विपरीत जो यह मान लेते हैं कि उन्हें ठीक-ठीक पता है कि हर छात्र कब उपलब्ध होगा (जो वास्तविक जीवन में असंभव है), FeLiX ने "बैज" प्रणाली का उपयोग करके इसे चलते-फिरते हल किया।

संक्षेप में, FeLiX एक कठोर, धीमी कक्षा को एक गतिशील, तेज़-मूविंग टीम में बदल देता है जो तुरंत उपलब्ध लोगों और उनके ज्ञान के अनुसार खुद को ढाल लेती है, जिससे यह सुनिश्चित होता है कि मॉडल ताज़ा और प्रासंगिक बना रहे और समय या बैटरी बर्बाद न हो।

तकनीकी सारांश: वास्तविक दुनिया के क्लाइंट चर्न (Client Churn) के तहत सुदृढ़ फेडरेटेड लर्निंग (Federated Learning)

समस्या विवरण

वर्तमान प्रोडक्शन फेडरेटेड लर्निंग (FL) सिस्टम धीमे, कई दिनों के रिफ्रेश चक्रों से बाधित हैं, जो उन्हें आधुनिक स्ट्रीमिंग अनुप्रयोगों (जैसे फीड रैंकिंग, विज्ञापन-लक्ष्यीकरण) के लिए अनुपयुक्त बनाते हैं जिन्हें प्रति घंटा मॉडल अनुकूलन की आवश्यकता होती है। मौजूदा FL आर्किटेक्चर वास्तविक उत्पादन सेटिंग्स में तीन परस्पर जुड़े हुए प्रतिबंधों के कारण विफल होते हैं:

क्षणिक क्लाइंट उपलब्धता (Transient Client Availability): मोबाइल और एज डिवाइस बैटरी, नेटवर्क और उपयोगकर्ता व्यवहार के कारण भारी, मिनट-स्तर के चर्न (churn) का प्रदर्शन करते हैं। प्रोडक्शन ट्रेसेस संकेत देते हैं कि औसत उपलब्धता अक्सर 15% से 50% के बीच रहती है। मौजूदा शमन रणनीतियाँ (अति-चयन, ब्लॉकिंग सिंक्रोनी, या मोटे तौर पर प्रोबिंग) या तो संसाधनों को बर्बाद करती हैं, प्रशिक्षण को रोक देती हैं, या अल्पकालिक उपलब्धता खिड़कियों को चूक जाती हैं।
विकसित होता क्लाइंट उपयोगिता और विषमता (Evolving Client Utility and Heterogeneity): क्लाइंट उपयोगिता समय के साथ परिवर्तनशील होती है, जिसमें डेटा सूचनात्मकता और हार्डवेयर क्षमताएं शामिल हैं। मौजूदा चयन एल्गोरिदम उपलब्धता के "ओरैकल" (oracular) ज्ञान या पुराने ऐतिहासिक ट्रेसेस पर निर्भर करते हैं, जिससे व्यवस्थित गलत-चयन होता है (जैसे, अप्रासंगिक डेटा वाले तेज़ उपकरणों को प्राथमिकता देना जबकि ताज़ा, सूचनात्मक संकेतों वाले धीमे उपकरणों की उपेक्षा करना)।
मॉडल नवीनता बनाम विलंबित अपडेट (Model Freshness vs. Delayed Updates): प्रोडक्शन कार्यों में, ग्राउंड-ट्रुथ लेबल (जैसे, रूपांतरण/conversions) अक्सर प्रारंभिक इंटरैक्शन के घंटों बाद आते हैं। मौजूदा रणनीतियाँ एक समझौता करने पर मजबूर करती हैं: शोर वाले प्रॉक्सी फीडबैक के साथ तुरंत अपडेट करना नवीनता को अधिकतम करता है लेकिन शोर पेश करता है, जबकि पूर्ण फीडबैक के लिए प्रतीक्षा करना लेबल की गुणवत्ता में सुधार करता है लेकिन नवीनता (staleness) की कीमत पर होता है। वर्तमान स्टालनेस-हैंडलिंग स्कीमें अक्सर मूल्यवान, विलंबित अपडेट को छोड़ देती हैं, जिससे अभिसरण (convergence) अस्थिर हो जाता है।

ये बाधाएं मौजूदा सिंक्रोनस और एसिंक्रोनस FL सिस्टम को रोकने, स्टालनेस जमा करने या स्ट्रीमिंग सेटिंग्स में अभिसरण करने में विफल होने का कारण बनती हैं, जैसा कि आदर्शित धारणाओं और यथार्थवादी तैनाती के बीच बढ़ते प्रदर्शन अंतर से स्पष्ट है।

कार्यप्रणाली: FeLiX सिस्टम

लेखक FeLiX प्रस्तुत करते हैं, जो एक पुनर्गठित FL ऑर्केस्ट्रेशन फ्रेमवर्क है जो भविष्य के क्लाइंट व्यवहार के 'ओरैकल' ज्ञान की धारणा के बिना लाइव इंटरैक्शन स्ट्रीम्स पर 'टाइम-टू-टारगेट एक्यूरेसी' को अनुकूलित करता है। FeLiX उपलब्धता और उपयोगिता को तीन नवीन प्रिमिटिव्स के माध्यम से लो-लेटेंसी कंट्रोल इनपुट के रूप में मानता है:

1. स्ट्रीमिंग-जागरूक उपलब्धता टियर्स (TierTrack)

FeLiX वास्तविक समय की स्थिति के आधार पर क्लाइंट्स को तीन पूल्स में गतिशील रूप से विभाजित करने के लिए एक हल्का, क्लाइंट-संचालित प्रोटोकॉल पेश करता है:

AVL_TRAIN: क्लाइंट जो पूर्ण प्रशिक्षण और मूल्यांकन के लिए उपलब्ध हैं (जैसे, वाई-फाई और चार्जिंग पर)।
AVL_EVAL: क्लाइंट जो केवल हल्के मूल्यांकन के लिए उपलब्ध हैं (जैसे, पर्याप्त बैटरी है लेकिन वाई-फाई पर नहीं)।
UN_AVL: अनुपलब्ध क्लाइंट।
भारी हार्टबीट्स के बजाय, क्लाइंट स्थिति परिवर्तन पर नियंत्रण प्लेन (control plane) को सक्रिय रूप से सूचित करते हैं। एक हल्का 90-सेकंड का टाइमर तंत्र क्लाइंट्स को अनुपलब्ध के रूप में चिह्नित करता है यदि वे कार्य असाइनमेंट का जवाब देने में विफल रहते हैं, जिससे सर्वर न्यूनतम ओवरहेड के साथ क्लाइंट आबादी का उच्च-निष्ठा (high-fidelity), वास्तविक समय का दृश्य बनाए रखता है।

2. फ्रेश-यूटिलिटी सिलेक्शन (TierSelect)

उपयोगिता अनुमानों की स्टालनेस को संबोधित करने के लिए, FeLiX एक दोहरी-स्तरीय चयन प्रक्रिया का उपयोग करता है:

TrainSelector: अपेक्षित लर्निंग प्रोग्रेस को अधिकतम करने के लिए AVL_TRAIN पूल से क्लाइंट्स का चयन करता है।
EvalSelector: AVL_TRAIN और AVL_EVAL पूल्स में क्लाइंट्स को सक्रिय रूप से हल्के फॉरवर्ड-पास मूल्यांकन भेजता है, उन क्लाइंट्स को प्राथमिकता देता है जिनका उपयोगिता अनुमान पुराना (stale) है।
ये मूल्यांकन पूर्ण प्रशिक्षण रन की तुलना में काफी तेज़ (20× तक) होते हैं। लौटाए गए उपयोगिता मान एक केंद्रीय ClientMap को अपडेट करते हैं, जिससे TrainSelector उन क्लाइंट्स को प्राथमिकता दे पाता है जो हार्डवेयर-परफॉर्मेंट भी हैं और हालिया वितरण बदलावों (distribution shifts) को भी दर्शाते हैं। यह "स्कौटिंग" तंत्र सुनिश्चित करता है कि सिस्टम पुराने ऐतिहासिक डेटा पर निर्भर न रहे।

3. सूचनात्मकता-जागरूक, विलंब-रोबस्ट एकत्रीकरण (TierFuse)

FeLiX सरल स्टालनेस-आधारित वेटिंग के स्थान पर एक हाइब्रिड मेट्रिक का उपयोग करता है जो अपडेट की आयु बनाम सांख्यिकीय उपयोगिता को संतुलित करता है। अपडेट $u_i$ के लिए भार $w_i$ की गणना इस प्रकार की जाती है:
$w_i = \sigma \alpha(T_i) + (1 - \sigma) \beta(L_i)$
जहाँ $T_i$ स्टालनेस है, $L_i$ स्थानीय लॉस (जो सूचनात्मकता को दर्शाता है) है, और $\sigma$ एक ट्रेडऑफ पैरामीटर है।

उच्च लॉस ( $L_i$ ): यह इंगित करता है कि मॉडल क्लाइंट के डेटा के साथ ठीक से संरेखित नहीं है; अपडेट मूल्यवान है भले ही वह विलंबित हो।
कम लॉस: यह सुझाव देता है कि अपडेट कम महत्वपूर्ण है और इसे आयु द्वारा कम भार दिया जा सकता है।
यह दृष्टिकोण FeLiX को विलंबित, उच्च-मूल्य वाले अपडेट को सुरक्षित रूप से शामिल करने की अनुमति देता है जिनमें ग्राउंड-ट्रुथ परिणाम होते हैं, बिना वैश्विक मॉडल को अप्रचलित वितरणों की ओर पक्षपाती बनाए या मूल्यवान लॉन्ग-टेल संकेतों को खारिज किए।

मुख्य परिणाम

FeLiX का मूल्यांकन वास्तविक निम्न-उपलब्धता ट्रेसेस (MobiPerf) और विभिन्न स्तरों की डेटा विषमता ( $\alpha \in \{0.1, 1, 10, 100\}$ ) और उपलब्धता (100%, 90%, 50%, और वास्तविक दुनिया के ट्रेसेस) के साथ कई मोडैलिटीज (CIFAR-10 और Google Speech Commands) में किया गया।

टाइम-टू-टारगेट एक्यूरेसी: FeLiX अत्याधुनिक सिंक्रोनस (OORT, REFL) और एसिंक्रोनस बेसलाइन्स की तुलना में 70% सटीकता तक पहुँचने के लिए वॉल-क्लॉक समय को 2.37× तक कम कर देता है। सबसे चुनौतीपूर्ण निम्न-उपलब्धता (50%) और उच्च-विषमता वाले परिदृश्यों में, FeLiX सर्वश्रेष्ठ नॉन-ओरैकल बेसलाइन से 4× से अधिक बेहतर प्रदर्शन करता है।
संचार दक्षता (Communication Efficiency): FeLiX बेसलाइन्स की तुलना में कुल संचार बैंडविड्थ में 1.30× की बचत करता है। अधिक उपयोगी अपडेट को जल्दी चुनकर और उन अपडेट को भेजने से बचकर जो स्टालनेस के कारण बाद में खारिज कर दिए जाते हैं (जो बफर्ड एसिंक्रोनस स्कीमों में एक सामान्य समस्या है), FeLiX सुनिश्चित करता है कि ट्रांसमिट किया गया प्रत्येक बाइट अभिसरण में योगदान दे।
ओरैकल प्रदर्शन: उल्लेखनीय रूप से, FeLiX वास्तविक दुनिया के सेटिंग्स में बिना किसी भविष्य के क्लाइंट ट्रेसेस के लगभग-ओरैकल प्रदर्शन प्राप्त करता है, जो मिड-राउंड ड्रॉप-ऑफ के प्रति प्रतिक्रियाशील होकर विशिष्ट निम्न-उपलब्धता व्यवस्थाओं में ओरकल-असिस्टेड बेसलाइन्स से बेहतर प्रदर्शन करता है।
घटक प्रभाव:
- TierTrack ने ड्रॉप किए गए क्लाइंट्स के तत्काल रीसैंपलिंग को सक्षम करके औसत राउंड अवधि को ~259s से घटाकर ~4.9s कर दिया।
- TierSelect ने उच्च-उपयोगिता वाले क्लाइंट्स के चयन में सुधार किया, जिससे क्लाइंट्स थोड़े धीमे होने पर भी चयन त्रुटि कम हुई।
- TierFuse ने विलंबित अपडेट के योगदान को संरक्षित किया (90% से अधिक अपडेट को उच्च भार दिया), जबकि मानक स्कीमें उन्हें खारिज कर देती हैं या उन पर भारी दंड लगाती हैं।

महत्व और दावे

पेपर का दावा है कि FeLiX FL ऑर्केस्ट्रेशन के प्रतिमान को निष्क्रिय अवलोकन से सक्रिय, लो-लेटेंसी नियंत्रण में मौलिक रूप से बदल देता है। मोबाइल-एज इकोसिस्टम की आदर्श सैद्धांतिक धारणाओं और "मेसी" वास्तविकता के बीच के अंतर को पाटकर, FeLiX सक्षम बनाता है:

त्वरित अनुकूलन: स्ट्रीमिंग अनुप्रयोग अब मल्टी-डे क्ल चक्रों के बजाय प्रति घंटा समयसीमा पर परिवर्तनशील डेटा वितरण (जैसे, वायरल ट्रेंड्स) के अनुकूल हो सकते हैं।
सुदृढ़ता (Robustness): सिस्टम उन प्रतिकूल परिस्थितियों (उच्च चर्न, डेटा विषमता, विलंबित फीडबैक) में भी प्रभावी रहता है जहाँ मौजूदा सिस्टम रुक जाते हैं या अभिसरण करने में विफल रहते हैं।
व्यावहारिक व्यवहार्यता: FeLiX प्रदर्शित करता है कि अवास्तविक दूरदर्शिता के बिना वास्तविक दुनिया के सेटिंग्स में 'ओरैकल' प्रदर्शन प्राप्त करना संभव है, जो हल्के टेलीमेट्री और अनुकूली चयन तर्क पर निर्भर करता है।

लेखक FeLiX को उच्च-स्केल, गोपनीयता-संरक्षित अनुप्रयोगों के लिए एक आवश्यक फ्रेमवर्क के रूप में प्रस्तुत करते हैं ताकि वे उपयोगकर्ता इंटरैक्शन की गति पर संचालित हो सकें, जिससे यह सुनिश्चित होता है कि मॉडल हालिया उपयोगकर्ता व्यवहारों के साथ सिंक्रोनाइज़ रहें।