📊 statistics

Entropy-Regularized Probabilistic Gates for Sparse Model Discovery in Scarce-Data Federated Learning

यह शोध पत्र कम डेटा वाली स्थितियों में फेडरेटेड लर्निंग के तहत स्पार्स मॉडल डिस्कवरी के लिए एक एंट्रॉपी-रेगुलराइज्ड प्रोबेबिलिस्टिक गेटिंग मैकेनिज्म का प्रस्ताव करता है, जो समयपूर्व अभिसरण (प्रिमैचर कन्वर्जेंस) को रोकने के लिए पैरामीटर अनिश्चितता को बनाए रखता है और Fed-IHT एवं FedAvg जैसी मौजूदा विधियों की तुलना में बेहतर सांख्यिकीय प्रदर्शन और स्पर्सिटी रिकवरी प्राप्त करता है।

मूल लेखक: Krishna Harsha Kovelakuntla Huthasana, Alireza Olama, Andreas Lundell

प्रकाशित 2026-07-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Krishna Harsha Kovelakuntla Huthasana, Alireza Olama, Andreas Lundell

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: एक गुप्त हाथ मिलाने वाला टीम प्रोजेक्ट

कल्पना कीजिए कि छात्रों का एक समूह (क्लाइंट्स) है जिनके पास होमवर्क के अनूठे सेट हैं। वे एक "ग्लोबल आंसर की" (ग्लोबल मॉडल) बनाने के लिए मिलकर एक विशाल, कठिन पहेली को हल करना चाहते हैं। हालाँकि, उनके पास दो सख्त नियम हैं:

गोपनीयता (Privacy): वे अपना होमवर्क किसी और को नहीं दिखा सकते।
दक्षता (Efficiency): वे पूरे नोटबुक डाक से भेजने के बजाय शिक्षक (सर्वर) को केवल छोटे, टेक्स्ट-मैसेज सारांश ही भेज सकते हैं।

यह फेडरेटेड लर्निंग (FL) है। चुनौती यह है कि छात्रों के पास अलग-अलग प्रकार के होमवर्क हैं (कुछ गणित के हैं, कुछ इतिहास के) और हर कोई रोज़ क्लास में उपस्थित नहीं होता।

समस्या: "बहुत अधिक विकल्पों" का जाल

शोधकर्ता चाहते थे कि छात्र एक स्पार्स (sparse) मॉडल सीखें। "स्पार्स" को ऐसे समझें जैसे एक मॉडल जो पहेली को हल करने के लिए केवल कुछ आवश्यक उपकरणों का उपयोग करता है, बाकी को अनदेखा कर देता है। यह "आंसर की" को छोटा, तेज़ और समझने में आसान बनाता है।

हालाँकि, जब छात्रों के पास उपलब्ध उपकरणों की संख्या की तुलना में होमवर्क के बहुत कम प्रश्न होते हैं (एक स्थिति जिसे स्कार्स डेटा/कम डेटा कहा जाता है), तो सीखने की प्रक्रिया गड़बड़ा जाती है।

पुराना तरीका (प्रूनिंग/Pruning): कल्पना कीजिए कि छात्र पहले सब कुछ सीखने की कोशिश करते हैं, फिर शिक्षक कहता है, "ठीक है, अपने 90% उपकरण फेंक दो।" समस्या यह है कि वे गलत उपकरणों को फेंक सकते हैं क्योंकि उन्हें यह जानने के लिए पर्याप्त अभ्यास नहीं था कि वास्तव में कौन से महत्वपूर्ण थे। वे बहुत जल्दी एक "गलत अनुमान" पर अटक जाते हैं।
परिणाम: अंतिम मॉडल नए, अनदेखे टेस्ट प्रश्नों पर खराब प्रदर्शन करता है।

समाधान: "विगल रूम" (जगह छोड़ने की) रणनीति (E-FLoPS)

लेखक E-FLoPS नामक एक नई विधि प्रस्तावित करते हैं। छात्रों को तुरंत यह तय करने के लिए मजबूर करने के बजाय कि कौन से उपकरण रखने हैं, वे उन्हें एक "प्रोबेबिलिस्टिक गेट" (संभावित द्वार) देते हैं।

उपमा: धुंधला दरवाज़ा
कल्पना कीजिए कि टूलबॉक्स में मौजूद हर उपकरण के सामने एक दरवाज़ा है।

पुराना तरीका: दरवाज़ा या तो पूरी तरह खुला है (उपकरण रखें) या पूरी तरह बंद है (उपकरण हटा दें)। यदि आप शुरुआत में गलती करते हैं, तो आप फंस जाते हैं।
E-FLoPS तरीका: दरवाज़े धुंधले हैं। कभी-कभी एक उपकरण के खुले होने की संभावना 80% होती है, तो कभी 20%। छात्रों को अपने दरवाजों को कुछ समय के लिए "धुंधला" (अनिश्चित) रखने के लिए प्रोत्साहित किया जाता है।

यहीं एन्ट्रॉपी रेगुलराइजेशन (Entropy Regularization) काम आता है। "एन्ट्रॉपी" को भ्रम या अनिश्चितता के माप के रूप में समझें।

शोधकर्ता एक नियम जोड़ते हैं: "बहुत जल्दी आत्मविश्वासी मत बनो!"
वे छात्रों को दरवाजों को तुरंत बंद करने के बजाय अपने दरवाजों को धुंधला (विभिन्न उपकरणों के संयोजनों को खोजने) रखने के लिए पुरस्कृत करते हैं।
यह टीम को अंतिम निर्णय लेने से पहले समाधान के कई अलग-अलग संस्करणों को "सैंपल" करने की अनुमति देता है।

यह व्यवहार में कैसे काम करता है

एक्सप्लोरेशन चरण (Exploration Phase): छात्र स्थानीय स्तर पर प्रशिक्षण लेते हैं, लेकिन वे अपने "गेट्स" (कौन से उपकरण उपयोग करने हैं, इसके निर्णय) को लचीला रखते हैं। वे कई अलग-अलग स्पार्स कॉन्फ़िगरेशन का पता लगाते हैं।
सहमति (Consensus): वे अपने अपडेट शिक्षक को भेजते हैं। शिक्षक एक बेहतर वैश्विक दृष्टिकोण बनाने के लिए उन्हें औसत निकालता है।
अंतिम कट (The Final Cut): एक बार जब टीम ने पर्याप्त खोज कर ली होती और सबसे अच्छा रास्ता ढूंढ लिया होता है, तो धुंध छंट जाती है। वे सर्वश्रेष्ठ उपकरणों को लॉक कर देते हैं और बाकी को हटा देते हैं, जिससे एक अत्यधिक कुशल, स्पार्स मॉडल बनता है।

प्रयोगों ने क्या दिखाया

शोधकर्ताओं ने तीन अलग-अलग "पहेलियों" पर इसका परीक्षण किया:

सिंथेटिक डेटा (Synthetic Data): एक बनावटी गणित की समस्या जहाँ उन्हें उत्तर पता था।
MNIST (हस्तलिखित अंक): संख्याओं 0-9 को पहचानना।
ल्यूकेमिया डेटा (Leukemia Data): एक मेडिकल डेटासेट जो जीन डेटा का उपयोग करके दो प्रकार के रक्त कैंसर के बीच अंतर करने की कोशिश करता है।

परिणाम:

बेहतर सटीकता: E-FLoPS ने पुराने तरीकों (Fed-IHT और मानक FedAvg) की तुलना में पहेलियों को बेहतर ढंग से हल किया, विशेष रूप से जब डेटा कम था।
बेहतर टूल चयन: ल्यूकेमिया प्रयोग में, E-FLoPS ने उन विशिष्ट जीन्स (उपकरणों) की पहचान सही ढंग से की जो कैंसर से संबंधित माने जाते हैं, अन्य तरीकों की तुलना में अधिक बार। इसने केवल अनुमान नहीं लगाया; इसने अधिक विश्वसनीयता के साथ "सही" जीन्स को खोजा।
दक्षता: भले ही वे अधिक विकल्पों की खोज कर रहे थे, लेकिन वापस भेजे जाने वाले डेटा की मात्रा कम रही, जो मौजूदा सबसे कुशल तरीकों के समान है।

मुख्य निष्कर्ष

एक ऐसी दुनिया में जहाँ डेटा कम है और गोपनीयता महत्वपूर्ण है, आप केवल एक निष्कर्ष पर पहुँचने की जल्दबाजी नहीं कर सकते। E-FLoPS सिस्टम को अंतिम निर्णय लेने से पहले जिज्ञासु रहने और विभिन्न संभावनाओं को खोजने (दरवाजों पर "धुंध" बनाए रखने) के लिए सिखाता है। यह टीम को एक खराब समाधान के साथ फंसने से रोकता है और यह सुनिश्चित करता है कि वे सबसे कुशल, सटीक रास्ता खोजें।

तकनीकी सारांश: दुर्लभ-डेटा फेडरेटेड लर्निंग में स्पार्स मॉडल डिस्कवरी के लिए एंट्रॉपी-रेगुलराइज्ड प्रोबेबिलिस्टिक गेट्स

समस्या विवरण
फेडरेटेड लर्निंग (FL) उन चुनौतियों का सामना करती है जब यह डेटा-दुर्लभ (data-scarce), उच्च-आयामी (high-dimensional) परिदृश्यों में कार्य करती है जहाँ पैरामीटर्स की संख्या ( $d$ ) कुल नमूनों ( $N$ ) से कहीं अधिक होती है। ऐसे सेटिंग्स ( $d \gg N$ ) में, मानक अनुकूलन अक्सर ऐसे पैरामीटर कॉन्फ़िगरेशन प्रदान करते हैं जो अनदेखे टेस्ट डेटा पर सामान्यीकरण (generalize) करने में विफल रहते हैं। जबकि स्पार्स मॉडल संचार और कम्प्यूटेशनल दक्षता के लिए लाभ प्रदान करते हैं, इन स्पार्स संरचनाओं की खोज करना डेटा विषमता (heterogeneity) और आंशिक क्लाइंट भागीदारी के तहत कठिन है। मौजूदा दृष्टिकोण, जैसे कि मैग्नीट्यूड-आधारित प्रूनिंग या फेडरेटेड इटरेटिव हार्ड थ्रेशोल्डिंग (Fed-IHT), अक्सर पैरामीटर स्पेस को पर्याप्त रूप से एक्सप्लोर करने में विफल रहते हैं, जिससे उप-इष्टतम (suboptimal) स्पार्स सपोर्ट के प्रति शीघ्र प्रतिबद्धता (early commitment) हो जाती है। इसके अलावा, मानक रेगुलराइजेशन तकनीकें (L1/L2) एक विशिष्ट पैरामीटर डेंसिटी के बजाय पैरामीटर मैग्नीट्यूड पर निर्भर करती हैं, जिससे वांछित स्पर्सिटी स्तर $\rho$ वाले मॉडल की खोज करना चुनौतीपूर्ण हो जाता है।

कार्यप्रणाली
यह शोध पत्र E-FLoPS (एंट्रॉपी-रेगुलराइज्ड फेडरेटेड लर्निंग विद प्रोबेबिलिस्टिक गेट्स) का प्रस्ताव करता है, जो एक वितरित एल्गोरिदम है जिसे $L_0$ डेंसिटी कंस्ट्रेंट के तहत स्पार्स मॉडल सीखने के लिए डिज़ाइन किया गया है, जबकि अनिश्चितता अन्वेषण (uncertainty exploration) को बनाए रखा जाता है।

प्रोबेबिलिस्टिक गेट्स और रीपैरामीट्राइजेशन: यह विधि स्टोकेस्टिक गेट्स $z \in \{0,1\}^d$ के ढांचे को अपनाती है जहाँ प्रभावी पैरामीटर्स को $\theta = \tilde{\theta} \odot z$ के रूप में परिभाषित किया जाता है। ग्रेडिएंट-आधारित अनुकूलन को सक्षम करने के लिए, डिस्क्रीट गेट्स को बर्नौली वितरण के एक निरंतर विश्राम (continuous relaxation) के रूप में, हार्ड कॉन्क्रीट डिस्ट्रीब्यूशन का उपयोग करके अनुमानित किया जाता है। यह $L_0$ स्यूडो-नॉर्म (गैर-शून्य पैरामीटर्स की संख्या) को सक्रिय गेट्स की अपेक्षित संख्या, $\mathbb{E}_q[z_j]$ , द्वारा अनुमानित करने की अनुमति देता है।
एंट्रॉपी रेगुलराइजेशन: अनुकूलन उद्देश्य (optimization objective) में एंट्रॉपी रेगुलराइजेशन टर्म को शामिल करना एक प्रमुख नवाचार है। लैग्रेंजियन में एक कुलबैक-लीब्लर (KL) डाइवर्जेंस टर्म, $KL(q(z_j) || p(z_j))$ शामिल है, जो गेट डिस्ट्रीब्यूशन के सापेक्ष एंट्रॉपी को दंडित करता है। यह तंत्र गेट डिस्ट्रीब्यूशन को बहुत जल्दी नियत (deterministic) 0/1 अवस्थाओं में ढहने से रोकता है, जिससे प्रशिक्षण के दौरान प्रतिस्पर्धी स्पार्स कॉन्फ़िगरेशन के अन्वेषण को बढ़ावा मिलता है। तापमान पैरामीटर $T$ इस दंड की शक्ति को नियंत्रित करता है।
फेडरेटेड ऑप्टिमाइजेशन: एल्गोरिदम एक केंद्रीय सर्वर ऑर्केस्ट्रेशन के तहत संचालित होता है। क्लाइंट्स रॉ पैरामीटर्स $\tilde{\theta}$ $\tilde{θ}$ , गेट पैरामीटर्स $\phi = \log \alpha$ $ϕ = lo g α$ , और लैग्रेंज मल्टीप्लायर $\lambda$ $λ$ (जो लक्ष्य डेंसिटी $\rho$ $ρ$ को लागू करता है) पर स्थानीय स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) अपडेट करते हैं।
- सर्वर अपडेट को सिंक्रोनस रूप से एग्रीगेट करता है।
- संचार दक्षता सुनिश्चित करने के लिए, एल्गोरिदम प्रशिक्षण के दौरान एक प्रूनिंग तंत्र का उपयोग करता है। केवल शीर्ष- $m$ इंडेक्स (जहाँ $m = \lfloor \rho \cdot |\theta| \rfloor$ ) के पैरामीटर्स और उनके संबंधित गेट स्टैटिस्टिक्स को सीरियलाइज और कम्युनिकेट किया जाता है।
- प्राप्ति (reception) के बाद, सर्वर ग्लोबल मॉडल को पुनर्गठित करता है और एग्रीगेटेड गेट वैल्यूज से गेट पैरामीटर्स को रिकवर करता है, शोर (noise) घटक को अनदेखा करते हुए।

प्रमुख योगदान

फॉर्मुलेशन: लेखक एक डिफरिएबल, एंट्रॉपी-रेगुलराइज्ड, $L_0$ -कंस्ट्रेंड ऑब्जेक्टिव को विशेष रूप से फेडरेटेड सेटिंग के लिए तैयार करते हैं। यह फॉर्मुलेशन $L_0$ नॉर्म की नॉन-डिफरेंशिएबिलिटी और $d \gg N$ रिजीम में अनुकूलन की अस्थिरता को संबोधित करता है।
एल्गोरिदम (E-FLoPS): शोध पत्र एक फेडरेटेड एवरेजिंग वेरिएंट पेश करता है जो प्रोबेबिलिस्टिक गेट्स को एंट्रॉपी रेगुलराइजेशन के साथ एकीकृत करता है। यह वांछित स्पर्सिटी सुनिश्चित करते हुए अनिश्चितता अन्वेषण बनाए रखने की अनुमति देता है ताकि खराब लोकल मिनिमा की ओर समय से पहले अभिसरण (convergence) से बचा जा सके।
संचार दक्षता: यह विधि केवल स्पार्स सपोर्ट और आवश्यक गेट स्टैटिस्टिक्स को ट्रांसमिट करके महत्वपूर्ण संचार संपीड़न (compression) प्राप्त करती है, जो इटरेटिव हार्ड-थ्रेशोल्डिंग विधियों के तुलनीय है, लेकिन बिना पोस्ट-ट्रेनिंग प्रूनिंग ओवरहेड के।

प्रायोगिक परिणाम
लेखकों ने सिंथेटिक और वास्तविक दुनिया के बेंचमार्क पर E-FLoPS का मूल्यांकन किया, जिसकी तुलना Fed-IHT और डेंस फेडरेटेड एवरेजिंग (FedAvg) के साथ पोस्ट-ट्रेनिंग प्रूनिंग के माध्यम से की गई।

सिंथेटिक लीनियर रिग्रेशन: उच्च-आयामी सेटिंग्स में विभिन्न सैंपल-टू-पैरामीटर अनुपातों ( $N/|\theta|$ ) के साथ, E-FLs ने Fed-IHT और FedAvg की तुलना में लगातार उच्च टेस्ट $R^2$ स्कोर और बेहतर स्पार्सिटी रिकवरी सटीकता (सत्य फीचर्स की रिकवरी के अंश द्वारा मापा गया) प्राप्त की, विशेष रूप से सबसे डेटा-दुर्लभ रिजीमों में।
MNIST इमेज क्लासिफिकेशन: 97.5% टार्गेट स्पर्सिटी वाले एक CNN टास्क पर, E-FLoPS ने Fed-IHT के समान टेस्ट-टाइम प्रदर्शन और संचार दक्षता प्रदर्शित की। हालांकि, इसने इंफरेंस के दौरान 'मल्टीप्लाई अक्युमुलेट ऑपरेशंस' (MACs) में अधिक कमी दिखाई, जो बेहतर कम्प्यूटेशनल दक्षता का संकेत देती है।
ल्यूकेमिया क्लासिफिकेशन: गोलब जीन-एक्सप्रेशन डेटासेट (72 नमूने, 3571 फीचर्स, $N/|\theta| \approx 0.02$ ) का उपयोग करते हुए, E-FLoPS ने 30 अलग-अलग रैंडम सीड्स में Fed-IHT और FedAvg की तुलना में टेस्ट एक्यूरेसी में काफी बेहतर प्रदर्शन किया। महत्वपूर्ण रूप से, E-FLoPS द्वारा चुने गए जीन (जैसे cystatin C और myeloperoxidase) कैंसर मेटास्टेसिस पर पूर्व प्रायोगिक शोध के साथ संरेखित थे, जबकि अन्य तरीकों ने कम जैविक रूप से प्रासंगिक फीचर्स चुने।

महत्व और दावे
शोध पत्र का दावा है कि E-FLoPS FL में स्पार्स मॉडल डिस्कवरी के लिए एक मजबूत तंत्र प्रदान करता है, जो विशेष रूप से छोटे-सैंपल, उच्च-आयामी रिजीमों में पाई जाने वाली अस्थिरता को संबोधित करता है। एंट्रॉपी रेगुलराइजेशन का उपयोग करके, यह विधि उप-इष्टतम स्पार्स सपोर्ट के प्रति शीघ्र प्रतिबद्धता को रोकती है, जिससे बेहतर सामान्यीकरण और वास्तविक स्पार्स स्ट्रक्चर की अधिक सटीक रिकवरी होती है। लेखक दावा करते हैं कि उनका दृष्टिकोण मौजूदा स्पार्स मेथड्स जैसे Fed-IHT के समान संचार लागत बनाए रखते हुए ये सांख्यिकीय लाभ प्राप्त करता है, जिससे यह गोपनीयता-संरक्षित, संसाधन-बाधित लर्निंग वातावरण के लिए एक व्यवहार्य समाधान बन जाता है। यह कार्य स्पार्स फेडरेटेड ऑप्टिमाइजेशन में अनिश्चितता अन्वेषण के महत्व को रेखांकित करता है, जो एक ऐसा कारक है जिसे अक्सर मैग्नीट्यूड-आधारित प्रूनिंग तकनीकों द्वारा अनदेखा कर दिया जाता है।