🤖 machine learning

FedeKD: Energy-Based Gating for Robust Federated Knowledge Distillation under Heterogeneous Settings

यह शोध पत्र FedeKD को प्रस्तुत करता है, जो एक सुदृढ़ फेडरेटेड नॉलेज डिस्टिलेशन फ्रेमवर्क है जो प्राइवेट-प्रॉक्सी डिसएग्रीमेंट के आधार पर सैंपल-वार नॉलेज ट्रांसफर को गतिशील रूप से वेट करने के लिए एक एनर्जी-बेस्ड गेटिंग मैकेनिज्म का उपयोग करता है, जिससे सार्वजनिक डेटासेट की आवश्यकता के बिना विषम सेटिंग्स में नेगेटिव ट्रांसफर को कम किया जा सके।

मूल लेखक: Quang-Huy Nguyen, Jiaqi Wang, Wei-shinn Ku

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Quang-Huy Nguyen, Jiaqi Wang, Wei-shinn Ku

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि अलग-अलग अस्पतालों के डॉक्टरों का एक समूह एक एकल, सुपर-स्मार्ट डायग्नोस्टिक AI बनाने की कोशिश कर रहा है। वे अपने वास्तविक रोगी रिकॉर्ड साझा नहीं कर सकते (गोपनीयता कानूनों के कारण), इसलिए उन्हें अपने मॉडल अलग से प्रशिक्षित करने होंगे और फिर जो कुछ भी उन्होंने सीखा है उसे मिलाने की कोशिश करनी होगी।

यह फेडरेटेड लर्निंग (Federated Learning) की दुनिया है। लेकिन एक बड़ी समस्या है: प्रत्येक अस्पताल अलग प्रकार के रोगियों को देखता है। एक में ज्यादातर बच्चे हो सकते हैं, दूसरे में बुजुर्ग लोग। एक के पास उच्च-गुणवत्ता वाले स्कैन हो सकते हैं, दूसरे के पास धुंधले स्कैन। जब वे अपने ज्ञान को मिलाने की कोशिश करते हैं, तो एक अस्पताल की "गलत सलाह" वास्तव में दूसरों को और भी खराब कर सकती है। इसे नेगेटिव ट्रांसफर (negative transfer) कहा जाता है—जैसे एक छात्र गणित सीखने के लिए एक ऐसे शिक्षक से सीख रहा हो जो वास्तव में गणित में कमजोर है; छात्र अंततः भ्रमित हो जाता है।

मौजूदा तरीके इस बात की धारणा बनाकर इसे हल करने का प्रयास करते हैं कि हर किसी की सलाह समान रूप से अच्छी है, या यह जांचने के लिए एक "सार्वजनिक डेटासेट" का उपयोग करते हैं कि कौन सही है। लेकिन वास्तविक दुनिया में, हमारे पास अक्सर ऐसा सार्वजनिक डेटा नहीं होता है, और हम यह मान भी नहीं सकते कि हर कोई समान रूप से विश्वसनीय है।

यहाँ आता है FedeKD (Federated Knowledge Distillation)। इसे एक स्मार्ट, आत्म-सुधार करने वाली टीम मीटिंग के रूप में समझें।

सेटअप: "बड़ा मस्तिष्क" और "संदेशवाहक"

इस प्रणाली में, प्रत्येक अस्पताल (क्लाइंट) के पास दो मॉडल होते हैं:

प्राइवेट मॉडल (द बिग ब्रेन - The Big Brain): एक बड़ा, शक्तिशाली AI जो अस्पताल के अपने विशिष्ट डेटा से गहराई से सीखता है। यह कभी भी अस्पताल से बाहर नहीं जाता।
प्रॉक्सि मॉडल (द मैसेंजर - The Messenger): एक छोटा, हल्का AI जो अस्पतालों के बीच यात्रा करता है। इसका एकमात्र काम उस सारांश को ले जाना है जो "बिग ब्रेन" जानता है।

यह कैसे काम करता है: दो-चरणीय नृत्य

चरण 1: फॉरवर्ड डिस्टिलेशन (द ब्रीफिंग)
प्रत्येक अस्पताल का "बिग ब्रेन" अपने स्थानीय "मैसेंजर" को वह सिखाता है जो वह जानता है। मैसेंजर फिर केंद्रीय सर्वर की यात्रा करता है, जहाँ विभिन्न अस्पतालों के मैसेंजर्स को एक साथ मिलाया जाता है ताकि एक ग्लोबल मैसेंजर (Global Messenger) बनाया जा सके। ग्लोबल मैसेंजर समूह के "सामूहिक ज्ञान" का प्रतिनिधित्व करता है।

चरण 2: बैकवर्ड डिस्टिलेशन विद अ "ट्रस्ट फ़िल्टर" (द रियलिटी चेक)
अब ग्लोबल मैसेंजर वापस आता है और स्थानीय "बिग ब्रेन" को कुछ नया सिखाता है। लेकिन यहाँ एक पेंच है: बिग ब्रेन आँख बंद करके मैसेंजर पर भरोसा नहीं करता।

कभी-कभी, मैसेंजर कह सकता है, "अरे, इस मरीज का पैर टूटा हुआ है!" लेकिन स्थानीय बिग ब्रेन, अपने स्वयं के विशिष्ट डेटा को देखते हुए सोच सकता है, "नहीं, यह निश्चित रूप से मोच है।"

पुराने सिस्टमों में, बिग ब्रेन बस मैसेंजर की बात मान लेता और भ्रमित हो जाता। FedeKD में, एक विशेष एनर्जी-बेस्ड गेटिंग मैकेनिज्म (Energy-Based Gating Mechanism) ("ट्रस्ट फ़िल्टर") है।

सादृश्य (Analogy): कल्पना कीजिए कि बिग ब्रेन और मैसेंजर एक विशिष्ट रोगी मामले पर बहस कर रहे हैं।
- यदि वे सहमत हैं (या केवल थोड़ा असहमति जताते हैं), तो ट्रस्ट फ़िल्टर कहता है, "ठीक है, यह सुरक्षित ज्ञान है। चलिए इससे सीखते हैं।" बिग ब्रेन अपने वेट्स (weights) को मजबूती से अपडेट करता है।
- यदि वे गहराई से असहमत हैं (उच्च "ऊर्जा" या संघर्ष है), तो ट्रस्ट फ़िल्टर कहता है, "रुको, यह खतरनाक लग रहा है। मैसेंजर शायद भ्रमित है क्योंकि यह मामला इसके प्रशिक्षण डेटा के लिए अजीब है।" फ़िल्टर इस सलाह को डाउन-वेट (down-weight) कर देता है, बिग ब्रेन को बताता है, "फिलहाल के लिए इस विशिष्ट सलाह को अनदेखा करें; जो आप जानते हैं उस पर टिके रहें।"

यह फ़िल्टर सैंपल-दर-सैंपल (sample-by-sample) काम करता है। यह यह नहीं कहता कि "अस्पताल A बुरा है।" यह कहता है, "अस्पताल A की सलाह इस मरीज के लिए बेहतरीन है, लेकिन उस मरीज के लिए बहुत खराब है।"

यह क्यों मायने रखता है

पेपर का दावा है कि इस "ट्रस्ट फ़िल्टर" का उपयोग करके, FedeKD दो प्रमुख समस्याओं को हल करता है:

यह "गलत सलाह" को किसी को भी नुकसान पहुँचाने से रोकता है: यह सिस्टम को गलत चीजें सीखने से रोकता है जब डेटा बहुत अलग (heterogeneous) होता है।
इसे "चीट शीट" की आवश्यकता नहीं है: अन्य तरीकों के विपरीत, इसे यह जांचने के लिए अलग से सार्वजनिक डेटासेट की आवश्यकता नहीं है कि कौन सही है। यह अपने स्वयं के स्थानीय मस्तिष्क और ग्लोबल मैसेंजर की तुलना करके ऑन-द-फ्लाई विश्वसनीयता का पता लगा लेता है।

परिणाम

लेखकों ने छह वास्तविक दुनिया के डेटासेट्स (जिसमें आई स्कैन और अंग सीटी जैसे मेडिकल इमेज और मानक इमेज डेटासेट्स शामिल हैं) पर इसका परीक्षण किया। उन्होंने पाया कि:

FedeKD ने "नेगेटिव ट्रांसफर" को काफी कम कर दिया। दूसरे शब्दों में, इसने अस्पतालों को एक-दूसरे को बदतर बनाने से रोका।
यह तब भी काम कर गया जब डेटा बहुत अव्यवस्थित था। जब अस्पतालों के पास बहुत अलग प्रकार के मरीज थे (उच्च विषमता/heterogeneity), तब भी FedeKD ने प्रदर्शन को स्थिर रखा।
इसने सटीकता से समझौता नहीं किया। गलत सलाह से बचने के साथ-साथ, मॉडल सही चीजें सीखते रहे और अत्यधिक सटीक बने रहे।

संक्षेप में, FedeKD एक स्मार्ट टीम लीडर की तरह है जो जानता है कि समूह की बात कब सुननी है और अपने अंतर्ज्ञान (gut feeling) पर कब भरोसा करना है, जिससे यह सुनिश्चित होता है कि पूरी टीम और अधिक स्मार्ट हो जाए बिना किसी के भ्रमित हुए।

तकनीकी सारांश: FedeKD

समस्या विवरण (Problem Statement)

फेडरेटेड लर्निंग (FL) कच्चे डेटा को साझा किए बिना विकेंद्रीकृत क्लाइंट्स के बीच सहयोगात्मक मॉडल प्रशिक्षण को सक्षम बनाता है। हालांकि, वास्तविक दुनिया के FL डिप्लॉयमेंट डेटा विषमता (non-IID वितरण) और मॉडल विषमता (model asymmetry) के कारण महत्वपूर्ण चुनौतियों का सामना करते हैं। ये स्थितियाँ अक्सर नेगेटिव ट्रांसफर (negative transfer) की ओर ले जाती हैं, जहाँ क्लाइंट्स के बीच साझा किया गया ज्ञान स्थानीय प्रदर्शन को सुधारने के बजाय उसे खराब कर देता है।

मौजूदा फेडरेटेड नॉलेज डिस्टिलेशन (FKD) विधियाँ मॉडल आउटपुट (लॉगिट्स या रिप्रजेंटेशन) के बजाय मापदंडों (parameters) को साझा करके इसे कम करने का प्रयास करती हैं। हालाँकि, वर्तमान दृष्टिकोण दो प्राथमिक सीमाओं से ग्रस्त हैं:

समान विश्वसनीयता धारणा (Uniform Reliability Assumption): वे आमतौर पर यह मान लेते हैं कि स्थानांतरित ज्ञान सभी नमूनों और क्लाइंट्स के लिए समान रूप से विश्वसनीय है, जो वितरण बदलाव (distribution shifts) या आर्किटेक्चरल अंतरों के कारण होने वाली ज्ञान की गुणवत्ता में परिवर्तन को अनदेखा करता है।
सार्वजनिक डेटा पर निर्भरता: कई विधियाँ प्रशिक्षण को स्थिर करने के लिए अतिरिक्त सार्वजनिक डेटासेट या साझा डेटा रिप्रजेंटेशन पर निर्भर करती हैं, जो व्यावहारिक परिदृश्यों में अक्सर उपलब्ध नहीं होता है या गोपनीयता संबंधी चिंताएँ पैदा करता है।

परिणामस्वरूप, एक "टीचर" (ग्लोबल प्रॉक्सी) से "स्टूडेंट" (लोकल प्राइवेट मॉडल) को अंधाधुंध ज्ञान स्थानांतरित करना भ्रामक संकेत उत्पन्न कर सकता है, जिससे स्थानीय प्रशिक्षण की तुलना में गंभीर प्रदर्शन गिरावट हो सकती है।

कार्यप्रणाली (Methodology): FedeKD

यह शोध पत्र FedeKD (एनेर्जी-बेस्ड गेटिंग फॉर रोबस्ट फेडरेटेड नॉलेज डिस्टिलेशन) का प्रस्ताव करता है, जो एक ऐसा फ्रेमवर्क है जिसे सार्वजनिक डेटा की आवश्यकता के बिना ज्ञान हस्तांतरण के दौरान सैंपल-वाइज ट्रस्ट एस्टीमेशन (sample-wise trust estimation) करने के लिए डिज़ाइन किया गया है।

आर्किटेक्चर (Architecture)

FedeKD प्रत्येक क्लाइंट में एक असिमेट्रिक प्राइवेट-प्रॉक्सी आर्किटेक्चर का उपयोग करता है:

प्राइवेट मॉडल ( $f_k$ ): एक उच्च-क्षमता वाला नेटवर्क जो प्राथमिक स्थानीय शिक्षण कार्य के लिए जिम्मेदार है।
प्रॉक्सी मॉडल ( $g_k$ ): एक हल्का (lightweight) नेटवर्क जिसका उपयोग विशेष रूप से क्रॉस-क्लाइंट ज्ञान विनिमय के लिए किया जाता है। सभी प्रॉक्सी मॉडल एक सामान्य आर्किटेक्चर साझा करते हैं।

प्रशिक्षण प्रक्रिया (Training Process)

यह फ्रेमवर्क प्रति संचार राउंड (communication round) क्रमिक चरणों में कार्य करता है:

फॉरवर्ड प्रॉक्सी डिस्टिलेशन: प्रत्येक क्लाइंट अपने प्राइवेट मॉडल को फ्रीज करता है और स्थानीय डेटा पर प्राइवेट मॉडल के प्रेडिक्शन की नकल करने के लिए अपने स्थानीय प्रॉक्सी को प्रशिक्षित करता है।
प्रॉक्सी एग्रीगेशन: स्थानीय प्रॉक्सियों को सर्वर पर अपलोड किया जाता है, उन्हें एक ग्लोबल प्रॉक्सी में एकत्रित किया जाता है, और वापस सभी क्लाइंट्स को प्रसारित किया जाता है।
एनेर्जी-गेटेड बैकवर्ड डिस्टिलेशन: ग्लोबल प्रॉक्सी स्थानीय प्राइवेट मॉडल के अपडेट्स को निर्देशित करती है। महत्वपूर्ण बात यह है कि यह चरण प्रत्येक विशिष्ट नमूने (sample) के लिए प्रॉक्सी के मार्गदर्शन पर कितना भरोसा किया जाना चाहिए, यह निर्धारित करने के लिए एक रिलायबिलिटी-अवेयर गेटिंग मैकेनिज्म का उपयोग करता है।

द एनेर्जी-बेस्ड गेटिंग मैकेनिज्म (The Energy-Based Gating Mechanism)

मुख्य नवाचार प्राइवेट-प्रॉक्सी डिसएग्रीमेंट (असहमति) को सैंपल-वाइज ट्रस्ट वेट्स में बदलना है।

एनेर्जी स्कोर ( $E(x)$ ): प्राइवेट मॉडल और ग्लोबल प्रॉक्सी के बीच असहमति को मापता है।
- वर्गीकरण (Classification) के लिए: एंट्रॉपी-नॉर्मलाइज्ड सिमेट्रिक कुलबैक-लीब्लर (KL) डाइवर्जेंस का उपयोग करता है। यह असहमति को कुल प्रेडिक्टिव एंट्रॉपी द्वारा नॉर्मलाइज करता है, जिससे यह सुनिश्चित होता है कि उच्च-कॉन्फिडेंस विरोधाभासों को व्यापक, उच्च-एंट्रॉपी वाले डिसएग्रीमेंट की तुलना में अधिक दंडित किया जाए।
- रिग्रेशन (Regression) के लिए: प्रेडिक्शंस के बीच स्क्वेर्ड एरर का उपयोग करता है।
ट्रस्ट वेट ( $w_i$ ): एनेर्जी स्कोर को बैच-नॉर्मलाइज किया जाता है और निरंतर ट्रस्ट वेट्स उत्पन्न करने के लिए एक लॉजिस्टिक गेट के माध्यम से पास किया जाता है:
$w_i = \rho(-\beta \tilde{E}_i)$
जहाँ $\tilde{E}_i$ बैच-नॉर्मलाइज्ड एनेर्जी है और $\beta$ शार्पनेस को नियंत्रित करता है।
अपडेट नियम: प्राइवेट मॉडल को सुपरवाइज्ड लॉस और डिस्टिलेशन लॉस के भारित संयोजन (weighted combination) का उपयोग करके अपडेट किया जाता है। उच्च असहमति (उच्च एनेर्जी) वाले नमूनों को कम ट्रस्ट वेट प्राप्त होते हैं, जो प्रभावी रूप से अविश्वसनीय ज्ञान को कम महत्व देते हैं, जबकि कम असहमति वाले नमूनों को उच्च वेट मिलते हैं।

गेटिंग मैकेनिज्म बैच-रिलेटिव है, जिसका अर्थ है कि ट्रस्ट यह निर्धारित करने के आधार पर दिया जाता है कि एक नमूने की असहमति उसी मिनी-बैच के अन्य नमूनों की तुलना में कैसी है, न कि एक निश्चित वैश्विक थ्रेशोल्ड के आधार पर। बैकप्रोपैगेशन के दौरान वेट्स को 'डिटैच' (detach) किया जाता है ताकि वे नए ऑप्टिमाइजेशन पाथ को पेश किए बिना रिलायबिलिटी स्केलर के रूप में कार्य करें।

मुख्य योगदान (Key Contributions)

रिलायबिलिटी-अवेयर बैकवर्ड डिस्टिलेशन: यह पेपर एक नया ऑब्जेक्टिव पेश करता है जो ध्यान इस बात से हटाकर कि ज्ञान कैसे साझा किया जाए, इस पर केंद्रित करता है कि प्रत्येक स्थानांतरित सिग्नल पर कितना भरोसा किया जाना चाहिए। यह सार्वजनिक डेटा के बिना, टास्क-विशिष्ट प्राइवेट-प्रksi डिसएग्रीमेंट का लाभ उठाकर प्राप्त किया जाता है।
असिमेट्रिक प्राइवेट-प्रॉक्सी फ्रेमवर्क: डिज़ाइन स्थानीय शिक्षण (उच्च-क्षमता वाला प्राइवेट मॉडल) को संचार (हल्का प्रॉक्सी) से अलग करता है, जिससे संवेदनशील मापदंडों के एक्सपोजर को कम करते हुए मजबूत ज्ञान विनिमय संभव होता है।
एनेर्जी-बेस्ड गेटिंग: एक निरंतर, डिफरेंशिएबल गेटिंग मैकेनिज्म जो डिसएग्रीमेंट को ट्रस्ट वेट्स में मैप करता है। यह एक एकीकृत फ्रेमवर्क के भीतर वर्गीकरण (KL डाइवर्जेंस के माध्यम से) और रिग्रेशन (स्क्वेर्ड एरर के माध्यम से) दोनों को संभालता है।
सैद्धांतिक गुण (Theoretical Properties): लेखक स्थापित करते हैं कि गेटिंग मैकेनिज्म डिस्टिलेशन ग्रेडिएंट्स की दिशा को सुरक्षित रखता है (लर्निंग सिग्नल को उलटने से रोकता है) और बाउंडेड, नॉन-डेजेनरेट ट्रस्ट वेट्स प्रदान करता है।

प्रयोगात्मक परिणाम (Experimental Results)

FedeKD का मूल्यांकन छह वास्तविक दुनिया के डेटासेट्स पर किया गया (चार वर्गीकरण: FashionMNIST, CIFAR-10, OCTMNIST, OrganAMNIST; दो रिग्रेशन: RetinaMNIST, Diabetic Retinopathy) विभिन्न स्तरों की विषमता (डिरिचलेट कंसंट्रेशन पैरामीटर $\alpha$ द्वारा नियंत्रित) के तहत।

नेगेटिव ट्रांसफर मिटिगेशन: FedeKD ने सभी डेटासेट्स और विषमता स्तरों के तहत लगातार सबसे कम औसत-मामले ( $\Delta_{avg}$ ) और सबसे खराब-मामले ( $\Delta_{worst}$ ) नेगेटिव ट्रांसफर हासिल किया। अत्यधिक विषमता ( $\alpha=0.1$ ) के तहत, इसने FedAvg, FedProx, FedDyn और हालिया FedType जैसे बेसलाइन्स को काफी पीछे छोड़ दिया।
रोबस्टनेस (Robustness): विधि ने क्लाइंट प्रदर्शन वितरण के निचले टेल (P10 $\Delta$ वर्गीकरण के लिए) और एरर वितरण के ऊपरी टेल (P90 $\Delta$ रिग्रेशन के लिए) में बेहतर रोबस्टनेस प्रदर्शित की, जो यह दर्शाता है कि यह सबसे कमजोर क्लाइंट्स की रक्षा करता है और चरम त्रुटियों को कम करता है।
प्रेडिक्टिव परफॉरमेंस: रोबस्टनेस को प्राथमिकता देने के बावजूद, FedeKD ने बेसलाइन्स की तुलना में प्रतिस्पर्धी या बेहतर औसत क्लाइंट एक्यूरेसी और RMSE बनाए रखा, जो यह सिद्ध करता है कि नेगेटिव ट्रांसफर को कम करने का मतलब समग्र प्रेडिक्टिव परफॉरमेंस की कीमत पर काम करना नहीं है।
एब्लेशन स्टडीज (Ablation Studies):
- गेटिंग मैकेनिज्म को हटाने ("No Gating") के परिणामस्वरूप काफी अधिक नेगेटिव ट्रांसफर हुआ, जो रिलायबिलिटी-अवेयर वेटिंग की आवश्यकता की पुष्टि करता है।
- वैकल्पिक एनेर्जी फंक्शन (एंट्रॉपी, मार्जिन, फीचर-डिस्टेंस) प्रस्तावित KL-आधारित एनेर्जी की तुलना में कम सुसंगत थे।
- गेटिंग शार्पनेस पैरामीटर $\beta$ और डिस्टिलेशन वेट $\lambda_{kd}$ ने मध्यम रेंज में इष्टतम प्रदर्शन दिखाया, जो साझा ज्ञान का उपयोग करने और स्थानीय शिक्षण को बनाए रखने के बीच संतुलन बनाता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि FedeKD विषम FL में एक मौलिक अंतर को संबोधित करता है: स्थानांतरित ज्ञान की विश्वसनीयता का गतिशील रूप से आकलन करने वाले तंत्रों की कमी। ज्ञान विश्वसनीयता को एक प्रथम-श्रेणी की वस्तु के रूप में मानकर, FedeKD मौजूदा तरीकों के गोपनीयता जोखिमों या डेटा आवश्यकताओं के बिना नेगेटिव ट्रांसफर को कम करता है।

लेखक FedeKD को विषम वातावरण में प्रभावी सहयोग के लिए—जो कि गैर-IID परिवेश में आवश्यक है—एक कदम के रूप में देखते हैं। यह कार्य इस बात पर जोर देता है कि अनुकूली, सैंपल-वाइज ट्रस्ट एस्टीमेशन प्रभावी सहयोग के लिए आवश्यक है, जो इस धारणा से आगे बढ़ता है कि सभी स्थानांतरित सिग्नल समान रूप से लाभकारी होते हैं।

पेपर सीमाओं को भी स्वीकार करता है, जिसमें उल्लेख है कि प्रयोग सिम्युलेटेड पार्टीशन के साथ सार्वजनिक बेंचमार्क पर किए गए थे और रिग्रेशन एनेर्जी फंक्शनल डिसएग्रीमेंट को मापती है न कि कैलिब्रेटेड अनसर्टेनिटी को। भविष्य के कार्य के लिए वास्तविक दुनिया के मल्टी-साइट डिप्लॉयमेंट, फेयरनेस-अवेयर इवैल्यूएशन और एडैप्टिव ट्रस्ट एस्टीमेशन पर ध्यान केंद्रित करने का सुझाव दिया गया है।