🤖 machine learning

Collaborative Synthetic Data Generation for Knowledge Transfer in Federated Learning

यह शोध पत्र FedKT-CSD का प्रस्ताव करता है, जो एक वन-शॉट फेडरेटेड लर्निंग फ्रेमवर्क है जो मॉडल की गुणवत्ता से समझौता किए बिना औपचारिक डिफरेंशियल प्राइवेसी, कम संचार ओवरहेड और विषम क्लाइंट वितरणों में मजबूत प्रदर्शन प्राप्त करने के लिए साझा ऑटोएनकोडर लेटेंट स्पेस के माध्यम से सहयोगात्मक सिंथेटिक डेटा जनरेशन का लाभ उठाता है।

मूल लेखक: Maximilian Andreas Hoefler, Karsten Mueller, Wojciech Samek

प्रकाशित 2026-07-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Maximilian Andreas Hoefler, Karsten Mueller, Wojciech Samek

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि अलग-अलग शहरों में डॉक्टरों का एक समूह है जो सभी एक सुपर-स्मार्ट AI बनाना चाहते हैं ताकि बीमारियों का निदान किया जा सके। हालाँकि, वे सख्त गोपनीयता कानूनों के कारण अपने मरीजों के निजी मेडिकल रिकॉर्ड साझा नहीं कर सकते। उनके पास महीनों तक ईमेल के आदान-प्रदान में समय बर्बाद करने का भी समय नहीं है (जो आज के अधिकांश AI प्रशिक्षण का तरीका है)। उन्हें एक ऐसे समाधान की आवश्यकता है जो तेज़ हो, निजी हो, और तब भी काम करे जब हर डॉक्टर के पास मरीजों का बहुत अलग मिश्रण हो।

यह शोध पत्र FedKT-CSD नामक एक नई विधि पेश करता है जो इस समस्या को हल करती है। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है।

समस्या: "वन-शॉट" (एक बार में होने वाली) चुनौती

आमतौर पर, AI प्रशिक्षण में संचार के कई दौर शामिल होते हैं: केंद्रीय सर्वर डॉक्टरों को एक मॉडल भेजता है, वे इसे अपने स्थानीय डेटा पर प्रशिक्षित करते हैं, इसे वापस भेजते हैं, और यह प्रक्रिया दोहराई जाती है। यह धीमा है और इसमें इंटरनेट बैंडविड्थ का बहुत अधिक उपयोग होता है।

वन-शॉट फेडरेटेड लर्निंग (One-Shot Federated Learning) इसे केवल एक ही दौर में करने की कोशिश करता है। डॉक्टर अपना ज्ञान सर्वर को एक बार भेजते हैं, और सर्वर अंतिम AI बनाता है। समस्या यह है कि यदि डॉक्टरों के पास बहुत अलग प्रकार के मरीज हैं (जैसे, एक केवल हृदय के मामले देखता है, दूसरा केवल त्वचा के मामले), तो एक साधारण "वन-शॉट" प्रयास आमतौर पर विफल हो जाता है या एक खराब AI बनाता है।

समाधान: "यूनिवर्सल ट्रांसलेटर" (सार्वभौमिक अनुवादक)

लेखकों ने महसूस किया कि कच्चे रोगी डेटा या जटिल AI मॉडल भेजने के बजाय, डॉक्टरों को एक "यूनिवर्सल ट्रांसलेटर" का उपयोग करके सांख्यिकीय सारांश (summarized statistics) भेजना चाहिए।

साझा अनुवादक (ऑटोएनकोडर - The Autoencoder):
कल्पना कीजिए कि सभी एक ही डिक्शनरी और व्याकरण की किताब (एक प्री-ट्रेंड AI जिसे ऑटोएनकोडर कहा जाता है) का उपयोग करने के लिए सहमत हैं जिसे एक सार्वजनिक टीम द्वारा बनाया गया है और जो पहले से ही स्थिर (frozen) है (कोई इसे बदलता नहीं है)। यह अनुवादक किसी भी छवि (जैसे एक्स-रे या फोटो) को एक छोटे, संक्षिप्त कोड ("लेटेंट वेक्टर") में और फिर वापस बदल सकता है।

यह क्यों महत्वपूर्ण है: क्योंकि सभी एक ही अनुवादक का उपयोग करते हैं, उनके द्वारा बनाए गए कोड संगत होते हैं, भले ही वे कभी मिले न हों।

स्थानीय सारांश (द "रेसिपी कार्ड"):
अपने निजी फोटो भेजने के बजाय, प्रत्येक डॉक्टर अपने स्थानीय चित्रों को लेता है, उन्हें अनुवादक के माध्यम से चलाता है, और प्रत्येक बीमारी श्रेणी के लिए एक सरल सांख्यिकीय सारांश बनाता है।

वे "औसत कोड" और "हृदय रोग" जैसे उदाहरण के लिए, कोड के "फैलाव" (spread) की गणना करते हैं।
वे चित्र (images) नहीं भेजते हैं। वे केवल ये छोटे नंबर (सारांश) भेजते हैं।
गोपनीयता में वृद्धि: भेजने से पहले, वे इन नंबरों में थोड़ा सा गणितीय "शोर" (static/noise) जोड़ देते हैं। यह सुनिश्चित करता कि यदि कोई सारांश को बीच में ही रोक ले, तो भी वे इसे रिवर्स-इंजीनियर करके यह पता नहीं लगा सकते कि किस विशिष्ट रोगी ने इसमें योगदान दिया था। इसे डिफरेंशियल प्राइवेसी (Differential Privacy) कहा जाता है।

केंद्रीय रसोई (द सर्वर - The Central Kitchen):
सर्वर सभी डॉक्टरों से ये छोटे, शोर वाले सारांश प्राप्त करता है।

यह उन सभी को जोड़ देता है (अलग-अलग कटोरे से सामग्री मिलाने की तरह)।
क्योंकि सारांश केवल सरल नंबर हैं, वे पूरे समूह के डेटा का प्रतिनिधित्व करने के लिए पूरी तरह से जुड़ जाते हैं, चाहे डॉक्टरों के बीच डेटा कितना भी असमान क्यों न हो।
सर्वर फिर इन संयुक्त नंबरों का उपयोग करके एक बिल्कुल नया सिंथेटिक डेटासेट (synthetic dataset) "पकाता" है। यह ऐसी नकली छवियां बनाता है जो वास्तविक डेटा जैसी दिखती हैं लेकिन किसी की भी नहीं हैं।

अंतिम परिणाम:
सर्वर के पास अब एक विशाल, गोपनीयता-सुरक्षित छवियों का पुस्तकालय है। वह इस लाइब्रेरी पर अंतिम AI को प्रशिक्षित करता है। यह AI अब सभी के उपयोग के लिए तैयार है।

यह एक बड़ी बात क्यों है

लेखक दावा करते हैं कि यह विधि तीन कारणों से एक "जादुई ट्रिक" है:

यह "एक बार में होने वाला" काम है: इसके लिए संचार का केवल एक दौर आवश्यक है। डॉक्टर एक छोटी सी फ़ाइल (किलोबाइट्स में आकार) भेजते हैं, और उनका काम हो जाता है।
यह डिज़ाइन से ही गोपनीयता-प्रथम है: अन्य विधियों के विपरीत जो सिस्टम पर बाद में गोपनीयता लगाने की कोशिश करती हैं, यह विधि शुरू से ही निजी बनाने के लिए बनाई गई है। गणित गारंटी देता है कि किसी भी व्यक्ति के डेटा को वापस प्राप्त नहीं किया जा सकता है।
इसे असंतुलन की चिंता नहीं है: यदि एक डॉक्टर के पास 1,000 हृदय मामले हैं और दूसरे के पास 0, और दूसरे के पास 1,000 त्वचा के मामले हैं और 0 हृदय मामले, तो भी यह विधि पूरी तरह से काम करती है। यह "हृदय" के आंकड़ों और "त्वचा" के आंकड़ों को अलग-अलग जोड़ती है, जिससे अंतिम AI पूरी तस्वीर से सीख पाता है। अन्य विधियाँ अक्सर तब विफल हो जाती हैं जब डेटा इतना असमान होता है।

परिणाम

लेखकों ने विभिन्न इमेज डेटासेट्स (जैसे सैटेलाइट फोटो, रक्त कोशिकाएं और रोजमर्रा की वस्तुएं) पर इसका परीक्षण किया।

प्रदर्शन: सख्त गोपनीयता नियमों के बावजूद, उनकी विधि उन अन्य "वन-शॉट" विधियों से बेहतर प्रदर्शन करती है जिनमें कोई गोपनीयता सुरक्षा नहीं थी।
दक्षता: यह मानक कंप्यूटरों पर सेकंडों में चलता है और इसके लिए डॉक्टरों को शक्तिशाली सुपरकंप्यूटर की आवश्यकता नहीं होती है।
स्केलेबिलिटी: यह 20 डॉक्टरों के साथ उतना ही अच्छा काम करता है जितना कि 1,000 डॉक्टरों के साथ।

कमी (सीमाएं)

शोध पत्र कुछ सीमाएं भी बताता है:

यह वर्तमान में केवल लेबल वाले (labeled) डेटा के लिए काम करता है (जहाँ डॉक्टर को पता होता है कि छवि किस बीमारी की है)। यह अभी अनलेबल (unlabeled) डेटा के लिए काम नहीं करता है।
यह मान लेता है कि बीमारियां (classes) काफी हद तक अलग-अलग हैं। यदि डेटा बहुत अधिक अस्त-व्यस्त है या श्रेणियां बहुत अधिक ओवरलैप होती हैं, तो "सारांश" धुंधला हो सकता है।
यदि कोई विशिष्ट बीमारी अत्यंत दुर्लभ है (केवल कुछ नमूने), तो गोपनीयता का शोर उस विशिष्ट श्रेणी के लिए सारांश को कम सटीक बना सकता है।

संक्षेप में, FedKT-CSD एक साझा AI मस्तिष्क बनाने का एक चतुर तरीका है, जिसमें हर कोई अपने डेटा का एक छोटा, गोपनीयता-संरक्षित "रेसिपी कार्ड" भेजता है, न कि स्वयं डेटा, जिससे एक ही चरण में तेज़, सुरक्षित और अत्यधिक सटीक परिणाम प्राप्त होता है।

तकनीकी सारांश: वन-शॉट फेडरेटेड लर्निंग के लिए FedKT-CSD

समस्या विवरण

फेडरेटेड लर्निंग (FL) गोपनीयता बनाए रखते हुए विकेंद्रीकृत डेटा पर सहयोगात्मक मॉडल प्रशिक्षण को सक्षम करता है, लेकिन यह आमतौर पर उच्च संचार ओवरहेड और धीमी अभिसरण (convergence) से ग्रस्त होता है, विशेष रूपकर जब क्लाइंट का डेटा वितरण विषम (heterogeneous) होता है। वन-शॉट फेडरेटेड लर्निंग (OSFL) संचार बाधाओं को एक ही दौर (single round) तक सीमित करके संबोधित करता है। मौजूदा OSFL विधियाँ एक महत्वपूर्ण ट्रेड-ऑफ का सामना करती हैं: वे अक्सर औपचारिक गोपनीयता गारंटी की कमी रखती हैं या उनके लिए गणनात्मक रूप से महंगी स्थानीय ट्रेनिंग (जैसे, स्थानीय जनरेटर या डिस्टिल्ड मॉडल को प्रशिक्षित करना) की आवश्यकता होती है। जब इन विधियों में डिफरेंशियल प्राइवेसी (DP) को बाद में जोड़ा जाता है, तो मॉडल मापदंडों की उच्च आयामीता (high dimensionality) संवेदनशीलता को बढ़ा देती है, जिससे उपयोगिता (utility) कम हो जाती है। इसके अलावा, कई वर्तमान दृष्टिकोण मॉडल वेट या डिस्टिल्ड डेटा ट्रांसमिट करते हैं जो व्यक्तिगत प्रशिक्षण रिकॉर्ड के बारे में जानकारी लीक कर सकते हैं।

इस कार्य द्वारा संबोधित मुख्य चुनौती यह है: क्या एक ऐसा ढांचा तैयार किया जा सकता है जो OSFL सेटिंग में रिप्रजेंटेशन शेयरिंग का लाभ उठाकर औपचारिक गोपनीयता गारंटी और हल्का क्लाइंट कंप्यूटेशन एक साथ प्राप्त कर सके?

कार्यप्रणाली: FedKT-CSD

लेखक FedKT-CSD (Federated Knowledge Transfer via Collaborative Synthetic Data) का प्रस्ताव करते हैं, जो न्यूरल इमेज कंप्रेशन से प्रेरित एक फ्रेमवर्क है। यह विधि एक सार्वजनिक रूप से प्री-ट्रेन्ड, फ्रोजन ऑटोएन्कोडर (एन्कोडर $E$ और डिकोडर $D$ ) का उपयोग एक साझा लेटेंट स्पेस के रूप में करती है, जिससे ऑन-डिवाइस ट्रेनिंग या अनुकूलन की आवश्यकता समाप्त हो जाती है।

1. क्लाइंट-साइड प्रोसेसिंग (कोई ट्रेनिंग नहीं)

प्रत्येक क्लाइंट $i$ के पास एक निजी डेटासेट $D_i$ होता है। प्रक्रिया में एक सिंगल फॉरवर्ड पास शामिल है:

एन्कोडिंग (Encoding): छवियों को कॉम्पैक्ट लेटेंट वेक्टर्स $z_{i,j} = E(x_{i,j})$ में एनकोड किया जाता है।
क्लिपिंग (Clipping): DP के लिए संवेदनशीलता सीमाओं को सुनिश्चित करने हेतु लेटेंट वेक्टर्स को एक बाउंडेड $\ell_2$ -नॉर्म $R$ तक क्लिप किया जाता है।
सांख्यिकी गणना (Statistic Computation): क्लाइंट के डेटा में मौजूद प्रत्येक क्लास $c$ $c$ के लिए, क्लाइंट तीन एडिटिव स्टैटिस्टिक्स की गणना करता है:
- क्लिप्ड लेटेंट्स का योग: $m_c^i = \sum \bar{z}_{i,j}$
- आउटर प्रोडक्ट्स का योग: $M_c^i = \sum \bar{z}_{i,j}\bar{z}_{i,j}^\top$
- सैंपल काउंट: $n_c^i$
ट्रांसमिशन (Transmission): क्लाइंट केवल इन हल्के सारांशों (वेक्टर्स और मैट्रिसेस) को सर्वर पर अपलोड करते हैं। कोई भी रॉ डेटा या मॉडल वेट ट्रांसमिट नहीं किए जाते हैं।

2. सर्वर-साइड एग्रीगेशन और नॉइज़ इंजेक्शन

सर्वर सिक्योर एग्रीगेशन (Secure Aggregation) का उपयोग करके सांख्यिकी को एकत्रित करता है, जो व्यक्तिगत योगदान को प्रकट किए बिना क्लाइंट्स के बीच एलिमेंट-वाइज योग की गणना करता है।

ग्लोबल संद (Global Sums): $S_{\mu,c} = \sum m_c^i$ , $S_{\Sigma,c} = \sum M_c^i$ , और $n_c = \sum n_c^i$ ।
डिफरेंशियल प्राइवेसी (Differential Privacy): क्लिपिंग थ्रेशोल्ड $R$ की संवेदनशीलता के आधार पर एकत्रित संदों ( $\tilde{S}_{\mu,c}$ और $\tilde{S}_{\Sigma,c}$ ) में कैलिब्रेटेड गॉसियन नॉइज़ जोड़ा जाता है। प्राइवेसी बजट $(\epsilon, \delta)$ को मीन (mean) और कोवैरिएंस (covariance) क्वेरी के बीच विभाजित किया जाता है।
पोस्ट-प्रोसेसिंग (Post-Processing): सर्वर नॉइजी मीन और कोवैरिएंस को रिकवर करता है, बायस करेक्शन (मीन में नॉइज़ के वेरिएंस को ध्यान में रखते हुए) लागू करता है और पॉजिटिव सेमीडेफिनिट (PSD) प्रोजेक्शन (वैध सैंपलिंग सुनिश्चित करने के लिए) लागू करता है।

3. सिंथेटिक डेटा जनरेशन

सर्वर परिणामी क्लास-कंडीशनल गॉसियन डिस्ट्रीब्यूशन $\mathcal{N}(\mu_c^{DP}, \Sigma_c^{DP})$ से लेटेंट वेक्टर्स को सैंपल करता है और उन्हें फ्रोजन डिकोडर $D$ का उपयोग करके एक DP-प्रोटेक्टेड सिंथेटिक डेटासेट $X^*$ उत्पन्न करने के लिए डिकोड करता है। इस डेटासेट का उपयोग फिर ग्लोबल मॉडल को प्रशिक्षित करने या डाउनस्ट्रीम कार्यों के लिए किया जाता है।

प्रमुख योगदान

वन-शॉट DP सिंथेटिक डेटा जनरेशन: यह पेपर प्रदर्शित करता है कि डीप कंप्रेशन ऑटोएन्कोडर्स एक साझा लेटेंट स्पेस प्रदान करते हैं जहाँ क्लास-कंडीशनल स्टैटिस्टिक्स को औपचारिक $(\epsilon, \delta)$ -DP गारंटी के साथ कंप्यूट और एग्रीगेट किया जा सकता है। यह एक ऐसा पाइपलाइन सक्षम करता है जिसमें केवल एक संचार दौर की आवश्यकता होती है और शून्य ऑन-डिवाइस ट्रेनिंग की आवश्यकता होती है।
DP के तहत प्रतिस्पर्धी प्रदर्शन: सख्त गोपनीयता प्रतिबंधों के तहत काम करने के बावजूद, FedKT-CSD विविध डेटासेट्स और विषमता सेटिंग्स में मौजूदा नॉन-प्राइवेट वन-शॉट FL बेसलाइन्स (जैसे, FedSD2C, DENSE, CoBoosting) से बेहतर प्रदर्शन करता है।
विषमता और स्केल इनवैरिएंस (Heterogeneity and Scale Invariance): मॉडल-एग्रीगेशन दृष्टिकोणों के विपरीत, जो विषम सेटिंग्स में बायस्ड लोकल मॉडल्स से प्रभावित होते हैं, FedKT-CSD डेटा विषमता के स्तर और क्लाइंट्स की संख्या के प्रति इनवेरिएंट है। स्टैटिस्टिक्स की एडिटिव प्रकृति यह सुनिश्चित करती है कि ग्लोबल डिस्ट्रीब्यूशन का पुनर्निर्माण डेटा विभाजन के बावजूद समान रूप से होता है।
व्यावहारिक दक्षता: यह विधि अत्यधिक कुशल है, जिसमें क्लाइंट पेलोड किलोबाइट रेंज में होते हैं (उदाहरण के लिए, 10 क्लासेस के लिए ~327 KB) और कंज्यूमर हार्डवेयर पर सेकंडों का कंप्यूटेशन समय लगता है, जो इसे बैंडविड्थ- और कंप्यूट-प्रतिबंधित वातावरणों में तैनात करने योग्य बनाता है।
बहुमुखी डाउनस्ट्रीम उपयोगिता: जनरेट किया गया सिंथेटिक डेटासेट वास्तविक छवियों (न कि फिक्स्ड फीचर्स) से बना है, जिससे इसे किसी भी आर्किटेक्चर को प्रशिक्षित करने, पर्सनलाइज्ड FL के लिए प्री-ट्रेनिंग करने, या मल्टी-राउंड विधियों के लिए सहायक डेटा के रूप में उपयोग किया जा सकता है।

प्रयोगात्मक परिणाम

लेखकों ने चार इमेज क्लासिफिकेशन बेंचमार्क्स पर FedKT-CSD का मूल्यांकन किया: ImageNette, CIFAR-100, EuroSAT, और BloodMNIST।

बेसलाइन्स के मुकाबले प्रदर्शन: FedKT-CSड ने वन-शॉट विधियों में स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए, जो अक्सर नॉन-प्राइवेट बेसलाइन्स से भी बेहतर रहे। उदाहरण के लिए, पैथोलॉजिकल विषमता (जहाँ प्रत्येक क्लाइंट 100 में से केवल 10 क्लासेस देखता है) के तहत CIFAR-100 पर, बेसलाइन्स गिरकर ~21% सटीकता पर आ गए, जबकि FedKT-CSD ने ~29% बनाए रखा। EuroSAT पर, इसने ~55% के सर्वश्रेष्ठ बेसलाइन की तुलना में ~80% सटीकता प्राप्त की।
प्राइवेसी मूल्यांकन: विधि औपचारिक $(\epsilon=10, \delta=10^{-5})$ -DP को संतुष्ट करती है। मेंबरशिप इन्फरेंस अटैक (MIA) ने 0.501 का AUC दिया (जो रैंडम गेसिंग के बराबर है), जो पुष्टि करता है कि व्यक्तिगत रिकॉर्ड की भागीदारी का पता लगाना असंभव है।
स्केलेबिलिटी: विधि 1,000 क्लाइंट्स तक रैखिक रूप से स्केल करती है जिसमें प्रदर्शन में कोई गिरावट नहीं आती है, जबकि बेसलाइन्स डेटा के पतला होने पर काफी खराब प्रदर्शन करते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- विषमता (Heterogeneity): प्रदर्शन विभिन्न डिरिचलेट कंसंट्रेशन पैरामीटर्स ( $\alpha$ ) केAcross स्थिर रहा, जबकि बेसलाइन्स निरंतर गिरते रहे।
- पार्टिसिपेशन रेट: विधि 10% क्लाइंट पार्टिसिपेशन पर भी सुचारू रूप से कार्य करती रही।
- आर्किटेक्चर: $d=128$ लेटेंट डायमेंशन के साथ 64x64 रेजोल्यूशन वाला ऑटोएन्कोडर (DC-AE f32c32) रिप्रेजेंटेशनल कैपेसिटी और नॉइज़ संचय के बीच सबसे अच्छा संतुलन प्रदान करता है।

महत्व और दावे

पेपर का दावा है कि FedKT-CSD फेडरेटेड लर्निंग में लो-कम्युनिकेशन, विषमता के प्रति मजबूती और कठोर गोपनीयता के बीच के अंतर को पाट देता है। प्री-ट्रेनड ऑटोएन्कोडर्स की संरचना का लाभ उठाकर, यह विधि निजी डेटा शेयरिंग की समस्या को लो-डायमेंशनल, एडिटिव स्टैटिस्टिक्स के एकत्रीकरण में बदल देती है।

लेखक इस बात पर जोर देते हैं कि सिंथेटिक डेटासेट उस इंटर-क्लास सेपरेशन को बनाए रखता जो वर्गीकरण के लिए आवश्यक है, भले ही इसमें फोटोरियलिज्म (photorealism) की आवश्यकता न हो, यही कारण है कि यह व्यक्तिगत छवियों के मोटे स्वरूप के बावजूद उच्च डाउनस्ट्रीम सटीकता प्राप्त करता है। यह कार्य एक व्यापक डिजाइन सिद्धांत का सुझाव देता है: प्री-ट्रेनड ऑटोएन्कोडर्स एक साझा, लो-डायमेंशनल स्पेस के रूप में कार्य कर सकते हैं जहाँ उच्च-गुणवत्ता वाले, प्राइवेसी-प्रिजर्विंग डेटा जनरेशन के लिए सरल एडिटिव स्टैटिस्टिक्स पर्याप्त होते हैं, जो स्थानीय ट्रेनिंग के कंप्यूटेशनल बोझ या पैरामीटर एक्सचेंज के गोपनीयता जोखिमों के बिना स्केलेबल और कुशल फेडरेटेड सिस्टम को सक्षम बनाता है।