💻 computer science

Topology-Aware Differential Privacy in Federated Learning

यह शोध पत्र TADI प्रस्तुत करता है, जो फेडरेटेड लर्निंग में टोपोलॉजी-आधारित सूचना रिसाव (information leakage) का विश्लेषण करने के लिए एक फ्रेमवर्क है, और Fulcrum को व्युत्पन्न करता है, जो एक क्लोज्ड-फॉर्म नॉइज़ एलोकेशन मैकेनिज्म है जो मॉडल उपयोगिता से समझौता किए बिना एसिमेट्रिक क्रॉस-साइलो फेडरेशन में मानक DP-SGD की तुलना में गोपनीयता में सख्ती से सुधार करता है।

मूल लेखक: Murtaza Rangwala, Richard O. Sinnott, Rajkumar Buyya

प्रकाशित 2026-06-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Murtaza Rangwala, Richard O. Sinnott, Rajkumar Buyya

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि अस्पतालों का एक समूह हृदय रोग का पता लगाने के लिए एक सुपर-स्मार्ट AI बनाने की कोशिश कर रहा है। वे अपने वास्तविक रोगी रिकॉर्ड साझा नहीं करना चाहते (क्योंकि यह गोपनीयता का एक बुरा सपना होगा), इसलिए वे फेडरेटेड लर्निंग (Federated Learning) का उपयोग करते हैं। डेटा को केंद्रीय सर्वर पर भेजने के बजाय, प्रत्येक अस्पताल एक स्थानीय संस्करण का प्रशिक्षण लेता है और केवल "सीखे गए सबक" (गणितीय अपडेट) वापस भेजता है।

इसे और भी सुरक्षित बनाने के लिए, वे डिफरेंशियल प्राइवेसी (Differential Privacy - DP) नामक तकनीक का उपयोग करते हैं। यह संदेशों में थोड़ा सा "स्टैटिक नॉइज़" (शोर) जोड़ने जैसा है, ताकि कोई भी अपडेट से विशिष्ट रोगी डेटा को रिवर्स-इंजीनियर न कर सके।

शोध का बड़ा खुलासा:
शोधकर्ताओं ने पाया कि इस सुरक्षा योजना में एक छिपा हुआ दोष है। हर कोई संदेशों की सामग्री (गणितीय अपडेट) के बारे में चिंतित था, लेकिन वे बातचीत के ढांचे (Structure) को देखना भूल गए।

नेटवर्क के अस्पतालों को एक सोशल ग्रुप चैट की तरह समझें।

पुराना दृष्टिकोण: हम मानते हैं कि हर कोई चैट में एक रैंडम व्यक्ति है।
नया दृष्टिकोण: वास्तव में, कुछ लोग "ग्रुप एडमिन" होते हैं, कुछ छोटे, अलग-थलग समूहों में होते हैं, और कुछ एक विशिष्ट क्षेत्र के एकमात्र प्रतिनिधि होते हैं।

यह पेपर तर्क देता है कि एक चालाक पर्यवेक्षक (एक "पैसिव एडवर्सरी") केवल यह देखकर कि कौन किससे बात कर रहा है और वे नेटवर्क में कहाँ स्थित हैं, रहस्य जान सकता है, भले ही संदेश शोर वाले (noisy) क्यों न हों।

उपमा: "कौन कहाँ बैठता है" का रिसाव (The "Who Sits Where" Leak)

कल्पना कीजिए कि एक कक्षा में छात्र शिक्षक के गुप्त ग्रेड वितरण (grade distribution) का अनुमान लगाने की कोशिश कर रहे हैं, बिना कागजात देखे।

कंटेंट लीक (जो हम पहले से जानते थे): यदि कोई छात्र अपना अनुमान बहुत ज़ोर से फुसफुसाता है, तो आप संख्याएँ सुन सकते हैं। हम इसे एक पंखे के माध्यम से फुसफुसाकर ठीक करते हैं (शोर जोड़कर)।
टोपोलॉजी लीक (जो इस पेपर ने खोजा): भले ही हर कोई पूरी तरह से फुसफुसाता हो, लेकिन पैटर्न कि कौन किससे फुसफुसाता है, रहस्य उजागर करता है।
- यदि छात्र A एकमात्र व्यक्ति है जो शिक्षक के बगल में बैठा है, और छात्र B एक कोने में है जहाँ कोई नहीं है, तो पर्यवेक्षक जानता है कि छात्र A का प्रभाव अधिक है।
- यदि पर्यवेक्षक जानता है कि "छात्र A अमीर पड़ोस का प्रतिनिधित्व करता है" और "छात्र B गरीब पड़ोस का प्रतिनिधित्व करता है," तो वे केवल यह देखकर कि कौन किससे जुड़ा है, ग्रेड वितरण का अनुमान लगा सकते हैं, भले ही वे फुसफुसाहट न सुनें।

यह पेपर इसे टोपोलॉजी-अवेयर लीकेज (Topology-Aware Leakage) कहता है। नेटवर्क का "ढांचा" स्वयं संवेदनशील डेटा के बारे में जानकारी लीक कर रहा है।

समाधान: FULCRUM (स्मार्ट नॉइज़ डिस्ट्रीब्यूटर)

इसे ठीक करने का मानक तरीका यह है कि सभी के संदेश में समान मात्रा में शोर जोड़ा जाए। लेकिन शोधकर्ताओं का कहना है कि यह अक्षम है। यह एक मैराथन धावक और एक बच्चे दोनों को केवल इसलिए भारी बैकपैक देने जैसा है क्योंकि वे दोनों चल रहे हैं।

वे FULCRUM पेश करते हैं, जो एक संतुलित शोर वितरक (Balanced Noise Distributor) के रूप में कार्य करता है:

कमजोर कड़ी (The Weak Link): यदि कोई अस्पताल बहुत उजागर स्थिति में है (जैसे, एक छोटे शहर में अकेला अस्पताल, या एक नेटवर्क का केंद्रीय केंद्र), तो उनकी स्थिति के कारण उनके द्वारा रहस्य लीक किए जाने की संभावना अधिक होती है। FULCRUM उन्हें अतिरिक्त शोर (एक भारी बैकपैक) देता है ताकि उन्हें सुरक्षित रखा जा सके।
मजबूत कड़ी (The Strong Link): यदि कोई अस्पताल एक सममित (symmetric), सुरक्षित स्थिति में है (जैसे, एक पूर्ण वृत्त में कई समान नोड्स में से एक), तो उन्हें बहुत अधिक अतिरिक्त शोर की आवश्यकता नहीं है। FULCRUM उन्हें कम शोर देता है, जिससे AI की गुणवत्ता बनी रहती है।

जादुई ट्रिक:
FULCRUM "बिना किसी शर्त के अपनाने योग्य" (Safe to adopt unconditionally) है।

यदि नेटवर्क पूरी तरह से सममित है (हर कोई समान है), तो FULCRUM स्वचालित रूप से पुराने मानक तरीके की तरह काम करेगा। आप कुछ भी नहीं खोएंगे।
यदि नेटवर्क अव्यवस्थित और असमान है (जैसा कि वास्तविक दुनिया के नेटवर्क हमेशा होते हैं), तो FMLCRUM स्वचालित रूप से जहाँ इसकी सबसे अधिक आवश्यकता है वहाँ बेहतर सुरक्षा देने के लिए खुद को समायोजित करता है, बिना AI के प्रदर्शन को नुकसान पहुँचाए।

डिटेक्टिव टूल: TADI

इस रिसाव को साबित करने के लिए, उन्होंने TADI नामक एक उपकरण बनाया।
TADI को एक शैडो डिटेक्टिव (Shadow Detective) के रूप में समझें। उन्होंने अस्पताल नेटवर्क का एक नकली, सिम्युलेटेड संस्करण बनाया। उन्होंने एक "शैडो AI" को प्रशिक्षित किया जो केवल नेटवर्क संरचना का उपयोग करके रहस्यों का अनुमान लगाने की कोशिश करता है।

उन्होंने परीक्षण किया: "क्या डिटेक्टिव केवल गणितीय अपडेट से रहस्यों का अनुमान लगा सकता है?" (हाँ, लेकिन शोर इसे रोकता है)।
उन्होंने परीक्षण किया: "क्या डिटेक्टिव केवल यह जानकर रहस्यों का अनुमान लगा सकता है कि कौन किससे जुड़ा है?" (हाँ! यह नया रिसाव है)।
उन्होंने परीक्षण किया: "क्या डिटेक्टिव रहस्यों का अनुमान लगा सकता है यदि वह संगठनात्मक लेबल (जैसे, 'अस्पताल A एक कैंसर केंद्र है') जानता हो?" (हाँ, यह सबसे बड़ा रिसाव है)।

परिणाम

उन्होंने वास्तविक चिकित्सा डेटा (त्वचा कैंसर और हृदय रोग) और सिंथेटिक डेटा पर इसका परीक्षण किया।

गोपनीयता लाभ (Privacy Gain): FULCRUM का उपयोग करके, वे "लीकेज" (जिसे "नेट्स" (nats) नामक इकाई में मापा जाता है) को 1.967 नेट्स तक कम कर सकते हैं। यह गोपनीयता में एक बड़ा सुधार है।
कोई लागत नहीं: महत्वपूर्ण रूप से, उन्होंने पाया कि सिस्टम को अधिक निजी बनाने से AI की सटीकता कम नहीं हुई। "उपयोगिता" (AI कितनी अच्छी तरह काम करता है) बिल्कुल वैसी ही रही।

सारांश

यह पेपर कहता है: "हम अपने गुप्त नेटवर्क में संदेशों की रक्षा कर रहे थे, लेकिन हम भूल गए कि हमारे नेटवर्क का मानचित्र भी रहस्य लीक कर रहा है। हमने एक स्मार्ट टूल (FULCRUM) बनाया जो स्वचालित रूप से मानचित्र के सबसे उजागर हिस्सों को अतिरिक्त सुरक्षा देता है, जिससे पूरा सिस्टम बिना किसी देरी के अधिक सुरक्षित हो जाता है।"

तकनीकी सारांश: फेडरेटेड लर्निंग में टोपोलॉजी-अवेयर डिफरेंशियल प्राइवेसी

समस्या विवरण
फेडरेटेड लर्निंग (FL) क्लाइंट अपडेट्स को ट्रांसमिट करके क्लाइंट डेटा की सुरक्षा करता है, जबकि डिफरेंशियल प्राइवेट SGD (DP-SGD) ग्रेडिएंट क्लिपिंग और नॉइज़ एडिशन के माध्यम से कंटेंट-लेवल लीकेज को सीमित करता है। हालांकि, मौजूदा रक्षा प्रणालियाँ केवल अपडेट के कंटेंट पर कार्य करती हैं और संचार टोपोलॉजी (communication topology) से प्रकट होने वाली जानकारी की अनदेखी करती हैं। क्रॉस-साइलो डिप्लॉयमेंट्स (जैसे, अस्पताल कंसोर्टिया, औद्योगिक समूह) में, नेटवर्क संरचना और संगठनात्मक सदस्यता सूचना चैनल बनाती है जिसे DP-SGD संबोधित नहीं कर पाता है। एक पैसिव एडवर्सरी (passive adversary), जिसके पास टोपोलॉजी और संगठनात्मक संरचना का ज्ञान है, संवेदनशील डेटा गुणों का अनुमान लगा सकता है—विशेष रूप से, एक क्लाइंट के स्थानीय डेटासेट के भीतर संवेदनशील क्लासेज का संकेंद्रण (concentration)—भले ही पैरामीटर अपडेट नॉइज़-सैचुरेटेड हों। मानक DP-SGD सभी क्लाइंट्स के लिए एक समान (uniform) नॉइज़ मल्टीप्लायर लागू करता है, जो कि असंतुलित (asymmetric) फेडरेशन टोपोलॉजी के लिए उप-इष्टतम (suboptimal) है, क्योंकि यह विभिन्न क्लाइंट्स द्वारा रखे जाने वाले विविध 'स्ट्रक्चरल लीवरेज' (structural leverage) को ध्यान में रखने में विफल रहता है।

कार्यप्रणाली (Methodology)
यह शोध पत्र एक दो-आयामी दृष्टिकोण प्रस्तावित करता है: एक औपचारिक थ्रेट मॉडल और एक एम्पेरिकल डिकंपोजिशन टूल (TADI) के साथ एक सिद्धांत-आधारत रक्षा तंत्र (FULCRUM)।

थ्रेट मॉडल और TADI (टोपोलॉजी-अवेयर डिस्ट्रिब्यूशनल इन्फरेंस):
लेखक एक ऐसे खतरे को औपचारिक रूप देते हैं जहाँ एक एडवर्सरी पैरामीटर अपडेट, संचार ग्राफ $G$ , और संगठनात्मक लेबल $\omega$ को देखता है। लीकेज को अनुभवजन्य रूप से मापने के लिए, वे TADI पेश करते हैं, जो एक शैडो-ट्रेन्ड रिग्रेसर है जो एब्लेशन (ablation) के माध्यम से एडवर्सरी के सूचना स्रोतों को चार चैनलों में विभाजित करता है:
- पैरामीटर चैनल (Parameter Channel): केवल ग्रेडिएंट अपडेट से प्राप्त सूचना।
- स्ट्रक्चरल चैनल (Structural Channel): ग्राफ में क्लाइंट की स्थिति (डिग्री, डेप्थ, सेंट्रैलिटी) से प्राप्त सूचना।
- ऑर्गनाइजेशनल चैनल (Organizational Channel): संगठनात्मक सदस्यता लेबल से प्राप्त सूचना।
- कंबाइंड चैनल (Combined Channel): पूर्ण एडवर्सरी व्यू।
  TADI को शैडो फेडरेशन पर प्रशिक्षित किया जाता है ताकि प्रत्येक क्लाइंट के लिए संवेदनशील-क्लास संकेंद्रण $p_i$ का अनुमान लगाया जा सके, जिससे लेखक प्रत्येक चैनल के मार्जिनल इंफॉर्मेशन योगदान को माप सकें।
सैद्धांतिक बाउंड और FULCRUM डिफेंस:
लेखक एक प्रति-क्लाइंट म्यूचुअल इंफॉर्मेशन (MI) बाउंड (थ्योरम V.2) व्युत्पन्न करते हैं, जो यह दर्शाता है कि लीकेज एडिटिव रूप से दो भागों में विभाजित होता है:
- एक कंट्रोलेबल मैकेनिज्म टर्म (जो DP-SGD नॉइज़ द्वारा सीमित है)।
- एक अनकंट्रोलेबल प्रायर-कपलिंग फ्लोर (जो क्लाइंट के स्ट्रक्चरल लीवरेज $\ell^\circ_i$ द्वारा निर्धारित होता है—अर्थात, शेष फेडरेशन के संदर्भ में एक क्लाइंट के डेटा की सबसे खराब स्थिति वाली सांख्यिकीय भविष्यवाणी क्षमता)।
इसके आधार पर, वे FULCRUM व्युत्पन्न करते हैं, जो एक क्लोज्ड-फॉर्म, बैलेंस्ड मिन-मैक्स ऑप्टिमल नॉइज़ एलोकेशन (थ्योरम V.3) है। यूनिफॉर्म DP-SGD के विपरीत, FULCRUM स्ट्रक्चरल लीवरेज स्कोर के आधार पर नॉइज़ स्केल्स $\sigma_i$ को एसिमेट्रिक रूप से आवंटित करता है। यह एक निश्चित यूटिलिटी बजट के तहत सभी क्लाइंट्स के लिए वर्स्ट-केस MI बाउंड को सख्ती से कम करता है।

मुख्य योगदान

औपचारिक थ्रेट मॉडल: टोपोलॉजी-कंडीशनल डिस्ट्रिब्यूशनल इन्फरेंस की परिभाषा, जो यह स्थापित करती है कि स्ट्रक्चरल पोजीशन और संगठनात्मक सदस्यता अनएड्रेस्ड इंफॉर्मेशन चैनल्स के रूप में कार्य करते हैं जो DP-प्रोटेक्टेड FL में मौजूद हैं।
एडिटिव MI बाउंड: एक सैद्धांतिक प्रमाण जो लीकेज को एक कंट्रोलेबल नॉइज़-डिपेंडेंट टर्म और एक अनकंट्रोलेबल स्ट्रक्चरल प्रायर-कपलिंग टर्म में अलग करता है।
FULCRUM एलोकेशन: एक क्लोज्ड-फॉर्म नॉइज़ एलोकेशन रणनीति जो स्ट्रक्चरल लीवरेज एसिमेट्रिक होने पर यूनिफॉर्म DP-SGD पर पूरी तरह से हावी (dominate) होती है और लीवरेज सिमेट्रिक होने पर सटीक रूप से यूनिफॉर्म DP-SGD में बदल जाती है, जो अनकंडीशनल सेफ्टी सुनिश्चित करती है।
TADI डिकंपोजिशन: पहला एम्पेरिकल कैरेक्टराइजेशन ऑफ टोपोलॉजी-कंडीशनल लीकेज, जो शैडो ट्रेनिंग के माध्यम से पैरामीटर, स्ट्रक्चरल और ऑर्गनाइजेशनल योगदान को अलग करता है।
एम्पेरिकल वैलिडेशन: छह टोपोलॉजी परिवारों पर Fed-ISIC2019, Fed-Heart-Disease, और सिंथेटिक CIFAR-10 पर व्यापक मूल्यांकन।

परिणाम

प्राइवेसी गेन्स: एसिमेट्रिक सेटिंग्स (जैसे, हिएरार्किकल टोपोलॉजी जिसमें हेटेरोजेनियस डेटासेट साइज हैं) में FULCRUM, यूनिफॉर्म DP-SGD की तुलना में प्राइवेसी बाउंड में 1.967 नैट्स (एक कमी) तक का लाभ प्राप्त करता है, बिना मॉडल यूटिलिटी की किसी मापने योग्य लागत के।
यूटिलिटी कंसिस्टेंसी: स्टैटिस्टिकल इक्विवेलेंस टेस्टिंग (TOST) पुष्टि करता है कि प्राइवेसी सुधारों को मॉडल सटीकता में व्यावहारिक रूप से सार्थक गिरावट (मीन एब्सोल्यूट डिफरेंस < 0.5 प्रतिशत अंक) के बिना प्राप्त किया गया है।
चैनल डिकंपोजिशन निष्कर्ष:
- पैरामीटर चैनल को सभी सेटिंग्स में DP-SGD द्वारा प्रभावी ढंग से सीमित किया जाता है; पैरामीटर-ओनली एडवर्सरी एक कांस्टेंट-मीन बेसलाइन से बेहतर प्रदर्शन नहीं करती है।
- प्रायर-कपलिंग चैनल (स्ट्रक्चरल/ऑर्गनाइजेशनल) एम्पिरिकली प्राप्त करने योग्य है जब एडवर्सरी का शैडो प्रायर डिप्लॉयमेंट प्रायर से मेल खाता है (जैसे, हाई टोपोलॉजी-डेटा कपलिंग वाले सिंथेटिक सेटिंग्स में)।
- यथार्थवादी क्रॉस-साइलो थ्रेट मॉडल्स के तहत जहाँ एडवर्सरी के पास नेटिव पार्टीशन लेबल नहीं होते (मिसमैच्ड प्रायर्स), बाउंड रूढ़िवादी (conservative) रहता है, और प्रायर-कपलिंग टर्म पूरी तरह से साकार नहीं होता है।
टोपोलॉजी सेंसिटिविटी: FULCRUM और यूनिफॉर्म DP-SGD के बीच का अंतर लीवरेज एसिमेट्री की डिग्री के साथ बढ़ता है। सिमेट्रिक टोपोलॉजी (जैसे, रिंग्स) शून्य गैप देती हैं, जबकि एसिमेट्रिक टोपोलॉजी (जैसे, स्टार्स, हिएरार्किकल ट्रीज़) महत्वपूर्ण लाभ दिखाती हैं।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह संचार टोपोलॉजी को एक ज्ञात सूचना चैनल के रूप में मानने वाला पहला कार्य है जिसका उपयोग संवेदनशील डेटा गुणों का अनुमान लगाने के लिए किया जा सकता है, और यह एक ऐसी रक्षा विकसित करता है जो परिणामी स्ट्रक्चरल एसिमेट्री को ध्यान में रखती है। लेखक का तर्क है कि FULCRM एक "अनकंडीशनली अपनाने योग्य सुरक्षित" (safe to adopt unconditionally) समाधान प्रदान करता है: यह एसिमेट्रिक डिप्लॉयमेंट्स (जो क्रॉस-साइलो FL में सामान्य मामला है) में सख्त प्राइवेसी सुधार प्रदान करता है और सिमेट्रिक मामलों में सहजता से स्टैंडर्ड यूनिफॉर्म बेसलाइन में बदल जाता है। यह कार्य रेखांकित करता है कि वर्तमान यूनिफॉर्म नॉइज़ एलोकेशन वास्तविक दुनिया के FL डिप्लॉयमेंट्स के लिए उप-इष्टतम है जहाँ स्ट्रक्चरल लीवरेज भिन्न होता है, और यह विशिष्ट स्ट्रक्चरल जोखिमों के अनुसार प्राइवेसी बजट को संतुलित करने के लिए एक सिद्धांत-आधारित तंत्र प्रदान करता है।