Privacy-Preserving Federated Distillation Resilient to Client Disconnections and Poisoning Attacks

एक ऐसी दुनिया की कल्पना करें जहाँ आपका फोन, आपकी स्मार्टवॉच और आपके पड़ोसी का लैपटॉप सब मिलकर स्मार्ट बनने के लिए सीखना चाहते हैं, लेकिन कोई भी अपनी निजी तस्वीरें या संदेश साझा करने को तैयार नहीं है। यह फेडरेटेड लर्निंग (Federated Learning) का मूल है, जो कंप्यूटरों के लिए सहयोग करने का एक चतुर तरीका है बिना एक-दूसरे के कच्चे डेटा (raw data) को देखे। एक केंद्रीय कार्यालय को व्यक्तिगत फाइलों का विशाल सूटकेस भेजने के बजाय, वे केवल उस चीज़ की एक "रिपोर्ट कार्ड" भेजते हैं जो उन्होंने सीखा है। लेकिन इसमें एक पेच है: यदि रिपोर्ट कार्ड बहुत विस्तृत है, तो यह अनजाने में उस व्यक्ति के बारे में रहस्य उजागर कर सकता है जिसने इसे लिखा है। साथ भी यह है कि वास्तविक दुनिया में, डिवाइस अक्सर बैटरी खत्म होने या वाई-फाई खो जाने के कारण, क्लास के बीच में ही बाहर हो जाते हैं। यह शोध पत्र इस जटिल समस्या पर काम करता है कि कैसे इस सामूहिक शिक्षण सत्र को सुचारू रूप से चलाया जाए, भले ही छात्र जल्दी बाहर निकल जाएं या गलत अपडेट जमा करने की कोशिश करें, और यह भी सुनिश्चित किया जाए कि किसी के भी निजी रहस्य लीक न हों।

शोधकर्ताओं ने, जो पीपल्स आर्म्ड पुलिस की इंजीनियरिंग यूनिवर्सिटी की एक टीम है, एक नया सिस्टम प्रस्तावित किया है जिसे GSE-SFD कहा जाता है। इस सिस्टम को आर्टिफिशियल इंटेलिजेंस के लिए एक सुपर-सिक्योर, ड्रॉप-आउट-प्रूफ क्लासरूम के रूप में समझें। एक मानक सेटअप में, यदि कोई छात्र कमरे से बाहर जाता है, तो शिक्षक को पूरा पाठ फिर से शुरू करना पड़ सकता है। इस नई पद्धति में, क्लास को छोटे, घनिष्ठ समूहों में विभाजित किया गया है। यदि समूह के कुछ छात्र अपने फोन गिरा देते हैं या कनेक्शन खो देते हैं, तो समूह अपना होमवर्क पूरा कर सकता है क्योंकि सिस्टम को इस तरह डिज़ाइन किया गया है कि यह तब तक काम करता है जब जब तक कि एक निश्चित संख्या में छात्र (लगभग 60%) मौजूद हों। यह एक पहेली की तरह है जहाँ आपको पूरी तस्वीर देखने के लिए केवल कुछ विशिष्ट टुकड़ों की आवश्यकता होती है; यदि कुछ टुकड़े गायब हो जाते हैं, तो शेष टुकड़े भी उसे हल करने के लिए पर्याप्त होते हैं।

लेकिन गलत अपडेट्स के बारे में क्या? इस डिजिटल क्लासरूम में, एक "जहरीला" (poisoned) छात्र अंतिम ग्रेड को बिगाड़ने के लिए एक फर्जी रिपोर्ट कार्ड जमा करने की कोशिश कर सकता है। GSE-SFD सिस्टम में एक चतुर दो-चरणीय रक्षा प्रणाली है। पहले, यह "सीक्रेट शेयरिंग" (secret sharing) के एक तरीके का उपयोग करता है। अपना रिपोर्ट भेजने से पहले, एक छात्र इसे कई छोटे, बिखरे हुए टुकड़ों में तोड़ देता है और उन्हें अलग-अलग लिफाफों में छिपा देता है। कोई भी अकेला लिफाफा कुछ भी उपयोगी प्रकट नहीं करता है। केवल तभी जब एक ही समूह के पर्याप्त लिफाफों को एक साथ खोला जाता है, तभी मूल रिपोर्ट को फिर से जोड़ा जा सकता है। इसका मतलब है कि यदि कोई हैकर एक या दो लिफाफे चुरा भी लेता है, तो वह कुछ नहीं जान पाता। दूसरा, केंद्रीय सर्वर के पास एक "बाउंसर" होता है। यह बाउंसर जाँचता है कि विभिन्न समूहों की पुनर्गठित रिपोर्ट सामान्य दिखती है या नहीं। यदि किसी समूह की रिपोर्ट दूसरों से बहुत अलग है—जैसे कि अचानक किसी छात्र का दावा करना कि आसमान हरा है—तो बाउंसर उस विसंगति को पहचान लेता है और उस समूह के उत्तर को वैश्विक पाठ को खराब करने से पहले ही बाहर निकाल देता है।

यह शोध पत्र एक फ़िल्टर भी पेश करता है ताकि यह सुनिश्चित हो सके कि छात्र केवल उन्हीं चीजों से सीख रहे हैं जिन्हें वे वास्तव में जानते हैं। चूंकि हर छात्र के पास अलग डेटा होता है (किसी के पास बिल्लियों की तस्वीरें हैं, दूसरों के पास कुत्तों की), इसलिए सिस्टम KuLSIF नामक एक गणितीय उपकरण का उपयोग यह जाँचने के लिए करता है कि क्या कोई जानकारी "आउट ऑफ डिस्ट्रीब्यूशन" (out of distribution) है। यह एक शिक्षक की तरह है जो यह जाँचता है कि क्या कोई प्रश्न विशिष्ट छात्र के लिए बहुत कठिन या अप्रासंगिक है, इससे पहले कि उसे उत्तर देने दिया जाए। यदि प्रश्न उनके स्थानीय डेटा के अनुकूल नहीं है, तो वे इसे छोड़ देते हैं, जिससे यह सुनिश्चित होता है कि समूह केवल उच्च-गुणवत्ता वाला, विश्वसनीय ज्ञान साझा करे।

जब शोधकर्ताओं ने इस सिस्टम का परीक्षण MNIST (हस्तलिखित अंक), FashionMNIST (कपड़े की वस्तुएं), और CIFAR-10 (रंगीन रोजमर्रा की वस्तुएं) जैसे प्रसिद्ध इमेज डेटासेट्स पर किया, तो परिणाम प्रभावशाली थे। यहाँ तक कि जब 40% तक क्लाइंट्स नेटवर्क से बाहर हो गए, तब भी सिस्टम ने 95% से अधिक राउंड में सफलतापूर्वक ज्ञान को संयोजित करने में सफलता प्राप्त की। गोपनीयता के मामले में, सिस्टम एक किले की तरह था। जब हमलावरों ने मूल छवियों को देखने के लिए डेटा को रिवर्स-इंजीनियर करने की कोशिश की, तो परिणाम धुंधला शोर (blurry noise) मात्र था। पुनर्गठित छवियों में पुराने तरीकों की तुलना में 2.5 गुना अधिक त्रुटि दर (MSE) और 2.4 गुना कम संरचनात्मक समानता (SSIM) थी, जिसका अर्थ है कि हमलावरों को लगभग कुछ भी पहचानने योग्य नहीं दिखा।

लेखकों ने पाया कि यह दृष्टिकोण न केवल गोपनीयता की रक्षा करता है; यह सीखने की गति को भी उच्च बनाए रखता है। हालांकि यह सिस्टम सीक्रेट-शेयरिंग टुकड़ों के कारण बुनियादी संस्करण की तुलना में अधिक डेटा भेजता है, फिर भी यह सीमित इंटरनेट गति वाले उपकरणों के लिए पर्याप्त कुशल बना हुआ है। अध्ययन सुझाव देता है कि यह विधि स्वास्थ्य सेवा और औद्योगिक IoT जैसे संवेदनशील क्षेत्रों के लिए एक व्यावहारिक, मजबूत समाधान है, जहाँ उपकरण अक्सर अविश्वसनीय होते हैं और गोपनीयता से समझौता नहीं किया जा सकता। हालाँकि, पेपर यह भी नोट करता है कि सिस्टम को एक अच्छे "प्रॉक्सी डेटासेट" (साझा अभ्यास प्रश्नों का एक सेट) की आवश्यकता होती है और फ़िल्टरिंग के पीछे का गणित भारी हो सकता है यदि वह डेटासेट बहुत बड़ा हो जाए। अंततः, GSE-SFD यह दिखाता है कि आप अंतिम परिणाम की गुणवत्ता से समझौता किए बिना एक सुरक्षित, लचीला और निजी सामूहिक शिक्षण सत्र आयोजित कर सकते हैं।