🤖 machine learning

Forgettable Federated Linear Learning with Certified Data Unlearning

यह शोध पत्र 'फॉरगेटेबल फेडरेटेड लीनियर लर्निंग' (Forgettable Federated Linear Learning) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो डीप न्यूरल नेटवर्क को लीनियर मॉडल्स के साथ अनुमानित करता है ताकि अतिरिक्त क्लाइंट संचार या ऐतिहासिक मॉडल स्टोरेज की आवश्यकता के बिना प्रमाणित, कुशल और सुरक्षित फेडरेटेड अनलर्निंग को सक्षम किया जा सके।

मूल लेखक: Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप और आपके दोस्तों का एक समूह एक विशाल, सहयोगात्मक पहेली (puzzle) बना रहे है ताकि एक रहस्य को सुलझाया जा सके। यह फेडरेटेड लर्निंग (Federated Learning - FL) है। इसमें हर कोई अपने पहेली के टुकड़ों को एक केंद्रीय मेज पर भेजने के बजाय, उन्हें अपने घर पर ही रखता है। वे केवल यह निर्देश भेजते हैं कि उनके टुकड़ों को एक साथ कैसे फिट किया जाए, जो एक केंद्रीय लीडर (नेता) को भेजा जाता है। लीडर इन निर्देशों को जोड़कर एक बेहतर तस्वीर बनाता है, और फिर अपडेट किए गए निर्देश वापस भेज देता है। इस तरह, बिना अपने निजी टुकड़ों को दिखाए, सभी मिलकर सीखते हैं।

लेकिन क्या होगा यदि एक दोस्त एक जहरीला टुकड़ा (poisoned piece) लेकर आता है? शायद उसने गुप्त रूप से अपने टुकड़े पर एक छिपा हुआ प्रतीक बनाया है जो पूरी पहेली को गलत दिखा देता है जब वह प्रतीक दिखाई देता है। या, शायद वह दोस्त समूह छोड़ना चाहता है और चाहता है कि अंतिम तस्वीर से उसका टुकड़ा पूरी तरह से हटा दिया जाए ("भूल जाने का अधिकार" या "Right to be Forgotten")।

यहीं पर फेडरेटेड अनलर्निंग (Federated Unlearning - FU) काम आता है। यह एक दोस्त के योगदान को हटाने की प्रक्रिया है बिना पूरी पहेली को फेंककर दोबारा शुरू किए।

वर्तमान विधियों के साथ समस्या

वर्तमान में, किसी दोस्त के टुकड़े को हटाना एक बुरा सपना है:

"दोबारा करने" वाली विधि (The "Do-Over" Method): आप सभी से उस एक दोस्त के बिना पहेली को फिर से बनाने के लिए कह सकते हैं। इसमें बहुत समय लगता है और बहुत अधिक ऊर्जा (कंप्यूटिंग पावर) खर्च होती है।
"दोस्त से पूछने" वाली विधि (The "Ask the Friend" Method): कुछ विधियाँ उस दोस्त से पूछती हैं जो जाना चाहता है कि वह अपने कंप्यूटर पर कुछ अतिरिक्त गणित करे और उसे वापस भेजे। लेकिन क्या होगा यदि वह दोस्त ही पहेली को जहरीला बनाने वाला था? वे झूठ बोल सकते हैं या सहयोग करने से मना कर सकते हैं।
"जमाखोरी" वाली विधि (The "Hoarding" Method): कुछ विधियों के लिए लीडर को पहेली के हर एक संस्करण की एक प्रति सुरक्षित रखनी पड़ती है, जैसा कि वह बनाया गया था, चरण-दर-चरण। यह स्टोरेज रूम को तुरंत भर देता है।

नया समाधान: F2L2

इस शोध पत्र के लेखक एक चतुर नया तरीका प्रस्तावित करते हैं जिसे Forgettable Federated Linear Learning (F2L2) कहा जाता है। वे अनलर्निंग को आसान, तेज़ और सुरक्षित बनाने के लिए दो मुख्य तरकीबों का उपयोग करते हैं।

तरकीब 1: "लीनियर स्केच" (Federated Linear Training)

डीप न्यूरल नेटवर्क (आज के जटिल AI मॉडल) बहुत ही उलझे हुए गांठों की तरह होते हैं। एक विशिष्ट धागे (एक व्यक्ति के डेटा) को सुलझाना पूरे गांठ को बिना खोले लगभग असंभव है।

लेखकों की पहली तरकीब यह है कि वे गांठ को सुलझाने की कोशिश करना बंद कर दें। इसके बजाय, वे एक प्री-ट्रेंड मॉडल (एक मॉडल जो पहले से ही सार्वजनिक डेटा पर प्रशिक्षित है) को शुरुआती बिंदु के रूप में उपयोग करते हैं। फिर, वे जटिल मॉडल को उस शुरुआती बिंदु के आसपास एक सीधी रेखा (एक "लीनियर एप्रोक्सिमेशन") की तरह मानते हैं।

उपमा (Analogy): कल्पना कीजिए कि आप एक जटिल पर्वत श्रृंखला बना रहे हैं। केवल एक पहाड़ी को मिटाना कठिन है। लेकिन यदि आप शिखर के बहुत करीब ज़ूम करते हैं, तो पर्वत एक साधारण, सीधी ढलान जैसा दिखता है। यदि आप उस ढलान के एक विशिष्ट हिस्से को हटाना चाहते हैं, तो आप बस एक सरल गणितीय समायोजन (adjustment) कर सकते हैं। आपको पूरा पर्वत फिर से बनाने की आवश्यकता नहीं है; आपको बस ढलान के कोण को समायोजित करने की आवश्यकता है।

यह "लीनियर रैंप" गणितीय रूप से काम करने के लिए आसान है। यह एक अव्यवध्य, जटिल समस्या को एक सरल समस्या में बदल देता है जहाँ आप किसी के डेटा को हटाने के लिए बस एक त्वरित गणना कर सकते हैं।

तरकीब 2: "जादुई इरेज़र" (FedRemoval)

एक बार जब मॉडल को एक सरल "ढलान" के रूप में माना जाता है, तो सर्वर (लीडर) एक न्यूटन स्टेप (Newton Step) कर सकता है।

उपमा: इस मॉडल को एक घाटी में स्थित एक गेंद के रूप में सोचें। गेंद की स्थिति अंतिम मॉडल का प्रतिनिधित्व करती है। यदि आप किसी दोस्त का डेटा हटाना चाहते हैं, तो आपको उस दोस्त से गेंद को धकेलने या गेंद की पुरानी तस्वीरें देखने के लिए कहने की आवश्यकता नहीं है। आपको बस यह जानने की आवश्यकता है कि उन्होंने शुरुआत में कितनी जोर से धक्का दिया था (उनका अंतिम ग्रेडिएंट, जो उन्होंने प्रशिक्षण के दौरान पहले ही भेज दिया था)।
सर्वर उस "धक्के" की जानकारी लेता है और ठीक गणना करता है कि गेंद को वापस कहाँ ले जाना है, जहाँ वह तब होती यदि उस दोस्त ने उसे कभी धक्का ही न दिया होता। यह एक जादुई इरेज़र (magic eraser) की तरह है जो सर्वर की ओर से तुरंत काम करता है।

यह एक बड़ी बात क्यों है

शोध पत्र का दावा है कि यह नई विधि, F2L2, वर्तमान अनलर्निंग की तीन सबसे बड़ी समस्याओं को हल करती है:

"दोस्त से पूछने" की आवश्यकता नहीं: सर्वर सारा काम खुद करता है। इसे जाने वाले व्यक्ति से संपर्क करने की आवश्यकता नहीं है, भले ही वह दुर्भावनापूर्ण हो या ऑफलाइन हो।
"जमाखोरी" की आवश्यकता नहीं: सर्वर को मॉडल के हर संस्करण को सहेजने की आवश्यकता नहीं है। उसे केवल प्रशिक्षण से प्राप्त अंतिम गणित की आवश्यकता है। यह मेमोरी की भारी बचत करता है।
यह प्रमाणित है: लेखकों ने केवल अनुमान नहीं लगाया कि यह काम करता है; उन्होंने गणित के साथ इसे सिद्ध किया है। उन्होंने दिखाया है कि उनके "जादुई इरेज़र" का परिणाम लगभग वैसा ही है जैसा आपको तब मिलता यदि आपने उस दोस्त के बिना पूरी पहेली को फेंक दिया होता और उसे फिर से बनाया होता।

परिणाम

टीम ने साधारण संख्या पहचान (MNIST) से लेकर जटिल छवि पहचान (जैसे फूलों या कारों की पहचान करना) तक सब कुछ पर इसका परीक्षण किया। उन्होंने यहाँ तक कि "फाउंडेशन मॉडल्स" (बड़े, शक्तिशाली AI मॉडल जिनके बारे में आज चर्चा हो रही है) पर भी इसका परीक्षण किया।

परिणाम: प्रत्येक परीक्षण में, F2L2 ने "जहरीले" डेटा (बैकडोर हमलों) को सफलतापूर्वक हटाया, जिससे मॉडल का गलत व्यवहार करना बंद हो गया।
समझौता (Trade-off): महत्वपूर्ण रूप से, खराब डेटा को हटाने से मॉडल की अपना काम करने की क्षमता खराब नहीं हुई। मॉडल पहले की तरह ही स्मार्ट रहा, लेकिन बिना उस बुरे प्रभाव के।

सारांश

संक्षेप में, यह शोध पत्र एक ऐसे तरीके को पेश करता है जो एक समूह AI सेटिंग में अनलर्न (unlearn) करने के लिए है जो:

तेज़ है: पूरे मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है।
सुरक्षित है: यह जाने वाले व्यक्ति के सहयोग पर निर्भर नहीं करता है।
कुशल है: इसके लिए टेराबाइट्स पुराना डेटा सहेजने की आवश्यकता नहीं है।
सिद्ध है: गणितीय रूप से गारंटीकृत है कि यह लगभग उतना ही अच्छा काम करेगा जितना कि शून्य से शुरू करना।

यह "एक जटिल AI से एक विशिष्ट स्मृति को मिटाने" के असंभव कार्य को सर्वर पर एक सरल, एक-चरणीय गणना में बदल देता है।

तकनीकी सारांश: फॉरगेटेबल फेडरेटेड लीनियर लर्निंग विद सर्टिफाइड डेटा अनलर्निंग (F2L2)

समस्या विवरण
फेडरेटेड लर्निंग (FL) डेटा गोपनीयता बनाए रखते हुए सहयोगात्मक मॉडल प्रशिक्षण को सक्षम बनाता है, फिर भी यह "भूल जाने के अधिकार" (right to be forgotten) और दुर्भावनापूर्ण योगदानों (जैसे बैकडोर हमलों से प्रेरित पॉइज़न्ड डेटा) को हटाने के संबंध में महत्वपूर्ण चुनौतियों का सामना करता है। मौजूदा फेडरेटेड अनलर्निंग (FU) विधियाँ ऐसी महत्वपूर्ण सीमाओं से ग्रस्त हैं जो वास्तविक दुनिया में इनके उपयोग को बाधित करती हैं:

क्लाइंट निर्भरता: कई विधियों के लिए या तो शेष क्लाइंट्स (पुनः प्रशिक्षण या फाइन-ट्यूनिंग के लिए) या लक्षित क्लाइंट्स (ग्रेडिएंट एसेंट या अनुकूलित अनुकूलन के लिए) के सहयोग की आवश्यकता होती है, जिससे संचार ओवरहेड और सुरक्षा जोखिम उत्पन्न होते हैं यदि क्लाइंट्स दुर्भावनापूर्ण हों या उपलब्ध न हों।
स्टोरेज अक्षमता: FedEraser जैसे दृष्टिकोणों के लिए सभी ऐतिहासिक वैश्विक मॉडलों को संग्रहीत करने की आवश्यकता होती है, जिससे बड़े पैमाने के डीप न्यूरल नेटवर्क (DNNs) के लिए अत्यधिक मेमोरी लागत आती है।
प्रमाणन का अभाव: DNNs की गैर-रैखिकता (nonlinearity) के कारण, अधिकांश मौजूदा FU विधियों में इस बात की सैद्धांतिक गारंटी की कमी है कि अनलर्न्ड मॉडल उस मॉडल के समान है जिसे शून्य से पुनः प्रशिक्षित किया गया है।

मूल शोध प्रश्न जिसका समाधान किया गया है वह है: हम एक व्यावहारिक FU फ्रेमवर्क कैसे डिज़ाइन कर सकते हैं जो बिना शेष क्लाइंट के सहयोग, लक्षित क्लाइंट की भागीदारी, या ऐतिहासिक मॉडल स्टोरेज के प्रमाणित अनलर्निंग सुनिश्चित करता हो?

कार्यप्रणाली: F2L2 फ्रेमवर्क
लेखक फॉरगेटेबल फेडरेटेड लीनियर लर्निंग (F2L2) का प्रस्ताव करते हैं, जो एक नवीन प्रशिक्षण पाइपलाइन के साथ एक सर्वर-साइड अनलर्निंग तंत्र को एकीकृत करता है।

फेडरेटेड लीनियर ट्रेनिंग (FLT):
- रैखिकीकरण (Linearization): न्यूरल टेंगेंट कर्नेल (NTK) और प्री-ट्रेंड मॉडल्स पर इसके विस्तार से प्रेरित होकर, FLT एक प्री-ट्रेंड वेट वेक्टर $w_p^*$ के आसपास एक DNN को रैखिक रूप से अनुमानित करता है। मॉडल फंक्शन को $f(x; w) \approx f(x; w_p^*) + \langle \nabla_w f(x; w_p^*), w - w_p^* \rangle$ के रूप में अनुमानित किया जाता है।
- क्वाड्रेटिक लॉस: यह रैखिकीकरण लॉस फंक्शन को एक क्वाड्रेटिक फॉर्म (मीन स्क्वेयर्ड एरर) में बदल देता है, जिससे अभिसरणशीलता (convexity) सुनिश्चित होती है।
- प्रशिक्षण प्रक्रिया: सर्वर एक प्री-ट्रेंड फाउंडेशन मॉडल (FM) या एक छोटे, विश्वसनीय सार्वजनिक डेटासेट ( $D_p$ ) पर प्रशिक्षित मॉडल का उपयोग करके मॉडल को इनिशियलाइज़ करता है। क्लाइंट्स इस रैखिक मॉडल पर मानक फेडरेटेड एवरेजिंग (FedAvg) अपडेट करते हैं। महत्वपूर्ण रूप से, प्री-ट्रेंड एनकोडर पैरामीटर्स स्थिर रहते हैं (FM के मामले में), और केवल लीनियर लेयर वेट्स को अपडेट किया जाता है।
FedRemoval (सर्टिफाइड अनलर्निंग):
- न्यूटन स्टेप: क्योंकि लॉस क्वाड्रेटिक है, इसलिए लक्षित क्लाइंट के डेटा ( $D_c$ ) को हटाने के बाद इष्टतम वेट्स को एक क्लोज्ड-फॉर्म न्यूटन स्टेप के माध्यम से कंप्यूट किया जा सकता है: $w^- = w^* - [\nabla^2 L(w^*; D_-)]^{-1} \nabla L(w^*; D_-)$ ।
- सर्वर-साइड निष्पादन: वितरित शेष डेटासेट ( $D_-$ ) पर हेसियन (Hessian) को इनवर्ट करने की कम्प्यूटेशनल लागत से बचने के लिए, FedRemoval प्री-ट्रेंड डेटासेट $D_p$ (जो सर्वर पर उपलब्ध है) का उपयोग करके हेसियन का अनुमान लगाता है।
- दक्षता: अनलर्निंग प्रक्रिया के लिए केवल लक्षित क्लाइंट से अंतिम ग्रेडिएंट्स (जो प्रशिक्षण के दौरान पहले ही साझा किए जा चुके हैं) और सर्वर के स्थानीय डेटा की आवश्यकता होती है। इसमें क्लाइंट्स के साथ शून्य अतिरिक्त संचार और ऐतिहासिक मॉडलों का शून्य स्टोरेज शामिल है। अपडेट पूरी तरह से सर्वर पर कंप्यूट किया जाता है।

प्रमुख योगदान

नवीन फ्रेमवर्क: F2L2 पहला फेडरेटेड अनलर्निंग समाधान है जो वितरित मिक्स्ड-लीनियर ट्रेनिंग (FLT) को विशुद्ध रूप से सर्वर-साइड अनलर्निंग तंत्र (FedRemoval) के साथ जोड़ता है। यह अनलर्निंग के दौरान क्लाइंट सहयोग और ऐतिहासिक मॉडल स्टोरेज की आवश्यकता को समाप्त करता है।
प्रमाणित गारंटी: लेखक उन वेट्स के बीच $L_2$ -नॉर्म विसंगति (discrepancy) पर एक सैद्धांतिक ऊपरी सीमा प्राप्त करते हैं जो FedRemoval द्वारा प्राप्त किए गए हैं और जो पूर्ण पुन: प्रशिक्षण से प्राप्त हुए हैं। यह एक कठोर प्रमाण प्रदान करता है कि अनलर्निंग प्रक्रिया प्रभावी है।
व्यापक मूल्यांकन: छह डेटासेट्स (MNIST, FashionMNIST, CIFAR10, ImageNet, DomainNet, Flowers) और चार मॉडल आर्किटेक्चर, जिसमें लीनियर प्रोबिंग का उपयोग करके फाउंडेशन मॉडल्स (CLIP, BLIP2) शामिल हैं, पर व्यापक प्रयोग किए गए।

प्रायोगिक परिणाम

अनलर्निंग प्रभावकारिता: F2L2 सफलतापूर्वक बैकडोर हमलों को हटा देता है, जिससे बैकडोर सक्सेस रेट (BSR) को रैंडम गेसिंग के स्तर (जैसे, विभिन्न डेटासेट्स पर ~5-10%) तक कम कर दिया जाता है, जबकि टेस्ट एक्यूरेसी (TA) को रिट्रेन किए गए ग्राउंड ट्रुथ के करीब बनाए रखा जाता है।
बेसलाइन के साथ तुलना: F2L2 TA और BSR के बीच बेहतर ट्रेड-ऑफ प्राप्त करके मौजूदा बेसलाइन्स (FedEraser, EWSGA, SGA, Flipping, CF, आदि) को पछाड़ देता है। अन्य बेसलाइन्स के विपरीत जो अक्सर अतिरिक्त संचार या स्टोरेज की मांग करते हैं, F2L2 शून्य अतिरिक्त ओवरहेड के साथ ग्राउंड-ट्रुथ प्रदर्शन के करीब पहुंचता है।
फाउंडेशन मॉडल्स: यह विधि बड़े पैमाने के फाउंडेशन मॉडल्स (जैसे ImageNet/DomainNet पर CLIP) पर लागू होने पर प्रभावी है, जो उच्च TA (~90-95%) बनाए रखते हुए विषैले (poisoned) क्लाइंट्स को प्रभावी ढंग से अनलर्न करती है।
स्केलेबिलिटी और स्थिरता: यह विधि क्लाइंट्स की परिवर्तनशील संख्या (5 से 20) और विभिन्न डेटा विषमता (Non-IID वितरण) सेटिंग्स में स्थिर रहती है, हालांकि उच्च विषमता के साथ BSR थोड़ा बढ़ जाता है, फिर भी यह रैंडम गेसिंग स्तरों के पास रहता है।
दक्षता: हेसियन एप्रोक्सिमेशन कम्प्यूटेशनल लागत (FLOPs) को काफी कम करता है और अनलर्निंग चरण के दौरान संचार ओवरहेड को समाप्त करता है।

महत्व और दावे
लेखक दावा करते हैं कि F2L2 कुशल और विश्वसनीय फेडरेटेड अनलर्निंग के लिए एक आशाजनक पाइपलाइन का प्रतिनिधित्व करता है। प्री-ट्रेंड वेट्स के आसपास रैखिक मॉडल्स की गणितीय विशेषताओं का लाभ उठाकर, वे यह प्रदर्शित करते हैं कि संचार ओवरहेड, क्लाइंट सहयोग, या भारी स्टोरेज आवश्यकताओं के पारंपरिक ट्रेड-ऑफ के बिना सर्टिफाइड अनलर्निंग प्राप्त करना संभव है। यह कार्य सुझाव देता है कि DNNs के रैखिक अनुमान, विशेष रूप से फाउंडेशन मॉडल्स के संदर्भ में, एक व्यवहार्य पथ प्रदान करते हैं जो उपयोगकर्ता गोपनीयता अधिकारों का सम्मान कर सकते हैं और बैकडोर हमलों जैसे सुरक्षा खतरों को कम कर सकते हैं।

लेखक नोट करते हैं कि जबकि रैखिक अनुमान प्रभावी है, व्यापक FL सेटिंग्स (वर्गीकरण, जनरेटिव कार्यों या अत्यधिक नॉन-लीनियर रिजीम के परे) में इस फ्रेमवर्क का विस्तार करना भविष्य के अनुसंधान की दिशा है।