🤖 machine learning

Near-Optimal Pure Machine Unlearning for Smooth Strongly Convex Losses

यह शोध पत्र स्मूथ स्ट्रॉन्गली कॉन्वेक्स लॉस (smooth strongly convex losses) के लिए मशीन अनलर्निंग की सांख्यिकीय लागत पर निकट-इष्टतम ऊपरी और निचली सीमाएं स्थापित करता है, जो यह प्रदर्शित करता है कि इष्टतम त्रुटि दर अनलर्निंग पैरामीटर $\varepsilon$ और मॉडल आयाम $d$ के बीच के संबंध के आधार पर रिट्रेनिंग-फ्रॉम-स्क्रैच (retraining-from-scratch) और घातांकीय रूप से छोटे पदों के बीच अंतर्वेशन (interpolate) करती है।

मूल लेखक: Matthew Regehr, Gautam Kamath, Andrew Lowy

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Matthew Regehr, Gautam Kamath, Andrew Lowy

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान शेफ है जिसने एक विशाल बाज़ार से हज़ारों सामग्रियों का उपयोग करके एक बहुत बड़ा स्टू (stew) बनाया है। यह स्टू एक विशाल डेटासेट पर प्रशिक्षित मशीन लर्निंग मॉडल का प्रतिनिधित्व करता है।

अब, कल्पना कीजिए कि एक ग्राहक आता है और कहता है, "मैं वे 50 गाजरें वापस लेना चाहता हूँ जो मैंने इस स्टू में दी थीं। कृपया स्टू का एक नया संस्करण बनाएँ जिसका स्वाद बिल्कुल वैसा ही हो जैसा तब होता जब मैंने आपको वे गाजरें दी ही न होतीं।" यह मशीन अनलर्निंग (Machine Unlearning) की अवधारणा है।

आपके द्वारा प्रदान किया गया पेपर एक बहुत ही विशिष्ट प्रश्न का समाधान करता है: जब हम उन गाजरों को निकालने की कोशिश करते हैं, तो स्टू का स्वाद कितना खराब होता है, उस तुलना में जिसमें हमने पूरा बर्तन फेंक दिया और शुरू से एक नया स्टू बनाया?

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

करने के दो स्पष्ट (लेकिन त्रुटिपूर्ण) तरीके

"सब कुछ भूल जाओ" दृष्टिकोण (डिफरेंशियल प्राइवेसी - Differential Privacy):
कल्पना कीजिए कि शेफ किसी को भी यह पता चलने से पहले कि कौन सी गाजरें हटानी हैं, रेसिपी में थोड़ा सा "शोर" या "धुंध" (fog) मिला देता है। इस तरह, कोई भी यह नहीं बता सकता कि विशिष्ट गाजरों का उपयोग किया गया था या नहीं।

समस्या: यह अत्यधिक सतर्कता है। शेफ इतनी अधिक धुंध डाल देता है कि स्टू का स्वाद ज़रूरत से ज़्यादा खराब हो जाता है, भले ही केवल एक गाजर हटानी हो।

"शुरुआत से शुरू करें" दृष्टिकोण (Retraining from Scratch):
शेफ पूरा बर्तन फेंक देता है, उसमें से 50 गाजरें निकाल देता है, और बाकी सामग्रियों के साथ पूरी स्टू को फिर से शुरू से बनाना शुरू कर देता है।

समस्या: यह गाजरों को हटाने के लिए एकदम सही है (नया स्टू बिल्कुल वैसा ही होगा जैसा उसे होना चाहिए), लेकिन यह अविश्वसनीय रूप से बर्बादी भरा और धीमा है। आप मूल बर्तन पर किए गए अपने पूरे काम को खो देते हैं।

पेपर की बड़ी खोज: एक "जादुई अदला-बदली" (Magic Swap)

लेखकों, मैथ्यू रेघर, गौतम कामथ और एंड्रयू लोवी ने एक "गोल्डिलॉक्स" (Goldilocks) समाधान खोजा जो इन दोनों चरम सीमाओं के बीच स्थित है। उन्होंने एक नया एल्गोरिदम विकसित किया है जो एक जादुई अदला-बदली की तरह काम करता है।

यहाँ उनका "कोर-स्वैप" (Core-swap) एल्गोरिदम सरल भाषा में बताया गया है:

सेटअप: शेफ एक "बैकअप प्लान" तैयार रखता है। जब स्टू बनकर तैयार हो जाता है, तो शेफ केवल मुख्य बर्तन ही नहीं परोसता, बल्कि वे एक "सुरक्षा जाल" (safety net) संस्करण भी तैयार करते हैं जो बिना उन विशिष्ट गाजरों वाले स्टू जैसा दिखता है, लेकिन वे इसे संभावनाओं के एक थोड़े बड़े, धुंधले बादल के भीतर छिपा देते हैं।
अनुरोध: जब ग्राहक कहता है, "मेरी गाजरें हटा दो," तो शेफ सब कुछ फेंक नहीं देता। इसके बजाय, वह एक चतुर चाल चलता है:
- वह मुख्य, स्वादिष्ट स्टू (जिसमें गाजरें शामिल हैं) लेता है।
- वह रेसिपी के "धुंधले बादल" वाले हिस्से को उस संस्करण से बदल देता है जिसमें गाजरें नहीं हैं।
- महत्वपूर्ण रूप से, वह ऐसा करता है जिससे बाहरी व्यक्ति के लिए यह बताना सांख्यिकीय रूप से असंभव हो जाए कि शेफ ने वास्तव में गाजरें हटाई हैं या बस रेसिपी को इधर-उधर बदला है।

"प्राइवेसी बजट" ( $\epsilon$ फैक्टर)

पेपर एक चर (variable) पेश करता है जिसे $\epsilon$ (एप्सिलॉन) कहा जाता है। इसे आप अपना "प्राइवेसी बजट" या "विश्वास स्तर" मान सकते हैं।

कम बजट ( $\epsilon$ छोटा है): यदि आप इस बात पर पूरी तरह आश्वस्त होना चाहते हैं कि गाजरें जा चुकी हैं (बहुत सख्त गोपनीयता), तो "जादुई अदला-बदली" अधिक मदद नहीं करती है। इस स्थिति में, आप जो सबसे अच्छा कर सकते हैं वह है शुरुआत से फिर से प्रशिक्षण (retrain from scratch) लेना। पेपर सिद्ध करता है कि यदि आपकी गोपनीयता की मांग इतनी उच्च है, तो आप सिस्टम को धोखा नहीं दे सकते; आपको शुरुआत से शुरू करने की पूरी कीमत चुकानी होगी।
उच्च बजट ( $\epsilon$ बड़ा है): यदि आप इस छोटी सी, लगभग नगण्य संभावना को स्वीकार करने के लिए तैयार हैं कि गाजरें अभी भी "तकनीकी रूप से" वहाँ हो सकती हैं (लेकिन सांख्यिकीय रूप से छिपी हुई हैं), तो जादुई अदला-बदली चमकती है।
- परिणाम: पेपर दिखाता है कि जब आपके पास उच्च प्राइवेसी बजट होता है, तो उनका एल्गोरिदम शुरुआत से फिर से प्रशिक्षण देने की तुलना में घातांकीय रूप से (exponentially) बेहतर होता है। यह एक ताज़ा स्वाद वाले स्टू जैसा है जिसमें 99% प्रयास बचाए गए हैं। त्रुटि (स्वाद में अंतर) इतनी कम हो जाती है कि यह "शुरुआत से शुरू करने" के तरीके की तुलना में लगभग नगण्य है।

"डायमेंशन" (Dimension) फैक्टर

पेपर में $d$ (डायमेंशन) का भी उल्लेख है। हमारी उपमा में, कल्पना कीजिए कि स्टू में कई अलग-अलग स्वाद प्रोफाइल (नमकीन, मीठा, खट्टा, तीखा आदि) हैं।

यदि प्राइवेसी बजट ( $\epsilon$ ) की तुलना में स्वादों की संख्या ( $d$ ) कम है, तो जादुई अदला-बदली अद्भुत काम करती है।
यदि स्वादों की संख्या आपके बजट की तुलना में बहुत बड़ी है, तो जादुई अदला-बदली संघर्ष करती है, और आपके लिए बस शुरुआत से शुरू करना बेहतर है।

निचोड़ (The Bottom Line)

लेखकों ने सिद्ध किया है कि उन्होंने डेटा को "अनलर्न" करने का सैद्धांतिक स्तर (theoretical limit) खोज लिया है।

यदि आप पूर्ण गोपनीयता चाहते हैं: तो आपको शुरुआत से फिर से प्रशिक्षण लेना ही होगा। कोई शॉर्टकट नहीं है।
यदि आपके पास एक लचीला प्राइवेसी बजट है: तो आप उनके नए "कोर-स्वैप" पद्धति का उपयोग करके एक ऐसा परिणाम प्राप्त कर सकते हैं जो शुरुआत से फिर से प्रशिक्षण देने की तुलना में घातांकीय रूप से अधिक सटीक है, जबकि अभी भी डेटा को "भूलने" की कानूनी आवश्यकता को पूरा करता है।

उन्होंने केवल एक नया तरीका नहीं बनाया; उन्होंने गणितीय रूप से सिद्ध किया है कि आप उनके तरीके से बेहतर नहीं कर सकते (उस कारक तक जो समस्या की "वक्रता" से संबंधित है)। उन्होंने ठीक से हल किया है कि डेटा के एक हिस्से को मशीन लर्निंग मॉडल से हटाने के लिए आपको कितने "सांख्यिकीय दर्द" (statistical pain) का भुगतान करना पड़ता है।

तकनीकी सारांश: स्मूथ स्ट्रॉन्गली कॉन्वेक्स लॉस के लिए नियर-ऑप्टिमल प्योर मशीन अनलर्निंग

समस्या विवरण (Problem Statement)

यह शोध पत्र स्मूथ स्ट्रॉन्गली कॉन्वेक्स स्टोकेस्टिक कॉन्वेक्स ऑप्टिमाइज़ेशन (SCO) के ढांचे के भीतर मशीन अनलर्निंग (machine unlearning) की मौलिक सांख्यिकीय लागत की जांच करता है। लक्ष्य एक ऐसा एल्गोरिदम डिजाइन करना है जो, डेटासेट $Z$ और $U$ नमूनों के एक उपसमुच्चय (subset) को हटाने के अनुरोध के दिए जाने पर, एक अपडेटेड मॉडल आउटपुट करे जो रिटेन किए गए डेटा $Z \setminus U$ पर स्क्रैच से प्रशिक्षित मॉडल के सांख्यिकीय रूप से अविभेद्य (indistinguishable) हो।

समाधान की गुणवत्ता को एक्सेस पॉपुलेशन रिस्क (excess population risk) द्वारा मापा जाता है, जिसे $\Delta_{F_P}(w) = F_P(w) - F^*_P$ के रूप में परिभाषित किया गया है, जहाँ $F_P$ पॉपुलेशन लॉस है। केंद्रीय प्रश्न यह है: स्मूथ स्ट्रॉन्ली कॉन्वेक्स SCO में $m$ नमूनों तक $\epsilon$ -unlearning के लिए मिनिमैक्स ऑप्टिमल एक्सेस पॉपुलेशन रिस्क क्या है?

यह पेपर अनुमानित $\epsilon$ -unlearning पर विचार करता है, जहाँ अनलर्निंग एल्गोरिदम का आउटपुट डिस्ट्रीब्यूशन $(Z, U)$ पर, खाली डिलीशन अनुरोध के साथ $Z \setminus U$ पर चलाए गए लर्निंग एल्गोरिदम के आउटपुट डिस्ट्रीब्यूशन से मैक्स-डाइवर्जेंस (max-divergence) के अर्थ में $\epsilon$ -अविभेद्य होना चाहिए।

कार्यप्रणाली (Methodology)

1. अपर बाउंड: कोर-स्वैप $\epsilon$ -अनलर्निंग एल्गोरिदम (Core-Swap $\epsilon$ -Unlearning Algorithm)

लेखक एक नया एल्गोरिदम (एल्गोरिदम 1) प्रस्तावित करते हैं जो दो चरम रणनीतियों के बीच इंटरपोलेट करता है:

रिट्रेनिंग फ्रॉम स्क्रैच (RFS): $Z \setminus U$ पर एम्पिरिकल रिस्क मिनिमाइज़र (ERM) को वापस करता है। यह सटीक 0-unlearning को संतुष्ट करता है लेकिन डेटा को त्यागने के कारण उच्च सांख्यिकीय त्रुटि (statistical error) का सामना करता है।
इग्नोर रिक्वेस्ट (Ignore Request): पूर्ण डेटासेट $Z$ पर ERM को वापस करता है। यह सटीक है लेकिन अनलर्निंग गारंटी में विफल रहता है।

तंत्र (Mechanism):
एल्गोरिदम समाधान स्थान (solution space) की ज्यामिति का लाभ उठाता है। यह आउटपुट के लिए एक मिश्रण वितरण (mixture distribution) का निर्माण करता है:

उच्च संभावना (High Probability): पूर्ण-डेटा ERM समाधान $\hat{w}_Z$ के केंद्र में एक छोटे बॉल (ball) से यूनिफॉर्मली सैंपल करता है। यह उच्च सटीकता सुनिश्चित करता है।
कम संभावना (Low Probability): रिड्यूस्ड-डेटा ERM समाधान $\hat{w}_{Z \setminus U}$ के केंद्र में एक बड़े बॉल से यूनिफॉर्मली सैंपल करता है। इस बॉल का आकार इतना बड़ा रखा गया है कि यह किसी भी संभावित पूर्ण-डेटा ERM समाधानों को कवर कर सके जो एक वैध डिलीशन के बाद समान रिटेन किए गए डेटासेट $Z \setminus U$ से उत्पन्न हो सकते हैं।

इन बॉल्स के रेडियस और मिक्सिंग प्रोबेबिलिटी $\eta$ को सावधानीपूर्वक कैलिब्रेट करके, एल्गोरिदम यह सुनिश्चित करता है कि "ड्राई रन" (कोई डिलीशन नहीं) और "ट्रू रन" (डिलीशन के साथ) के बीच लाइकलीहुड रेशियो $e^\epsilon$ तक सीमित रहे। एल्गोरिदम के लिए दो ERM ऑरेकल कॉल्स और एक कॉन्वेक्स प्रोजेक्शन की आवश्यकता होती है, जो $O(d)$ समय में चलता है।

2. लोअर बाउंड: पैकिंग आर्ग्युमेंट (Packing Argument)

अनुकूलता (optimality) स्थापित करने के लिए, लेखक एक पैकिंग तकनीक का उपयोग करके एक लोअर बाउंड प्राप्त करते हैं जो मानक डिफरेंशियल प्राइवेसी तर्कों से भिन्न है।

निर्माण (Construction): वे "हार्ड" मीन एस्टीमेशन इंस्टेंस का एक सेट बनाते जहाँ माध्य (means) यूनिट बॉल के भीतर कई अलग-अलग दिशाओं में संकेत देते हैं।
डिलीशन रणनीति (Deletion Strategy): प्रत्येक इंस्टेंस के लिए, एक विशिष्ट डिलीशन अनुरोध परिभाषित किया जाता है जो उच्च संभावना के साथ "सिग्नल" नमूनों (गैर-शून्य प्रविष्टियों) को हटा देता है।
कोलैप्स (Collapse): डिलीशन के बाद, इन सभी अलग-अलग इंस्टेंस के रिटेन किए गए डेटासेट एक सामान्य संदर्भ डेटासेट (सभी शून्य) में समाहित (collapse) हो जाते हैं।
अविभेद्यता (Indistinguishability): $\epsilon$ -unlearning बाधा इन सभी अलग-अलग प्रारंभिक इंस्टेंस के लिए आउटपुट डिस्ट्रीब्यूशन को सामान्य संदर्भ डेटासेट द्वारा उत्पन्न डिस्ट्रीब्यूशन के करीब रहने के लिए मजबूर करती है।
पैकिंग लिमिट (Packing Limit): पैकिंग का आकार (अलग-अलग दिशाओं की संख्या) उस सटीकता को सीमित करता है जिसके साथ एल्गोरिदम वास्तविक माध्य को रिकवर कर सकता है, जिससे त्रुटि पर एक लोअर बाउंड मिलता है।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. मिनिमैक्स ऑप्टिमल रेट्स (Minimax Optimal Rates)

यह पेपर स्मूथ स्ट्रॉन्गली कॉन्वेक्स SCO के लिए लगभग टाइट अपर और लोअर बाउंड स्थापित करता है। अनुकूल दर को इस प्रकार वर्णित किया गया है:
$\text{Risk} \approx \frac{1}{n} + \left(\frac{m}{n}\right)^2 e^{-2\epsilon/(d+2)}$
जहाँ:

$\frac{1}{n}$ मानक सांख्यिकीय त्रुटि पद है।
$\left(\frac{m}{n}\right)^2$ रिट्रेनिंग फ्रॉम स्क्रैच के लिए दंड (penalty) है।
$e^{-2\epsilon/(d+2)}$ प्रस्तावित अनलर्निंग एल्गोरिदम द्वारा प्राप्त किया जाने वाला एक्सपोनेंशियल इम्प्रूवमेंट फैक्टर है।

बाउंड्स कंडीशन-नंबर फैक्टर $\kappa = \beta/\mu$ (जहाँ $\beta$ स्मूथनेस और $\mu$ स्ट्रॉन्ग कॉन्वेक्सिटी है) तक टाइट हैं।

2. मीन एस्टीमेशन के लिए शार्प कैरेक्टराइजेशन

$\mathbb{R}^d$ में यूनिट बॉल पर मीन एस्टीमेशन के विशिष्ट मामले के लिए, लेखक ऊपरी और निचली सीमाएं प्रदान करते हैं जो स्थिरांकों (constants) तक मेल खाती हैं। यह इस कैनोनिकल सेटिंग में अनलर्निंग की सांख्यिकीय कीमत का एक अनिवार्य रूप से शार्प कैरेक्टराइजेशन देता है।

3. बेसलाइन्स और पूर्व कार्य का विश्लेषण

रिट्रेनिंग फ्रॉम स्क्रैच: यह पेपर दिखाता है कि RFS एक एक्सेस रिस्क $O(1/n + (m/n)^2)$ प्राप्त करता है। यह सिद्ध किया गया है कि जब $\epsilon \lesssim d$ हो, तो यह इष्टतम है।
डिफरेंशियल प्राइवेसी (DP): यह पेपर नोट करता है कि मानक DP बेसलाइन्स (ग्रुप DP) $O(1/n + d^2 m^2 / (\epsilon^2 n^2))$ का रिस्क देते हैं, जो प्रस्तावित विधि की तुलना में सब-ऑप्टिमल है जब $\epsilon \gg d$ हो।
पूर्ववर्ती एल्गोरिदम: लेखक [SAKS21] के न्यूटन-स्टेप एल्गोरिदम के विश्लेषण को और अधिक सटीक बनाते हैं, जो अनलर्निंग एरर टर्म में एक क्वाड्रेटिक सुधार दिखाता है, और [AKGK25] के यूटिलिटी विश्लेषण में एक बग की पहचान करते हुए सुधारा गया गारंटी प्रदान करते हैं।

4. रिजीम विश्लेषण (Regime Analysis)

परिणाम प्राइवेसी बजट $\epsilon$ और डायमेंशन $d$ के अनुपात के आधार पर दो अलग-अलग शासन (regimes) को स्पष्ट करते हैं:

लो बजट ( $\epsilon \lesssim d$ ): रिट्रेनिंग फ्रॉम स्क्रैच सांख्यिकीय रूप से इष्टतम है। अनलर्निंग पेनल्टी को $(m/n)^2$ टर्म से आगे सुधारा नहीं जा सकता है।
हाई बजट ( $\epsilon \gg d$ ): प्रस्तावित एल्गोरिदम रिट्रेनिंग फ्रॉम स्क्रैच और DP-आधारित बेसलाइन्स की तुलना में सटीकता में एक्सपोनेंशियल सुधार (exponential improvement) प्रदान करता है। अनलर्निंग पेनल्टी को $\exp(-2\epsilon/(d+2))$ के कारक से कम किया जाता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह स्मूथ स्ट्रॉन्गली कॉन्वेक्स SCO में $\epsilon$ -unlearning के लिए मिनिमैक्स ऑप्टिमल एक्सेस रिस्क के खुले प्रश्न को लगभग हल करता है।

मौलिक सीमा (Fundamental Limit): यह स्थापित करता है कि अनलर्निंग की सांख्यिकीय लागत एक निश्चित दंड नहीं है, बल्कि यह अनलर्निंग बजट और मॉडल डायमेंशन के अनुपात पर एक्सपोनेंशियल रूप से निर्भर करती है।
दक्षता (Efficiency): प्रस्तावित एल्गोरिदम यह प्रदर्शित करता है कि सख्त अनलर्निंग बाधाओं को पूरा करते हुए उच्च सटीकता (पूर्ण-डेटा ERM के करीब) प्राप्त करना संभव है, बशर्ते कि प्राइवेसी बजट डायमेंशन के सापेक्ष पर्याप्त बड़ा हो।
यूटिलिटी बनाम प्राइवेसी ट्रेड-ऑफ: यह कार्य "भूल जाने के अधिकार" (right to be forgotten) और मॉडल यूटिलिटी के बीच के संबंध को स्पष्ट करता है, यह दिखाते हुए कि उच्च-आयामी मॉडलों के लिए पर्याप्त प्राइवेसी बजट के साथ, अनलर्निंग के लिए महत्वपूर्ण सांख्यिकीय जानकारी को त्यागने (जैसा कि रिट्रेनिंग फ्रॉम स्क्रैच में होता है) की आवश्यकता नहीं है।

लेखक नोट करते हैं कि सामान्य SCO के लिए उनके बाउंड्स एक कंडीशन-नंबर फैक्टर द्वारा भिन्न होते हैं, जो मीन एस्टीमेशन से परे एक पूरी तरह से शार्प कैरेक्टराइजेशन के लिए एक गैप छोड़ते हैं। वे यह भी पहचानते हैं कि इन परिणामों को नॉन-कॉन्वेक्स ऑप्टिमाइज़ेशन तक विस्तारित करना और स्पष्ट स्टोरेज/कंप्यूटेशनल बाधाओं को संभालना भविष्य के शोध के विषय हैं।