🤖 machine learning

OFMU: Optimization-Driven Framework for Machine Unlearning

यह शोध पत्र OFMU को प्रस्तुत करता है, जो एक पेनल्टी-आधारित द्वि-स्तरीय अनुकूलन ढांचा (bi-level optimization framework) है, जो समानता-जागरूक दंड (similarity-aware penalty) के माध्यम से डेटा विस्मरण (data forgetting) को स्पष्ट रूप से प्राथमिकता देकर और रिटेंड डेटा पर मॉडल प्रदर्शन को बनाए रखते हुए, मौजूदा मशीन अनलर्निंग विधियों की अस्थिरता और उपयोगिता क्षरण को हल करता है, जिससे विजन और लैंग्वेज बेंचमार्क में श्रेष्ठ प्रभावकारिता और अभिसरण गारंटी प्राप्त होती है।

मूल लेखक: Sadia Asif, Mohammad Mohammadi Amiri

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sadia Asif, Mohammad Mohammadi Amiri

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (AI मॉडल) है जिसने लाखों किताबें याद कर रखी हैं। एक दिन, एक ग्राहक लाइब्रेरियन से एक विशिष्ट, संवेदनशील कहानी को "भूलने" के लिए कहता है जिसे उसने उसे सुनाई थी—शायद इसलिए क्योंकि वह कहानी एक रहस्य थी, कॉपीराइट वाली थी, या अब वह सच नहीं रही। ग्राहक चाहता है कि लाइब्रेरियन उस कहानी को पूरी तरह से भूल जाए लेकिन बाकी सब कुछ पूरी तरह से याद रखे ताकि वह अन्य प्रश्नों में मदद करना जारी रख सके।

यही मशीन अनलर्निंग (Machine Unlearning) की समस्या है। यह शोध पत्र इस पेचीदा संतुलन को हल करने के लिए एक नया तरीका OFMU पेश करता है।

यहाँ यह पेपर समस्या और उनके समाधान को सरल उपमाओं (analogies) का उपयोग करके समझाता है:

समस्या: "रस्साकशी" (The "Tug-of-War")

अधिकांश वर्तमान तरीके लाइब्रेरियन को बुरी कहानी भूलने के लिए विपरीत दिशा में रस्सी खींचकर बनाने की कोशिश करते हैं। हालाँकि, वे "बुरी कहानी को भूलने" और "अच्छी कहानियों को याद रखने" को एक साथ होने वाले दो समान कार्यों के रूप में देखते हैं।

यह पेपर तर्क देता है कि यह एक रस्साकशी (Tug-of-War) की तरह है जहाँ दो टीमें एक ही रस्सी को समान शक्ति से खींच रही हैं।

यदि "भूलने" वाली टीम बहुत ज़ोर से खींचती है, तो लाइब्रेरियन सब कुछ भूल जाता है, जिसमें अच्छी कहानियाँ भी शामिल हैं (मॉडल टूट जाता है)।
यदि "याद रखने" वाली टीम बहुत ज़ोर से खींचती है, तो लाइब्रेरियन वास्तव में बुरी कहानी को कभी नहीं भूल पाता (अनलर्निंग विफल हो जाता है)।
क्योंकि "भूलने" और "याद रखने" की दिशाएँ अक्सर आपस में टकराती हैं, लाइब्रेरियन भ्रमित हो जाता है, जिससे अस्थिर परिणाम मिलते हैं।

समाधान: OFMU (एक "सख्त बॉस" वाला दृष्टिकोण)

लेखक OFMU प्रस्तावित करते हैं, जो खेल के नियम बदल देता है। रस्साकशी के बजाय, वे एक श्रेणीबद्ध संरचना (hierarchical structure) (एक बॉस और एक कर्मचारी) स्थापित करते हैं।

इनर लूप (द स्ट्रिक्ट बॉस - आंतरिक चक्र/सख्त बॉस): सबसे पहले, सिस्टम केवल "भूलने" के कार्य पर ध्यान केंद्रित करता है। यह एक सख्त बॉस की तरह काम करता है जो कहता है, "अभी तुम्हारा एकमात्र काम इस विशिष्ट स्मृति को मिटाना है।" यह सुनिश्चित करने के लिए कि इससे गलती से अन्य स्मृतियों को नुकसान न पहुँचे, यह एक विशेष उपकरण का उपयोग करता है जिसे सिमिलैरिटी-अवेयर पेनल्टी (similarity-aware penalty) कहा जाता है।
- उपमा: कल्पना कीजिए कि लाइब्रेरियन एक किताब से एक विशिष्ट पन्ना मिटा रहा है। "पेनल्टी" एक गार्ड की तरह है जो लाइब्रेरियन के हाथ पर नज़र रखता है। यदि लाइब्रेरियन का हाथ ऐसे तरीके से हिलने लगता जिससे गलती से कोई दूसरा पन्ना (एक अच्छी स्मृति) फट सकता है, तो गार्ड उसे रोक देता है। यह सुनिश्चित करता है कि "भूलने" की क्रिया "याद रखने" की क्रिया को खराब न करे।
आउटर लूप (द हेल्पफुल एम्प्लॉई - बाहरी चक्र/सहायक कर्मचारी): एक बार जब "भूलना" पूरा हो जाता है और बुरी स्मृति चली जाती है, तो सिस्टम लाइब्रेरियन को फिर से तेज और मददगार बनाने के लिए धीरे से ट्यून करता है, लेकिन यह केवल तभी जब यह पुष्टि हो जाए कि बुरी स्मृति जा चुकी है।

वे इसे कैसे करते हैं (दो-लूप एल्गोरिदम)

पेपर में वर्णित "दो-लूप" प्रक्रिया एक रिहर्सल और परफॉरमेंस (अभ्यास और प्रदर्शन) रूटीन की तरह है:

रिहर्सल (इनर लूप): लाइब्रेरियन कुछ मिनटों के लिए बुरी कहानी को भूलने का अभ्यास करता है। उन्हें हर बार इसे पूरी तरह से मास्टर करने की आवश्यकता नहीं है; उन्हें बस उस बिंदु के करीब पहुँचने की आवश्यकता है जहाँ स्मृति मिट जाए।
परफॉरमेंस (आउटर लूप): एक बार अभ्यास पूरा हो जाने के बाद, लाइब्रेरियन मुख्य कार्य करता है: अच्छी कहानियों के बारे में सवालों के जवाब देना। वे एक गणितीय "पेनल्टी" का उपयोग करते हैं ताकि यह सुनिश्चित हो सके कि उन्होंने कोई चूक नहीं की और गलती से बुरी कहानी वापस नहीं ले आए।

लेखक गणितीय रूप से सिद्ध करते हैं कि यह विधि स्थिर है और बहुत जटिल, बड़े मॉडलों के लिए भी विश्वसनीय रूप से काम करती है।

परिणाम: बेहतर संतुलन

उन्होंने दो प्रकार के "लाइब्रेरियन" पर इसका परीक्षण किया:

लैंग्वेज मॉडल्स (LLMs): जैसे LLaMA, जिनका उपयोग टेक्स्ट और बातचीत के लिए किया जाता है।
विज़न मॉडल्स: जिनका उपयोग छवियों को पहचानने के लिए किया जाता है (जैसे बिल्ली बनाम कुत्ते की पहचान करना)।

उन्होंने क्या पाया:

पुराने तरीके एक हथौड़े की तरह थे: या तो वे बुरी स्मृति को कुचल देते थे लेकिन पूरी लाइब्रेरी को तोड़ देते थे (उपयोगिता खो देते थे), या वे लाइब्रेरी को सुरक्षित रखते थे लेकिन बुरी स्मृति को हटाने में विफल रहते थे।
OFMU एक सर्जन की तरह था: इसने बुरी स्मृति को सफलतापूर्वक हटा दिया जबकि बाकी लाइब्रेरी को उसकी आदर्श स्थिति में रखा।
परीक्षणों में, OFMU कठिन आइटम्स को "अनलर्न" करने में बेहतर था बिना मॉडल के क्रैश होने या बेकार होने के जोखिम के। इसने मॉडल को उन लोगों से अधिक सुरक्षित भी बनाया जो यह अनुमान लगाने की कोशिश करते हैं कि इसके अंदर कौन सा डेटा मौजूद है (एक परीक्षण जिसे मेंबरशिप इन्फरेंस कहा जाता है)।

सारांश

संक्षेप में, पेपर कहता है: "एक ही समय में समान भार के साथ भूलने और याद रखने की कोशिश न करें। पहले, एक स्मार्ट, सुरक्षात्मक पेनल्टी सिस्टम का उपयोग करके मॉडल को विशिष्ट बुरे डेटा को भूलने के लिए मजबूर करें। एक बार यह हो जाने के बाद, मॉडल के सामान्य प्रदर्शन को ठीक करें। यह 'पहले भूलने वाला' पदानुक्रम (forget-first hierarchy) एक बहुत ही स्थिर और प्रभावी तरीका बनाता है।"

OFMU का तकनीकी सारांश: मशीन अनलर्निंग के लिए अनुकूलन-संचालित ढांचा (Optimization-Driven Framework for Machine Unlearning)

समस्या विवरण (Problem Statement)
लार्ज लैंग्वेज मॉडल्स (LLMs) और अन्य डीप लर्निंग मॉडल्स, जो विशाल डेटा संग्रह पर प्रशिक्षित होते हैं, अक्सर संवेदनशील, कॉपीराइट वाली या हानिकारक जानकारी को समाहित कर सकते हैं। GDPR जैसे नियम "भूल जाने के अधिकार" (right to be forgotten) को अनिवार्य करते हैं, जिसके लिए मॉडल्स को विशिष्ट डेटा (अनलर्न सेट, $D_f$ ) के प्रभाव को हटाना आवश्यक है, बिना शून्य से पुन: प्रशिक्षण (retraining) के, जबकि शेष डेटा (रिटेन सेट, $D_r$ ) पर प्रदर्शन बनाए रखना आवश्यक है।

मौजूदा मॉडल-आधारित अनलर्निंग विधियाँ आमतौर पर इसे एक स्केलरयुक्त बहु-उद्देश्यीय समस्या (scalarized multi-objective problem) के रूप में तैयार करती हैं, जो निश्चित भार (fixed weights) के साथ फॉरगेटिंग (forgetting) और रिटेंशन (retention) लॉस को जोड़ती हैं। शोधपत्र इस दृष्टिकोण में तीन महत्वपूर्ण सीमाओं की पहचान करता है:

स्थिर वेटिंग (Static Weighting): निश्चित भार अनलर्निंग की गतिशील प्रकृति के अनुकूल होने में विफल रहते हैं, जहाँ शुरुआती चरणों में 'फॉरगेटिंग' को प्राथमिकता दी जानी चाहिए और बाद के चरणों में 'यूटिलिटी रिस्टोरेशन' पर ध्यान केंद्रित करना चाहिए।
अस्थिरता (Instability): स्केलेराइजेशन (Scalarization) अस्थिर प्रशिक्षण गतिकी की ओर ले जाता है। यदि फॉरगेटिंग ऑब्जेक्टिव हावी हो जाता है, तो मॉडल की उपयोगिता (utility) ध्वस्त हो जाती है; यदि रिटेन ऑब्जेक्टिव हावी होता है, तो फॉरगेटिंग अधूरा रह जाता है।
ग्रेडिएंट एंटैंगलमेंट (Gradient Entanglement): "अनलर्न करने में कठिन" नमूनों पर, फॉरगेटिंग और रिटेंशन के ग्रेडिएंट्स मजबूती से जुड़े होते हैं। ज्ञान को हटाने के लिए आक्रामक अपडेट अक्सर रिटेन किए गए ज्ञान को अत्यधिक नुकसान पहुँचाते हैं।

कार्यप्रणाली: OFMU
लेखक OFMU (ऑप्टिमाइज़ेशन-ड्रिवन फ्रेमवर्क फॉर मशीन अनलर्निंग) प्रस्तावित करते हैं, जो एक पेनल्टी-आधारित बाइ-लेवल ऑप्टिमाइज़ेशन फ्रेमवर्क है जो उद्देश्यों को एक पदानुक्रमित संरचना (hierarchical structure) में स्पष्ट रूप से अलग करता है। मूल दर्शन यह है कि फॉरगेटिंग एक गैर-परक्राम्य प्राथमिक उद्देश्य है, जबकि यूटिलिटी संरक्षण एक माध्यमिक लक्ष्य है जो सफल फॉरगेटिंग पर आधारित है।

बाइ-लेवल फॉर्मूलेशन (Bi-Level Formulation):
- इनर मैक्सिमाइजेशन (Forgetting): इनर समस्या उन पैरामीटर्स $\theta^*$ की खोज करती है जो फॉरगेट सेट पर लॉस को अधिकतम करते हैं और फॉरगेट और रिटेन ग्रेडिएंट्स के बीच समानता को न्यूनतम करते हैं। इसे ऑब्जेक्टिव $\Phi(\theta) = L_f(\theta) - \beta \cdot \text{Sim}(\nabla L_f, \nabla L_r)$ द्वारा परिभाषित किया गया है, जहाँ $\beta$ ग्रेडिएंट डिकोरिलेशन पेनल्टी को नियंत्रित करता है।
- आउटर मिनिमाइजेशन (Utility): आउटर समस्या रिटेन सेट पर लॉस $L_r(\theta)$ को कम करती है, इस शर्त के अधीन कि पैरामीटर्स इनर ऑब्जेक्टिव के स्टेशनरी पॉइंट्स ( $\nabla \Phi(\theta) = 0$ ) हैं।
पेनल्टी-आधारित पुनर्गठन (Penalty-Based Reformulation):
बार-बार इनर मैक्सिमाइजेशन और हायर-ऑर्डर डेरिवेटिव्स की आवश्यकता के कारण सीधे बाइ-लेवल समस्या को हल करना गणनात्मक रूप से अत्यधिक कठिन है। OFMU इस समस्या को एक सिंगल-लेवल अनकन्स्ट्रेंड (unconstrained) समस्या में पुनर्गठित करता है:
$F(\theta) = L_r(\theta) + \rho \|\nabla \Phi(\theta)\|^2$
यहाँ, $\rho$ एक पेनल्टी पैरामीटर है जो इनर स्टेशनैरिटी (stationarity) के प्रवर्तन को लागू करता है। जैसे-जैसे $\rho \to \infty$ होता है, $F(\theta)$ का मिनिमाइज़र मूल बाइ-लेवल बाधाओं को संतुष्ट करता है।
टू-लूप एल्गोरिदम (Two-Loop Algorithm):
स्केलेबिलिटी सुनिश्चित करने के लिए, लेखक एक टू-लूप एल्गोरिदम विकसित करते हैं:
- इनर लूप: $\Phi(\theta)$ पर $T$ स्टेप्स के ग्रेडिएंट एसेंट (gradient ascent) को निष्पादित करता है ताकि फॉरगेटिंग को अधिकतम किया जा सके और ग्रेडिएंट्स को डिकोरिलेट किया जा सके।
- आउटर लूप: यूटिलिटी बहाल करने के लिए $F(\theta)$ पर एक ग्रेडिएंट डिसेंट स्टेप निष्पादित करता है। इस चरण में पेनल्टी टर्म $\|\nabla \Phi(\theta)\|^2$ को संभालने के लिए हेसियन-वेक्टर प्रोडक्ट (Hessian-vector product) की गणना (ऑटोमैटिक डिफरेंशिएशन के माध्यम से) शामिल है।
- पेनल्टी शेड्यूल: इनर स्टेशनैरिटी कंडीशन को धीरे-धीरे मजबूत करने के लिए इटरेशन के साथ पेनल्टी पैरामीटर $\rho$ को बढ़ाया जाता है।

प्रमुख योगदान (Key Contributions)

नया फ्रेमवर्क: OFMU का परिचय, जो एक बाइ-लेवल फ्रेमवर्क है जो यूटिलिटी संरक्षण की तुलना में फॉरगेटिंग को प्राथमिकता देता है, जो अनलर्निंग कार्य की अंतर्निहित विषमता (asymmetry) को पकड़ता है।
स्केलेबल एल्गोरिदम: एक टू-लूप एल्गोरिदम का विकास जिसके पास सिद्ध अभिसरण गारंटी (convergence guarantees) है और जो पारंपरिक बाइ-लेवल ऑप्टिमाइज़ेशन (जैसे पूर्ण इनर कन्वर्जेंस) की गणनात्मक बाधाओं से बचता है।
सिमिलैरिटी-अवेयर पेनल्टी: एक पेनल्टी टर्म का डिज़ाइन जो डायनेमिक रूप से फॉरगेट और रिटेन ग्रेडिएंट्स को डिकोरिलेट करता है, जिससे अपडेट के दौरान होने वाले विनाशकारी हस्तक्षेप (destructive interference) को कम किया जा सके।
सैद्धांतिक विश्लेषण: एक कठोर अभिसरण विश्लेषण जो दिखाता है कि एल्गोरिदम कॉन्वेक्स और नॉन-कॉन्वेक्स दोनों सेटिंग्स में $\epsilon$ -स्टेशनरी पॉइंट की ओर अभिसरित होता है, जिसमें सब-ऑप्टिमैलिटी पर विशिष्ट सीमाएँ (bounds) हैं।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने भाषा और विजन बेंचमार्क पर OFMU का मूल्यांकन किया:

भाषा (TOFU बेंचमार्क): LLaMA-2-7B और LLaMA-3.2-1B का उपयोग करते हुए, OFMU का परीक्षण डेटासेट के 1%, 5%, और 10% को हटाने के लिए किया गया।
- प्रदर्शन: OFMU ने फॉरगेटिंग क्वालिटी (FQ), मॉडल यूटिलिटी (MU), और फॉरगेट ट्रुथ रेश्यो (FTR) के बीच एक बेहतर संतुलन प्राप्त किया।
- तुलना: ग्रेडिएंट एसेंट (GA) और ग्रेडिएंट डिफरेंस (GradDiff) के विपरीत, जिन्होंने उच्च FQ प्राप्त किया लेकिन जिससे यूटिलिटी ध्वस्त हो गई (MU $\approx$ 0), OFMU ने उच्च यूटिलिटी (जैसे, 5% फॉरगेटिंग के लिए LLaMA-2 पर MU $\approx$ 0.65) बनाए रखते हुए मजबूत फॉरगेटिंग लागू की। इसने समग्र नॉर्मलाइज्ड स्कोर में NPO और RMU जैसे बेसलाइन्स को भी पीछे छोड़ दिया।
विजन (CIFAR-10): क्लास-वाइज और रैंडम फॉरगेटिंग सेटिंग्स के तहत परीक्षण किया गया।
- क्लास-वाइज: OFMU ने 81.51% अनलर्निंग एक्यूरेसी (UA) और 93.51% रिटेन एक्यूरेसी (RA) प्राप्त की, जो इन्फ्लुएंस अनलर्निंग (IU) की तुलना में बेहतर ट्रेड-ऑफ प्रदान करती है, जो उच्च UA तो देता है लेकिन गणनात्मक रूप से महंगा है।
- रैंडम: चुनौतीपूर्ण रैंडम फॉरगेटिंग परिदृश्य (10% डेटा) में, OFMU ने 7.71% UA प्राप्त किया, जो रिट्रेनिंग (6.79%) से थोड़ा बेहतर है, जबकि मेंबरशिप इन्फरेंस अटैक (MIA) के खिलाफ मजबूती बनाए रखी।

महत्व और दावे (Significance and Claims)
शोधपत्र का दावा है कि OFMU स्केलेराइज्ड अनलर्निंग विधियों की मौलिक अस्थिरता को संबोधित करता है क्योंकि यह समस्या की पदानुक्रमित प्रकृति को पहचानता है। यूटिलिटी के लिए अनुकूलन करने से पहले फॉरगेटिंग को प्राथमिक बाधा के रूप में लागू करके, OFMU भाषा और विजन कार्यों दोनों में अत्याधुनिक (state-of-the-art) ट्रेड-ऑफ प्राप्त करता है। लेखक दावा करते हैं कि उनका दृष्टिकोण निम्नलिखित प्रदान करता है:

स्थिरता (Stability): उन कठिन-से-अनलर्न नमों पर भी सुसंगत प्रदर्शन जहाँ अन्य विधियाँ विफल हो जाती हैं।
मजबूती (Robustness): मौजूदा बेसलाइन्स की तुलना में मेंबरशिप इन्फरेंस हमलों के खिलाफ मजबूत प्रतिरोध।
सैद्धांतिक आधार (Theoretical Grounding): ह्यूरिस्टिक वेटिंग स्कीम्स से आगे बढ़कर, अभिसरण गारंटी के साथ एक सिद्धांतिक दृष्टिकोण।

शोधपत्र निष्कर्ष निकालता है कि हालांकि OFMU एक महत्वपूर्ण कदम है, भविष्य के कार्य निरंतर अनलर्निंग परिदृश्यों, एडेप्टिव पेनल्टी शेड्यूल्स और बड़े फाउंडेशन मॉडल्स एवं मल्टीमॉडल डेटा पर अनुप्रयोगों की खोज कर सकते हैं।

समस्या: "रस्साकशी" (The "Tug-of-War")

समाधान: OFMU (एक "सख्त बॉस" वाला दृष्टिकोण)

वे इसे कैसे करते हैं (दो-लूप एल्गोरिदम)

परिणाम: बेहतर संतुलन

सारांश

इसी तरह के और पेपर