🤖 machine learning

Tackling Fake Forgetting through Uncertainty Quantification

यह शोध पत्र "फेक फॉरगेटिंग" (fake forgetting) की घटना की पहचान करता है, जहाँ अनलर्निंग एक्यूरेसी (unlearning accuracy) रिटेंड जानकारी का पता लगाने में विफल रहती है, और एक नया मेट्रिक (CR) और फ्रेमवर्क (CPU) प्रस्तावित करता है जो कॉन्फॉर्मल प्रेडिक्शन (conformal prediction) पर आधारित है ताकि यह सुनिश्चित किया जा सके कि ग्राउंड ट्रुथ लेबल को मॉडल के अनसर्टेन्टी सेट (uncertainty set) से प्रभावी रूप से हटा दिया गया है।

मूल लेखक: Yingdan Shi, Sijia Liu, Kaize Ding, Ren Wang

प्रकाशित 2026-05-13

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Yingdan Shi, Sijia Liu, Kaize Ding, Ren Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जिसने एक विशाल पाठ्यपुस्तक रट ली है। अब, मान लीजिए कि उस पाठ्यपुस्तक के एक विशिष्ट पृष्ठ में एक रहस्य छिपा है जिसे हमेशा के लिए मिटाया जाना आवश्यक है (शायद गोपनीयता कानूनों के कारण)। आप छात्र से उस पृष्ठ को "अनलर्न" (unlearn) करने के लिए कहते हैं।

समस्या: "नकली विस्मृति" का भ्रम (The "Fake Forgetting" Illusion)

परंपरागत रूप से, यह जाँचने के लिए कि क्या छात्र भूल गया है, हम उनसे उस विशिष्ट पृष्ठ के बारे में एक प्रश्न पूछते हैं। यदि वे उत्तर गलत देते हैं, तो हम कहते हैं, "बहुत बढ़िया! वे भूल गए हैं।"

लेकिन यह शोध पत्र तर्क देता है कि यह परीक्षण त्रुटिपूर्ण है। यह ऐसा ही है जैसे किसी छात्र से उस देश की राजधानी पूछना जिसे उन्हें भूलने के लिए कहा गया था। यदि वे "लंदन" के बजाय "पेरिस" कहते हैं, तो हमें लगता है कि वे भूल गए हैं। लेकिन क्या होगा यदि वे अभी भी गहराई में जानते हैं कि वह लंदन है, बस प्रश्न के कारण भ्रमित हो गए? या इससे भी बुरा, क्या होगा यदि वे संकेत मिलने पर सही उत्तर का अनुमान लगा सकते हैं?

लेखक इसे "नकली विस्मृति" (Fake Forgetting) कहते हैं। छात्र ऐसा दिखता है जैसे वह भूल गया है क्योंकि वह सरल परीक्षण में विफल रहा, लेकिन जानकारी अभी भी उसके मस्तिष्क में मौजूद है, जो पुनः प्राप्त होने के लिए तैयार है।

समाधान: "कॉन्फिडेंस नेट" (The "Confidence Net")

इस नकली विस्मृति को पकड़ने के लिए, लेखक एक नया उपकरण पेश करते हैं जो "कॉन्फफॉर्मल प्रेडिक्शन" (Conformal Prediction) नामक चीज़ पर आधारित है।

कॉन्फॉर्मल प्रेडिक्शन को एक सुरक्षा जाल (safety net) या अनुमान घेरे (guessing circle) के रूप में समझें। केवल एक एकल उत्तर देने के बजाय, आप छात्र से उन सभी उत्तरों के चारों ओर एक घेरा बनाने के लिए कहते हैं जो उनके अनुसार सही हो सकते हैं।

यदि छात्र वास्तव में भूल गया है, तो उनका घेरा विस्तृत और अस्त-व्यस्त होना चाहिए, और इसमें वास्तविक उत्तर शामिल नहीं होना चाहिए।
यदि वे केवल "दिखावा" कर रहे हैं, तो उनका घेरा अभी भी सटीक होगा, और वास्तविक उत्तर अभी भी उसके ठीक अंदर छिपा होगा, भले ही उन्होंने उसे अपना शीर्ष अनुमान के रूप में न चुना हो।

नया मीट्रिक: "कॉन्फिडेंस रेशियो" (The "Confidence Ratio" - CR)

लेखकों ने यह मापने के लिए CR (कॉन्फिडेंस रेशियो) नामक एक नया स्कोर बनाया है।

पुराना स्कोर (UA): केवल यह जाँचता था कि क्या छात्र ने एक एकल उत्तर गलत दिया। (इसे नकली बनाना आसान है)।
नया स्कोर (CR): यह जाँचता है कि क्या वास्तविक उत्तर अभी भी छात्र के "सुरक्षा जाल" के भीतर छिपा हुआ है। यदि वास्तविक उत्तर जाल के अंदर है, तो स्कोर कहता है, "आपने वास्तव में अभी तक नहीं भुलाया है।"

नया ढांचा: "CPU"

इस समस्या को ठीक करने के लिए, लेखकों ने एक नई प्रशिक्षण विधि बनाई है जिसे CPU (कॉन्फफॉर्मल प्रेडिक्शन अनलर्निंग) कहा जाता है।

कल्पना कीजिए कि आप छात्र को भूलना सिखा रहे हैं।

पुराना तरीका: आप बस उन्हें कहते हैं, "लंदन मत बोलो।"
CPU तरीका: आप उन्हें कहते हैं, "न केवल 'लंदन' मत बोलो, बल्कि यह भी सुनिश्चित करो कि 'लंदन' तुम्हारे संभावित अनुमानों की सूची से इतना दूर हो जाए कि वह तुम्हारे सुरक्षा जाल के पूरी तरह बाहर निकल जाए।"

उन्होंने इसे साइबर सुरक्षा (जिसे C&W अटैक कहा जाता है) की एक तकनीक को उधार लेकर और उसमें बदलाव करके हासिल किया। गलत उत्तर के प्रति आत्मविश्वास को कम करने के बजाय, वे सक्रिय रूप से सही उत्तर को भविष्यवाणी के घेरे से बाहर धकेलते हैं।

परिणाम

जब उन्होंने इमेज रिकग्निशन कार्यों (जैसे कुत्तों या कारों की तस्वीरों की पहचान करना) पर इनका परीक्षण किया:

उन्होंने पाया कि मौजूदा विधियों में से कई वास्तव में "नकली विस्मृति" कर रही थीं। मॉडल छवि को गलत वर्गीकृत कर देते थे, लेकिन सही लेबल अभी भी उनके प्रेडिक्शन सर्कल में छिपा होता था।
उनके नए CR स्कोर ने इन नकलीताओं को सफलतापूर्वक पकड़ा।
उनके नए CPU फ्रेमवर्क ने वास्तव में मॉडलों को सही उत्तर को घेरे से बाहर धकेलने के लिए मजबूर किया, जिसके परिणामस्वरूप बहुत अधिक विश्वसनीय और वास्तविक विस्मृति हुई, बिना मॉडल की अन्य चीजों को पहचानने की क्षमता को नुकसान पहुँचाए।

संक्षेप में

यह शोध पत्र कहता है: "केवल यह न जाँचें कि मॉडल उत्तर गलत दे रहा है या नहीं; यह जाँचें कि क्या उत्तर अभी भी उसके सुरक्षा जाल में छिपा हुआ है। यदि यह इसमें है, तो यह वास्तव में भुलाया नहीं गया है। हमने इसे मापने का एक नया तरीका बनाया है और एक नया प्रशिक्षण तरीका बनाया है ताकि यह सुनिश्चित हो सके कि डेटा वास्तव में चला गया है।"

तकनीकी सारांश: अनिश्चितता मात्रा निर्धारण (Uncertainty Quantification) के माध्यम से 'फेक फॉरगेटिंग' का समाधान

समस्या विवरण

मशीन अनलर्निंग (Machine unlearning) का लक्ष्य प्रशिक्षित मॉडल से विशिष्ट डेटा बिंदुओं के प्रभाव को हटाना है, जो कि GDPR जैसे नियमों के कारण तेजी से अनिवार्य होता जा रहा है। जबकि अनलर्निंग एक्यूरेसी (UA) प्रदर्शन का मूल्यांकन करने के लिए मानक मीट्रिक है—जो यह मापता है कि एक मॉडल "फॉरगेट" (भूलने वाले) डेटा को कितनी दर से गलत वर्गीकृत करता है—लेखकों ने इसमें एक गंभीर दोष की पहचान की है: फेक फॉरगेटिंग (Fake Forgetting)।

लेख का तर्क है कि UA अपर्याप्त है क्योंकि यह केवल पॉइंट प्रेडिक्शन (point predictions) पर निर्भर करता है। एक मॉडल किसी "फॉरगेट" डेटा बिंदु को गलत वर्गीकृत कर सकता है (उच्च UA स्कोर देते हुए), जबकि वह अपने अनिश्चितता अनुमानों (uncertainty estimates) के भीतर ग्राउंड ट्रुथ लेबल के प्रति उच्च विश्वास (high confidence) बनाए रख सकता है। विशेष रूप से, ग्राउंड ट्रुथ लेबल मॉडल के कॉन्फॉर्मल प्रेडिक्शन सेट (conformal prediction set) में शामिल रह सकता है, जिसका अर्थ है कि जानकारी को मॉडल के निर्णय सीमा (decision boundary) से वास्तव में मिटाया नहीं गया है। इस घटना को Grad-CAM के माध्यम से देखा जा सकता है, जो दर्शाता है कि भले ही मॉडल किसी छवि को गलत वर्गीकृत करता है, लेकिन यदि वास्तविक लेबल प्रेडिक्शन सेट में बना रहता है, तो इसके अटेंशन मैकेनिज्म अक्सर अभी भी वस्तु की प्रमुख विशेषताओं पर ध्यान केंद्रित करते हैं।

कार्यप्रणाली (Methodology)

1. कॉन्फॉर्मल रेशियो (CR) मीट्रिक

UA की सीमाओं को दूर करने के लिए, लेखक स्प्लिट कॉन्फॉर्मल प्रेडिक्शन (SCP) से प्रेरित एक नया मूल्यांकन मीट्रिक प्रस्तावित करते हैं जिसे कॉन्फॉर्मल रेशियो (CR) कहा जाता है। UA के विपरीत, जो केवल एकल अनुमानित वर्ग (single predicted class) की जाँच करता है, CR संपूर्ण प्रेडिक्शन सेट का मूल्यांकन करता है।

मीट्रिक को इस प्रकार परिभाषित किया गया है:
$CR = \frac{\text{Coverage}}{\text{Set Size}}$

कवरेज (Coverage): उन फॉरगेट डेटा बिंदुओं का अनुपात जहाँ ग्राउंड ट्रुथ लेबल कॉन्फॉर्मल प्रेडिक्शन सेट के भीतर आता है। फॉरगेट डेटा पर उच्च कवरेज "फेक फॉरगेटिंग" का संकेत देता है।
सेट साइज (Set Size): प्रेडिक्शन सेट में लेबल की औसत संख्या।
व्याख्या (Interpretation): फॉरगेट डेटा ( $D_f$ ) पर कम CR मान बेहतर फॉरगेटिंग (अर्थात, वास्तविक लेबल सफलतापूर्वक सेट से बाहर हो गया है) को दर्शाता है। इसके विपरीत, टेस्ट डेटा ( $D_{test}$ ) पर उच्च CR यह दर्शाता है कि मॉडल की उपयोगिता (utility) सुरक्षित है।

लेखक इस बात की पुष्टि करते हैं कि मौजूदा मीट्रिक्स उन मामलों का पता लगाने में विफल रहते हैं जहाँ वास्तविक लेबल प्रेडिक्शन सेट में बना रहता है, जबकि CR इसे पकड़ लेता है क्योंकि यह मांग करता है कि ग्राउंड ट्रुथ को नॉन-कन्फॉर्मिटी स्कोर थ्रेशोल्ड से परे धकेला जाए।

2. कॉन्फॉर्मल प्रेडिक्शन अनलर्निंग (CPU) फ्रेमवर्क

CR से प्राप्त अंतर्दृष्टि के आधार पर, लेखक प्रशिक्षण-आधारित अनलर्निंग विधियों को बेहतर बनाने के लिए एक सामान्य फ्रेमवर्क CPU प्रस्तावित करते हैं। मुख्य विचार लॉस फंक्शन (loss function) को इस तरह संशोधित करना है कि वह स्पष्ट रूप से फॉरगेट डेटा के ग्राउंड ट्रुथ लेबल को कॉन्फॉर्मल प्रेडिक्शन सेट से बाहर धकेले।

यह फ्रेमवर्क कार्लिनी एंड वाग्नर (C&W) एडवरसैरियल अटैक लॉस को अनुकूलित करता है। केवल वास्तविक क्लास और शीर्ष प्रतिस्पर्धी क्लास के बीच अंतर को अधिकतम करने के बजाय, CPU लॉस वास्तविक लेबल के नॉन-कन्फॉर्मिटी स्कोर ( $S(x, y_t)$ ) को कॉन्फॉर्मल थ्रेशोल्ड ( $\hat{q}$ ) से आगे धकेलता है।

प्रस्तावित लॉस फंक्शन है:
$L_{cpu}(x, y_t) = \max\{\hat{q} - S(x, y_t), -\Delta\}$

जहाँ:

$\hat{q}$ एक कैलिब्रेशन सेट से प्राप्त थ्रेशोल्ड है।
$S(x, y_t) = 1 - p_t(x)$ एक नॉन-कन्फॉर्मिटी स्कोर (इनवर्स प्रोबेबिलिटी) है।
$\Delta$ एक मार्जिन पैरामीटर है (प्रयोगों में 0.01 निर्धारित)।

यह लॉस मॉडल को वास्तविक लेबल के नॉन-कन्फॉर्मिटी स्कोर को $\hat{q}$ से अधिक होने तक बढ़ाने के लिए प्रोत्साहित करता है, जिससे प्रभावी रूप से प्रेडिक्शन सेट से वास्तविक लेबल को बाहर कर दिया जाता है। अंतिम ऑब्जेक्टिव मूल लॉस को इस नए टर्म के साथ जोड़ता है:
$L_{total} = L_{original} + \lambda \cdot L_{cpu}$

मुख्य योगदान

फेक फॉरगेटिंग की पहचान: पेपर यह प्रदर्शित करता है कि UA द्वारा "भूल गए" (गलत वर्गीकृत) के रूप में पहचाने गए डेटा का एक महत्वपूर्ण हिस्सा अभी भी रिकवर किया जा सकता है क्योंकि ग्राउंड ट्रुथ लेबल कॉन्फॉर्मल प्रेडिक्शन सेट के भीतर बना रहता है।
नया मीट्रिक (CR): कॉन्फॉर्मल रेशियो का परिचय, जो केवल टॉप प्रेडिक्शन के बजाय संपूर्ण प्रेडिक्शन सेट का मूल्यांकन करके फॉरगेटिंग की गुणवत्ता का अधिक विश्वसनीय मूल्यांकन प्रदान करता है।
CPU फ्रेमवर्क: एक सामान्य, मॉडल-अज्ञेयवादी (model-agnostic) अनलर्निंग फ्रेमवर्क जो कॉन्फॉर्मल प्रेडिक्शन अवधारणाओं को ट्रेनिंग लॉस (अनुकूलित C&W लॉस के माध्यम से) में एकीकृत करता है ताकि यह सुनिश्चित किया जा सके कि ग्राउंड ट्रुथ लेबल प्रेडिक्शन सेट से बाहर है।
व्यापक मूल्यांकन: CIFAR-10, Tiny ImageNet, Oxford-Pets जैसे कई डेटासेट्स और ResNet-18, ViT, Swin-T जैसे आर्किटेक्चर पर व्यापक प्रयोग, जो प्रमाणित करते हैं कि CPU रिटेंड (बचे हुए) या टेस्ट डेटा पर मॉडल की उपयोगिता को महत्वपूर्ण रूप से कम किए बिना फॉरगेटिंग की गुणवत्ता में सुधार करता है।

प्रायोगिक परिणाम

मीट्रिक श्रेष्ठता: 12 विभिन्न अनलर्निंग बेसलाइन्स के साथ प्रयोगों में, CR बनाम UA के मूल्यांकन के साथ विधियों की रैंकिंग काफी बदल गई। वे विधियाँ जो UA के तहत अच्छा प्रदर्शन करती थीं (जैसे, रैंडम लेबलिंग), उन्हें CR के तहत 'फेक फॉरगेटिंग' से ग्रस्त दिखाया गया, जबकि अन्य (जैसे, Salun) बेहतर 'ट्रू फॉरगेटिंग' क्षमताएं प्रदर्शित करती हैं।
फ्रेमवर्क प्रदर्शन: मौजूदा विधियों (RT, FT, RL) पर CPU फ्रेमवर्क लागू करने से फॉरगेट डेटा पर CR में उल्लेखनीय कमी आई (जो बेहतर फॉरगेटिंग का संकेत देता है) जबकि स्थिर रिटेनिंग एक्यूरेसी (RA) और टेस्ट एक्यूरेसी (TA) बनाए रखी गई।
- उदाहरण के लिए, ResNet-18 के साथ CIFAR-10 पर, FT विधि पर CPU लागू करने से UA गैप को RT बेसलाइन से 4.8% से घटाकर 0.7% कर दिया गया, और साथ ही फॉरगेट डेटा पर CR को भी कम किया गया।
दृश्य साक्ष्य (Visual Evidence): Grad-CAM विज़ुअलाइज़ेशन ने पुष्टि की कि जब वास्तविक लेबल प्रेडिक्शन सेट से बाहर हो जाता है (जैसा कि CPU द्वारा प्राप्त किया गया है), तो मॉडल के एक्टिवेशन क्षेत्र वस्तु के प्रमुख फीचर्स से दूर हट जाते हैं, जो मानक अनलर्निंग के विपरीत है जहाँ गलत वर्गीकरण के बावजूद फीचर्स हाइलाइट होते रहते हैं।
दक्षता (Efficiency): CPU लॉस के जुड़ने से नगण्य कम्प्यूटेशनल ओवरहेड हुआ, विभिन्न डेटासेट्स पर ट्रेनिंग समय में 1 मिनट से भी कम की वृद्धि हुई।

महत्व और दावे

पेपर यह दावा करता है कि यह सरल सटीकता (accuracy) से अनिश्चितता मात्रा निर्धारण (uncertainty quantification) की ओर शिफ्ट होकर मशीन अनलर्निंग के लिए एक अधिक कठोर आधार प्रदान करता है। लेखक इस बात पर जोर देते हैं कि केवल UA पर निर्भर रहना गोपनीयता और सुरक्षा का एक झूठा अहसास पैदा करता है। यह सुनिश्चित करके कि ग्राउंड ट्रुथ लेबल केवल गलत वर्गीकृत ही नहीं है बल्कि प्रेडिक्शन सेट से सक्रिय रूप से बाहर है, प्रस्तावित CR मीट्रिक और CPU फ्रेमवर्क यह गारंटी देते हैं कि डेटा वास्तव में भुला दिया गया है। यह कार्य रेखांकित करता है कि मौजूदा अनलर्निंग विधियां अक्सर भविष्यवाणियों के आत्मविश्वास (confidence) को संबोधित करने में विफल रहती हैं, और प्रस्तावित दृष्टिकोण कॉन्फॉर्मल प्रेडिक्शन और एडवरसैरियल अटैक्स के सिद्धांतों का उपयोग करके इस अंतर को पाटता है।