🤖 AI

RULER: Representation-Level Verification of Machine Unlearning

यह शोध पत्र RULER को प्रस्तुत करता है, जो प्रतिनिधित्व-स्तर (representation-level) के सत्यापन मेट्रिक्स का एक समूह है जो उन मशीन अनलर्निंग विधियों में महत्वपूर्ण अवशिष्ट स्मृति (residual memorization) को प्रकट करता है जो पारंपरिक आउटपुट-स्तर के मूल्यांकन के तहत सफल प्रतीत होती हैं।

मूल लेखक: Georgina Cosma, Axel Finke

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Georgina Cosma, Axel Finke

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जिसने विशेषज्ञ बनने के लिए एक विशाल पाठ्यपुस्तक का अध्ययन किया है। एक दिन प्रकाशक छात्र से कहता है, "कृपया अध्याय 5 के बारे में जो कुछ भी आपने सीखा है, उसे भूल जाओ।" छात्र आज्ञा मानना चाहता है, लेकिन वह किताब को जलाकर और फिर से शुरू नहीं कर सकता; इसमें बहुत समय और ऊर्जा लगेगी। इसलिए, वह अध्याय 5 को "अनलर्न" (unlearn) करने की कोशिश करता है, यानी उन विशिष्ट पृष्ठों को मानसिक रूप से मिटाते हुए बाकी पुस्तक के अपने ज्ञान को सुरक्षित रखता है।

यह शोध पत्र, RULER, इस बारे में है कि क्या छात्र ने वास्तव में भूलने का काम अच्छी तरह से किया है या नहीं।

समस्या: "नकली विस्मृति" (The "Fake Forget")

वर्तमान में, शिक्षक (या ऑडिटर्स) यह जाँचने के लिए कि क्या छात्र भूल गया है, दो सरल प्रश्न पूछते हैं:

क्विज़ (The Quiz): क्या छात्र अभी भी किताब के बाकी हिस्से के बारे में प्रश्नों के सही उत्तर दे सकता है? (हाँ, वह दे सकता है।)
अनुमान लगाने का खेल (The Guessing Game): यदि हम छात्र को अध्याय 5 का एक वाक्य दिखाएं और पूछें, "क्या आपने इसका अध्ययन किया था?", तो क्या वह हमें बता पाएगा? (आदर्श रूप से, उसे सिक्के उछालने की तरह यादृच्छिक अनुमान लगाना चाहिए।)

लेखकों ने एक खामी खोजी। उन्होंने पाया कि एक छात्र इन दोनों परीक्षणों को पूरी तरह से पास कर सकता है, फिर भी अध्याय 5 का "भूतिया साया" (ghost) उसके मस्तिष्क में बना रह सकता है। यह एक जादूगर की तरह है जो टोपी से खरगोश को गायब करने में सफल तो हो जाता है (आउटपुट), लेकिन अभी भी गुप्त रूप से खरगोश के फर को अपनी जेब में पकड़े रहता है (आंतरिक स्मृति)। छात्र के उत्तर साफ दिख सकते हैं, लेकिन उसकी सोच की प्रक्रिया अभी भी उस वर्जित अध्याय को याद रखती है।

समाधान: RULER ("एक्स-रे" चश्मा)

लेखकों ने RULER (रिप्रजेंटेशन-लेवल वेरिफिकेशन) नामक उपकरणों का एक नया सेट बनाया है। केवल छात्र के उत्तरों को सुनने के बजाय, RULER छात्र के मस्तिष्क के भीतर झांकता है कि उसके विचार कैसे व्यवस्थित हैं।

वे इसकी जाँच करने के लिए दो मुख्य "लेंस" (मेट्रिक्स) का उपयोग करते हैं:

लेंस 1: "स्वर्ण मानक" तुलना (Metric M2)

कल्पना कीजिए कि आपके पास एक "स्वर्ण मानक" (Gold Standard) छात्र है जिसने कभी भी अध्याय 5 नहीं देखा था।

परीक्षण: RULER अध्याय 5 को भूलने की कोशिश करने वाले छात्र की "विचार प्रक्रियाओं" की तुलना स्वर्ण मानक छात्र से करता है।
निष्कर्ष: भले ही "भूलने वाला" छात्र क्विज़ पास कर लेता है, लेकिन उसका मस्तिष्क अभी भी अध्याय 5 के साथ अलग तरह से व्यवहार करता है जैसा कि स्वर्ण मानक छात्र करता है। यह दो मानचित्रों की तुलना करने जैसा है: एक बिना किसी पार्क के शहर का सटीक मानचित्र है, और दूसरा एक ऐसा मानचित्र है जहाँ किसी ने पार्क को मिटाने की कोशिश की है लेकिन एक धुंधली, काल्पनिक रूपरेखा छोड़ दी है। रूपरेखाएँ मेल नहीं खातीं।
परिणाम: अपने प्रयोगों में, लगभग हर विधि जिसका उपयोग "अनलर्न" करने के लिए किया गया था, उसने ये भूतिया निशान पीछे छोड़ दिए। छात्र क्विज़ पास कर गए, लेकिन वे ब्रेन स्कैन में विफल रहे।

लेंस 2: "नो-ओरेकल" जासूस (Metric M4)

कभी-कभी, आपके पास तुलना करने के लिए स्वर्ण मानक छात्र नहीं होता है। इसलिए, RULER ने केवल छात्र की अपनी स्मृति का उपयोग करके छात्र के मस्तिष्क की जाँच करने का एक तरीका बनाया।

परीक्षण: RULER भूले हुए अध्याय के बारे में "विचारों" को देखता है और पूछता है, "क्या ये विचार ऐसे दिखते हैं जैसे वे किताब के बाकी हिस्से से संबंधित हैं, या वे अलग ही चमक रहे हैं?"
उपमा: कल्पना कीजिए कि नीली शर्ट पहने लोगों की भीड़ (रिटेंड डेटा) है। आप छात्र को लाल शर्ट पहने एक विशिष्ट व्यक्ति को भूलने के लिए कहते हैं (फॉरगट डेटा)।
- यदि वह सफलतापूर्वक भूल गया है, तो लाल शर्ट वाला व्यक्ति इतना घुल-मिल जाना चाहिए कि वह नीली शर्ट वालों की तरह ही दिखे।
- यदि वह विफल रहा, तो लाल शर्ट अभी भी चमक रही होगी, या इससे भी बुरा, छात्र ने लाल शर्ट को इतनी दूर धकेल दिया है कि अब वह अंतरिक्ष में तैर रही है (ओवर-डिस्प्लेसमेंट)।
निष्कर्ष: RULER ने पाया कि कई मामलों में, "भूली हुई" जानकारी घुल-मिल नहीं पाई। या तो वह एक स्मृति के रूप में अलग दिख रही थी या उसे बहुत दूर धकेल दिया गया था, जिससे छात्र के मन में एक अजीब विकृति पैदा हो गई।

उन्होंने क्या टेस्ट किया

शोधकर्ताओं ने चार अलग-अलग "अनलर्निंग" तकनीकों (जैसे स्मृति मिटाने के विभिन्न तरीके) पर परीक्षण किया:

ग्रेडिएंट एसेंट (Gradient Ascent): स्मृति को सक्रिय रूप से दूर धकेलने की कोशिश करना।
नेग्रैड+ (NegGrad+): दूर धकेलने और बाकी चीज़ों को सुदृढ़ करने का एक मिश्रण।
फाइन-ट्यूनिंग (Fine-Tuning): बस बाकी किताब का पुन: अध्ययन करना, इस उम्मीद में कि पुरानी स्मृति स्वाभाविक रूप से फीकी पड़ जाएगी।
स्क्रब (SCRUB): एक "शिक्षक" का उपयोग करने वाली एक जटिल विधि जो भूलने में मार्गदर्शन करती है।

फैसला: चारों विधियों ने मानक "क्विज़" और "अनुमान लगाने के खेल" के परीक्षणों को पास कर लिया। लेकिन जब RULER ने उनके मस्तिष्क के अंदर झांका, तो चारों विधियाँ विफल रहीं। वे सभी ने भूले हुए डेटा के महत्वपूर्ण निशान छोड़ दिए थे।

एक विशेष मामला: चेहरा पहचानना (Face Recognition)

शोध पत्र ने एक चेहरा-पहचान प्रणाली (जैसे सुरक्षा कैमरा) पर भी परीक्षण किया।

परिदृश्य: सिस्टम को लोगों को पहचानने के लिए प्रशिक्षित किया गया था, लेकिन फिर उसे एक विशिष्ट व्यक्ति को "भूलने" के लिए कहा गया (एक GDPR "भूलने के अधिकार" का अनुरोध)।
परिणाम: अनलर्निंग के बाद भी, सिस्टम ने अभी भी उस विशिष्ट व्यक्ति की चेहरे की संरचना को पहचाना। यह एक दोस्त के चेहरे को अन-रिकग्नाइज करने की कोशिश करने जैसा था; सिस्टम कह सकता था कि "मैं नहीं जानता कि यह कौन है," लेकिन आंतरिक "चेहरा मानचित्र" में अभी भी उस व्यक्ति का एक सटीक रेखाचित्र मौजूद था। कोई भी परीक्षित विधि इस पहचान-स्तर की स्मृति को पूरी तरह से मिटा नहीं सकी।

मुख्य निष्कर्ष

पत्र यह निष्कर्ष निकालता है कि "मशीन अनलर्निंग" के वर्तमान तरीके उतने गहन नहीं हैं जितना कि हम सोचते हैं। वे मॉडल द्वारा दिए जाने वाले उत्तरों को साफ करने में अच्छे हैं, लेकिन वे उन आंतरिक स्मृतियों को साफ करने में खराब हैं जो उन उत्तरों को उत्पन्न करती हैं।

RULER एक सत्यवादी की तरह कार्य करता है, जो हमें दिखाता है कि केवल इसलिए कि एक मॉडल कहता है कि वह भूल गया है, इसका मतलब यह नहीं है कि उसने वास्तव में किया है। गोपनीयता की रक्षा के लिए, हमें AI के केवल अंतिम आउटपुट को नहीं, बल्कि उसके आंतरिक "विचारों" की जाँच करने की आवश्यकता है।

तकनीकी सारांश: RULER – मशीन अनलर्निंग का रिप्रजेंटेशन-लेवल वेरिफिकेशन

समस्या विवरण (Problem Statement)

मशीन अनलर्निंग (Machine unlearning) का लक्ष्य एक तैनात मॉडल से विशिष्ट प्रशिक्षण रिकॉर्ड्स (जिसे forget set कहा जाता है) के प्रभाव को हटाना है, बिना स्क्रैच से पुन: प्रशिक्षण (retraining) की कम्प्यूटेशनल लागत उठाए, जबकि शेष डेटा (retain set) पर मॉडल के प्रदर्शन को सुरक्षित रखा जा सके। वर्तमान मूल्यांकन प्रोटोकॉल आउटपुट-लेवल मानदंडों पर निर्भर करते हैं:

मेंबरशिप इन्फरेंस अटैक (MIA) सटीकता: यह 0.50 (चांस लेवल) के करीब होनी चाहिए।
रिटेन-सेट सटीकता: इसे सुरक्षित रखा जाना चाहिए।
फॉरगेट-सेट सटीकता: इसे एक रिट्रेन ऑरेकल (एक मॉडल जो केवल रिटेन सेट पर स्क्रैच से प्रशिक्षित किया गया हो) के समान होना चाहिए।

लेखक इन प्रोटोकॉल में एक महत्वपूर्ण सीमा की पहचान करते हैं: एक मॉडल इन तीनों आउटपुट-लेवल मानदंडों को पूरा कर सकता है, फिर भी उसके इंटरमीडिएट रिप्रजेंटेशन्स (मध्यवर्ती निरूपणों) में विस्मृत किए गए रिकॉर्ड्स के बारे में जानकारी संचित हो सकती है। मौजूदा मेट्रिक्स यह जांच नहीं करते कि मॉडल व्यक्तिगत रिकॉर्ड्स के बारे में जानकारी को आंतरिक रूप से कैसे व्यवस्थित करता है, जिससे संभावित रूप से एक "झूठी गोपनीयता का अहसास" (false sense of privacy) पैदा होता है, जहाँ मॉडल आउटपुट पर सही व्यवहार करता है लेकिन उसके भीतर उस डेटा के संरचनात्मक निशान मौजूद रहते हैं जिसे उसे भूल जाना चाहिए था।

कार्यप्रणाली (Methodology): RULER

यह पेपर RULER (Representation-Level Verification of Machine Unlearning) पेश करता है, जो पेंटुलटमेट-लेयर कोसाइन सिमिलरिटी (penultimate-layer cosine similarity) पर आधारित दो लेंसों वाले सत्यापन मेट्रिक्स का एक ढांचा है। यह फ्रेमवर्क कार्य-विशिष्ट आउटपुट हेड से ठीक पहले के एम्बेडिंग्स $h_\theta(x)$ पर कार्य करता है।

लेंस 1: ऑरेकल-तुलनात्मक मेट्रिक्स (ऑरेकल की आवश्यकता है)

ये मेट्रिक्स अनलर्न्ड मॉडल ( $\theta_u$ ) की तुलना स्क्रैच से रिटेन सेट पर प्रशिक्षित ऑरेकल मॉडल ( $\theta_r$ ) से करते हैं। यह सुनिश्चित करने के लिए कि रिप्रजेंटेशनल अंतर रैंडम इनिशियलाइजेशन के बजाय अनलर्निंग प्रक्रिया को दर्शाते हैं, मूल मॉडल ( $\theta_o$ ) और ऑरेकल ( $\theta_r$ ) एक ही रैंडम सीड साझा करते हैं।

M1 (ऑरेकल-कंपेरिजन सिमिलरिटी): $\theta_u$ और $\theta_r$ के बीच फॉरगेट-सेट रिकॉर्ड्स के बीच औसत कोसाइन सिमिलरिटी। हालांकि उच्च सिमिलरिटी वांछनीय है, लेकिन M1 में महत्व परीक्षण (significance testing) के लिए कोई निश्चित नल वैल्यू नहीं है।
M2 (साइंड कैलिब्रेशन गैप): प्राथमिक लेंस 1 मेट्रिक। यह $\theta_u$ $θ_{u}$ और $\theta_r$ $θ_{r}$ के बीच फॉरगेट-सेट रिकॉर्ड्स की औसत समानता और रिटेन-सेट रिकॉर्ड्स की मीडियन (मध्यिका) समानता के बीच के अंतर की गणना करता है।
- नल हाइपोथेसिस (Null Hypothesis): $M2 = 0$ ।
- व्याख्या: ऋणात्मक मान अवशिष्ट स्मृति (residual memorization) को दर्शाते हैं (फॉरगेट-सेट रिकॉर्ड्स, ऑरेकल के प्रति रिटेन-सेट रिकॉर्ड्स की तुलना में कम समान हैं)। धनात्मक मान ओवर-करेक्शन को दर्शाते हैं। दाईं ओर झुके हुए वितरणों (right-skewed distributions) से होने वाली वृद्धि को रोकने के लिए रिटेन बेसलाइन के लिए मीडियन का उपयोग किया जाता है।
M3 (रिप्रजेंटेशन शिफ्ट): अनलर्निंग से पहले और बाद में ऑरेकल के साथ समानता में परिवर्तन को मापता है। धनात्मक मान दर्शाते हैं कि अनलर्निंग प्रक्रिया ने रिप्रजेंटेशन्स को ऑरेकल के करीब पहुँचाया; ऋणात्मक मान दर्शाते हैं कि वे और दूर चले गए।

लेंस 2: ऑरेकल-मुक्त मेट्रिक (ऑरेकल की आवश्यकता नहीं है)

M4 (परसेंटाइल रैंक): यह मेट्रिक केवल अनलर्न्ड मॉडल $\theta_u$ $θ_{u}$ की आंतरिक ज्यामिति पर कार्य करता है। प्रत्येक फॉरगेट रिकॉर्ड के लिए, यह रिटेन सेट में निकटतम पड़ोसी (nearest neighbor) को खोजता है और उनके बीच कोसासन सिमिलरिटी को मापता है। इस सिमिलरिटी को फिर रिटेन रिकॉर्ड्स के स्वयं के निकटतम-पड़ोसी सिमिलरिटी वितरण (लीव-वन-आउट) के विरुद्ध रैंक किया जाता है।
- नल हाइपोथेसिस: $M4 = 0.50$ ।
- व्याख्या: 0.50 का मान इंगित करता है कि फॉरगेट रिकॉर्ड, रिटेन रिकॉर्ड से ज्यामितीय रूप से अविभाज्य है। 0.50 से अधिक मान अवशिष्ट स्मृति (residual memorization) को दर्शाते हैं (फॉरगेट रिकॉर्ड, रिटेन सेट के बहुत करीब है)। 0.50 से कम मान ओवर-डिस्प्लेसमेंट (over-displacement) को दर्शाते हैं (रिकॉर्ड को रिटेन वितरण से बहुत दूर धकेल दिया गया है)।

प्रयोगात्मक सेटअप (Experimental Setup)

डेटासेट्स: प्राथमिक सेटिंग के रूप में दस टैबुलर क्लासिफिकेशन डेटासेट्स (जैसे, Adult Income, Breast Cancer, German Credit) का उपयोग किया गया। इस फ्रेमवर्क को बड़े पैमाने के टैबुलर डेटा, इमेज क्लासिफिकेशन (CIFAR-10, SVHN, CIFAR-100), क्लिनिकल टेक्स्ट (MTSamples के साथ Bio_ClinicalBERT), और फेस-आइडेंटिटी अनलर्निंग (LFW) पर भी लागू किया गया।
मॉडेल्स: टैबुलर डेटा के लिए एक फिक्स्ड टू-हिडन-लेयर MLP (TabularMLP); इमेज के लिए CNN और ResNet-18; टेक्स्ट के लिए BERT-आधारित मॉडल।
अनलर्निंग विधियाँ: चार अनुमानित (approximate) विधियों का मूल्यांकन किया गया: ग्रेडिएंट एसेंट (Gradient Ascent), NegGrad+, फाइन-ट्यूनिंग (Fine-Tuning), और SCRUB (डिस्टिलेशन-आधारित)। एक पाँचवीं विधि, बैड टीचर (Bad Teacher) को स्ट्रक्चरल बनाम मेथड-स्पेसिफिक डिस्कॉर्डेंस का परीक्षण करने के लिए शामिल किया गया।
प्रोटोकॉल: प्रयोगों में 10 डेटासेट्स, 10 ट्रेनिंग सीड्स और तीन फॉरगेट फ्रैक्शंस ( $1\%, 5\%, 10\%$ ) का उपयोग किया गया। सांख्यिकीय विश्लेषण के लिए डेटासेट को रैंडम इंटरसेप्ट के रूप में उपयोग करते हुए लिनियर मिक्सड-इफेक्ट्स मॉडल्स (LMM) और विल्कोक्सन साइन्ड-रैंक टेस्ट का उपयोग किया गया।

मुख्य परिणाम (Key Results)

1. आउटपुट और रिप्रजेंटेशन स्तरों के बीच डिस्कॉर्डेंस (Discordance)

सभी चार अनुमानित अनलर्निंग विधियों ने मानक आउटपुट-लेवल मूल्यांकनों (MIA सटीकता $\pm 0.05$ के भीतर, संरक्षित रिटेन सटीकता) को पास कर लिया। हालाँकि, M2 ने 12 में से 10 स्थितियों में सांख्यिकीय रूप से महत्वपूर्ण अवशेष (residuals) का पता लगाया ( $p < 0.05$ )।

दिशात्मकता (Directionality): सभी विधियों और फॉरगेट फ्रैक्शंस में M2 लगातार ऋणात्मक था, जो दर्शाता है कि फॉरगेट-सेट रिकॉर्ड्स, रिटेन किए गए रिकॉर्ड्स की तुलना में ऑरेकल से अधिक दूर हैं।
प्रभाव का आकार (Effect Size): प्रभाव का आकार ( $r_{rb}$ ) फॉरगेट फ्रैक्शन बढ़ने के साथ बढ़ता गया, जो $10\%$ फॉरगेट फ्रैक्शन पर बड़े परिमाण ($0.90 - 0.96$) तक पहुँच गया।
मेथड इंडिपेंडेंस: पोस्ट-हॉक परीक्षणों ने M2, M4, या MIA पर चारों विधियों के बीच कोई महत्वपूर्ण अंतर नहीं दिखाया। यह डिस्कॉर्डेंस अनलर्निंग कार्य का एक गुण है, न कि किसी विशिष्ट एल्गोरिदम का।

2. बैड टीचर वैलिडेशन (The Bad Teacher Validation)

बैड टीचर विधि, जो एक मौलिक रूप से भिन्न तंत्र का उपयोग करती है (फॉरगेट रिकॉर्ड्स पर रैंडमली इनिशियलाइज्ड टीचर से मैच करने के लिए एक स्टूडेंट को प्रशिक्षित करना), ने आउटपुट-लेवल चेक को पास कर लिया लेकिन महत्वपूर्ण नकारात्मक M2 मान प्रदर्शित किए। यह पुष्टि करता है कि मध्यवर्ती रिप्रजेंटेशन को मिटाने में विफलता वर्तमान अनुमानित अनलर्निंग दृष्टिकोणों की एक संरचनात्मक सीमा है, न कि विशिष्ट ग्रेडिएंट-आधारित या डिस्टिलेशन तकनीकों का आर्टिफैक्ट।

3. M4 की नैदानिक उपयोगिता (Diagnostic Utility of M4)

टैबुलर/सामान्य डेटा: M4 ने 0.50 से थोड़ा ऊपर का मीन रैंक दिखाया, जो उन डेटासेट्स द्वारा संचालित था जिनमें पता लगाने योग्य मेमोरी थी (जैसे, Breast Cancer, Heart Disease)।
फेस आइडेंटिटी (LFW): एक फेस-आइडेंटिटी सेटिंग में जहाँ मॉडल जेंडर क्लासिफिकेशन के लिए प्रशिक्षित किया गया था लेकिन अनजाने में आइडेंटिटी को एनकोड किया था, अनलर्निंग से पहले M4 मान अत्यंत उच्च ($0.73 - 0.94$) थे, जो मजबूत आइडेंटिटी-लेवल मेमोरी को कन्फर्म करते हैं। अनलर्निंग के बाद, किसी भी विधि ने इस सिग्नल को पूरी तरह से नहीं मिटाया; ग्रेडिएंट एसेंट और फाइन-ट्यूनिंग ने इसे काफी हद तक बरकरार रखा, जबकि SCRUB ने कम फॉरगेट फ्रैक्शन पर ओवर-डिस्प्लेसमेंट का कारण बना।
लार्ज-स्केल/वीक मेमोरी: बड़े पैमाने के टैबुलर और इमेज डेटासेट्स पर जहाँ मूल मॉडल्स ने M4 $\approx 0.50$ (कोई पता लगाने योग्य मेमोरी नहीं) दिखाया, अनलर्निंग विधियों ने कभी-कभी आर्टिफैक्ट्स (ओवर-डिस्प्लेसमेंट या डिस्प्लेसमेंट) पेश किए, जो सुझाव देते हैं कि अनलर्निंग तब गुणवत्ता को खराब कर सकता है जब इसकी सख्त आवश्यकता न हो।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि आउटपुट-लेवल मूल्यांकन मशीन अनलर्निंग को सत्यापित करने के लिए अपर्याप्त है। एक मॉडल सभी मानक गोपनीयता और उपयोगिता मानदंडों को पूरा कर सकता है जबकि उसके आंतरिक रिप्रजेंटेशन्स में विस्मृत डेटा के मापने योग्य निशान मौजूद हो सकते हैं।

सत्यापन उपकरण के रूप के रूप में RULER: लेखक M2 और M4 को मूल्यांकन प्रोटोकॉल में आवश्यक परिवर्धन के रूप में प्रस्तावित करते हैं। M2 ऑरेकल के विरुद्ध अवशिष्ट स्मृति के लिए जनसंख्या-स्तर का परीक्षण प्रदान करता है, जबकि M4 (ऑरेकल-मुक्त) प्री-अनलर्निंग (यह आकलन करने के लिए कि क्या अनलर्निंग आवश्यक है) और पोस्ट-अनलर्निंग (अधूरे विलोपन या ओवर-डिस्प्लेसमेंट का पता लगाने के लिए) के लिए एक डायग्नोस्टिक के रूप में कार्य करता है।
वर्तमान विधियों की सीमाएं: विविध आर्किटेक्चर और विधियों में निरंतर नकारात्मक M2 यह सुझाव देता है कि वर्तमान अनुमानित अनलर्निंग ऑब्जेक्टिव्स आउटपुट व्यवहार को अनुकूलित करने के लिए डिज़ाइन किए गए हैं लेकिन वे इंटरमीडिएट रिप्रजेंटेशन को नियंत्रित करने में विफल रहते हैं।
सीमित दायरा: लेखक स्पष्ट रूप से कहते हैं कि ये मेट्रिक्स तकनीकी सत्यापन उपकरण हैं, न कि GDPR अनुच्छेद 17 के लिए कानूनी अनुपालन परीक्षण। वे रिप्रजेंटेशनल अवशेषों को चिह्नित करते हैं लेकिन यह दावा नहीं करते हैं कि वे नियामक पर्याप्तता को परिभाषित करते हैं। इसके अलावा, मेट्रिक्स कोसाइन सिमिलरिटी पर निर्भर करते हैं, जो रोटेशन-इनवेरिएंट नहीं है, जिसके लिए M2 के लिए पेयर्ड-सीड डिज़ाइन आवश्यक है।

निष्कर्षतः, पेपर यह प्रदर्शित करता है कि मशीन लर्निंग में "भूलना" (forgetting) कई अनुमानित विधियों के लिए वर्तमान में एक आउटपुट-लेवल भ्रम है, और वास्तविक विलोपन के लिए रिप्रजेंटेशन स्तर पर सत्यापन की आवश्यकता होती है।