🤖 machine learning

Exact Unlearning from Proxies Induces Closeness Guarantees on Approximate Unlearning

यह शोध पत्र एक नवीन मशीन अनलर्निंग फ्रेमवर्क प्रस्तावित करता है जो पैरामीटर अपडेट से ध्यान हटाकर सटीक डेटा वितरण अनुमान (डेटा डिस्ट्रीब्यूशन इन्फरेंस) पर केंद्रित करता है, जो सैद्धांतिक रूप से गारंटी देता है और अनुभवजन्य रूप से प्रदर्शित करता है कि परिणामी मॉडल आदर्श पुन: प्रशिक्षित मॉडल के अत्यंत निकट है।

मूल लेखक: Virgile Dine, Teddy Furon

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Virgile Dine, Teddy Furon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र (एक न्यूरल नेटवर्क) है जिसने विशेषज्ञ बनने के लिए पुस्तकों के एक विशाल पुस्तकालय (ट्रेनिंग डेटा) का अध्ययन किया है। अचानक, एक कानून आता है कि, "तुम्हें इन विशिष्ट 10 पुस्तकों से सीखी गई हर चीज़ को भूलना होगा।"

आमतौर पर, भूलने के लिए, छात्र को पुस्तकालय बंद करना पड़ता है, उन 10 पुस्तकों को फेंकना पड़ता है और पूरे पुस्तकालय का फिर से अध्ययन करना पड़ता है। यह धीमा, महंगा और बर्बादी भरा है।

वर्तमान "अनुमानित" (approximate) तरीके चालाक शॉर्टकट अपनाने की कोशिश करते हैं। वे कहते हैं, "बस उन विशिष्ट पुस्तकों को अन-लर्न (un-learn) कर लो!" लेकिन वे ऐसा करने के लिए छात्र के मस्तिष्क को थोड़ा-थोड़ा करके अंदाज़ा लगाने और ट्यून करने की कोशिश करते हैं। अक्सर, वे भ्रमित हो जाते हैं, बहुत अधिक भूल जाते हैं (या बहुत कम), और किसी को वास्तव में पता नहीं होता कि छात्र वास्तव में भूल गया है या केवल दिखावा कर रहा है।

यह पेपर भूलने के बारे में सोचने का एक बिल्कुल अलग तरीका प्रस्तावित करता है।

मुख्य विचार: "मैप" बनाम "ब्रेन"

लेखकों का तर्क है कि केवल छात्र के मस्तिष्क (न्यूरल नेटवर्क पैरामीटर्स) को ट्यून करने के बजाय, हमें पुस्तकालय के मानचित्र (डेटा डिस्ट्रीब्यूशन) को देखना चाहिए।

वर्तमान तरीकों की समस्या: कल्पना कीजिए कि आप केवल कैनवास को रगड़कर एक जटिल पेंटिंग से दाग मिटाने की कोशिश कर रहे हैं। आप या तो दाग छोड़ देंगे या पूरी तस्वीर खराब कर देंगे। वर्तमान तरीके उसी रगड़ने की तरह हैं—वे अव्यवस्थपूर्ण, बार-बार दोहराने वाले और एक स्पष्ट "स्टॉप" सिग्नल की कमी वाले हैं।
नया दृष्टिकोण: रगड़ने के बजाय, लेखक कहते हैं: "आइए एक सटीक, गणितीय मानचित्र (map) बनाएं कि 10 पुस्तकें जोड़े जाने से पहले पुस्तकालय कैसा दिखता था, और जोड़ने के बाद कैसा दिखता है।"

यह कैसे काम करता है: "प्रॉक्सी" सादृश्य (Analogy)

यह पेपर प्रॉक्सी (Proxies) नामक एक अवधारणा पेश करता है। प्रॉक्सी को डेटा के एक सरलीकृत, गणितीय स्केच के रूप में समझें।

चरण 1: मानचित्र बनाएं। लेखक दो गणितीय स्केच (प्रॉक्सी) बनाते हैं:
- मैप A: पूरे पुस्तकालय का एक स्केच (उन पुस्तकों सहित जिन्हें भुलाया जाना है)।
- मैप B: उन पुस्तकों के बिना पुस्तकालय का एक स्केच जिन्हें भुलाया जाना है।
चरण 2: अंतर खोजें। वे मैप A और मैप B के बीच के सटीक अंतर की गणना करते हैं। यह अंतर ही "अनलर्निंग सिग्नल" (Unlearning Signal) है। यह एक सटीक निर्देश है कि छात्र के ज्ञान को कैसे बदलना होगा ताकि उन 10 पुस्तकों का प्रभाव समाप्त हो जाए।
चरण 3: "डिस्टिलेशन" (स्थानांतरण)। अब, वे मूल छात्र (न्यूरल नेटवर्क) को लेते हैं और डिस्टिलेशन (distillation) नामक तकनीक का उपयोग करते हैं। कल्पना कीजिए कि एक शिक्षक (गणितीय मानचित्र) छात्र को अपने उत्तरों को "मैप B" संस्करण के अनुरूप समायोजित करने के लिए मार्गदर्शन कर रहा है। छात्र को पूरे पुस्तकालय को फिर से सीखने की आवश्यकता नहीं है; उसे बस अपने ज्ञान को उस सटीक अंतर के आधार पर बदलना है जो मानचित्र ने गणना किया है।

"डबल लेबल" ट्रिक

इस पेपर की एक सबसे चतुर ट्रिक जिसे "लेबल को दोगुना करना" (Doubling the Labels) कहा जाता है।

कल्पना कीजिए कि पुस्तकालय में "जानवर" का एक खंड है। उसके अंदर कुत्ते और बिल्लियाँ हैं। यदि आप "कुत्तों" को भूलना चाहते हैं, लेकिन छात्र ने सीखा है कि कुत्ते और बिल्लियाँ बहुत समान दिखते हैं, तो कुत्तों को बिना बिल्लियों को प्रभावित किए हटाना कठिन है।

लेखकों की विधि एक नया, विस्तारित मानचित्र बनाती है जहाँ प्रत्येक पुस्तक को न केवल उसकी श्रेणी (जैसे, "कुत्ता") द्वारा लेबल किया जाता है, बल्कि उसके स्टेटस (status) (जैसे, "कुत्ता-रिटेन" या "कुत्ता-फॉरगेट") द्वारा भी लेबल किया जाता है। "कुत्ता-रिटेन" और "कु "कुत्ता-फॉरगेट" को उनके गणितीय मानचित्र में दो पूरी तरह से अलग श्रेणियों के रूप में मानकर, वे "फॉरगेट" वाले हिस्से को सटीक रूप से हटा सकते हैं जबकि "रिटेन" वाले हिस्से को पूरी तरह से सुरक्षित रख सकते हैं। यह एक विशेष हाइलाइटर होने जैसा है जो "रिटेन" वाली स्याही को बिना फैलाए केवल "फॉरगेट" वाली स्याही को हटा देता है।

यह बेहतर क्यों है (परिणाम)

पेपर का दावा है कि यह विधि तीन कारणों से श्रेष्ठ है:

यह "गोल्ड स्टैंडर्ड" का एक शॉर्टकट है: "गोल्ड स्टैंडर्ड" छात्र को शुरू से फिर से प्रशिक्षित करना है। लेखक गणितीय रूप से सिद्ध करते हैं कि उनकी विधि अन्य शॉर्टकट विधियों की तुलना में इस पूर्ण "री-ट्रेन्ड" छात्र के बहुत करीब पहुँच जाती है।
अब कोई अनुमान नहीं: क्योंकि वे गणितीय मानचित्रों का उपयोग करते हैं, वे छात्र के मस्तिष्क में बदलाव के लिए एक "सेफ ज़ोन" (सुरक्षित क्षेत्र) की गणना कर सकते हैं। उन्हें यह अनुमान लगाने की आवश्यकता नहीं है कि कब रुकना है; गणित उन्हें बताता है कि काम कब पूरा हो गया है।
यह "सबक्लासेस" पर काम करता है: यह सबसे कठिन परिदृश्य है। यदि आप "गोल्डन रिट्रीवर" को भूलना चाहते हैं लेकिन "लैब्राडोर" को रखना चाहते हैं (दोनों कुत्ते हैं), तो अधिकांश विधियाँ विफल हो जाती हैं और या तो सभी कुत्तों को भूल जाती हैं या किसी को भी नहीं। यह विधि, इस "डबल लेबल" ट्रिक का उपयोग करके, लैब्राडोर को सुरक्षित रखते हुए केवल गोल्डन रिट्रीवर को सफलतापूर्वक भुला देती है।

निष्कर्ष

न्यूरल नेटवर्क को अंधाधुंध रगड़ने के बजाय, यह पेपर सुझाव देता है कि उस डेटा का एक सटीक गणितीय ब्लूप्रिंट बनाएं जो वांछित जानकारी के साथ और उसके बिना दिखता है। इन ब्लूप्रिंट्स के बीच सटीक अंतर की गणना करके, वे न्यूरल नेटवर्क को "अनलर्न" करने के लिए निर्देशित कर सकते हैं, जिससे सर्जिकल सटीकता प्राप्त होती है, जो कि लगभग शुरू से करने जितना ही अच्छा परिणाम देता है, लेकिन बहुत कम समय में।

वे इसे "एक्सटैक्ट अनलर्निंग फ्रॉम प्रॉक्सीज़" (Exact Unlearning from Proxies) कहते हैं, और उनके प्रयोग दिखाते हैं कि यह लगातार वर्तमान स्टेट-ऑफ-द-आर्ट विधियों से बेहतर प्रदर्शन करता है, विशेष रूप से उन कठिन स्थितियों में जहाँ भुलाए जाने वाले डेटा और रखे जाने वाले डेटा के बीच गहरा मिश्रण होता है।

तकनीकी सारांश: प्रॉक्सी से सटीक अनलर्निंग (Exact Unlearning) प्रॉक्सी के माध्यम से अनुमानित अनलर्निंग पर निकटता की गारंटी देता है

समस्या विवरण (Problem Statement)

मशीन अनलर्निंग का लक्ष्य एक प्रशिक्षित क्लासिफायर से विशिष्ट प्रशिक्षण डेटा (जिसे "फॉरगेट सेट", $D_f$ कहा जाता है) के प्रभाव को हटाना है, बिना शेष डेटा (जिसे "रिटेन सेट", $D_r$ कहा जाता है) पर मॉडल को स्क्रैच से पुन: प्रशिक्षित (retrain) किए। जबकि सटीक अनलर्निंग (exact unlearning) स्वर्ण मानक (gold standard) है, यह बड़े डीप नेटवर्क के लिए अक्सर गणनात्मक रूप से निषेधात्मक (computationally prohibitive) होती है। वर्तमान अनुमानित विधियाँ, जो मुख्य रूप से प्रथम-क्रम ग्रेडिएंट अपडेट (जैसे, फॉरगेट सेट पर ग्रेडिएंट एसेंट) पर आधारित हैं, कई सीमाओं से ग्रस्त हैं:

व्याख्यात्मकता का अभाव (Lack of Interpretability): वे उन ऑप्टिमाइज़ेशन प्रक्षेप पथों (optimization trajectories) पर निर्भर करती हैं जो डेटा वितरणों के संदर्भ में परिणामी प्रेडिक्टिव शिफ्ट का क्लोज्ड-फॉर्म लक्षण वर्णन (closed-form characterization) प्रदान नहीं करते हैं।
अस्थिरता (Instability): पुनरावृत्त अपडेट (iterative updates) में अक्सर स्पष्ट स्टॉपिंग क्राइटेरिया का अभाव होता है, जिससे ओवर-अनलर्निंग या कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) हो सकता है।
मूल्यांकन अंतराल (Evaluation Gaps): प्रदर्शन को अक्सर मेंबरशिप इन्फरेंस अटैक (MIA) या सटीकता मेट्रिक्स के माध्यम से मापा जाता है, जो आदर्श पुन: प्रशिक्षित मॉडल के सांख्यिकीय अंतर को सटीक रूप से प्रतिबिंबित नहीं कर सकते हैं।
उप-इष्टतमता (Sub-optimality): मौजूदा सैद्धांतिक सीमाएँ अक्सर न्यूरल नेटवर्क के गुणों (जैसे, हेसियन एप्रोक्सिमेशन) पर निर्भर करती हैं, न कि अंतर्निहित डेटा वितरण मॉडलों की गुणवत्ता पर।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक प्रतिमान बदलाव (paradigm shift) का प्रस्ताव करता है: नेटवर्क वेट्स को सीधे ग्रेडिएंट्स के माध्यम से अपडेट करने के बजाय, लेखक डेटा वितरणों के स्पष्ट गणितीय मॉडलों से प्राप्त सटीक अनलर्निंग सिग्नल को लॉजिट स्पेस (logit space) में एक शिफ्ट के रूप में मॉडल करते हैं।

1. लॉजिट शिफ्ट के रूप में अनलर्निंग सिग्नल

मुख्य विचार यह है कि अनलर्निंग टारगेट को केवल एक ऑप्टिमाइज़ेशन पाथ द्वारा नहीं, बल्कि मूल डेटासेट और रिटेन सेट के पोस्टीरियर डिस्ट्रीब्यूशन के बीच के अंतर द्वारा परिभाषित किया जाए।

मान लीजिए $P$ मूल डेटा का वास्तविक वितरण है और $P_r$ रिटेन सेट का वास्तविक वितरण है।
लेखक क्लास-कंडीशनल डिस्ट्रीब्यूशन $P(X|Y)$ और $P_r(X|Y)$ को मॉडल करने के लिए पैरामीट्रिक प्रॉक्सी ( $\bar{P}$ और $\bar{P}_r$ ) पेश करते हैं।
ये प्रॉक्सी पोस्टीरियर डिस्ट्रीब्यूशन और संबंधित लॉजिट वेक्टर्स $M(x)$ और $M_r(x)$ को प्रेरित करते हैं।
अनलर्निंग सिग्नल को शिफ्ट $\Delta M(x) = M_r(x) - M(x)$ के रूप में परिभाषित किया गया है।
अनलर्न्ड मॉडल लॉजिट्स को एक लीनियर कॉम्बिनेशन के रूप में बनाया जाता है: $\tilde{f}_\eta(x) = f_\theta(x) + \eta \Delta M(x)$ , जहाँ $\eta$ एक स्केलिंग फैक्टर है।

2. सैद्धांतिक ढांचा और गारंटी (Theoretical Framework and Guarantees)

शोध पत्र आदर्श पुन: प्रशिक्षित मॉडल ( $P_r$ ) के साथ कुलबैक-लीब्लर (KL) डाइवर्जेंस पर सैद्धांतिक सीमाएं स्थापित करता है।

एडमिसिबिलिटी क्राइटेरिया (Admissibility Criterion): एक जोड़ी प्रॉक्सी "एडमिसिबल" है यदि प्रारंभिक प्रॉक्सी $\bar{P}$ , $P_r$ के लिए $\bar{P}_r$ की तुलना में वास्तविक वितरण $P$ का एक बेहतर सन्निकटन (approximation) है। यह एक सत्यापन योग्य स्थिति है।
सेफ्टी रिजीम ( $\eta_{max}$ ): लेखक एक अधिकतम स्केलिंग फैक्टर $\eta_{max}$ के अस्तित्व को सिद्ध करते हैं कि किसी भी $\eta \in [0, \eta_{max}]$ के लिए, अनलर्निंग प्रक्रिया KL डाइवर्जेंस को आदर्श मॉडल की ओर कम करती है, बशर्ते कि एडमिसिबिलिटी क्राइटेरिया लागू हो।
सीमाएं (Bounds): प्रोपोज़िशन 1 एक टाइट बाउंड प्रदान करता है, जो दिखाता है कि एरर (error) प्रारंभिक डाइवर्जेंस और "मॉडलिंग शिफ्ट" (यह अंतर कि प्रॉक्सी अपने संबंधित लक्ष्यों को कितनी अच्छी तरह मॉडल करते हैं) पर निर्भर करता है। प्रोपोज़िशन 2 एक सहज बाउंड प्रदान करता है जो एरर को क्लास-कंडीशनल मॉडलिंग की गुणवत्ता से जोड़ता है।

3. प्रॉक्सी निर्माण (Proxy Construction)

शोध पत्र डेटा संरचना को अनुमानित करने के लिए कई परिवारों के प्रॉक्सी का अन्वेषण करता है:

नेइव मॉडल्स (Naive Models): मानक LDA (लीनियर डिस्क्रीमिनेंट एनालिसिस) और QDA (क्वाड्रेटिक डिस्क्रीमिनेंट एनालिसिस) जो पूरे डेटासेट को प्रति क्लास एक एकल वितरण मानते हैं।
मिक्सचर मॉडल्स (Mixture Models - LDA-Mix, QDA-Mix): मूल वितरण को प्रत्येक क्लास के भीतर रिटेन और फॉरगेट उप-जनसंख्याओं के मिश्रण के रूप में मॉडल करना।
लेबल डबलिंग (Label Doubling - LDA-2C, DIR-2C): एक नवीन दृष्टिकोण जहाँ लेबल स्पेस को $(y, s)$ $(y, s)$ में दोगुना किया जाता है, जहाँ $s \in \{retain, forget\}$ $s \in {r e t ain, f or g e t}$ । यह मॉडल को क्लास के भीतर ओवरलैप को स्वाभाविक रूप से कैप्चर करने और फॉरगेट सेट से नमूने के होने की संभावना का अनुमान लगाने की अनुमति देता है।
- DIR-2C: डबल लेबल स्पेस पर एम्पिरिकल डायराक (Dirac) डिस्ट्रीब्यूशन का उपयोग करता है। हालांकि इसका सीधा अनुप्रयोग आक्रामक है, लेकिन यह डिस्टिलेशन स्टेप के लिए एक शक्तिशाली "टीचर" के रूप में कार्य करता है।

4. डिस्टिलेशन के माध्यम से कार्यान्वयन (Implementation via Distillation)

निर्मित लॉजिट शिफ्ट $\eta_{max} \Delta M(x)$ को नॉलेज डिस्टिलेशन के माध्यम से न्यूरल नेटवर्क में लागू किया जाता है। मूल नेटवर्क $f_\theta$ एक स्टूडेंट के रूप में कार्य करता है, जिसे लक्षित लॉजिट्स $\tilde{f}_{\eta_{max}}$ के बीच KL डाइवर्जेंस को कम करने के लिए प्रशिक्षित किया जाता है। यह चरण क्लोज्ड-फॉर्म डिस्ट्रीब्यूशनल करेक्शन को नेटवर्क पैरामीटर्स में परिवर्तित करता है।

मुख्य योगदान (Key Contributions)

प्रॉक्सी के माध्यम से सटीक अनलर्निंग सिग्नल: शोध पत्र ग्रेडिएंट ट्रैजेक्टरीज के बजाय डेटा डिस्ट्रीब्यूशन के स्पष्ट गणितीय मॉडलों से प्राप्त क्लोज्ड-फॉर्म, व्याख्या योग्य अनलर्निंग सिग्नल पेश करता है।
सैद्धांतिक गारंटी: यह आदर्श पुन: प्रशिक्षित मॉडल के KL डाइवर्जेंस पर टाइट बाउंड्स और सत्यापन योग्य एडमिसिबिलिटी क्राइटेरिया प्रदान करता है, जो अनलर्निंग प्रदर्शन को सीधे डेटा प्रॉक्सी की गुणवत्ता से जोड़ता है।
फाइन-ग्रेन्ड प्रॉक्सी: यह डेटा संरचना से मेंबरशिप डिपेंडेंसी को सीखने के लिए विशिष्ट मॉडलिंग तकनीकें (मिक्सचर मॉडल्स और लेबल डबलिंग) प्रस्तावित करता है। विशेष रूप से, LDA-2C और DIR-2C प्रभावी तरीके के रूप में उभरते हैं।
मूल्यांकन के लिए स्टाइन बाउंड (Stein Bound): शोध पत्र KL डाइवर्जेंस का उपयोग करके एक "स्टाइन बाउंड" का प्रस्ताव करता है, जो यह बताता है कि एक हमलावर को अनलर्न्ड मॉडल और पुन: प्रशिक्षित मॉडल के बीच अंतर करने के लिए कितने क्वेरी की आवश्यकता होगी, जो एम्पिरिकल मेंबरशिप इन्फरेंस अटैक की तुलना में अधिक स्थिर विकल्प है।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन CIFAR-10 और CIFAR-100 पर तीन फॉरगेटिंग परिदृश्यों में किया गया:

रैंडम (Random): रैंडम सैंपल्स को भूलना।
क्लास (Class): एक पूरी क्लास को भूलना।
सबक्लास (Subclass): एक क्लास के भीतर एक उपसमूह को भूलना (जैसे, "वाहनों" के भीतर "हवाई जहाज"), जिसे सबसे चुनौतीपूर्ण और यथार्थवादी परिदृश्य बताया गया है जहाँ ग्रेडिएंट एसेंट बेसलाइन विफल हो जाते हैं।

निष्कर्ष:

आदर्श के निकटता (Proximity to Ideal): प्रस्तावित विधियों (विशेष रूप से LDA-2C और DIR-2C) ने लगातार आदर्श पुन: प्रशिक्षित मॉडल ( $p_{\theta_r}$ ) के सबसे करीब KL डाइवर्जेंसी ( $KL_t$ और $KL_f$ ) वाला अनलर्न्ड मॉडल बनाया, जिसने SCRUB, SalUn, और GA+FT जैसे अत्याधुनिक बेसलाइन्स को पीछे छोड़ दिया।
स्थिरता (Stability): पुनरावृत्त बेसलाइन्स के विपरीत, जो अस्थिर प्रक्षेप पथ या कैटास्ट्रोफिक फॉरगेटिंग (जैसे, SalUn द्वारा फॉरगेट सटीकता को शून्य के करीब लाना) दिखाते हैं, प्रस्तावित विधि तेजी से और स्थिरता से अभिसरित (converge) हुई।
दक्षता (Efficiency): इन विधियों ने पूर्ण पुन: प्रशिक्षण के समय का लगभग 5% रनटाइम एफिशिएंसी (RTE) प्राप्त किया।
प्रॉक्सी प्रभावशीलता: "लेबल डबलिंग" प्रॉक्सी (LDA-2C, DIR-2C) ने मानक मिश्रण मॉडलों की तुलना में बेहतर प्रदर्शन किया, विशेष रूप से सबक्लास परिदृश्य में, क्योंकि वे रिटेन और फॉरगेट सेट्स के बीच डिस्ट्रीब्यूशनल ओवरलैप को बेहतर ढंग से कैप्चर करते हैं।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि इसका ढांचा मशीन अनलर्निंग को न्यूरल नेटवर्क पैरामीटर अपडेट के बजाय डेटा डिस्ट्रीब्यूशन की संरचना में स्थापित करके एक पैराडाइम शिफ्ट प्रदान करता है।

सुदृढ़ता (Soundness): सैद्धांतिक सीमाएं दर्शाती हैं कि यदि प्रॉक्सी पर्याप्त सटीक हैं (एडमिसिबिलिटी क्राइटेरिया के माध्यम से सत्यापन योग्य), तो अनलर्निंग प्रक्रिया गारंटी के साथ मॉडल को आदर्श पुन: प्रशिक्षित अवस्था के करीब ले जाती है।
व्याख्यात्मकता (Interpretability): $\text{The method provides a closed-form decomposition of the unlearning error, moving away from the "black box" nature of iterative gradient updates.}$ यह विधि अनलर्निंग एरर का क्लोज्ड-फॉर्म अपघटन (decomposition) प्रदान करती है, जो पुनरावृत्त ग्रेडिएंट अपडेट की "ब्लैक बॉक्स" प्रकृति से दूर ले जाती है।
व्यावहारिकता (Practicality): डिस्टिलेशन का उपयोग करके, इसे ब्लैक-बॉक्स नेटवर्क पर लागू किया जा सकता है जो लॉजिट्स आउटपुट करते हैं, जिससे यह वर्सेटाइल बनता है।
सीमाएं (Limitations): लेखक विनम्रतापूर्वक सीमाओं को स्वीकार करते हैं, जिसमें $P_r$ प्रॉक्सी को फिट करने के लिए रिटेन सेट $D_r$ की उपलब्धता का अनुमान, उच्च-आयामी फीचर स्पेस में संभावित इल-कंडीशनिंग (जिसे डाइमेंशनलिटी रिडक्शन द्वारा कम किया गया है), और यह तथ्य शामिल है कि एडमिसिबिलिटी क्राइटेरिया को वास्तविक वितरण के बजाय प्रारंभिक मॉडल पर अनुभवजन्य रूप से जांचा जाता है।

संक्षेप में, शोध पत्र तर्क देता है कि डेटा वितरणों को स्पष्ट रूप से मॉडल करके, एक सटीक अनलर्निंग सिग्नल प्राप्त किया जा सकता है, जिसे जब एक नेटवर्क में डिस्टिल किया जाता है, तो वह एक ऐसा मॉडल देता है जो सांख्यिकीय रूप से स्क्रैच से पुन: प्रशिक्षित मॉडल के समान होता है, जिसमें प्रमाणित गारंटी और बेहतर अनुभवजन्य प्रदर्शन होता है।