📊 statistics

Statistical Unlearning of Distributions: A Hypothesis Testing Approach

यह शोध पत्र वितरण संबंधी अनलर्निंग (distributional unlearning) के लिए एक सांख्यिकीय ढांचे का प्रस्ताव करता है जो वांछित प्रदर्शन को बनाए रखते हुए अवांछित डोमेन को हटाने के लिए इष्टतम डेटा उपसमुच्चयों (subsets) का चयन करने हेतु परिकल्पना परीक्षण (hypothesis testing) का उपयोग करता है, तथा विभिन्न पैरामीट्रिक और नॉन-पैरामीट्रिक वितरण परिवारों में मौलिक ट्रेड-ऑफ और पारेटो फ्रंटियर्स (Pareto frontiers) को अभिलक्षणित करता है।

मूल लेखक: Aaradhya Pandey, Sanjeev Kulkarni

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aaradhya Pandey, Sanjeev Kulkarni

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास किताबों का एक विशाल पुस्तकालय है जिसका उपयोग एक रोबोट को बोलना सिखाने के लिए किया जाता है। अधिकांश किताबें मददगार हैं, लेकिन कुछ में जहरीली भाषा, कॉपीराइट वाली कहानियाँ (जैसे हैरी पॉटर), या पक्षपाती जानकारी है जिसे आप चाहते हैं कि रोबोट "भूल" जाए।

समस्या यह है: आप रोबोट को बोलने की अपनी क्षमता को नुकसान पहुँचाए बिना, या पूरी लाइब्रेरी को फेंके बिना, इन विशिष्ट "खराब" किताबों को कैसे भुला सकते हैं?

यह शोध पत्र इस समस्या को संभालने का एक नया, स्मार्ट तरीका प्रस्तावित करता है। केवल व्यक्तिगत पन्नों को हटाने या यादृच्छिक रूप से (randomly) किताबें फेंकने के बजाय, लेखक "खराब" जानकारी को एक विशिष्ट स्वाद या पैटर्न के रूप में देखते हैं। वे चाहते हैं कि उस "स्वाद" को बस इतना हटा दिया जाए कि वह गायब हो जाए, जबकि "अच्छा" स्वाद बरकरार रहे।

यहाँ उनके दृष्टिकोण का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "सब-या-कुछ-नहीं" का संकट (The "All-or-Nothing" Dilemma)

वर्तमान में, यदि आप चाहते हैं कि एक मशीन लर्निंग मॉडल कुछ भूल जाए, तो आपके पास दो बुरे विकल्प हैं:

हथौड़ा (The Sledgehammer): खराब डेटा के हर एक उदाहरण को हटा दें। यह पूरी लाइब्रेरी को जलाने जैसा है ताकि एक खराब किताब को हटाया जा सके। यह गणनात्मक रूप से महंगा और धीमा है।
रैंडम शफल (The Random Shuffle): कुछ पन्ने यादृच्छिक रूप से हटा दें। यह लाइब्रेरी से कुछ रैंडम पन्ने फेंकने जैसा है। यह तेज़ है, लेकिन खराब "स्वाद" अभी भी बना रह सकता है क्योंकि शेष पन्ने रोबोट को वही खराब पैटर्न सिखा सकते हैं।

2. समाधान: "सांख्यिकीय विस्मृति" (The Taste Test)

लेखक एक मध्य मार्ग का सुझाव देते हैं। वे "खराब" डेटा और "अच्छे" डेटा को दो अलग-अलग स्वादों (जैसे तीखा बनाम मीठा) के रूप में मॉडल करते हैं।

लक्ष्य: आप लाइब्रेरी को इस तरह संपादित करना चाहते हैं कि यदि आप इसे एक "टेस्टर" (सांख्यिकीय परीक्षण) को दें, तो टेस्टर आसानी से कह सके, "यह अब तीखा नहीं है!" (खराब स्वाद को हटाना)। साथ ही, टेस्टर को कहना चाहिए, "यह अभी भी मीठा है!" (अच्छे स्वाद को बनाए रखना)।
रणनीति: सब कुछ हटाने के बजाय, आप सबसे प्रभावशाली नमूनों की पहचान करते हैं—वे विशिष्ट "तीखे" तत्व जो व्यंजन को खराब स्वाद देते हैं—और केवल उन्हें ही हटाते हैं।

3. मानचित्र: "व्यवहार्य क्षेत्र" (The "Feasible Region")

यह शोध पत्र एक मानचित्र (जिसे पारेटो फ्रंटियर कहा जाता है) बनाता है जो संभावनाओं की सीमाओं को दर्शाता है।

कल्पना कीजिए कि एक ग्राफ है जहाँ X-अक्ष है "कितना खराब स्वाद हटाया गया" और Y-अक्ष है "कितना अच्छा स्वाद रखा गया।"
मानचित्र एक घुमावदार रेखा दिखाता है। आप ऊपर-बाएँ कोने (100% हटाना, 100% संरक्षण) पर नहीं हो सकते क्योंकि यह असंभव है।
हालाँकि, मानचित्र आपको सर्वश्रेष्ठ संभव समझौता (trade-off) दिखाता है। यह आपको बताता है कि एक निश्चित स्तर की "विस्मृति" प्राप्त करने के लिए आपको कितने खराब डेटा को हटाना ही होगा, जबकि मॉडल को उपयोगी बनाए रखना है। यह सिद्ध करता है कि आपको सारा खराब डेटा हटाने की आवश्यकता नहीं है ताकि वह सांख्यिकीय रूप से अदृश्य हो जाए; आपको बस सही मात्रा को हटाना होगा।

4. विधियाँ: रैंडम बनाम चयनात्मक (Random vs. Selective)

यह शोध पत्र दो तरीकों की तुलना करता है जिनसे आप तय करते हैं कि कौन सी किताबें फेंकनी हैं:

रैंडम रिमूवल (Blindfolded Chef - आँखों पर पट्टी बँधा शेफ): आप आँखें बंद करते हैं और यादृच्छिक रूप से कुछ "खराब" किताबें फेंक देते हैं।
- परिणाम: यह ठीक-ठाक काम करता है, लेकिन आप गलती से एक अच्छी किताब भी फेंक सकते हैं या एक खराब किताब पीछे छोड़ सकते हैं। यह अक्षम है।
चयनात्मक रिमूवल (Expert Chef - विशेषज्ञ शेफ): आप किताबों को देखते हैं और मापते हैं कि वे "अच्छी" किताबों से कितनी "दूर" हैं। आप उन "खराब" किताबों को फेंक देते हैं जो "अच्छी" किताबों से सबसे दूर हैं।
- परिणाम: यह बहुत अधिक कुशल है। शोध पत्र सिद्ध करता है कि यदि "खराब" और "अच्छे" स्वाद पर्याप्त रूप से अलग हैं, तो यह स्मार्ट चयन रैंडम तरीके से फेंकने की तुलना में आपको आदर्श मानचित्र (पारेटो फ्रंटियर) के बहुत करीब ले जाता है।

5. "सूचना-गणना अंतराल" (The "Information-Computation Gap")

लेखकों ने एक अंतर पाया जो सैद्धांतिक रूप से जो संभव है और गणना करने में जो आसान है के बीच है।

सैद्धांतिक रूप से: किताबों का एक आदर्श सेट है जिसे हटाने से सबसे अच्छा परिणाम मिलता है।
व्यावहारिक रूप से: उस आदर्श सेट को खोजना कठिन है। "चयनात्मक रिमूवल" विधि इसके करीब पहुँचती है, लेकिन आदर्श सैद्धांतिक परिणाम और जो कंप्यूटर वास्तव में तेज़ी से प्राप्त कर सकता है, उसके बीच अभी भी एक छोटा सा अंतर है। यह शोध पत्र मात्रा निर्धारित करता है कि विभिन्न प्रकार के डेटा (जैसे बेल कर्व या काउंटिंग डेटा का पालन करने वाले नंबर) के लिए यह अंतराल कितना बड़ा है।

सारांश

संक्षेप में, यह शोध पत्र "भूलने" के लिए एक गणितीय नियम पुस्तिका प्रदान करता है। यह सिद्ध करता है कि किसी मॉडल को किसी डेटा डोमेन को भुलाने के लिए आपको उस पूरे डोमेन को हटाने की आवश्यकता नहीं है। एक परिकल्पना परीक्षण (एक सांख्यिकीय टेस्ट) का उपयोग करके, आप डेटा के एक छोटे, सावधानीपूर्वक चुने गए हिस्से की पहचान कर सकते हैं और उसे हटा सकते हैं जो वांछित पैटर्न को प्रभावी ढंग से मिटा देता है जबकि मॉडल की अपना काम करने की क्षमता को सुरक्षित रखता है। यह "मशीन अनलर्निंग" की अव्यवस्थित समस्या को एक सटीक ज्यामितीय पहेली में बदल देता है जिसका एक स्पष्ट समाधान है।

तकनीकी सारांश: वितरणों का सांख्यिकीय विस्मरण (Statistical Unlearning of Distributions)

समस्या विवरण

मशीन लर्निंग सिस्टम्स पर तेजी से ऐसी आवश्यकताएं बढ़ रही हैं जहाँ उन्हें न केवल व्यक्तिगत डेटा बिंदुओं को, बल्कि सूचना के पूरे डोमेन (domains) को "भूलने" की आवश्यकता होती है, जैसे कि विषाक्त भाषा (toxic language), कॉपीराइट सामग्री, या जनसांख्यिकीय पूर्वाग्रह (demographic biases)। यह एक मौलिक सांख्यिकीय-कंप्यूटेशनल ट्रेड-ऑफ (tradeoff) पैदा करता है: किसी अवांछित डोमेन से प्रत्येक नमूने (sample) को हटाना अक्सर गणनात्मक रूप से निषेधजनक होता है, जबकि उपसमुच्चय (subset) को यादृच्छिक रूप से हटाना वितरण-स्तर के सांख्यिकीय गारन्टी प्रदान करने में विफल हो सकता है। मौजूदा नमूना-स्तर के विस्मरण (जैसे, इन्फ्लुएंस फंक्शन्स, डेटा शार्डिंग) यह मान लेते हैं कि 'फॉरगेट सेट' पहले से ही निर्दिष्ट है और वे उस सबसे प्रभावशाली नमूनों को चुनने की सांख्यिकीय समस्या को संबोधित नहीं करते जिन्हें हटाया जाना चाहिए। इसके विपरीत, कॉन्सेप्ट इरेज़र (concept erasure) जैसे डोमेन-स्तरीय दृष्टिकोण आंतरिक प्रतिनिधित्व (internal representations) को संशोधित करते हैं, लेकिन उनके पास न्यूनतम निष्कासन सेट (minimal removal set) चुनने के लिए कोई सिद्धांतगत नियम नहीं होते हैं।

मुख्य समस्या जिसे संबोधित किया गया है वह है वितरणात्मक विस्मरण (Distributional Unlearning): उस डेटा के सबसे छोटे उपसमुच्चय की पहचान करना जिसे हटाने से संपादित डेटा वितरण (edited data distribution) अवांछित डोमेन ( $p_1$ ) से सांख्यिकीय रूप से अलग हो जाता है, जबकि वांछित, रिटेंड डोमेन ( $q_1$ ) से अभिन्न (indistinguishable) बना रहता है।

कार्यप्रणाली (Methodology)

लेखक परिकल्पना परीक्षण (hypothesis testing) पर आधारित एक सांख्यिकीय ढांचे का प्रस्ताव करते हैं, न कि केवल विचलन-आधारक मेट्रिक्स (जैसे KL-divergence) पर।

1. $(f_d, f_c)$ विस्मरण ढांचा

यह ढांचा विस्मरण को ट्रेड-ऑफ फंक्शन्स (TOFs) का उपयोग करके परिभाषित करता है, जिन्हें $T(P, Q)$ द्वारा दर्शाया जाता है, जो टाइप I एरर $\alpha$ को न्यूनतम प्राप्त करने योग्य टाइप II एरर $\beta$ में मैप करते हैं।

परिभाषा: एक वितरण $p$ $p$ , अवांछित $p_1$ $p_{1}$ और रिटेंड $q_1$ $q_{1}$ के संबंध में $(f_d, f_c)$ $(f_{d}, f_{c})$ विस्मरण को संतुष्ट करता है यदि:
- निष्कासन (Removal): $T(p, p_1) \leq f_d$ (संपादित डेटा अवांछित डोमेन से आसानी से अलग किया जा सकने योग्य है)।
- संरक्षण (Preservation): $T(p, q_1) \geq f_c$ (संपादित डेटा रिटेंड डोमेन से अलग करना कठिन है)।
लचीलापन (Flexibility): निश्चित $(\alpha, \epsilon)$ बाधाओं के विपरीत, यह दृष्टिकोण पूर्व ज्ञान (जैसे, गाऊसी डेटा के लिए गाऊसी बेसलाइन का उपयोग करना) के आधार पर एडैप्टिवली $(f_d, f_c)$ को चुनने की अनुमति देता है।
डाउनस्ट्रीम गारन्टी: यह ढांचा सिद्ध करता है कि इन TOF शर्तों को संतुष्ट करना टोटल वेरिएशन (TV) लॉस और सामान्य विचलन-आधारित लॉस के तहत मजबूत डाउनस्ट्रीम प्रदर्शन गारंटी प्रदान करता है।

2. व्यवहार्य क्षेत्र (Feasible Regions) और पारेतो फ्रंटियर्स (Pareto Frontiers)

यह शोध पत्र अनुमत संपादित डेटा वितरणों के मौलिक व्यवहार्य क्षेत्र (fundamental feasible region) को स्पष्ट करता है। यह क्षेत्र उन सभी वितरणों $p$ का प्रतिनिधित्व करता है जो विस्मरण मानदंडों को पूरा करते हैं।

ज्यामितीय व्याख्या: लोकैशन फैमिलीज़ (जैसे, शिफ्टेड गासियन्स) के लिए, व्यवहार्य क्षेत्र एक एनुलर कैप (annular cap) या डिस्क के रूप में ज्यामितिक रूप से वर्णित है, जो अवांछित केंद्र ( $\mu_1$ ) और रिटेंड केंद्र ( $\nu_1$ ) से दूरी द्वारा सीमित है।
पारेतो फ्रंटियर: लेखक निष्कासन ( $\alpha$ ) और संरक्षण ( $\epsilon$ ) के बीच ट्रेड-ऑफ के लिए क्लोज्ड-फॉर्म पारेतो फ्रंटियर को व्युत्पन्न करते हैं। यह फ्रंटियर दिए गए संरक्षण स्तर के लिए अनुकूलतम प्राप्त करने योग्य विस्मरण स्तरों को परिभाषित करता है।

3. संरचना नियम (Composition Rules)

यह ढांचा मल्टीमॉडल इनपुट (जैसे, संयुक्त टेक्स्ट और इमेज) के लिए विस्तारित होता है। लेखक संरचना नियमों (composition laws) को सिद्ध करते हैं जो दिखाते हैं कि यदि वितरण $p$ और $p'$ अपने संबंधित डोमेन के लिए विस्मरण मानदंडों को संतुष्ट करते हैं, तो उनका उत्पाद वितरण $p \otimes p'$ संयुक्त डोमेन के लिए विस्मरण मानदंडों को संतुष्ट करता है। इसके अतिरिक्त, जैसे-जैसे मोड की संख्या बढ़ती है, बेसलाइन TOFs एक सेंट्रल-लिमिट व्यवहार (विशेष रूप से, गाउसियन या पॉइसन जैसे इन्फिनिटली डिविजिबल वितरण) की ओर अभिसरित होते हैं।

मुख्य परिणाम (Key Results)

1. पैरामीट्रिक और नॉन-पैरामीट्रिक परिवार

लेखक कई वितरण परिवारों के लिए स्पष्ट व्यवहार्य क्षेत्र और पारेतो फ्रंटियर प्रदान करते हैं:

शिफ्टेड गासियन्स (परिमित आयाम): $p_1 = N(\mu_1, \Sigma)$ और $q_1 = N(\nu_1, \Sigma)$ के लिए, व्यवहार्य क्षेत्र महालनोबिस दूरी (Mahalanobis distance) द्वारा निर्धारित होता है। पारेतो फ्रंटियर $\alpha = \Delta + \epsilon$ द्वारा दिया गया है, जहाँ $\Delta = \|\Sigma^{-1/2}(\mu_1 - \nu_1)\|_2$ ।
गाऊशियन व्हाइट नॉइज़ (अनंत आयाम): परिणाम हिल्बर्ट स्पेस में नॉन-पैरामीट्रिक मॉडलों तक विस्तारित होते हैं, जो परिमित-आयामी गासियन्स के समान ही ज्यामितीय संरचना दिखाते हैं।
लॉग-कॉन्केव लोकैशन फैमिलीज़: ढांचा सिमेट्रिक लॉग-कॉन्केव नॉइज़ (जैसे, लाप्लास) वाले एक-आयामी लोकैशन फैमिलीज़ पर लागू होता है।
पॉइसन परिवार: नॉन-लोकैशन फैमिलीज़ जैसे पॉइसन वितरणों के लिए, व्यवहार्य क्षेत्र एक विशिष्ट अंतराल के रूप में वर्णित है, जिसमें मापदंडों के अनुपात वाला अधिक जटिल पारेतो फ्रंटियर शामिल है।

2. एल्गोरिदम और सूचना-गणना अंतराल (Information-Computation Gaps)

पेपर परिमित-नमूना शासन (finite-sample regime) में दो डेटा चयन रणनीतियों का विश्लेषण करता है:

यादृच्छिक निष्कासन (Random Removal): नमूनों को यूनिफॉर्मली रैंडम तरीके से हटाया जाता है। लेखक परिमित-नमूना बाउंड्स निकालते हैं जो दिखाते हैं कि यह रणनीति सूचना-सैद्धांतिक सीमा की तुलना में एक छोटा व्यवहार्य क्षेत्र (खराब पारेतो फ्रंटियर) प्रदान करती है।
चयनात्मक निष्कासन (Selective Removal): नमूनों को रिटेंड डेटा के एम्पिरिकल मीन से उनकी दूरी के आधार पर हटाया जाता है (उन लोगों को हटाना जो वांछित वितरण से सबसे दूर हैं)।
सूचना-गणना अंतराल: लेखक सूचना-सैद्धांतिक व्यवहार्य क्षेत्र (जो सैद्धांतिक रूप से संभव है) और इन एल्गोरिदम द्वारा प्राप्त किए जाने योग्य क्षेत्रों के बीच के अंतर को प्रदर्शित करते हैं।
- एक-आयामी गाऊशियन मामले में, चयनात्मक निष्कासन रैंडम रिमूवल की तुलना में अधिक अनुकूल सूचना-गणना अंतराल प्राप्त करता है, लेकिन केवल विशिष्ट स्थितियों के तहत: वितरणों के बीच एक न्यूनतम अलगाव $\Delta$ और एक डिलीशन बजट जहाँ कम से कम आधे अवांछित नमूनों को हटाया गया हो ( $n_r \gtrsim n_1/2$ )।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह डोमेन-स्तरीय विस्मरण के लिए एक सिद्धांतिक, मॉडल-अज्ञेयवादी (model-agnostic) सांख्यिकीय ढांचा प्रदान करता है। इसके प्राथमिक योगदान हैं:

औपचारिकीकरण (Formalization): यह नमूना-स्तर के विस्मरण से आगे बढ़कर हाइपोथेसिस टेस्टिंग का उपयोग करके एक डोमेन के प्रभाव को मिटाने की सांख्यिकीय समस्या को औपचारिक रूप देता है, जो पिछले विचलन-आधारक परिभाषाओं की तुलना में अधिक व्याख्या योग्य और मजबूत मानदंड प्रदान करता है।
मौलिक सीमाएं (Fundamental Limits): यह विभिन्न प्रकार के वितरणों के लिए मौलिक सीमाओं (व्यवहार्य क्षेत्र और पारेतो फ्रंटियर) को स्पष्ट करता है, जिससे यह स्थापित होता है कि क्या हासिल किया जा सकता है उसकी सैद्धांतिक ऊपरी सीमा क्या है।
एल्गोरिदम विश्लेषण: यह "सूचना-गणना अंतराल" को मात्रात्मक रूप से मापता है, यह दिखाते हुए कि जबकि रैंडम रिमूवल कंप्यूटेशनल रूप से सस्ता है, यह सांख्यिकीय रूप से अक्षम है, और चयनात्मक निष्कासन विशिष्ट अलगाव और बजट स्थितियों के तहत सैद्धांतिक सीमाओं के करीब पहुंच सकता है।
डाउनस्ट्रीम मजबूती (Downstream Robustness): यह विस्मरण की सांख्यिकीय परिभाषा को सीधे मजबूत भविष्य कहनेवाला प्रदर्शन (predictive performance) गारन्टी से जोड़ता है, यह सुनिश्चित करता है कि विस्मरण प्रक्रिया वांछित डोमेन पर प्रदर्शन को खराब नहीं करती है।

लेखक सीमाओं को स्वीकार करते हुए नोट करते हैं कि उनका ढांचा यह मानता है कि अवांछित नमूनों की पहचान पहले ही हल की जा चुकी है (एक अपस्ट्रीम कार्य) और दूरी-आधारित एल्गोरिदम की सफलता प्रतिनिधित्व स्थान (representation space) की गुणवत्ता पर निर्भर करती है। वे नए मॉडल-अपडेट एल्गोरिदम का प्रस्ताव नहीं करते हैं, बल्कि वे सांख्यिकीय मानदंड और चयन नियम प्रदान करते हैं जिनका लक्ष्य ऐसे एल्गोरिदम को रखना चाहिए।