← नवीनतम पेपर
🤖 machine learning

Fast Unlearning at Scale via Margin Self-Correction

यह शोध पत्र मार्जिन सेल्फ-करेक्शन (MASC) को प्रस्तुत करता है, जो एक कुशल अनलर्निंग विधि है जो भूलने वाले अनुक्रमों (forget sequences) पर लॉजिट अंतराल (logit gaps) को गतिशील रूप से कम करने के लिए एक ऑनलाइन स्टॉपिंग रूल का उपयोग करती है, जिससे काफी कम कम्प्यूटेशनल लागत के साथ और बिना किसी डाउनस्ट्रीम मूल्यांकन की आवश्यकता के प्रतिस्पर्धी फॉरगेट-रिटेन ट्रेड-ऑफ प्राप्त किया जा सकता है।

मूल लेखक: Federico Di Gennaro, Alexander Shevchenko, Fanny Yang

प्रकाशित 2026-06-03
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Federico Di Gennaro, Alexander Shevchenko, Fanny Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: AI के लिए "भूल जाने का अधिकार" (The Right to be Forgotten)

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र (एक लार्ज लैंग्वेज मॉडल) है जिसने लाखों किताबें पढ़ी हैं। एक दिन, एक व्यक्ति कहता है, "अरे, मैंने अध्याय 5 में वह कहानी लिखी थी, और मैं चाहता हूँ कि तुम उसे तुरंत भूल जाओ।"

वास्तविक दुनिया में, इसे "भूल जाने का अधिकार" कहा जाता है। लेकिन एक AI के लिए, यह एक बुरा सपना है।

  • पुराना तरीका (Retraining): वास्तव में भूलने के लिए, आपको छात्र को स्कूल से बाहर ले जाना होगा, लाइब्रेरी से वह विशिष्ट पुस्तक हटानी होगी, और उन्हें पहले दिन से फिर से सीखना शुरू करना होगा। इसमें वर्षों लग जाते हैं और बहुत सारा पैसा खर्च होता है।
  • वर्तमान "त्वरित समाधान" (Fine-tuning): छात्र को "अन-टीच" (un-teach) करने के लिए, शिक्षक कोशिश करते हैं। वे छात्र को कहते हैं, "अब वह कहानी मत सुनाना।" हालाँकि, वर्तमान तरीके एक आँखों पर पट्टी बांधे हुए शिक्षक की तरह हैं जो निर्देश चिल्ला रहा है। उन्हें नहीं पता कि छात्र ने कब पर्याप्त रूप से भुला दिया है। इसलिए, वे एक निश्चित समय (एक "बजट") के लिए चिल्लाते रहते हैं, इस उम्मीद में कि यह पर्याप्त होगा। इससे बहुत अधिक समय और ऊर्जा बर्बाद होती है, और कभी-कभी छात्र बहुत अधिक भूल जाता है, जिससे अन्य प्रश्नों के उत्तर देने की उसकी क्षमता भी खराब हो जाती है।

समाधान: MASC (Margin Self-Correction)

लेखकों ने एक नया तरीका पेश किया है जिसे MASC कहा जाता है। MASC को एक स्मार्ट, स्वयं-सुधार करने वाले शिक्षक के रूप में समझें जो जानता है कि कब रुकना है।

मुख्य विचार: "Top-K" प्रतियोगिता

कल्पना कीजिए कि छात्र से उस कहानी के बारे में सवाल पूछा जाता है जिसे उसे भूलना है।

  • पुराना तरीका: शिक्षक बस चिल्लाता है, "वह उत्तर मत दो!" इससे छात्र भ्रमित हो सकता है या वह बेतरतीब ढंग से अनुमान लगाने लग सकता है।
  • MASC का तरीका: शिक्षक छात्र के शीर्ष विकल्पों (top choices) को देखता है।
    • प्रश्न: "लेखक कौन है?"
    • छात्र का मस्तिष्क: "मुझे 99% यकीन है कि यह हिना अमीन (भुलाया जाने वाला नाम) है। लेकिन मुझे 1% यह भी लग सकता है कि यह जॉन डो या जेन स्मिथ भी हो सकता है।"
    • मार्जिन (Margin): MASC "गैप" (या अंतर) की जाँच करता है जो शीर्ष विकल्प (हिना) और अगले सबसे अच्छे अनुमानों के बीच है।
    • लक्ष्य: MASC उस गैप को कम करना चाहता है। वह छात्र को इस तरह से प्रभावित करना चाहता है कि हिना अब स्पष्ट विजेता न रहे। वह चाहता है कि छात्र सोचे, "हम्म, शायद यह हिना है, लेकिन शायद जॉन या जेन भी हो सकता है। अब मैं 100% निश्चित नहीं हूँ।"

यह कैसे काम करता है: "स्टॉप साइन" (Stop Sign)

यह सबसे महत्वपूर्ण हिस्सा है। MASC केवल एक निश्चित समय के लिए नहीं चिल्लाता। इसके पास एक ऑनलाइन स्टॉप साइन है।

  1. जाँच: हर कुछ सेकंड में, MASC रुकता है और छात्र से पूछता है: "सभी उन सवालों के औसत में, जिन्हें तुम्हें भूलना है, क्या 'भुलाया जाने वाला उत्तर' अभी भी स्पष्ट विजेता है?"
  2. निर्णय:
    • यदि छात्र अभी भी सोचता है कि भुलाया जाने वाला उत्तर ही एकमात्र सही उत्तर है, तो MASC सिखाना जारी रखता है।
    • यदि छात्र हिचकिचाने लगा है और भुलाया जाने वाला उत्तर कई संभावनाओं में से केवल एक बन गया है, तो MASC कहता है, "रुक जाओ! तुमने पर्याप्त कर लिया है।"

यह बहुत सारा समय बचाता है क्योंकि शिक्षक काम पूरा होते ही रुक जाता है, बजाय इसके कि वह टाइमर खत्म होने का इंतज़ार करे।

परिणाम: तेज़ और स्मार्ट

पेपर ने तीन अलग-अलग "लाइब्रेरी" (डेटासेट) पर इसका परीक्षण किया:

  1. TOFU: काल्पनिक जीवनियाँ।
  2. MUSE News: वास्तविक समाचार लेख।
  3. MUSE Books: वास्तविक पुस्तक अंश (जैसे हैरी पॉटर)।

निष्कर्ष:

  • गति (Speed): MASC अन्य तरीकों की तुलना में नाटकीय रूप से तेज़ था। कुछ मामलों में, समान परिणाम प्राप्त करने के लिए इसे बहुत कम समय लगा (जैसे 88 सेकंड बनाम 900+ सेकंड)।
  • गुणवत्ता (Quality): इसने सफलतापूर्वक AI को विशिष्ट कहानियों को भुलाने में मदद की बिना AI को अन्य विषयों पर "मूर्ख" बनाए।
  • "स्केल" का आश्चर्य: शोधकर्ताओं ने यह भी देखा कि जब AI बड़ा होता है (अधिक पैरामीटर्स), तो क्या होता है। उन्होंने पाया कि:
    • बड़े मॉडल सीखते समय तथ्यों को बेहतर तरीके से याद रखते हैं।
    • हालाँकि, जब आप MASC का उपयोग करके उन्हें भुलाने के लिए करते हैं, तो बड़े मॉडल वास्तव में अपने अन्य ज्ञान को सुरक्षित रखने में बेहतर होते हैं। "भूलने" वाला हिस्सा छोटे और बड़े दोनों मॉडलों के लिए लगभग एक जैसा काम करता है, लेकिन बड़े मॉडल बाकी सब चीजों पर अधिक स्मार्ट बने रहते हैं।

सारांश उपमा (Summary Analogy)

कल्पना कीजिए कि आप एक सफेद शर्ट से एक विशिष्ट दाग हटाने की कोशिश कर रहे हैं।

  • पुराने तरीके: आप शर्ट को ठीक 10 मिनट तक रगड़ते हैं, इस उम्मीद में कि दाग मिट जाएगा। कभी-कभी आप बहुत कम रगड़ते हैं (दाग रह जाता है), और कभी-कभी आप बहुत ज़ोर से रगड़ते हैं (शर्ट में छेद हो जाता है)।
  • MASC: आप शर्ट को रगड़ते हैं, लेकिन आपके पास एक विशेष लाइट है जो आपको दिखाती है कि दाग कब दिखाई देना बंद हो गया है। जैसे ही दाग गायब होता है, आप रगड़ना बंद कर देते हैं। आप समय बचाते हैं, और बाकी शर्ट को नुकसान नहीं पहुँचाते।

संक्षेप में: MASC एक स्मार्ट, तेज़ तरीका है जिससे AI को विशिष्ट चीजों को भूलने के लिए सिखाया जा सकता है, बिना समय बर्बाद किए या उसकी सामान्य बुद्धिमत्ता को खराब किए।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →