Revisiting the Past: Data Unlearning with Model State History

यहाँ ICLR 2026 के लिए एक कॉन्फ्रेंस पेपर के रूप में प्रकाशित शोध पत्र "Revisiting the Past: Data Unlearning with Model State History" (MSA) का विस्तृत तकनीकी सारांश दिया गया।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को विशाल वेब कॉर्पोरा पर प्रशिक्षित किया जाता है जिसमें अक्सर निजी डेटा, कॉपीराइट सामग्री, गलत सूचना, या निम्न-गुणवत्ता वाला डेटा शामिल होता है। जब ऐसे समस्याग्रस्त डेटा पॉइंट्स को नियमों (जैसे, "भूल जाने का अधिकार" या Right to Be Forgotten) का पालन करने के लिए या मॉडल की गुणवत्ता सुधारने के लिए हटाने की आवश्यकता होती है, तो मानक दृष्टिकोण—इन बिंदुओं को छोड़कर एक नए डेटासेट पर मॉडल को स्क्रैच से फिर से प्रशिक्षित करना—कंप्यूटेशनल रूप से अत्यधिक महंगा होता है।

मौजूदा मशीन अनलर्निंग (Machine Unlearning) एल्गोरिदम कम लागत पर मॉडल वेट्स (weights) को संशोधित करके इस पुन: प्रशिक्षण का अनुमान लगाने का प्रयास करते हैं। हालाँकि, ये विधियाँ महत्वपूर्ण चुनौतियों का सामना करती हैं:

• अल्प-विस्मरण (Under-forgetting): मॉडल भूलने वाले डेटा के निशान बनाए रखता है।
• घटती उपयोगिता (Degraded Utility): मॉडल उन डेटा पर अपनी क्षमता खो देता है जिसे उसे बनाए रखना चाहिए था।
• अशुद्धता (Inaccuracy): अनलर्न किया गया मॉडल एक "आदर्श मॉडल" (एक ऐसा मॉडल जिसे बिना लक्षित डेटा के स्क्रैच से प्रशिक्षित किया गया हो) के साथ कार्यात्मक रूप से मेल नहीं खाता है।
• वर्तमान दृष्टिकोणों की सीमा: अधिकांश मौजूदा विधियाँ केवल अंतिम मॉडल चेकपॉइंट पर कार्य करती हैं, जो केवल वर्तमान अवस्था का उपयोग करके डेटा के प्रभाव को उलटने का प्रयास करती हैं, जिससे अक्सर डेटा प्रभाव के शोर वाले या पक्षपाती अनुमान प्राप्त होते हैं।

2. कार्यप्रणाली: मॉडल स्टेट अरिथमेटिक (Model State Arithmetic - MSA)

लेखक MSA प्रस्तावित करते हैं, जो एक नवीन अनलर्निंग एल्गोरिदम है जो मध्यवर्ती मॉडल चेकपॉइंट्स (जो डेवलपर्स द्वारा फॉल्ट टॉलरेंस और प्रयोग के लिए नियमित रूप से संग्रहीत किए जाते हैं) का लाभ उठाता है ताकि विशिष्ट डेटा पॉइंट्स के प्रभाव का अधिक सटीक अनुमान लगाया जा सके और उसे उलटा जा सके।

मुख्य अवधारणा (Core Concept)

अंतिम मॉडल के आधार पर "फॉरगेट वेक्टर" (forget vector) की गणना करने के बजाय (जिसमें डेटा पहले से ही समाहित हो चुका है), MSA एक ऐसे चेकपॉइंट ($C$) के आधार पर वेक्टर की गणना करता है जो अनलर्निंग लक्ष्यों ($D_f$) के परिचय से पहले का हो।

एल्गोरिदम चरण (Algorithm Steps)

1. इनपुट: एक लक्षित मॉडल $\theta_D$ (पूर्ण डेटा $D$ पर प्रशिक्षित), एक मध्यवर्ती चेकपॉइंट $\theta_0$ (डेटा $D \setminus D_f$ पर प्रशिक्षित), और फॉरगेट सेट $D_f$।
2. फॉरगेट वेक्टर ($\vec{\theta}_f$) की गणना करें:
   • चेकपॉइंट $\theta_0$ को फॉरगेट सेट $D_f$ पर फाइन-ट्यून करें ताकि एक नया स्टेट $\theta_1$ प्राप्त हो सके।
   • अंतर की गणना करें: $\vec{\theta}_f = \theta_1 - \theta_0$। यह वेक्टर मॉडल के मापदंडों पर $D_f$ के शुद्ध प्रभाव को दर्शाता है, इससे पहले कि मॉडल में अन्य विरोधी ज्ञान समाहित हुआ हो।
3. अनलर्निंग लागू करें:
   • लक्षित मॉडल से फॉरगेट वेक्टर को घटाएं: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f$, जहाँ $\alpha$ एक स्केलिंग फैक्टर है।
4. वैकल्पिक रिटेन वेक्टर ($\vec{\theta}_r$):
   • यदि रिटेन सेट $D_r$ उपलब्ध है, तो $\theta_0$ को $D_r$ पर फाइन-ट्यून करके $\theta_2$ प्राप्त करके एक समान वेक्टर की गणना की जा सकती है, जहाँ $\vec{\theta}_r = \theta_2 - \theta_0$।
   • अंतिम अपडेट बनता है: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f + \beta \vec{\theta}_r$।

मुख्य अंतर्दृष्टि (Key Insight)

लेखक यह परिकल्पना करते हैं कि अंतिम मॉडल से प्राप्त वेक्टर मॉडल के मौजूदा ज्ञान के साथ उलझ (entangled) जाते हैं, जिससे वे विशिष्ट डेटा के प्रभाव के खराब अनुमान बनते हैं। एक "स्वच्छ" चेकपॉइंट का उपयोग करके, जो डेटा देखे जाने से पहले का हो, MSA फॉरगेट सेट के सिमेंटिक प्रभाव को अधिक प्रभावी ढंग से अलग करता है।

3. प्रमुख योगदान (Key Contributions)

• नवीन ढांचा (Novel Framework): MSA का परिचय, जो पोस्ट-हॉक डेटा अनलर्निंग के लिए मानक ट्रेनिंग चेकपॉइंट्स का पुन: उपयोग करता है, जो प्रतिमान को "केवल अंतिम-अवस्था" से बदलकर "स्टेट-हिस्ट्री अवेयर" में बदल देता है।
• नए मूल्यांकन मेट्रिक्स (New Evaluation Metrics): यह पेपर अनलर्निंग के लिए मानक मेट्रिक्स जैसे ROUGE-L की आलोचना करता है (जो तथ्यात्मक त्रुटियों के बावजूद सिंटैक्टिक समानता द्वारा धोखा खा सकते हैं) और GPT-4o-आधारित सिमेंटिक मेट्रिक्स पेश करता है:
  • Accforget: यह मापता है कि क्या मॉडल भूल जाने वाली वस्तुओं के लिए ग्राउंड ट्रुथ उत्पन्न करने से सफलतापूर्वक बचता है।
  • Accrecover: यह मापता है कि क्या मॉडल का आउटपुट "आदर्श मॉडल" (वह मॉडल जिसने डेटा कभी नहीं देखा) के साथ संरेखित होता है।
  • Accretain: यह गैर-फॉरगेट डेटा पर ज्ञान के संरक्षण को मापता है।
• व्यापक बेंचमार्किंग: तीन प्रमुख बेंचमार्क पर मूल्यांकन: TOFU (काल्पनिक लेखक), RESTOR (गलत सूचना द्वारा दूषित ज्ञान को बहाल करना), और MUSE-Books (पुस्तक स्मृति और गोपनीयता)।
• मजबूती विश्लेषण (Robustness Analysis): यह प्रदर्शन करता है कि MSA तब भी प्रभावी रहता है जब उपयोग किया गया चेकपॉइंट अनलर्निंग लक्ष्य से सैकड़ों अरब टोकन पहले का हो, हालांकि निकटतम चेकपॉइंट बेहतर परिणाम देते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने OLMo-2-7B और Llama-3.1/3.2 मॉडल्स पर NPO, RMU, GradDiff, Task Vector, SatImp, UNDIAL जैसे अत्याधुनिक बेसलाइन्स के विरुद्ध MSA का मूल्यांकन किया।

• TOFU बेंचमार्क:
  • MSA वेरिएंट्स (जैसे, 3.6T टोकन पहले का चेकपॉइंट उपयोग करने वाले) ने सभी मेट्रिक्स पर बेसलाइन्स की तुलना में प्रतिस्पर्धी या बेहतर प्रदर्शन किया।
  • बेसलाइन्स के विपरीत, जो अक्सर विस्मरण (forgetting) प्राप्त करने के लिए उपयोगिता (Accretain) का त्याग करते हैं, या रिकवरी (Accrecover) में विफल रहते हैं, MSA ने इन तीनों उद्देश्यों को प्रभावी ढंग से संतुलित किया।
  • उदाहरण के लिए, forget10 कार्य पर, MSA वेरिएंट्स ने ~89% Accforget और ~96% Accrecover प्राप्त किया, जबकि RMU जैसे बेसलाइन्स में उच्च विस्मरण लेकिन बहुत कम रिकवरी (जानकार होने के बजाय उत्तर देने से मना करना) देखी गई।
• RESTOR बेंचमार्क:
  • MSA ने गलत सूचना द्वारा दूषित ज्ञान को बहाल करने में बेसलाइन्स से काफी बेहतर प्रदर्शन किया।
  • Llama-3.1-8B पर, आदर्श मॉडल की सटीकता 64.80% थी। दूषित मॉडल गिरकर 44.31% हो गया। MSA ने सटीकता को 48.45% - 49.19% तक बहाल कर दिया, जबकि NPO और SatImp जैसे बेसलाइन्स केवल ~44-46% तक ही बहाल कर पाए।
• MUSE-Books बेंचमार्क:
  • MSA ने मेंबरशिप इन्फरेंस अटैक्स (MIN-K% और MIN-K%++) में मजबूत प्रदर्शन दिखाया, जो इंगित करता है कि अनलर्न किया गया मॉडल अब भूल जाने वाली पुस्तकों को अपने प्रशिक्षण डेटा के रूप में पहचानता नहीं है।
  • निकटतम चेकपॉइंट (जैसे, MSA3859B) का उपयोग करने वाले MSA वेरिएंट्स ने गोपनीयता रिसाव मेट्रिक्स पर आदर्श मॉडल के प्रदर्शन की बराबरी की या उससे अधिक प्रदर्शन किया।
• चेकपॉइंट की दूरी (Checkpoint Distance):
  • प्रयोगों ने दिखाया कि हालांकि फॉरगेट सेट से ठीक पहले के चेकपॉइंट इष्टतम हैं, फिर भी सैकड़ों अरब टोकन पहले के चेकपॉइंट भी मजबूत परिणाम देते हैं, जो MSA को कम बार चेकपॉइंटिंग वाले मॉडल्स के लिए भी व्यावहारिक बनाता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

• व्यावहारिकता (Practicality): MSA एक कम्प्यूटेशनल रूप से कुशल ($O(|D_f|)$) समाधान प्रदान करता है जो उन आर्टिफ़ेक्ट्स (चेकपॉइंट्स) का उपयोग करता है जो पहले से ही मानक LLM ट्रेनिंग पाइपलाइनों में मौजूद हैं, और इसके लिए मूल प्रशिक्षण प्रक्रिया में किसी बदलाव की आवश्यकता नहीं है।
• नियामक अनुपालन (Regulatory Compliance): यह मॉडल प्रदाताओं को पूर्ण पुन: प्रशिक्षण की लागत के बिना "भूल जाने के अधिकार" के अनुरोधों को पूरा करने के लिए एक व्यवहार्य मार्ग प्रदान करता है।
• सैद्धांतिक बदलाव (Theoretical Shift): यह कार्य इस धारणा को चुनौती देता है कि अनलर्निंग को केवल अंतिम मॉडल अवस्था पर निर्भर होना चाहिए। यह सुझाव देता है कि मॉडल स्टेट हिस्ट्री सटीक डेटा विलोपन के लिए एक महत्वपूर्ण संसाधन है।
• भविष्य की दिशा: यह पेपर मॉडल डेवलपर्स को सलाह देता है कि वे न केवल एट्रिब्यूशन के लिए, बल्कि MSA जैसे उन्नत अनलर्निंग तकनीकों को सक्षम करने के लिए, प्रशिक्षण के दौरान मॉडल कब विशिष्ट जानकारी से मिलता है, इसके इंडेक्स बनाए रखें।

संक्षेप में, MSA मॉडल की ट्रेनिंग की टेम्पोरल डायनेमिक्स का लाभ उठाकर अधिक सटीक, उपयोगिता-संरक्षण करने वाले और कार्यात्मक रूप से निष्ठावान डेटा हटाने के लिए मशीन अनलर्निंग में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।