CURaTE: Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge

यहाँ शोध पत्र "CURaTE: Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को विशाल, अनियंत्रित रूप से स्क्रैप किए गए डेटासेट पर प्रशिक्षित किया जाता है, जिससे किसी भी समस्याग्रस्त डेटा (जैसे कॉपीराइट सामग्री, संवेदनशील PII, या गलत सूचना) को पहले से फ़िल्टर करना असंभव हो जाता है। फलस्वरूप, मशीन अनलर्निंग (machine unlearning)—एक प्रशिक्षित मॉडल से विशिष्ट ज्ञान को हटाने की विधियों—की एक महत्वपूर्ण आवश्यकता है।

मौजूदा दृष्टिकोण तीन प्रमुख सीमाओं का सामना करते हैं:

1. कैटास्ट्रोफिक फॉरगेटिंग (Catastrophic Forgetting): अधिकांश विधियाँ (जैसे Gradient Ascent, Preference Optimization) सीधे LLM के वेट्स (weights) को संशोधित करती हैं। एक कंटीन्यूअस सेटिंग (जहाँ भूलने के अनुरोध क्रमिक रूप से आते हैं) में, ये अपडेट संचित होते जाते हैं, जिससे मॉडल की सामान्य ज्ञान और उपयोगिता बनाए रखने की क्षमता में गंभीर गिरावट आती है।
2. रियल-टाइम क्षमता का अभाव (Lack of Real-Time Capability): वर्तमान अनलर्निंग प्रक्रियाएं कम्प्यूटेशनल रूप से महंगी और धीमी हैं, जिनमें अक्सर पुन: प्रशिक्षण (retraining) या फाइन-ट्यूनिंग की आवश्यकता होती है। यह एक 'लेटेंसी विंडो' बनाता है जहाँ अनलर्निंग प्रक्रिया चलने के दौरान संवेदनशील जानकारी उजागर रहती है।
3. सीमित सामान्यीकरण (Limited Generalization): कई विधियाँ उस डेटासेट के लिए विशिष्ट होती हैं जिस पर उन्हें प्रशिक्षित किया गया है और वे पुन: प्रशिक्षण के बिना नए अनलर्निंग अनुरोधों या पैराफ्रेज्ड (paraphrased) प्रश्नों तक सामान्यीकरण करने में संघर्ष करती हैं।

यह शोध पत्र पैरामीट्रिक अनलर्निंग (वेट्स को संशोधित करना) से बिहेवियरल अनलर्निंग (LLM के आंतरिक मापदंडों को बदले बिना उसके आउटपुट व्यवहार को संशोधित करना) की ओर बदलाव का प्रस्ताव करता है।

2. कार्यप्रणाली: CURaTE

लेखक CURaTE (Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge) का प्रस्ताव करते हैं, जो LLM के वेट्स से अनलर्निंग निर्णय को अलग करता है।

A. मुख्य अवधारणा (Core Concept)

CURaTE एक हल्के सेंटेंस एम्बेडिंग मॉडल ($U$) का उपयोग करता है जिसे LLM के तैनात (deploy) होने से पहले प्रशिक्षित किया जाता है। यह एम्बेडर एक गेटकीपर के रूप में कार्य करता है। यह निर्धारित करता है कि क्या कोई उपयोगकर्ता प्रॉम्प्ट किसी संग्रहीत "भूलने के अनुरोध" (forget request) से अर्थ संबंधी रूप से संबंधित है। यदि कोई मिलान मिलता है, तो सिस्टम एक इनकार (refusal) देता; अन्यथा, LLM सामान्य रूप से उत्तर देता है। महत्वपूर्ण बात यह है कि LLM के वेट्स को कभी भी संशोधित नहीं किया जाता है।

B. प्री-डिप्लॉयमेंट ट्रेनिंग (The Embedder)

सेंटेंस एम्बेडर $U$ को एक सिंथेटिक रूप से जनरेट किए गए डेटासेट का उपयोग करके एक कॉन्ट्रास्टिव लर्निंग (contrastive learning) उद्देश्य के साथ प्रशिक्षित किया जाता है। प्रशिक्षण डेटा तीन प्रकार के जोड़ों (pairs) से बना है जिन्हें तीक्ष्ण निर्णय सीमाएँ (sharp decision boundaries) बनाने के लिए डिज़ाइन किया गया है:

1. टाइप-1 (पॉजिटिव पेयर): एक सीड प्रश्न ($q_s$) और उसका पैराफ्रेज्ड संस्करण ($q_p$)। लेबल = 1।
2. टाइप-2 (हार्ड नेगेटिव पेयर): एक सीड प्रश्न ($q_s$) और उसका कॉन्ट्रास्टिव वेरिएंट ($q_c$) जो उच्च लेक्सिकल/सिंटैक्टिक ओवरलैप साझा करता है लेकिन अर्थ संबंधी रूप से भिन्न होता है। लेबल = 0।
3. टाइप-3 (हार्ड नेगेटिव पेयर): एक पैराफ्रेज्ड प्रश्न ($q_p$) और उसका अपना कॉन्ट्रास्टिव वेरिएंट ($q'_c$)। लेबल = 0।

यह प्रशिक्षण किसी भी 'फॉरगेट सेट' या 'रिटेन सेट' डेटा का उपयोग नहीं करता है, जिससे एम्बेडर अर्थ-संबंधी समानता की डोमेन-स्वतंत्र धारणा सीख सकता है।

C. पोस्ट-डिप्लॉयमेंट इन्फरेंस (Real-Time Loop)

एक बार LLM तैनात होने के बाद, CURaTE प्रत्येक इंटरैक्शन के लिए तीन चरणों में कार्य करता है:

1. एम्बेड और स्टोर (Embed & Store): जब एक नया भूलने का अनुरोध ($f$) आता है, तो उसे तुरंत $U$ द्वारा एम्बेड किया जाता है और भूलने वाले एम्बेडिंग्स के एक डायनेमिक डेटाबेस ($F$) में जोड़ दिया जाता है। यह एक तात्कालिक ऑपरेशन है।
2. रिट्रीव और कंपेयर (Retrieve & Compare): जब एक उपयोगकर्ता प्रॉम्प्ट ($p$) आता है, तो उसे $U$ द्वारा एम्बेड किया जाता है। सिस्टम $p$ और $F$ के सभी एम्बेडिंग्स के बीच कोसाइन सिमिलरिटी (cosine similarity) की गणना करता है, जिससे अधिकतम सिमिलरिटी स्कोर ($s_{max}$) की पहचान होती है।
3. निर्णय (Decision):
   • यदि $s_{max} < \delta$ (थ्रेशोल्ड): प्रॉम्प्ट 'फॉरगेट सेट' से असंबंधित है। LLM एक मानक प्रतिक्रिया उत्पन्न करता है।
   • यदि $s_{max} \ge \delta$: प्रॉम्प्ट 'फॉरगेट सेट' से संबंधित है। सिस्टम एक पूर्व-निर्धारित इनकार प्रतिक्रिया (जैसे, "मैं इसका उत्तर नहीं दे सकता") लौटाता है।

3. मुख्य योगदान (Key Contributions)

1. रियल-टाइम कंटीन्युअल अनलर्निंग: CURaTE पहला ऐसा तरीका है जो LLM को पुन: प्रशिक्षित किए बिना नगण्य ओवरहेड के साथ क्रमिक भूलने के अनुरोधों को वास्तविक समय में संभालने में सक्षम है।
2. पूर्ण ज्ञान संरक्षण (Perfect Knowledge Preservation): LLM वेट्स को अप्रभावित रखकर, CURaTE पूरी तरह से कैटास्ट्रोफिक फॉरगेटिंग से बचता है, जिससे सैकड़ों अनलर्निंग चरणों के बाद भी रिटेन और सामान्य ज्ञान डेटासेट पर इसकी उपयोगिता लगभग पूर्ण बनी रहती है।
3. सामान्यीकरण और मजबूती (Generalization & Robustness): यह विधि एकल प्री-डिप्लॉयमेंट प्रशिक्षण चरण के बाद किसी भी अनलर्निंग कार्य के लिए सामान्यीकृत हो जाती है। यह हार्ड-नेगेटिव ट्रेनिंग रणनीति के कारण भूलने के अनुरोधों के पैराफ्रेज्ड वेरिएंट के प्रति मजबूत है।
4. दक्षता (Efficiency): अनलर्निंग प्रक्रिया एक साधारण वेक्टर एडिशन में बदल जाती है, और इन्फरेंस ओवरहेड न्यूनतम (वेक्टर डेटाबेस की खोज) है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार बेंचमार्क पर CURaTE का मूल्यांकन किया: RETURN (गोपनीयता), TOFU (काल्पनिक लेखक), TruthfulQA (गलत सूचना), और ScienceQA (सामान्य ज्ञान)।

• भूलने की प्रभावशीलता (Forgetting Effectiveness): CURaTE ने भूलने वाले सेटों पर उच्च रिफ्यूज़ल रेट प्राप्त किया (अक्सर TruthfulQA पर >98%) और पैराफ्रेज्ड प्रश्नों के लिए सफलतापूर्वक सामान्यीकरण किया, जिससे इसने O3 और UniErase जैसे SOTA तरीकों को पीछे छोड़ दिया जो पैराफ्रेज्ड इनपुट पर विफल रहे।
• ज्ञान संरक्षण (Knowledge Preservation): जबकि ग्रेडिएंट-आधारित विधियाँ (GA, GradDiff, PO) कैटास्ट्रोफिक फॉरगेटिंग का शिकार हुईं (कुछ चरणों के बाद रिटेन सेट्स पर प्रदर्शन गिरकर लगभग शून्य हो गया), CURaTE ने सभी चरणों में बेस मॉडल के लगभग समान प्रदर्शन स्तर बनाए रखा।
• दक्षता (Efficiency):
  • अनलर्निंग समय: CURaTE प्रति भूलने का अनुरोध 0.04 सेकंड लेता है (ग्रेडिएंट-आधारित विधियों के ~200+ सेकंड के मुकाबले)।
  • इन्फरेंस ओवरहेड: CURATE प्रति क्वेरी केवल 0.01 सेकंड का विलंब (latency) जोड़ता है।
• स्केलेबिलिटी (Scalability): यह विधि भूलने के अनुरोधों की संख्या के साथ रैखिक रूप से स्केल करती है। लेखकों ने दिखाया कि कंप्रेशन तकनीकों (PCA, क्वांटाइजेशन) के साथ, प्रदर्शन में न्यूनतम कमी के साथ स्टोरेज फुटप्रिंट को ~20x तक कम किया जा सकता है।

5. महत्व (Significance)

CURaTE मशीन अनलर्निंग में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है। यह सैद्धांतिक अनलर्निंग और व्यावहारिक, वास्तविक दुनिया के परिनियोजन (deployment) के बीच के अंतर को संबोधित करता है।

• नियामक अनुपालन (Regulatory Compliance): यह पुन: प्रशिक्षण की कम्प्यूटेशनल लागत के बिना "भूल जाने के अधिकार" (GDPR) अनुरोधों के लिए तत्काल अनुपालन सक्षम बनाता है।
• सुरक्षा (Safety): यह उभरती हुई हानिकारक सामग्री या वापस लिए गए वैज्ञानिक निष्कर्षों को वास्तविक समय में दबाने की अनुमति देता है।
• स्केलेबिलिटी (Scalability): यह "कंटीन्यूअस" समस्या को हल करता है, यह सिद्ध करता है कि अनलर्निंग एक निरंतर, संचयी प्रक्रिया हो सकती है बिना मॉडल की मूल क्षमताओं को कम किए।

संक्षेप में, CURATE प्रदर्शित करता है कि एक पूर्व-प्रशिक्षित सिमेंटिक फ़िल्टर के माध्यम से बिहेवियरल अनलर्निंग, वेट संशोधन के लिए एक बेहतर विकल्प है, जो प्रभावी विस्मरण (forgetting) और सामान्य बुद्धिमत्ता के संरक्षण के बीच एक आदर्श संतुलन प्रदान करता है।