From Anchors to Supervision: Memory-Graph Guided Corpus-Free Unlearning for Large Language Models

यहाँ शोध पत्र "From Anchors to Supervision: Memory-Graph Guided Corpus-Free Unlearning for Large Language Models" (MAGE) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर संवेदनशील या कॉपीराइट वाली जानकारी को याद (memorize) कर लेते हैं, जिससे कानूनी और गोपनीयता संबंधी जोखिम (जैसे GDPR का "भूल जाने का अधिकार") उत्पन्न होते हैं। वर्तमान मशीन अनलर्निंग (unlearning) प्रतिमान आमतौर पर उपयोगकर्ताओं से एक फॉरगेट सेट ($S_f$) की मांग करते हैं—एक ऐसा डेटासेट जिसमें स्पष्ट रूप से उस जानकारी को शामिल किया गया हो जिसे मिटाया जाना है।

लेखक उपयोगकर्ता द्वारा दिए गए फॉरगेट सेट प्रतिमान में तीन महत्वपूर्ण खामियों की पहचान करते हैं:

1. गोपनीयता रिसाव (Privacy Leakage): अनलर्निंग के लिए संवेदनशील सामग्री अपलोड करने से माध्यमिक डेटा रिसाव का जोखिम होता है यदि कॉर्पस को बीच में ही रोक लिया जाए या उसका गलत प्रबंधन किया जाए।
2. ऑडिटेबिलिटी और दुरुपयोग (Auditability & Abuse): सेवा प्रदाता बाहरी रूप से दिए गए सेट्स का आसानी से ऑडिट नहीं कर सकते। हमलावर "गलत स्कोप" वाले सेट्स (जिनमें अन्य उपयोगकर्ताओं का डेटा हो) या "जहरीले" (poisoned) सेट्स (जो बैकडोर डाल सकें) जमा कर सकते हैं ताकि मॉडल की उपयोगिता को कम किया जा सके या अनलर्निंग को प्रतिवर्ती (reversible) बनाया जा सके।
3. निर्भरता (Dependency): मौजूदा विधियाँ मानती हैं कि उपयोगकर्ता को ठीक से पता है कि उसे क्या डेटा प्रदान करना है, जो अक्सर एंटिटी-स्तर (entity-level) की अनलर्निंग के लिए अव्यावहारिक होता है जहाँ विशिष्ट रूप से याद की गई तथ्यों का ज्ञान उपयोगकर्ता को नहीं होता।

लक्ष्य: एक कॉर्पस-मुक्त, न्यूनतम-उपयोगकर्ता (corpus-free, user-minimized) अनलर्निंग प्रतिमान प्रस्तावित करना जहाँ उपयोगकर्ता केवल एक न्यूनतम एंकर (जैसे, "Taylor Swift" जैसा एक नाम) प्रदान करता है, और LLM सेवा प्रदाता मूल ट्रेनिंग कॉर्पस तक पहुँच प्राप्त किए बिना आवश्यक सुपरविजन को स्वायत्त रूप से पुनर्गठित करता है।

2. कार्यप्रणाली: MAGE फ्रेमवर्क

लेखक MAGE (Memory-grAph Guided Erasure) प्रस्तावित करते हैं, जो एक दो-चरणीय फ्रेमवर्क है और बाहरी डेटा के बिना कार्य करता है।

चरण 1: आंतरिक मेमोरी माइनिंग (Internal Memory Mining)

एक एकल प्रॉम्प्ट पर निर्भर रहने के बजाय, MAGE एक वेटेड लोकल मेमोरी ग्राफ ($G_t$) बनाकर लक्षित एंटिटी ($E_t$) के बारे में मॉडल के आंतरिक ज्ञान को पुनर्गठित करता है।

• पुनरावृत्ति विस्तार (Iterative Expansion): न्यूनतम एंकर से शुरू करते हुए, मॉडल संबंधित तथ्यों को निकालने के लिए $N$ बार क्वेरी किया जाता है।
• स्व-सुसंगत स्मृति (Self-Consistent Memorization): स्वतंत्र जनरेशन के माध्यम से उम्मीदवारों को मेंशन फ्रीक्वेंसी (mention frequency) के आधार पर स्कोर किया जाता है। उच्च-आवृत्ति वाले उल्लेख स्थिर, मजबूती से याद की गई ट्रेस (traces) का संकेत देते हैं, जबकि निम्न-आवृत्ति वाले उल्लेखों को शोर (noise) माना जाता है।
• ग्राफ निर्माण (Graph Construction): सिस्टम $K$ हॉप्स (hops) तक विस्तार करता है। नोड्स (nodes) संस्थाओं/घटनाओं का प्रतिनिधित्व करते हैं, और किनारे (edges) सह-उद्भासन (co-elicitation) की शक्ति का प्रतिनिधित्व करते हैं। भार $w(u, v)$ यह दर्शाता है कि जब $u$ एंकर होता है तो $v$ कितनी बार याद किया जाता है।
• आउटपुट: एक संरचित ग्राफ जो लक्षित विषय के संबंध में मॉडल के विशिष्ट स्मृति पैटर्न का सारांश देता है।

चरण 2: स्कोप्ड सुपरविजन निर्माण (Scoped Supervision Construction)

मेमोरी ग्राफ को डाउनस्ट्रीम फाइन-ट्यूनिंग के लिए एक स्कोप्ड फॉरगेट सेट ($S_f$) और एक नेबर सेट ($S_n$) में परिवर्तित किया जाता है।

• वेटेड पाथ सैंपलिंग (Weighted Path Sampling): सिस्टम ग्राफ पर स्ट्रेंथ-वेटेड रैंडम वॉक करता है ताकि पथों को सैंपल किया जा सके। यह सुनिश्चित करता है कि सुपरविजन सबसे मजबूती से याद की गई सामग्री (उच्च एज वेट्स) पर केंद्रित हो, जबकि कवरेज भी बना रहे।
• एज-टू-इवेंट सिंथेसिस (Edge-to-Event Synthesis): एक पथ में आसन्न नोड जोड़े को परमाणु QA पेयर्स में परिवर्तित किया जाता है।
  • फॉरगेट सेट ($S_f$): प्रश्न एंकर और एक पड़ोसी के बीच के संबंध को लक्षित करते हैं, जिसका उत्तर लक्षित एंटिटी होता है। अपडेट को स्थानीयकृत करने के लिए लॉस (loss) की गणना केवल उत्तर स्पैन (answer span) पर की जाती है।
  • नेबर सेट ($S_n$): मजबूत पड़ोसियों से शुरू होने वाले पथ (लेकिन लक्षित एंटिटी को छोड़कर) का उपयोग उन QA पेयर्स को उत्पन्न करने के लिए किया जाता है जहाँ उत्तर एक गैर-लक्षित एंटिटी है। यह आसपास के ज्ञान को बनाए रखने और "कोलेटरल फॉरगेटिंग" (collateral forgetting) को रोकने के लिए एक सीमा बाधा (boundary constraint) के रूप में कार्य करता है।
• एकीकरण (Integration): जनरेट किए गए $(S_f, S_n)$ जोड़ों को एक सामान्य रिटेन सेट (retain set) के साथ मानक अनलर्निंग एल्गोरिदम (जैसे, GA, NPO) में डाला जाता है।

3. मुख्य योगदान

1. प्रतिमान परिवर्तन (Paradigm Shift): एक न्यूनतम-उपयोगकर्ता, कॉर्पस-मुक्त अनलर्निंग प्रतिमान पेश करता है जो उपयोगकर्ताओं को संवेदनशील फॉरगेट सेट्स अपलोड करने की आवश्यकता को समाप्त करता है, जिससे गोपनीयता रिसाव और ऑडिटेबिलिटी जोखिम कम हो जाते हैं।
2. MAGE फ्रेमवर्क: पुनरावृत्ति विस्तार और मेमोरी ग्राफ निर्माण के माध्यम से मॉडल पैरामीटर्स से लक्षित-संबंधित स्मृति को रिकवर करने का एक नया तरीका विकसित करता है, जिसे बिना किसी बाहरी संदर्भ के स्कोप्ड सुपरविजन में अनुवादित किया जाता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करता है कि स्व-जनरेटेड सुपरविजन उच्च-गुणवत्ता वाले बाहरी डेटा (जैसे विकिपीडिया) पर निर्भर विधियों के समान (और कभी-कभी बेहतर) अनलर्निंग प्रदर्शन प्राप्त कर सकता है, जबकि मॉडल की उपयोगिता को भी बनाए रखता है।

4. प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन दो बेंचमार्क पर किया गया: RWKU (वास्तविक प्रसिद्ध लोग) और TOFU (सिंथेटिक काल्पनिक लेखक), जिसमें विभिन्न फाइन-ट्यूनिंग रणनीतियों (GA, NPO, GA+GD, GA+KL) का उपयोग किया गया।

• अनलर्निंग प्रभावशीलता (Unlearning Effectiveness):
  • RWKU पर, MAGE ने ELUDe (जो विकिपीडिया का उपयोग करता है) और DirectQA जैसे बेसलाइन्स की तुलना में 4 में से 3 रणनीतियों में सबसे कम "फॉरगेट सेट" स्कोर (बेहतर भूलने का संकेत) प्राप्त किया।
  • TOFU पर, MAGE ने DirectQA को काफी पीछे छोड़ दिया, जिससे पता चला कि माइंड किए गए मेमोरी ग्राफ, डायरेक्ट प्रॉम्पटिंग की तुलना में अधिक प्रभावी, लक्ष्य-विशिष्ट सुपरविजन प्रदान करते हैं।
• उपयोगिता संरक्षण (Utility Preservation):
  • MAGE ने उपयोगिता मेट्रिक्स (MMLU, BBH, TruthfulQA, आदि) पर उच्च प्रदर्शन बनाए रखा, जो अक्सर उन बेसलाइन्स से बेहतर था जो कैटास्ट्रोफिक फॉरगेटिंग या गंभीर उपयोगिता गिरावट से ग्रस्त थे।
  • नेबर सेट का समावेश महत्वपूर्ण था; इसे जेनेरिक विकी डेटा से बदलने पर प्रदर्शन गिर गया, जो संदर्भ-जागरूक सुपरविजन के महत्व को सिद्ध करता है।
• मजबूती विश्लेषण (Robustness Analysis):
  • मतिभ्रम (Hallucination): सिस्टम जनरेट किए गए QA पेयर्स में तथ्यात्मक मतिभ्रम के प्रति आश्चर्यजनक रूप से मजबूत है; मिश्रित शुद्धता अनुपात के बावजूद प्रदर्शन स्थिर रहा।
  • कवरेज (Coverage): फॉरगेट सेट में मेमोरी ग्राफ का उच्च कवरेज मजबूत अनलर्निंग के साथ सह-संबंधित था, जो पुष्टि करता है कि व्यापक मेमोरी माइनिंग महत्वपूर्ण है।
  • मॉडल विशिष्टता (Model Specificity): रिकवर किए गए मेमोरी ग्राफ विभिन्न मॉडल आर्किटेक्चर (जैसे, Llama-2 बनाम Llama-3) के बीच काफी भिन्न थे, जो सुझाव देते हैं कि अनलर्निंग सुपरविजन को प्रति मॉडल पुन: उत्पन्न किया जाना चाहिए।

5. महत्व

यह कार्य मशीन अनलर्निंग के व्यावहारिक परिनियोजन में एक महत्वपूर्ण बाधा को संबोधित करता है। एक मेमोरी-ग्राफ गाइडेड दृष्टिकोण के माध्यम से बोझ को उपयोगकर्ता से मॉडल प्रदाता की ओर स्थानांतरित करके, MAGE:

• सुरक्षा बढ़ाता है: यह रोकता है कि हमलावर अनलर्निंग अनुरोध के माध्यम से जहरीला डेटा इंजेक्ट करें या संवेदनशील जानकारी लीक करें।
• ऑडिटेबिलिटी में सुधार करता है: यह प्रदाताओं को यह सत्यापित करने की अनुमति देता है कि अनलर्निंग का दायरा सख्ती से अनुरोधित एंटिटी तक सीमित है, क्योंकि सुपरविजन आंतरिक रूप से प्राप्त किया गया है।
• वास्तविक दुनिया के अनुप्रयोग को सक्षम बनाता है: यह "भूल जाने के अधिकार" को उन उपयोगकर्ताओं के लिए व्यवहार्य बनाता है जो कच्चा डेटा (raw data) प्रदान नहीं कर सकते या नहीं करना चाहते, जिससे एक अधिक सुरक्षित और ऑडिट योग्य LLM इकोसिस्टम का समर्थन मिलता है।

निष्कर्षतः, MAGE सिद्ध करता है कि LLM की अपनी आंतरिक स्मृति संरचनाओं का उपयोग करके अपना स्वयं का सुपरविजन उत्पन्न करके प्रभावी, कॉर्पस-मुक्त अनलर्निंग प्राप्त करना संभव है, जो गोपनीयता-संरक्षण AI के लिए एक व्यावहारिक मार्ग प्रदान करता है।