तकनीकी सारांश: LOKI – मेमोरी-मुक्त नल-स्पेस (Null-Space) द्वारा नियंत्रित आजीवन ज्ञान संपादन (Lifelong Knowledge Editing)

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) समय के साथ सटीकता और प्रासंगिकता बनाए रखने में महत्वपूर्ण चुनौतियों का सामना करते हैं। एक बार तैनात होने के बाद, वे अक्सर तथ्यात्मक त्रुटियों, मतिभ्रम (hallucinations) और पूर्वाग्रहों से ग्रस्त हो जाते हैं, और उनका ज्ञान स्थिर होता है, जो प्री-ट्रेनिंग डेटा तक सीमित है। प्रत्येक नए तथ्य के लिए LLMs को फिर से प्रशिक्षित करना कम्प्यूटेशनल रूप से निषेधात्मक और अस्थिर है। फलस्वरूप, आजीवन ज्ञान संपादन (lifelong knowledge editing) एक ऐसा क्षेत्र बनकर उभरा है जिसका लक्ष्य पिछले ज्ञान के प्रदर्शन को सुरक्षित रखते हुए मॉडल के ज्ञान को कुशलतापूर्वक क्रमिक रूप से अपडेट करना है।

मौजूदा विधियाँ आजीवन ज्ञान संपादन के लिए आमतौर पर तीन महत्वपूर्ण सीमाओं से ग्रस्त होती हैं:

1. स्थिर परत चयन (Static Layer Selection): अधिकांश दृष्टिकोण (जैसे, MEMIT, AlphaEdit) सभी नए ज्ञान नमूनों के लिए संशोधित करने हेतु परतों के एक निश्चित सेट को पूर्व-निर्धारित करते हैं। लचीलेपन की यह कमी उप-इष्टतम संपादन और मौजूदा ज्ञान के साथ हस्तक्षेप को बढ़ा सकती है।
2. ऐतिहासिक डेटा पर निर्भरता: "विनाशकारी विस्मृति" (catastrophic forgetting - जहाँ नए संपादन पुराने तथ्यों के प्रदर्शन को कम कर देते हैं) को रोकने के लिए, वर्तमान विधियों को अक्सर पिछले ज्ञान के बड़े डेटासेट या फीचर सांख्यिकी (जैसे, कोवेरिएंस मैट्रिसेस या पिछले एम्बेडिंग्स के नल-स्पेस) की गणना करने के लिए व्यापक प्री-प्रोसेसिंग की आवश्यकता होती है। यह मेमोरी-गहन और कम्प्यूटेशनल रूप से महंगा है।
3. पैरामीटर ओवरहेड: कुछ दृष्टिकोण बाहरी मेमोरी, सहायक नेटवर्क, या अतिरिक्त पैरामीटर्स पर निर्भर करते हैं, जो कुशल, आंतरिक मॉडल संपादन के लक्ष्य के विपरीत है।

2. कार्यप्रणाली: LOKI

लेखक LOKI (Layer-Adaptive Orthogonal Knowledge Insertion) प्रस्तावित करते हैं, जो एक नया फ्रेमवर्क है जिसे पिछले ज्ञान के नमूनों तक पहुँच या अतिरिक्त पैरामीटर्स जोड़े बिना LLMs को क्रमिक रूप से संपादित करने के लिए डिज़ाइन किया गया है। यह विधि तीन विशिष्ट चरणों के माध्यम से कार्य करती है:

A. गतिशील परत चयन (HSIC-आधारित सूचना बाधा/Information Bottleneck)

पिछले कार्यों के विपरीत जो प्री-प्रोसेसिंग के दौरान संपादन परतों को स्थिर रखते हैं, LOKK प्रति-नमूना (per-sample) आधार पर परतों का चयन करता है।

• तंत्र: यह विधि इनपुट एम्बेडिंग्स और लेयर आउटपुट्स के बीच सांख्यिकीय निर्भरता को मापने के लिए हिल्बर्ट-श्मिट स्वतंत्रता मानदंड (Hilbert-Schmidt Independence Criterion - HSIC) का उपयोग करती है।
• मानदंड: प्रत्येक इनपुट नमूना $X_t$ दिए जाने पर प्रत्येक परत $l$ के लिए एक सूचना बाधा स्कोर, $HIB(X_t, l)$, की गणना की जाती है:
  $$HIB(X_t, l) = \lambda_y HSIC(\hat{Z}^{(l)}, Z^{(L)}) - \lambda_x HSIC(X_t, \hat{Z}^{(l)})$$
  जहाँ $\hat{Z}^{(l)}$ छिपे हुए FFN एम्बेडिंग्स हैं, $Z^{(L)}$ अंतिम आउटपुट है, और $\lambda$ हाइपरपैरामीटर्स हैं।
• तर्क: वे परतें जो आउटपुट के साथ उच्च निर्भरता (कार्य-महत्वपूर्ण) और इनपुट के साथ निम्न निर्भरता (शोर को हटाना) प्रदर्शित करती हैं, उन्हें प्राथमिकता दी जाती है। प्रत्येक संपादन के लिए शीर्ष $m$ परतों को गतिशील रूप से चुना जाता है।

B. वेट नल-स्पेस प्रोजेक्शन के माध्यम से ज्ञान सुदृढ़ीकरण

पिछले डेटा तक पहुँच प्राप्त किए बिना विनाशकारी विस्मृति को रोकने के लिए, LOKI अपडेट को मॉडल के वेट मैट्रिसेस (weight matrices) के नल-स्पेस (null-space) पर प्रोजेक्ट करता है।

• तंत्र: पिछले फीचर एम्बेडिंग्स के नल-स्पेस की गणना करने के बजाय (जिसके लिए ऐतिहासिक डेटा की आवश्यकता होती है), LOKI चयनित परतों के लिए वर्तमान वेट मैट्रिक्स $W^{(l)}_{out}$ का सिंगुलर वैल्यू डिकंपोजिशन (SVD) करता है।
• सैद्धांतिक आधार: लेखक एक प्रमेय (Theorem 4.1) प्रदान करते हैं जो सुझाव देता है कि ग्रेडिएंट डिसेंट के माध्यम से सीखा गया वेट मैट्रिक्स का नल-स्पेस, प्रशिक्षण फीचर्स के नल-स्पेस को समाहित करता है। अतः, वेट नल-स्पेस ($P^{(l)} = \bar{V}^{(l)}\bar{V}^{(l)\top}$) पर अपडेट को प्रोजेक्ट करना अप्रत्यक्ष रूप से पहले से सीखे गए ज्ञान के सबस्पेस को सुरक्षित रखता है।
• लाभ: यह पिछले ज्ञान के नमूनों को संग्रहीत करने या पुनः संसाधित करने की आवश्यकता को समाप्त करता है, जिससे मेमोरी और प्री-प्रोसेसिंग समय में काफी कमी आती है।

C. ज्ञान प्रविष्टि (Knowledge Insertion)

नए ज्ञान को लक्षित भविष्यवाणी के नेगेटिव लॉग-लाइक्लीहुड (negative log-likelihood) को अनुकूलित करके डाला जाता है, जबकि बाधाओं का पालन किया जाता है:

• उद्देश्य: नए कार्य के लिए लॉस (loss) को कम करना और HSIC बॉटलनेक टर्म को अधिकतम करना (सूचना को संकुचित करने और हस्तक्षेप को कम करने के लिए)।
• बाधाएं:
  1. नल-स्पेस बाधा: ग्रेडिएंट्स को वेट्स के पूर्व-निर्धारित नल-स्पेस ($W^{(l)}_{out} \Delta^{(l)\top} = 0$) पर प्रोजेक्ट किया जाता है।
  2. नॉर्म बाधा: स्थिरता सुनिश्चित करने के लिए वेट अपडेट के परिमाण को प्रतिबंधित किया जाता है ($\|\Delta^{(l)}\|_F \leq \eta$)।
• अनुकूलन (Optimization): इस समस्या को प्रोजेक्टेड ग्रेडिएंट डिसेंट का उपयोग करके हल किया जाता है।

3. मुख्य योगदान

1. प्रति-नमूना गतिशील परत चयन: LOKI, HSIC-आधारित सूचना बाधा का उपयोग करके ज्ञान संपादन के लिए डायनेमिक लेयर सिलेक्शन का अन्वेषण करने वाला पहला कार्य है, जो स्थिर, पूर्व-निर्धारित लेयर सेट्स से दूर जाता है।
2. मेमोरी-मुक्त नल-स्पेस प्रोजेक्शन: यह पेपर वेट मैट्रिसेस के स्वयं के नल-स्पेस पर अपडेट को प्रोजेक्ट करके पिछले ज्ञान को संरक्षित करने की एक विधि प्रस्तुत करता है, जो ऐतिहासिक डेटा एक्सेस या व्यापक प्री-प्रोसेसिंग सांख्यिकी की आवश्यकता को दरकिनार करता है।
3. अनुभवजन्य श्रेष्ठता: व्यापक प्रयोगों से पता चलता है कि LOKI कई डेटासेट्स और मॉडल आर्किटेक्चर में स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है, जो मौजूदा विधियों की तुलना में विश्वसनीयता, सामान्यीकरण (generalization) और लोकैलिटी (locality) को बेहतर ढंग से संतुलित करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने तीन मॉडल्स (Llama-3-8B-Instruct, Mistral-7B, GPT-J-6B) का उपयोग करके तीन डेटासेट्स (ZsRE, SelfCheckGPT, Temporal) पर LOKI का मूल्यांकन किया।

• प्रदर्शन: LOKI ने लगातार बेसलाइन्स (MEMIT, AlphaEdit, ROME, WISE, और GRACE सहित) को पछाड़ दिया।
  • 1,000 क्रमिक संपादन के साथ ZsRE डेटासेट पर, LOKI ने दूसरे सबसे अच्छे मेथड (AlphaEdit) की तुलना में औसत सटीकता में 14% तक सुधार हासिल किया।
  • इसने उच्च विश्वसनीयता (नए तथ्यों को सीखना) और लोकैलिटी (पुराने तथ्यों को न भूलना) को एक साथ बनाए रखा, जबकि अन्य विधियाँ अक्सर संपादन की संख्या बढ़ने के साथ एक के लिए दूसरे का त्याग करती हैं।
• दक्षता:
  • रनटाइम: संपादन चरण के दौरान LOKI, WISE और AlphaEdit से तेज़ था। महत्वपूर्ण रूप से, यह AlphaEdit द्वारा आवश्यक भारी प्री-प्रोसेसिंग ओवरहेड (जो Llama-3-8B-Instruct के लिए सांख्यिकी गणना करने में A100 GPU पर ~56 घंटे लेता है) से बचता है।
  • स्केलेबिलिटी: जैसे-जैसे संपादन की संख्या ($\tau$) बढ़कर 1,000 हुई, LOKI ने प्रतिस्पर्धियों की तुलना में सबसे कम प्रदर्शन गिरावट का अनुभव किया।
• एब्लेशन अध्ययन (Ablation Studies): किसी भी तीन मुख्य घटकों (डायनेमिक लेयर सिलेक्शन, नल-स्पेस प्रोजेक्शन, या HSIC रेगुलराइजेशन) को हटाने से प्रदर्शन में गिरावट आई, जो प्रत्येक घटक की आवश्यकता की पुष्टि करता है।
• फीचर संरक्षण: TSNE विज़ुअलाइज़ेशन ने पुष्टि की कि LOKI मानक फाइन-ट्यूनिंग में देखे गए मॉडल एम्बेडिंग्स के महत्वपूर्ण बदलाव को रोकता है, प्रभावी रूप से स्पष्ट फीचर स्टोरेज के बिना मॉडल के मूल ज्ञान संरचना को संरक्षित करता है।

5. महत्व और दावे

यह पेपर दावा करता है कि LOKI आजीवन ज्ञान संपादन के मौलिक ट्रेड-ऑफ को संबोधित करता है: दक्षता, मेमोरी उपयोग, और लचीलापन।

• महत्व: ऐतिहासिक डेटा की आवश्यकता और स्थिर लेयर चयन को संपादन प्रक्रिया से अलग करके, LOKI गतिशील वातावरण में LLMs को बनाए रखने के लिए एक अधिक व्यावहारिक और स्केलेबल समाधान प्रदान करता है। यह प्रदर्शित करता है कि बड़े कॉर्पोरा के प्री-प्रोसेसिंग या सहायक मेमोरी को संग्रहीत करने के कम्प्यूटेशनल बोझ के बिना उच्च-गुणवत्ता वाला ज्ञान संपादन प्राप्त किया जा सकता है।
• विनम्रता: लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि बड़े वेट मैट्रिसेस के लिए SVD की गणना अभी भी कम्प्यूटेशनल ओवरहेड डालती है और वर्तमान विधि व्यक्तिगत न्यूरॉन्स के बजाय पूरी परतों का चयन करती है। वे LOKI को "मेमोरी-फ्री" आजीवन संपादन की ओर एक आधारभूत कदम के रूप में देखते हैं, यह सुझाव देते हुए कि भविष्य के कार्य लेयर चयन को पैरामीटर स्तर तक परिष्कृत कर सकते हैं।

संक्षेप में, LOKI LLMs को अपडेट करने के लिए एक मजबूत, सैद्धांतिक रूप से आधारित दृष्टिकोण प्रस्तुत करता है जो स्थिरता और अनुकूलन क्षमता को प्राथमिकता देता है, और पिछले ज्ञान को संरक्षित करने के लिए वेट मैट्रिसेस की अंतर्निहित ज्यामिति का लाभ उठाकर और गतिशील रूप से महत्वपूर्ण परतों को लक्षित करके श्रेष्ठ प्रदर्शन प्राप्त करता है।