💬 NLP

Conflict-Resolving and Sharpness-Aware Minimization for Generalized Knowledge Editing with Multiple Updates

यह शोध पत्र CoRSA का प्रस्ताव करता है, जो एक पैरामीटर-कुशल प्रशिक्षण ढांचा है जो ज्ञान के संघर्षों को हल करता है और लॉस कर्वेचर (loss curvature) को न्यूनतम करता है ताकि कई ज्ञान संस्करोधों (knowledge edits) से गुजर रहे बड़े भाषा मॉडलों में सामान्यीकरण, स्थिरता और अपडेट प्रभावकारिता में महत्वपूर्ण सुधार किया जा सके।

मूल लेखक: Duy Nguyen, Hanqi Xiao, Archiki Prasad, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal

प्रकाशित 2026-02-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Duy Nguyen, Hanqi Xiao, Archiki Prasad, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (लार्ज लैंग्वेज मॉडल) है जो बहुत सारे तथ्यों को जानता है। लेकिन कभी-कभी, दुनिया बदल जाती है। शायद किसी कंपनी का नया CEO आता है, या किसी स्पोर्ट्स टीम में खिलाड़ी बदल जाता है। आपको लाइब्रेरियन की याददाश्त को कुशलतापूर्वक और सटीक रूप से अपडेट करने की आवश्यकता है बिना उन्हें नौकरी से निकाले और नया काम पर रखे (क्योंकि यह बहुत महंगा और धीमा होगा)।

यह पेपर एक नया तरीका पेश करता है जिसे CORSA कहा जाता है, जो इस लाइब्रेरियन की याददाश्त को कुशलतापूर्वक और सटीक रूप से अपडेट करने में मदद करता है। यह कैसे काम करता है, इसे सरल उपमाओं (analogies) का उपयोग करके यहाँ समझाया गया है:

समस्या: "जिद्दी" लाइब्रेरियन

जब आप लाइब्रेरियन को कोई नया तथ्य सिखाने की कोशिश करते हैं, तो वर्तमान तरीकों के साथ अक्सर तीन चीजें गलत हो जाती हैं:

"पैराफ्रेस" (Paraphrase) की समस्या: यदि आप लाइब्रेरियन को बताते हैं, "CEO एंडी जेसी है," तो वे केवल उसी सटीक वाक्य को याद रख सकते हैं। यदि आप पूछते हैं, "अमेज़न को कौन चलाता है?" तो वे अभी भी पुराने CEO, जेफ बेजोस के बारे में कह सकते हैं। उन्होंने वास्तव में अवधारणा (concept) को नहीं सीखा है, बल्कि केवल विशिष्ट शब्दों को सीखा है।
"बैकस्लाइड" (Backslide) की समस्या: यदि आप लाइब्रेरियन को एक बार अपडेट करते हैं, और फिर बाद में उन्हें फिर से अपडेट करते हैं, तो पहला अपडेट मिट सकता है या पुराना, गलत जानकारी फिर से वापस आ सकती है। यह व्हाइटबोर्ड पर मार्कर से लिखने जैसा है जो सूखता नहीं है; पुरानी स्याही फिर से उभर आती है।
"संघर्ष" (Conflict) की समस्या: लाइब्रेरियन के पास पुराने तथ्यों की मजबूत यादें होती हैं। जब आप उन्हें पुराने तथ्यों को ओवरराइट करने की कोशिश करते हैं, तो पुरानी याद लड़ती है, जिससे भ्रम या "हलुसिनेशन" (hallucinations) होता है जहाँ लाइब्रेरियन पुरानी और नई जानकारी का मिश्रण देता है।

समाधान: CORSA

लेखकों ने CORSA (Conflict-Resolving and Sharpness-Aware Minimization) बनाया है। इसे लाइब्रेरियन के लिए एक विशेष प्रशिक्षण पद्धति के रूप में समझें जो ऊपर दी गई तीन समस्याओं को दो मुख्य तरकीबों का उपयोग करके ठीक करती है:

1. "फ्लैट वैली" (Flat Valley) की तरकीब (Sharpness-Aware Minimization)

कल्प Imagine करें कि लाइब्रेरियन का ज्ञान पहाड़ियों और घाटियों वाला एक परिदृश्य (landscape) है।

पुराना तरीका: जब वे एक नया तथ्य सीखते हैं, तो वे मानचित्र पर एक छोटी, तीखी "चोटी" (spike) में फंस सकते हैं। यह एक आदर्श स्थान दिखता है, लेकिन यदि आप उन्हें थोड़ा सा भी हिलाते हैं (जैसे सवाल पूछने का तरीका बदलते हैं), तो वे उस चोटी से नीचे गिर जाते हैं और सब कुछ भूल जाते हैं।
CORSA की तरकीब: CORSA लाइब्रेरियन को एक तीखी चोटी के बजाय एक चौड़ी, समतल घाटी (flat valley) खोजने के लिए मजबूर करता है। एक समतल घाटी में, भले ही आप लाइब्रेरियन को थोड़ा हिला दें (सवाल अलग तरह से पूछें), वे उसी स्थान पर बने रहते हैं। यह नए ज्ञान को स्थिर (stable) बनाता है और इसे विभिन्न तरीकों से पूछे जाने वाले सवालों के लिए सामान्य बनाने (generalize) में मदद करता है।

2. "भूत से लड़ने" की तरकीब (Conflict-Resolving)

कल्पना करें कि पुराना तथ्य लाइब्रेरियन को डराने वाला एक भूत है।

पुराना तरीका: मानक प्रशिक्षण नए तथ्य को सिखाने की कोशिश करता है, लेकिन यह अनजाने में उस भूत को और अधिक शोर करने वाला बना देता है। लाइब्रेरियन नया तथ्य सीखता है लेकिन पृष्ठभूमि में पुराना तथ्य अभी भी फुसफुसाता रहता है।
CORSA की तरकीब: CORSA एक दोहरी रणनीति का उपयोग करता है। यह नए तथ्य को सिखाता है साथ ही साथ लाइब्रेरियन को यह भी बताता है, "उस पुराने भूत को अनदेखा करो!" यह स्पष्ट रूप से पुराने उत्तर को दूर धकेलता है और नए उत्तर को करीब खींचता है। यह दोनों के बीच एक स्पष्ट अंतर पैदा करता है, जिससे यह सुनिश्चित होता है कि पुराना तथ्य बाद में चुपके से वापस न आ सके।

यह कई अपडेट्स को कैसे संभालता है

पेपर में परीक्षण किया गया है कि क्या होता है जब आप लाइब्रेरियन की याददाश्त को कई बार अपडेट करते हैं (जैसे कि एक CEO को ट्रैक करना जो हर साल अपनी नौकरी बदलता है)।

अन्य तरीके: वे एक स्पंज की तरह व्यवहार करते हैं जो संतृप्त (saturated) हो जाता है। कुछ अपडेट के बाद, स्पंज अब नया पानी नहीं रोक सकता या वह पुराने पानी को बाहर निकाल देता है (भूलना)।
CORSA: यह एक मॉड्यूलर नोटबुक की तरह काम करता है। क्योंकि इसने उन "फ्लैट वैली" को खोज लिया है और "भूतों" को दूर धकेल दिया है, इसलिए यह पुराने पन्नों को फाड़े बिना नए पन्ने जोड़ना जारी रख सकता है। यह पुराने CEO को भूले बिना नए CEO को याद रखता है, और यह भ्रमित नहीं होता है जब CEO फिर से बदल जाता है।

परिणाम

लेखकों ने वास्तविक दुनिया के तथ्यों (जैसे अमेज़न का CEO कौन है) और यहाँ तक कि कोड (एक कंप्यूटर प्रोग्राम कैसे काम करता है उसे अपडेट करना) पर इसका परीक्षण किया।

बेहतर मेमोरी: CORSA अलग-अलग तरीकों से पूछे जाने पर नए तथ्यों को याद रखने में बहुत बेहतर था (generalization)।
कम भूलना: जब उन्होंने मॉडल को बार-बार अपडेट किया, तो CORSA ने अन्य तरीकों की तुलना में असंबंधित जानकारी को बहुत कम भुलाया।
कोडिंग कौशल: यह कोड बग्स को ठीक करने में भी सफल रहा, एक ऐसा कार्य जहाँ पिछले तरीके विफल रहे क्योंकि कोड "तथ्य बदलने" (fact swapping) के लिए बहुत जटिल होता है।

संक्षेप में

CORSA AI के मस्तिष्क को अपडेट करने का एक स्मार्ट तरीका है। केवल पुराने डेटा के ऊपर "लिखने" के बजाय, यह AI के मन में नए डेटा को स्टोर करने के लिए एक स्थिर, समतल स्थान ढूंढता है और सक्रिय रूप से पुराने, विरोधाभासी विचारों को दबा देता है। यह AI को अधिक विश्वसनीय, कम भूलने वाला और समय के साथ नई जानकारी को संभालने में बेहतर बनाता है।

तकनीकी सारांश: सामान्यीकृत ज्ञान संपादन (Generalized Knowledge Editing) के लिए CORSA

1. समस्या का निरूपण (Problem Formulation)

लार्ज लैंग्वेज मॉडल्स (LLMs) आंतरिक पैरामीट्रिक ज्ञान पर निर्भर करते हैं, जो समय के साथ पुराना हो जाता है। जबकि पूर्ण रिट्रेनिंग (full retraining) गणनात्मक रूप से अत्यधिक महंगी है, मौजूदा ज्ञान संपादन विधियाँ कई अपडेट्स लागू करने पर तीन महत्वपूर्ण सीमाओं का सामना करती हैं:

खराब सामान्यीकरण (Poor Generalization): अपडेट अक्सर प्रशिक्षण उदाहरणों के विशिष्ट वाक्यांशों से परे विविध इनपुट रूपों (जैसे, पैराफ्रेस या सिंटैक्टिक भिन्नता) तक सामान्यीकरण करने में विफल रहते हैं।
एकाधिक अपडेट के तहत अस्थिरता (Instability under Multiple Updates): विधियाँ निरंतर संशोधनों (जैसे, एक ही तथ्य को कई बार अपडेट करना या नए तथ्यों को इंजेक्ट करना) को संभालने में संघर्ष करती हैं, जिससे असंबंधित ज्ञान का विनाशकारी विस्मरण (catastrophic forgetting) हो सकता है।
ज्ञान संघर्ष (Knowledge Conflicts): प्री-ट्रेनिंग से प्राप्त मजबूत पूर्व-ज्ञान (priors) अक्सर मॉडल को पुराने डेटा की ओर वापस धकेल देते हैं, भले ही अपडेट किए गए हों, या नए अपडेट अनजाने में पुराने ज्ञान को पुन: सक्रिय कर सकते हैं।

वर्तमान दृष्टिकोण, जैसे कि डायरेक्ट मॉडल एडिटिंग (जैसे, MEMIT) या पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (जैसे, मानक SFT के साथ LoRA), आमतौर पर इनमें से केवल एक या दो आवश्यकताओं को संबोधित करते हैं लेकिन तीनों को एक साथ हल करने में विफल रहते हैं। मॉडल एडिटिंग विधियाँ अक्सर निरंतर अपडेट के तहत अस्थिर होती हैं, जबकि मानक फाइन-ट्यूनिंग अक्सर पूर्व-ज्ञान के साथ हस्तक्षेप करती है, जिससे डेटा की वापसी या गलत आउटपुट होता है।

2. कार्यप्रणाली: CORSA

लेखक CORSA (Conflict-Resolving and Sharpness-Aware Minimization) का प्रस्ताव करते हैं, जो LoRA एडेप्टर का उपयोग करके ज्ञान संपादन के लिए डिज़ाइन किया गया एक ट्रेनिंग फ्रेमवर्क है। यह विधि लॉस लैंडस्केप (loss landscape) की ज्यामिति से प्राप्त दो सैद्धांतिक स्थितियों को संबोधित करके एडेप्टर पैरामीटर्स $\phi$ की स्थिरता और सामान्यीकरण को लक्षित करती है:

पोस्ट-अपडेट मार्जिन ( $\gamma$ ) को बढ़ाना: यह सुनिश्चित करना कि मॉडल पुराने ज्ञान ( $y^-$ ) की तुलना में नए ज्ञान ( $y^+$ ) को मजबूती से प्राथमिकता दे।
स्थानीय शार्पनेस ( $\kappa$ ) को कम करना: भविष्य के पैरामीटर व्यवधानों (perturbations) के विरुद्ध स्थिरता में सुधार के लिए लॉस लैंडस्पेस में अधिक 'फ्लैट' (flatter) क्षेत्रों को खोजना।

CORSA तीन मुख्य तंत्रों को एकीकृत करता है:

A. संघर्षपूर्ण ज्ञान दमन (Conflicting Knowledge Suppression - DPO)

नए ज्ञान ( $D_{new}$ ) पर मानक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) अक्सर पुराने ज्ञान ( $D_{old}$ ) की संभावना को पर्याप्त रूप से दबाने में विफल रहती है, जिससे संघर्ष उत्पन्न होता है। नए और पुराने ज्ञान के बीच मार्जिन को स्पष्ट रूप से अधिकतम करने के लिए, CORSA, SFT को डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) के साथ जोड़ता है।

उद्देश्य: लॉस फंक्शन $L_{Update}$ को इस प्रकार परिभाषित किया गया है:
$L_{Update}(\phi) = L_{SFT}(\phi) + \lambda L_{DPO}(\phi)$
तंत्र: $L_{SFT}$ नए लक्ष्य के नेगेटिव लॉग-लाइक्लीहुड को कम करता है। $L_{DPO}$ समान इनपुट $x$ के लिए नए लक्ष्य $y^+$ और पुराने लक्ष्य $y^-$ के बीच लॉग-लाइक्लीहुड मार्जिन को अधिकतम करता है। यह स्पष्ट रूप से नए और पूर्व ज्ञान के बीच अलगाव लागू करता है।

B. शार्पनेस-अवेयर मिनिमाइजेशन (Sharpness-Aware Minimization - SAM)

सामान्यीकरण और स्थिरता को बढ़ाने के लिए, CORSA लॉस लैंडस्केप की शार्पनेस को कम करने के लिए SAM का उपयोग करता है।

उद्देश्य: एक एकल बिंदु पर लॉस को कम करने के बजाय, SAM त्रिज्या $\rho$ के भीतर सबसे खराब स्थिति वाले लॉस (worst-case loss) को कम करता है:
$\min_{\phi} \max_{\|\epsilon\|_2 \le \rho} L_{Update}(\phi + \epsilon)$
तंत्र: एल्गोरिदम ग्रेडिएंट के आधार पर सिंगल एसेंट स्टेप (ascent step) का उपयोग करके सबसे खराब स्थिति वाले व्यवधान (perturbation) $\epsilon^*$ का अनुमान लगाता है। इसके बाद मॉडल पैरामीटर्स को विक्षेपित बिंदु (perturbed point) $\phi + \epsilon^*$ पर मूल्यांकित ग्रेडिएंट का उपयोग करके अपडेट किया जाता है। यह ऑप्टिमाइज़र को फ्लैट मिनिमा खोजने के लिए मजबूर करता है, जो सैद्धांतिक रूप से बेहतर सामान्यीकरण और भविष्य के अपडेट के विरुद्ध स्थिरता से संबंधित है।

C. ग्रेडिएंट संघर्ष समाधान (Gradient Conflict Resolution - PCGrad)

लेखक देखते हैं कि SFT और DPO उद्देश्यों से प्राप्त ग्रेडिएंट आपस में संघर्ष कर सकते हैं, और उनके भारित योग (weighted sum) पर सीधे SAM लागू करना उप-इष्टतम (suboptimal) हो सकता है।

तंत्र: CORSA हस्तक्षेप को हल करने के लिए PCGrad (Projecting Conflicting Gradients) का उपयोग करता है। SAM व्यवधान और अंतिम अपडेट स्टेप को कंप्यूट करने से पहले, SFT ( $g_{SFT}$ ) और DPO ( $g_{DPO}$ ) के ग्रेडिएंट को उन घटकों को हटाने के लिए प्रोजेक्ट किया जाता है जो एक-दूसरे के विपरीत हैं (अर्थात, जहाँ इनर प्रोडक्ट नकारात्मक है)।
एकीकरण: PCGrad को SAM के दोनों चरणों में लागू किया जाता है:
1. व्यवधान दिशा $\epsilon^*$ का निर्माण करने के लिए।
2. विक्षेपित बिंदु से अंतिम डिसेंट (descent) दिशा निर्धारित करने के लिए।
  यह सुनिश्चित करता है कि शार्पनेस-अवेयर स्टेप एडैप्टेशन (SFT) और प्रेफरेंस सेपरेशन (DPO) दोनों उद्देश्यों का सम्मान करता है।

3. प्रमुख योगदान

समग्र ढांचा (Holistic Framework): CORSA पहला ऐसा तरीका है जो एक ही पैरामीटर-एफिशिएंट फ्रेमवर्क का उपयोग करके विविध इनपुट के लिए सामान्यीकरण, कई अपडेट के तहत स्थिरता और ज्ञान संघर्षों के समाधान को एक साथ संबोधित करता है।
सैद्धांतिक अंतर्दृष्टि: यह पेपर ज्ञान अपडेट की स्थिरता और लॉस लैंडस्केप की वक्रता (curvature) के बीच संबंध स्थापित करता है, यह प्रदर्शित करते हुए कि शार्पनेस को कम करना (SAM के माध्यम से) स्पष्ट रूप रूप से मार्जिन वक्रता को नियमित करता है, जिससे डेटा की वापसी (reversion) को रोका जा सकता है।
नवाचारी एकीकरण: यह कार्य विशेष रूप से ज्ञान संपादन की अनूठी ग्रेडिएंट डायनेमिक्स के लिए तैयार किए गए SFT, DPO, SAM और PCGrad के संयोजन को पेश करता है, जहाँ एडैप्टेशन और सप्रेशन उद्देश्य अक्सर संघर्ष करते हैं।

तुलनात्मक परिणाम (Experimental Results)

लेखकों ने Llama-3.1-8B और Qwen-3-4B मॉडल्स का उपयोग करके तीन तथ्यात्मक ज्ञान बेंचमार्क (CounterFact, ZsRE, MQuAKE) और एक कोड डोमेन बेंचमार्क (CodeUpdateArena) पर CORSA का मूल्यांकन किया।

सामान्यीकरण (Generalization): CORSA ने बेसलाइन्स की तुलना में सामान्यीकरण में पर्याप्त लाभ हासिल किया। Qwen-3-4B पर, इसने LoRA की तुलना में औसत सामान्यीकरण में 12.42% और मॉडल एडिटिंग विधियों (MEMIT) की तुलना में 10% का सुधार किया।
निरंतर अपडेट में स्थिरता (Stability in Continual Updates): कई संशोधनों (जैसे, समय के साथ तथ्यों को अपडेट करना या नया ज्ञान इंजेक्ट करना) वाले सेटिंग्स में, CORSA ने विनाशकारी विस्मरण (catastrophic forgetting) को काफी कम कर दिया। निरंतर रिवीज़न सेटिंग्स में LoRA की तुलना में, इसने विस्मरण को 27.82% कम किया।
संघर्ष समाधान (Conflict Resolution): CORSA ने पुराने ज्ञान को प्रभावी ढंग से दबा दिया। CounterFact पर, इसने "ओल्ड नॉलेज रिटेंशन" को LoRA के 9.81% की तुलना में घटाकर 1.28% कर दिया। निरंतर अपडेट परिदृश्यों में, इसने Llama-3.1-8B पर "ओल्ड नॉलेज एक्टिवेशन" (reversion) को 3.71% तक न्यूनतम कर दिया, जो बेसलाइन्स से काफी कम है।
कोड डोमेन ट्रांसफर (Code Domain Transfer): CORSA सफलतापूर्वक कोड डोमेन (API अपडेट) में सामान्य हुआ, जिसने सामान्य कोडिंग क्षमताओं को बनाए रखते हुए Pass@5 अपडेट प्रभावकारिता में सबसे मजबूत बेसलाइन (F-Learning) को 5.48% से पीछे छोड़ दिया।
स्केलेबिलिटी (Scalability): विधि ने मॉडल आकारों (4B, 8B, 14B) में सुसंगत प्रदर्शन सुधार प्रदर्शित किया, जो यह दर्शाता है कि ट्रेनिंग ऑब्जेक्टिव स्केल की परवाह किए बिना अपडेट स्थिरता के लिए मौलिक लाभ प्रदान करता है।

5. महत्व और दावे

पेपर का दावा है कि CORSA ज्ञान संपादन को वास्तविक दुनिया के परिनियोजन (deployment) के लिए व्यावहारिक बनाने की दिशा में एक महत्वपूर्ण कदम है, जहाँ मॉडल्स को बार-बार, स्थिर और सामान्यीकरण योग्य अपडेट की आवश्यकता होती है। लॉस लैंडस्केप के ज्यामितीय गुणों (शार्पनेस) और पुराने एवं नए ज्ञान के बीच के अर्थ संबंधी संघर्षों (मार्जिन) को स्पष्ट रूप से संबोधित करके, CORSA उस "त्रिपथ" (trilemma) को पार करता है जो सामान्यीकरण, स्थिरता और संघर्ष समाधान को सीमित करता आया है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण जटिल बाहरी मेमोरी रूटिंग या डेटा रिप्ले पर निर्भर नहीं है, जो आर्किटेक्चरल ओवरहेड पैदा करते हैं। इसके बजाय, यह ज्ञान को एक सिद्धांत आधारित अनुकूलन उद्देश्य के माध्यम से सीधे LoRA एडेप्टर में एम्बेड करता है। परिणाम बताते हैं कि लॉस कर्वेचर (loss curvature) को कम करना, अपdatable LLMs के परिनियोजन में अनपेक्षित दुष्प्रभावों (जैसे, मतिभ्रम/hallucinations) को कम करने और जोखिमों को कम करने के लिए एक महत्वपूर्ण, बल्कि पहले से अनछुआ कारक है।