🤖 machine learning

Scalable Knowledge Editing for Mixture-of-Experts LLMs via Tensor-Structured Updates

यह शोध पत्र एक स्केलेबल, क्लोज्ड-फॉर्म नॉलेज एडिटिंग फ्रेमवर्क का प्रस्ताव करता है जो Mixture-of-Experts LLMs के लिए है, जो डेंस-लेयर बेसलाइन्स के तुलनीय एडिटिंग क्वालिटी बनाए रखते हुए प्रति-एक्सपर्ट अपडेट प्राप्त करने के लिए टेंसर स्ट्रक्चर्स और वुडबरी मैट्रिक्स आइडेंटिटी का लाभ उठाता है और 6 गुना तक त्वरण (एक्सेलरेशन) प्राप्त करता है।

मूल लेखक: Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी समस्या: एक विशाल पुस्तकालय को अपडेट करना

कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक विशाल, अत्यंत बुद्धिमान लाइब्रेरियन की तरह है जिसे लगभग सब कुछ पता है। हालाँकि, एक बार जब लाइब्रेरियन को प्रशिक्षित (train) कर दिया जाता है, तो उनका ज्ञान "स्थिर" (frozen) हो जाता है। यदि दुनिया बदल जाती है (जैसे, एक नया राष्ट्रपति चुना जाता है, या कोई वैज्ञानिक तथ्य सुधारा जाता है), तो लाइब्रेरियन पुराने, गलत उत्तर देते रहते हैं।

आमतौर पर, इसे ठीक करने के लिए, आपको लाइब्रेरियन को एक लंबे, महंगे रिट्रेनिंग सत्र के लिए वापस स्कूल भेजना पड़ता है। यह धीमा है, इसमें कंप्यूटर पावर का बहुत खर्च होता है, और इसमें इस बात का जोखिम रहता है कि लाइब्रेरियन उन चीजों को भूल जाएं जो वे पहले से जानते थे।

नॉलेज एडिटिंग (Knowledge Editing) एक शॉर्टकट है। पूरे लाइब्रेरियन को फिर से प्रशिक्षित करने के बजाय, आप बस उनकी मेमोरी में एक विशिष्ट फ़ाइल को बदल देते हैं। पिछले तरीकों ने "डेंस" (dense) मॉडल्स के लिए अच्छा काम किया (जहाँ मस्तिष्क का हर हिस्सा सक्रिय होता है), लेकिन वे आधुनिक मॉडल्स के साथ संघर्ष करते रहे।

नई चुनौती: "एक्सपर्ट्स" की टीम

आधुनिक AI मॉडल्स (जैसे OpenAI या DeepSeek द्वारा उपयोग किए जाने वाले) एक एकल विशाल मस्तिष्क का उपयोग नहीं करते हैं। वे एक मिक्सचर-ऑफ-एक्सपर्ट्स (Mixture-of-Experts - MoE) आर्किटेक्चर का उपयोग करते हैं।

उपमा (Analogy): कल्पना कीजिए कि एक विशाल लाइब्रेरियन के बजाय, आपके पास 100 विशेषज्ञ विशेषज्ञों की एक टीम है (एक इतिहासकार, एक कोडर, एक शेफ, एक डॉक्टर, आदि)।
यह कैसे काम करता है: जब आप कोई प्रश्न पूछते हैं, तो एक "राउटर" (मैनेजर) प्रश्न को देखता है और केवल उन 4 या 8 विशेषज्ञों को जगाता है जो प्रासंगिक हैं। बाकी सोए रहते हैं।
समस्या: यदि आप एक तथ्य को अपडेट करना चाहते हैं (जैसे, "फ्रांस की राजधानी पेरिस है"), तो पुराने एडिटिंग टूल्स को इस विशिष्ट टीम से बात करने का तरीका नहीं पता था। उन्होंने इस पूरी टीम को एक बड़े ढेर (blob) के रूप में मानने की कोशिश की, जो अक्षम और अव्यवस्थित था। इसे ठीक करने का मौजूदा तरीका (जिसे MoE-Edit कहा जाता है) विशेषज्ञों को एक लंबी लाइन में एक-एक करके अपडेट करने जैसा था, जिसमें बहुत समय लगता था।

समाधान: MoTE (स्मार्ट टीम मैनेजर)

लेखकों ने MoTE (Mixture-of-Experts Tucker Editor) नामक एक नया तरीका प्रस्तावित किया है। उन्होंने दो मुख्य तरकीबों का उपयोग करके इस समस्या को हल किया:

1. "शॉर्टकट" गणित (Woodbury Identity)

विशेषज्ञों को अपडेट करने के पुराने तरीके में एक विशाल, जटिल गणितीय पहेली को हल करना आवश्यक था जिसमें एक बहुत बड़े मैट्रिक्स (संख्याओं का ग्रिड) को उलटना (invert) शामिल था। यह एक मिलियन वर्गों वाली सुडोकू पहेली को हल करने जैसा था।

लेखकों ने Woodbury Identity नामक एक गणितीय ट्रिक का उपयोग किया।

उपमा: उस मिलियन-वर्गों वाली पहेली को हल करने के बजाय, उन्होंने महसूस किया कि उन्हें केवल एक छोटे 50-वर्गों वाले पहेली को हल करने की आवश्यकता है जो उन बदलावों का प्रतिनिधित्व करती है जिन्हें आप करना चाहते हैं।
परिणाम: यह एक ऐसे कार्य को जो घंटों लेता है, मिनटों में बदल देता है। वे बिना हर एक विशेषज्ञ के पूर्ण भार (weight) को "जगाने" या गणना करने के, ज्ञान को अपडेट कर सकते हैं।

2. टीम संरचना का सम्मान करना (Tensor Decomposition)

दूसरी ट्रिक यह थी कि विशेषज्ञ यादृच्छिक (random) नहीं हैं; वे संबंधित हैं। उन्हें एक साथ प्रशिक्षित किया गया था, इसलिए उनका ज्ञान एक विशिष्ट 3D आकार में जुड़ा हुआ है (एक सपाट कागज के बजाय पनीर के ब्लॉक की तरह)।

उपमा: कल्पना कीजिए कि विशेषज्ञ एक गायक मंडली (choir) हैं। यदि आप गाने की पिच बदलना चाहते हैं, तो आप केवल एक व्यक्ति पर चिल्लाते नहीं हैं; आप पूरे समूह के सामंज्य (harmony) को समायोजित करते हैं।
विधि: लेखकों ने Tucker Decomposition का उपयोग किया। यह विशेषज्ञों के "पनीर के ब्लॉक" (एक्सपर्ट वेट्स) को एक छोटे, कोर आकार में कंप्रेस करने का एक तरीका है जो समूह के सार को पकड़ता है।
लाभ: इस छोटे "कोर" आकार को एडिट करके, वे स्वचालित रूप से सभी विशेषज्ञों को अपडेट करते हैं जो उनके संबंधों का सम्मान करता है। यह मॉडल को भ्रमित होने या अन्य चीजों को "भूलने" से रोकता है।

परिणाम: तेज़ और सटीक

पेपर ने कई आधुनिक AI मॉडल्स (जैसे Qwen और GPT-OSS) पर MoTE का परीक्षण किया और इसकी तुलना पिछले सर्वश्रेष्ठ तरीके (MoE-Edit) और मानक रिट्रेनिंग से की।

गति: MoTE पिछले सर्वश्रेष्ठ तरीके की तुलना में 6 गुना तक तेज़ है। यह 1,000 तथ्यों को बहुत कम समय में एडिट कर सकता है।
गुणवत्ता: यह तथ्यों को ठीक करने (Efficacy) और मॉडल के अन्य हिस्सों को खराब न करने (Specificity) में पिछले धीमे तरीकों के समान ही अच्छा है।
दक्षता (Efficiency): यह इस तथ्य के माध्यम से हासिल करता है कि वह प्रत्येक लेयर के लिए पुनर्गणना करने के बजाय, प्रक्रिया के बिल्कुल अंत में एक बार भारी गणितीय गणना करता है और फिर उस परिणाम को अन्य लेयर्स में फैला देता है।

सारांश

यह पेपर MoTE पेश करता है, जो एक ऐसा टूल है जो हमें आधुनिक, "एक्सपर्ट-आधारित" AI मॉडल्स को तेज़ी से और सटीकता से अपडेट करने की अनुमति देता है। यह इसे दो तरीकों से करता है:

अनावश्यक भारी गणनाओं से बचने के लिए एक गणितीय शॉर्टकट का उपयोग करना।
विशेषज्ञों की टीम संरचना का सम्मान करना ताकि अपडेट सार्थक हों।

इसका अर्थ यह है कि हम AI मॉडल्स को शून्य से फिर से प्रशिक्षित किए बिना वास्तविक दुनिया के साथ अपडेट रख सकते हैं, जिससे बहुत अधिक समय और ऊर्जा की बचत होती है।

तकनीकी सारांश: टेन्सर-स्ट्रक्चर्ड अपडेट्स के माध्यम से Mixture-of-Experts LLMs के लिए स्केलेबल नॉलेज एडिटिंग

समस्या विवरण
नॉलेज एडिटिंग (KE), आधुनिक Mixture-of-Experts (MoE) आर्किटेटेक्चर में तथ्यात्मक ज्ञान को अपडेट करने के लिए फुल फाइन-ट्यूनिंग के एक हल्के विकल्प के रूप में कार्य करती है। जबकि ROME और MEMIT जैसे स्थापित तरीके डेंस फीड-फॉरवर्ड नेटवर्क (FFNs) के लिए कुशल, क्लोज्ड-फॉर्म अपडेट प्रदान करते हैं, वे आधुनिक MoE आर्किटेक्चर के साथ असंगत हैं। MoE मॉडल्स में, तथ्यात्मक जुड़ाव एक सिंगल डेंस मैट्रिक्स के बजाय एक राउटर द्वारा गेट किए गए विशेषज्ञों (experts) के पूल में वितरित होते हैं। मौजूदा MoE-विशिष्ट एडिटिंग विधियाँ, जैसे कि MoE-Edit, इटरेटिव ब्लॉक-कोऑर्डिनेट डिसेंट (BCD) या विशेषज्ञों के अनुक्रमिक प्रसंस्करण (sequential processing) पर निर्भर करती हैं। यह दृष्टिकोण एक कम्प्यूटेशनल बॉटलनेक (bottleneck) पैदा करता है, जिसमें बार-बार एक्टिवेशन कलेक्शन और अनुक्रमिक सॉल्वर इटरेशन की आवश्यकता होती है जो विशेषज्ञों और एडिट्स की संख्या के साथ खराब रूप से स्केल करता है, जिससे वे बड़े पैमाने के प्रोडक्शन मॉडल्स के लिए अव्यवहारिक हो जाते हैं।

कार्यप्रणाली: MoTE (MoE Tucker Editor)
लेखक MoTE का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो MoE लेयर्स के टेन्सर स्ट्रक्चर का लाभ उठाकर MEMIT के क्लोज्ड-फॉर्म, बैच-आधारित एडिटिंग प्रतिमान (paradigm) को अनुकूलित करता है। यह विधि तीन मुख्य घटकों से बनी है:

स्केलेबिलिटी के लिए Woodbury रिडक्शन:
MoE एडिटिंग के लिए ग्लोबल ऑप्टिमाइज़ेशन ऑब्जेक्टिव में $(E \cdot d_{hidden}) \times (E \cdot d_{hidden})$ आकार के एक विशाल सिस्टम को इनवर्ट करना शामिल है, जहाँ $E$ विशेषज्ञों की संख्या है। MoTE इस समस्या को पुनर्गठित करने के लिए Woodbury मैट्रिक्स आइडेंटिटी का उपयोग करता है। यह पहचानते हुए कि इनवर्जन को चलाने वाला ग्राम मैट्रिक्स $T$ रैंक-वन टर्म्स का एक योग है (जहाँ $T$ एडिट्स का बैच साइज है), यह विधि इनवर्जन कॉम्प्लेक्सिटी को विशेषज्ञों की संख्या के क्यूबिक (cubic) से घटाकर बैच साइज ( $T \times T$ ) के क्यूबिक में बदल देती है। यह पूरे स्टैक्ड एक्सपर्ट मैट्रिक्स को मैटेरियलाइज या इनवर्ट किए बिना एक क्लोज्ड-फॉर्म समाधान की अनुमति देता है।
टेन्सर-स्ट्रक्चर्ड रीफॉर्मुलेशन (Tucker Decomposition):
लेखक पहचानते हैं कि विशेषज्ञ अपडेट को स्वतंत्र ब्लॉक्स (एक फ्लैट मैट्रिक्स अप्रोच) के रूप में मानना प्रीट्रेनिंग के दौरान विशेषज्ञों के बीच सीखे गए संरचनात्मक सहसंबंधों (structural correlations) की अनदेखी करता है। इसके बजाय, MoTE अपडेट $\Delta W$ को एक तीसरे-क्रम के टेन्सर ( $E \times d_{model} \times d_{hidden}$ ) के रूप में दर्शाता है और इसे एक लो-रैंक टकर मैनिफोल्ड (low-rank Tucker manifold) के भीतर सीमित करता है।
- फैक्टरइज़ेशन (Factorization): अपडेट को एक छोटे कोर टेन्सर $G$ और तीन फैक्टर मैट्रिसेस ( $U_e, U_{out}, U_{in}$ ) में विभाजित किया जाता है, जो मूल वेट्स के Higher-Order SVD (HOSVD) के माध्यम से प्राप्त किए जाते हैं।
- ऑप्टिमाइज़ेशन: ऑप्टिमाइज़ेशन समस्या को सभी विशेषज्ञों के हाई-डायमेंशनल स्पेस से घटाकर बहुत छोटे कोर टेन्सर $G$ में समेट दिया जाता है। यह MoE लेयर की ज्यामितीय संरचना को संरक्षित करते हुए ऑप्टिमाइज़ेशन वेरिएबल की डाइमेंशनलिटी को कई गुना कम कर देता है।
MEMIT-शैली का मल्टी-लेयर स्प्रेडिंग:
MEMIT के समान, MoTE सामान्यीकरण (generalization) सुनिश्चित करने के लिए कई महत्वपूर्ण लेयर्स में एडिट्स को फैलाता है। हालाँकि, पिछले MoE दृष्टिकोणों के विपरीत, जिन्हें प्रत्येक लेयर के लिए पुनः हल करने की आवश्यकता होती है, MoTE केवल अंतिम महत्वपूर्ण लेयर पर क्लोज्ड-फॉर्म समाधान कंप्यूट करता है। परिणामी कोर टेन्सर अपडेट को एक घटते गुणांक (decaying coefficient) के साथ पूर्ववर्ती लेयर्स में प्रसारित किया जाता है, जिससे अनावश्यक गणनाओं और बैकवर्ड पासेस से बचा जा सके।

मुख्य योगदान

टेन्सर-अवेयर फॉर्मुलेशन: यह पेपर MoE लेयर्स के लिए KE ऑब्जेक्टिव को उनके टेन्सर स्ट्रक्चर का सम्मान करते हुए फॉर्म्युलेट करता है, जिससे नेइव कॉन्कैटिनेशन या सिंगल-एक्सपर्ट एप्रोक्सिमेशन से बचा जा सके।
कुशल क्लोज्ड-फॉर्म समाधान: Woodbury आइडेंटिटी और Tucker डिकंपोजिशन को जोड़कर, यह विधि पूरी तरह से क्लोज्ड-फॉर्म, बैकवर्ड-पास-फ्री अपडेट प्राप्त करती है। इसके लिए केवल फिक्स्ड लो-रैंक मैट्रिसेस के इनवर्जन की आवश्यकता होती है (जिसका आकार बैच साइज या कोर रैंक द्वारा निर्धारित होता है), जो कुल विशेषज्ञों की संख्या से स्वतंत्र है।
स्केलेबिलिटी: यह दृष्टिकोण MEMIT के समान बैच एडिटिंग को सक्षम बनाता है, जिससे यह आधुनिक, स्पार्स LLMs को एडिट करने के लिए व्यवहार्य बनाता है, जो पिछले MoE-विशिष्ट तरीकों के अनुक्रमिक बॉटलनेक्स से मुक्त है।

प्रायोगिक परिणाम
लेखकों ने COUNTERTERFACT और ZsRE बेंचमार्क का उपयोग करके तीन आधुनिक MoE LLMs (Qwen3-30B-A3B, GPT-OSS-20B, और Qwen3.6-35B-A3B) पर MoTE का मूल्यांकन किया।

एडिटिंग क्वालिटी: MoTE, MoE-Edit जैसे मजबूत बेसलाइन्स के समान एडिटिंग क्वालिटी (प्रभावकारिता, सामान्यीकरण और विशिष्टता) प्राप्त करता है। कुछ परिदृश्यों में (जैसे, ZsRE पर GPT-OSS-20B), यह लोकैलिटी (विशिष्टता) में MoE-Edit से बेहतर प्रदर्शन करता है।
गति: यह विधि MoE-Edit की तुलना में एडिटिंग प्रक्रिया को 6x तक तेज करती है। यह स्पीडअप अंतिम लेयर पर एक्टिवेशन को केवल एक बार एकत्र करने और केवल एक बार क्लोज्ड-फॉर्म सिस्टम को हल करने के कारण है, न कि विशेषज्ञों और लेयर्स के माध्यम से अनुक्रमिक रूप से गुजरने के कारण।
एब्लेशन (Ablation): प्रयोग पुष्टि करते हैं कि Woodbury रिडक्शन और मल्टी-लेयर स्प्रेडिंग का नेइव संयोजन (बिना Tucker डिकंपोजिशन के) MoE-Edit के प्रदर्शन से मेल खाने में विफल रहता है, जो टेन्सर-स्ट्रक्चर्ड प्रायर की आवश्यकता को प्रमाणित करता है।

महत्व और दावे
पेपर का दावा है कि क्लोज्ड-फॉर्म, पैरामीटर-मॉडिफाइंग नॉलेज एडिटिंग स्वाभाविक रूप से डेंस आर्किटेक्चर से जुड़ी नहीं है। लेयर के स्ट्रक्चर पर सही बीजगणितीय उपचार लागू करके, इन तकनीकों को जटिल स्पार्स आर्किटेक्चर तक विस्तारित किया जा सकता है। लेखक MoTE को आधुनिक LLMs में स्केलेबल नॉलेज एडिटिंग की दिशा में एक कदम के रूप में प्रस्तुत करते हैं, यह प्रदर्शित करते हुए कि सिद्धांत-आधारित, ऑप्टिमाइज़ेशन-आधारित एडिटिंग आर्किटेक्चरल विकास के साथ तालमेल बनाए रख सकती है। वे जोर देते हैं कि उनका तरीका आधुनिक MoE मॉडल्स को कुशलतापूर्वक अपडेट करने के लिए एक व्यावहारिक मार्ग प्रदान करता है, हालांकि वे अत्यंत बड़े बैच साइज़ (>>1000) के साथ उच्च कम्प्यूटेशनल लागत और HOSVD कंप्यूट करने के प्रारंभिक ओवरहेड के संबंध में सीमाओं को भी नोट करते हैं।