💬 NLP

A Local Perturbation Theory for Cross-Domain Interference and Recovery in Multi-Domain RL

यह शोध पत्र एक स्थानीय विक्षोभ सिद्धांत (local perturbation theory) प्रस्तावित करता है जो यह स्पष्ट करता है कि मल्टी-डोमेन आरएल (multi-domain RL) में क्रॉस-डोमेन हस्तक्षेप एक निम्न-आयामी साझा संघर्ष उप-स्थान (low-dimensional shared conflict subspace) के भीतर द्वितीय-क्रम की क्षति (second-order damage) से उत्पन्न होता है, जो यह प्रदर्शित करता है कि लक्षित डोमेन रिफ्रेश या प्रशिक्षण-मुक्त रोलबैक अन्य क्षमताओं को संरक्षित करते हुए निम्नीकृत प्रदर्शन को चुनिंदा रूप से पुनः प्राप्त कर सकते हैं।

मूल लेखक: Lei Yang, Siyu Ding, Deyi Xiong

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lei Yang, Siyu Ding, Deyi Xiong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: "मल्टीटास्किंग रोबोट" की समस्या

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली रोबोट सहायक है। आप चाहते हैं कि वह चार अलग-अलग कामों में माहिर हो: गणित की समस्याओं को हल करना, कोड लिखना, सामान्य ज्ञान (trivia) के उत्तर देना और रचनात्मक कहानियाँ लिखना।

आप इसे क्रमवार तरीके से प्रशिक्षित करने का निर्णय लेते हैं:

पहले, आप उसे गणित (Math) सिखाते हैं। वह गणित का जीनियस बन जाता है।
फिर, आप उसे कोड (Code) सिखाते हैं। वह कोड सीखना शुरू करता है, लेकिन किसी तरह, उसके गणित के कौशल थोड़े कम होने लगते हैं।
इसके बाद, आप उसे सामान्य ज्ञान (Trivia/QA) सिखाते हैं। उसके गणित के कौशल और भी गिर जाते हैं।
अंत में, आप उसे रचनात्मक लेखन (Creative Writing) सिखाते हैं। अब, भले ही वह लेखन में बेहतरीन है, लेकिन उसके गणित के कौशल पूरी तरह से खराब हो चुके हैं।

इसे क्रॉस-डोमेन इंटरफेरेंस (Cross-Domain Interference) कहा जाता है। पुराने विचार यह था कि रोबोट चीजें "भूल" रहा है (जैसे कोई इंसान नई भाषा सीखने के दौरान पहाड़े भूल जाता है) या गणित और कोड के निर्देश वैश्विक स्तर पर एक-दूसरे से लड़ रहे थे (जैसे दो लोग एक ही समय में अलग-अलग दिशाओं में चिल्ला रहे हों)।

यह पेपर कहता है: "नहीं, यह पूरी तरह सही नहीं है।"

शोधकर्ताओं ने पाया कि रोबोट कुछ भूल नहीं रहा है, और निर्देश हर जगह नहीं लड़ रहे हैं। इसके बजाय, नुकसान रोबोट के मस्तिष्क के भीतर बहुत विशिष्ट, सूक्ष्म "हाईवे" (राजमार्गों) में हो रहा है।

खोज: "हिडन हाईवे" (छिपा हुआ राजमार्ग) सिद्धांत

शोधकर्ताओं ने रोबोट के मस्तिष्क (न्यूरल नेटवर्क) के अंदर देखा और तीन आश्चर्यजनक चीजें पाईं:

रोबोट काफी हद तक अपरिवर्तित रहता है: जब रोबोट एक नया कौशल सीखता है, तो वह अपनी आंतरिक सेटिंग्स के केवल एक बहुत ही छोटे हिस्से को ही बदलता है। यह एक विशाल महल में कुछ विशिष्ट ईंटों को बदलने जैसा है, न कि पूरे महल को फिर से बनाने जैसा।
अलग-अलग काम अलग-अलग ईंटों का उपयोग करते हैं: गणित के लिए बदली गई विशिष्ट ईंटें, कोड के लिए बदली गई ईंटों से काफी अलग हैं। उनमें बहुत कम ओवरलैप है।
लेकिन वे एक ही गलियारे (Hallways) का उपयोग करते हैं: भले ही वे अलग-अलग ईंटों को बदलते हैं, लेकिन गणित और कोड दोनों अपना काम करने के लिए एक ही "गलियारे" (सक्रिय गणना मार्गों) का उपयोग करते हैं।

उपमा (Analogy):
एक विशाल कार्यालय भवन की कल्पना करें जिसमें हजारों कमरे हैं।

गणित एक टीम है जो कमरा नंबर 101 के रसोईघर का नवीनीकरण करती है।
कोड एक टीम है जो कमरा नंबर 101 के बाथरूम का नवीनीकरण करती है।
वे एक ही दीवारों को नहीं छूते (कम ओवरलैप)।
हालाँकि, दोनों टीमों को अपने कमरों तक पहुँचने के लिए एक ही तंग गलियारे से गुजरना पड़ता है।

समस्या यह नहीं है कि वे दीवारों के लिए लड़ रहे हैं। समस्या यह है कि कोड टीम बाथरूम तक जाते समय गलियारे में गलती से एक फूलदान गिरा देती है। गणित टीम रसोई तक जाने की कोशिश करते समय उस टूटे हुए फूलदान से टकरा जाती है।

नुकसान इसलिए होता है क्योंकि "अपडेट दिशा" (वे कैसे चलते हैं) उस साझा गलियारे में आपस में टकरा जाती है, भले ही वे अलग-अलग कमरों पर काम कर रहे हों।

समाधान: "क्विक रिसेट" (ताजगी/Refresh)

यह पेपर इस सिद्धांत पर आधारित एक चतुर समाधान प्रस्तावित करता है।

यदि रोबोट के गणित कौशल "कोड" और "ट्रिविया" प्रशिक्षण के कारण गिर गए हैं, तो आपको पूरे रोबोट को शुरू से प्रशिक्षित करने की आवश्यकता नहीं है। आपको बस गणित पर एक छोटा, लक्षित "रिफ्रेश" (ताजगी) देने की आवश्यकता है।

उपमा:
रोबोट के मस्तिष्क को एक थोड़े मुड़े हुए स्प्रिंग के रूप में सोचें। "कोड" और "ट्रिविया" प्रशिक्षण ने स्प्रिंग को एक विशिष्ट, हानिकारक तरीके से मोड़ दिया है।

पुराना विचार: आपको स्प्रिंग को पिघलाकर एक नया ढालना होगा (सब कुछ फिर से प्रशिक्षित करना)।
नया विचार: बस स्प्रिंग को विपरीत दिशा में एक त्वरित, तेज थपकी (टैप) दें।

लेखकों ने गणितीय रूप से सिद्ध किया कि यह "थपकी" (एक छोटा रिफ्रेश) हानिकारक मोड़ को बहुत तेज़ी से कम कर देती है।

परिणाम: उन्होंने रोबोट को कोड $\rightarrow$ गणित $\rightarrow$ ट्रिविया $\rightarrow$ लेखन पर प्रशिक्षित किया। गणित का स्कोर 66.5 से गिरकर 57.7 हो गया।
समाधान: उन्होंने रोबोट को एक छोटा "मैथ रिफ्रेश" दिया।
परिणाम: गणित वापस 66.0 (लग लगभग पूरी तरह से रिकवर) पर आ गया, और अन्य कौशल (कोड, ट्रिविया, लेखन) बिल्कुल वैसे ही रहे।

"मैजिक इरेज़र" प्रयोग

यह सिद्ध करने के लिए कि उनका सिद्धांत यह है कि नुकसान विशिष्ट "निर्देशांकों" (जैसे विशिष्ट न्यूरॉन्स) तक सीमित है, उन्होंने दूसरा प्रयोग किया।

पुनः प्रशिक्षण देने के बजाय, उन्होंने मैन्युअल रूप से उन विशिष्ट "ईंटों" की पहचान की जिन्हें "ट्रिविया" टीम ने गलियारे में गिरा दिया था और उन्हें मैन्युअल रूप से उनकी मूल स्थिति में वापस रोल (Roll back) कर दिया।

परिणाम: रोबोट की आंतरिक सेटिंग्स के केवल 2% (एक छोटा, विरल सेट ऑफ कोऑर्डिनेट्स) को छूकर, उन्होंने गणित के खोए हुए कौशल का 20% हिस्सा वापस पा लिया।
अर्थ: इसने सिद्ध किया कि नुकसान हर जगह फैला हुआ नहीं था; यह एक विशिष्ट, छोटे क्षेत्र में केंद्रित था। यदि आप उस छोटे क्षेत्र को ठीक करते हैं, तो आप समस्या को ठीक कर देते हैं।

मुख्य निष्कर्षों का सारांश

यह वैश्विक विस्मरण (Global Forgetting) नहीं है: रोबोट गणित को इसलिए नहीं भूल रहा है क्योंकि उसका "मेमोरी फुल" है। वह इसलिए भूल रहा है क्योंकि नया प्रशिक्षण अनजाने में उन विशिष्ट मार्गों से टकरा जाता है जिनका उपयोग गणित करता है।
यह वैश्विक लड़ाई नहीं है: गणित और कोड के निर्देश हर जगह नहीं लड़ रहे हैं। वे ज्यादातर शांतिपूर्ण हैं, लेकिन वे कुछ विशिष्ट, संकीकर "साझा मार्गों" में टकराते हैं।
समाधान स्थानीय (Local) है: आपको पूरे मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। क्षतिग्रस्त कौशल पर एक छोटा, लक्षित "रिफ्रेश" समस्या को ठीक करता है और बाकी कौशल को नुकसान नहीं पहुँचाता है।
नुकसान विरल (Sparse) है: हानिकारक परिवर्तन एक बहुत ही छोटे, निम्न-आयामी स्थान (Low-dimensional space) में केंद्रित हैं। आप उन्हें केवल मॉडल के कुछ विशिष्ट हिस्सों को लक्षित करके ठीक कर सकते हैं।

संक्षेप में: जब एक बहु-कौशल वाले AI को सिखाते हैं, तो इस बात की चिंता न करें कि वह सब कुछ भूल जाएगा। बस उन विशिष्ट "गलियारों" पर नज़र रखें जहाँ कौशल आपस में मिलते हैं, और यदि कोई कौशल गिरता है, तो बाकी रोबोट को तोड़े बिना नुकसान को ठीक करने के लिए एक त्वरित, लक्षित "ट्यून-अप" दें।

तकनीकी सारांश: मल्टी-डोमेन RL में क्रॉस-डोमेन इंटरफेरेंस और रिकवरी के लिए एक लोकल परटर्बेशन थ्योरी

समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट लर्निंग (RL) पोस्ट-ट्रेनिंग विशिष्ट डोमेन जैसे कि गणितीय तर्क (mathematical reasoning), कोड जनरेशन, प्रश्न उत्तर (QA), और क्रिएटिव राइटिंग (CW) पर लार्ज लैंग्वेज मॉडल्स (LLMs) को प्रभावी ढंग से बेहतर बनाती है। हालांकि, कई डोमेन पर क्रमिक प्रशिक्षण (sequential training) अक्सर क्रॉस-डोमेन इंटरफेरेंस (cross-domain interference) की ओर ले जाता है, जहाँ बाद के डोमेन पर प्रशिक्षण के बाद शुरुआती डोमेनों का प्रदर्शन गिर जाता है।

मौजूदा स्पष्टीकरण, जैसे कि कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) या ग्लोबल ग्रेडिएंट कॉन्फ्लिक्ट (global gradient conflict), इस घटना के लिए अपर्याप्त हैं। इस कार्य में देखे गए अनुभवजन्य अवलोकन प्रकट करते हैं कि:

विभिन्न डोमेन के बीच फुल-मॉडल ग्रेडिएंट कोसाइन (full-model gradient cosines) महत्वपूर्ण प्रदर्शन गिरावट के बावजूद लगभग ऑर्थोगोनल (शून्य के करीब) हो सकते हैं।
इंटरफेरेंस चयनात्मक और असममित (selective and asymmetric) है (जैसे, QA और CW पर प्रशिक्षण से Math का प्रदर्शन गंभीर रूपनों से गिर जाता है, जबकि Code और QA स्थिर रहते हैं), न कि समान रूप से होने वाली विस्मृति (uniform forgetting)।
मानक ग्लोबल व्यू यह समझाने में विफल रहते हैं कि कमजोर ग्लोबल ग्रेडिएंट एंटागोनिज्म (gradient antagonism) के बावजूद पर्याप्त इंटरफेरेंस कैसे बना रहता है।

मुख्य प्रश्न जिसका समाधान किया गया है वह है: यदि ग्लोबल ग्रेडिएंट एंटागोनिज्म में नहीं, तो क्रॉस-डोमेन इंटरफेरेंस कहाँ निवास करता है?

कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

लेखक फुल-मॉडल ऑब्जेक्टिव संघर्षों के विश्लेषण के बजाय लोकल एक्टिव कम्प्यूटेशन रूट्स (local active computation routes) के विश्लेषण की ओर बदलाव का प्रस्ताव करते हैं। यह कार्यप्रणाली अनुभवजन्य संरचनात्मक विश्लेषण को एक लोकल परटर्बेशन मॉडल के साथ जोड़ती है।

1. अनुभवजन्य संरचनात्मक विश्लेषण (Empirical Structural Analysis)

यह अध्ययन Omni-Thinker करिकुलम पर आधारित एक क्रमिक मल्टी-डोमेन RL सेटअप (Code $\to$ Math $\to$ QA $\to$ CW) का उपयोग करता है। मुख्य संरचनात्मक निष्कर्षों में शामिल हैं:

स्पार्स, कम-परिमाण वाले अपडेट (Sparse, Small-Magnitude Updates): डोमेन-विशिष्ट RL स्पार्स एडिट्स प्रेरित करता है, जिसमें 77%–89% पैरामीटर्स नगण्य एब्सोल्यूट परिवर्तन ( $<10^{-7}$ ) और रिलेटिव परिवर्तन ( $<10^{-3}$ ) दिखाते हैं।
कमजोर एडिट ओवरलैप (Weak Edit Overlap): विभिन्न डोमेन के बीच टॉप-चेंज्ड न्यूरॉन्स के सेट में कम जैकार्ड ओवरलैप (औसत < 0.19) होता है, जो इस परिकल्पना को खारिज करता है कि इंटरफेरेंस उन्हीं न्यूरॉन्स को फिर से लिखने से उत्पन्न होता है।
साझा सक्रिय मार्ग (Shared Active Routes): कम एडिट ओवरलैप के बावजूद, रीजनिंग-ओरिएंटेड डोमेन (Math, Code, QA) इन्फरेंस के दौरान पर्याप्त सक्रिय कम्प्यूटेशन रूट्स (टॉप 5% सक्रिय न्यूरॉन्स) साझा करते हैं।
दिशात्मक संघर्ष (Directional Conflict): इन साझा मार्गों पर, अपडेट की दिशाएं भिन्न होती हैं। जबकि कुछ जोड़े (जैसे, Code-Math) संरेखित (aligned) हैं, अन्य (जैसे, Math-QA) लेयर-डिपेंडेंट संघर्ष प्रदर्शित करते हैं, जहाँ अपडेट की दिशाएं विशिष्ट लेयर्स में एंटागोनिस्टिक होती हैं।

2. लोकल परटर्बेशन थ्योरी (Local Perturbation Theory)

इन अवलोकनों से निर्देशित होकर, लेखक तीन मुख्य प्रस्तावों के साथ एक लोकल परटर्बेशन मॉडल को औपचारिक रूप देते हैं:

सेकंड-ऑर्डर डैमेज (Second-Order Damage): चूंकि डोमेन $A$ पर प्रशिक्षण के बाद का चेकपॉइंट उसके स्थानीय ऑब्जेक्टिव के लिए लगभग स्टेशनरी है, इसलिए बाद के अपडेट $\delta_B$ का प्रमुख प्रभाव एक सेकंड-ऑर्डर डैमेज टर्म ( $\frac{1}{2}\delta_B^\top H_A \delta_B$ ) है, न कि फर्स्ट-ऑर्डर ग्रेडिएंट संघर्ष।
लो-डायमेंशनल कॉन्फ्लिक्ट सबस्पेस (Low-Dimensional Conflict Subspace): यह डैमेज एक लो-डायमेंशनल शेयर्ड एक्टिव कॉन्फ्लिक्ट सबस्पेस ( $S_{A,B}$ ) में केंद्रित है। भले ही ग्लोबल ग्रेडिएंट्स ऑर्थोगोनल हों और एडिट्स स्पार्स हों, इंटरफेरेंस तब होता है यदि बाद के-डोमेन अपडेट का इस संवेदनशील सबस्पेस पर प्रोजेक्शन बड़ा हो।
रिफ्रेश के माध्यम से ज्योमेट्रिक कॉन्ट्रैक्शन (Geometric Contraction via Refresh): क्षतिग्रस्त डोमेन $A$ पर एक छोटा "रिफ्रेश" (पुनः प्रशिक्षण) $S_{A,B}$ के भीतर हानिकारक घटक को ज्योमेट्रिक रूप से कॉन्ट्रैक्ट करता है। सबस्पेस में पॉजिटिव कर्वेचर और ऑर्थोगोनल दिशाओं से कमजोर कपलिंग की धारणाओं के तहत, हानिकारक विस्थापन (harmful displacement) रिफ्रेश स्टेप्स की संख्या के साथ एक्सपोनेंशियल रूप से घटता है, जिससे पूर्ण रिट्रेनिंग के बिना चयनात्मक रिकवरी संभव होती है।

मुख्य योगदान (Key Contributions)

इंटरफेरेंस का यांत्रिक स्पष्टीकरण (Mechanistic Explanation of Interference): यह पेपर सिद्ध करता है कि क्रॉस-डोमेन डिग्रेडेशन ग्लोबल ग्रेडिएंट संघर्ष या प्रत्यक्ष न्यूरॉन को-एडिटिंग द्वारा नहीं, बल्कि साझा सक्रिय कम्प्यूटेशन रूट्स पर स्पार्स RL एडिट्स के परस्पर क्रिया द्वारा संचालित होता है।
सैद्धांतिक औपचारिकता (Theoretical Formalization): यह तंत्र को सेकंड-ऑर्डर डैमेज के रूप में औपचारिक रूप देता है जो एक लो-डायमेंशनल शेयर्ड कॉन्फ्लिक्ट सबस्पेस में केंद्रित है। यह समझाता है कि क्यों लगभग ऑर्थोगोनल ग्लोबल ग्रेडिएंट्स और चयनात्मक गिरावट सह-अस्तित्व में हो सकते हैं।
चयनात्मक रिकवरी का सत्यापन (Validation of Selective Recovery): यह सिद्धांत भविष्यवाणी करता है कि क्षतिग्रस्त डोमेन पर एक छोटा रिफ्रेश हानिकारक सबस्पेस घटक को कॉन्ट्रैक्ट करके और अन्य डोमेन को होने वाले कोलेटरल डैमेज को सीमित करके प्रदर्शन को पुनः प्राप्त कर सकता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक दो पूरक दृष्टिकोणों के माध्यम से अपने सिद्धांत को सत्यापित करते हैं:

A. टास्क-लेवल रिकवरी (शॉर्ट रिफ्रेश)

सेटअप: क्रमिक प्रशिक्षण (Code $\to$ Math $\to$ QA $\to$ CW) के बाद, Math का प्रदर्शन 66.49 से गिरकर 57.66 हो गया।
हस्तक्षेप (Intervention): अंतिम चेकपॉइंट ($CWo$) पर एक छोटा "Re-Math" रिफ्रेश लागू किया गया।
परिणाम: Math का प्रदर्शन 66.04 तक रिकवर हो गया (सिंगल-डोमेन एक्सपर्ट के 66.84 के करीब), जबकि Code, QA, और CW का प्रदर्शन काफी हद तक स्थिर रहा।
निष्कर्ष: सभी डोमेनों में औसत स्कोर 66.39 तक पहुँच गया, जो क्रमिक बेसलाइन और मिक्स्ड-डोमेन बेसलाइन (JT और CGPO) दोनों से बेहतर है। यह पुष्टि करता है कि इंटरफेरेंस स्थानीयकृत सुधार के माध्यम से प्रतिवर्ती (reversible) है।

B. डायरेक्ट इंटरवेंशन (ट्रेनिंग-फ्री रोलबैक)

सेटअप: अपने लोकलाइजेशन क्लेम की सीधे जांच करने के लिए, लेखकों ने Math-QA पेयर पर एक ट्रेनिंग-फ्री रोलबैक किया। उन्होंने तीन संकेतों के आधार पर "प्रॉक्सी कॉन्फ्लिक्ट कोऑर्डिनेट्स" का एक स्पार्स सेट पहचाना: साझा एक्टिवेशन, अपडेट मैग्नीट्यूड, और डायरेक्शनल कॉन्फ्लिक्ट।
हस्तक्षेप: उन्होंने केवल इन चयनित कोऑर्डिनेट्स (2% MLP न्यूरॉन्स) पर QA-प्रेरित विस्थापन को वापस (revert) किया।
परिणाम: इस स्पार्स रोलबैक ने QA प्रदर्शन पर नगण्य प्रभाव के साथ Math लॉस को 20.4% (59.90 से 61.25) रिकवर किया। अटेंशन लेयर्स को शामिल करने के लिए रोलबैक को विस्तारित करने पर 32% बजट पर 73.6% की रिकवरी हुई।
महत्व: यह प्रत्यक्ष प्रमाण प्रदान करता है कि क्रॉस-डोमेन इंटरफेरेंस का हानिकारक घटक स्थानीयकृत है और इसे रिट्रेनिंग के बिना आंशिक रूप से रिवर्स किया जा सकता है।

महत्व और दावे (Significance and Claims)

यह पेपर मल्टी-डोमेन RL में इंटरफेरेंस और रिकवरी के लिए एक लोकल मैकेनिस्टिक अकाउंट प्रदान करने का दावा करता है। इसका महत्व निम्नलिखित में निहित है:

ग्लोबल स्पष्टीकरणों का खंडन: यह स्थापित करता है कि ग्लोबल ग्रेडिएंट ऑर्थोगोनैलिटी इंटरफेरेंस से सुरक्षा की गारंटी नहीं देती है, क्योंकि डैमेज एक स्थानीयकृत, सेकंड-ऑर्डर घटना है।
व्यावहारिक निहितार्थ: यह सुझाव देता है कि स्थिर मल्टी-डोमेन सुधार के लिए जटिल डेटा-मिक्सचर ट्यूनिंग या हैंड-डिज़ाइन रिप्ले शेड्यूल्स की आवश्यकता नहीं हो सकती है। इसके बजाय, क्षतिग्रस्त डोमेन पर छोटे, लक्षित रिफ्रेश सीमित साइड इफेक्ट्स के साथ प्रदर्शन को कुशलतापूर्वक रिकवर कर सकते हैं।
सैद्धांतिक अंतर्दृष्टि: यह स्पार्स पैरामीटर अपडेट और फंक्शनल इंटरफेरेंस के बीच के अंतर को पाटता है, यह दिखाते हुए कि "संघर्ष" ग्लोबल पैरामीटर स्पेस के बजाय साझा सक्रिय मार्गों पर अपडेट के संरेखण (alignment) में निवास करता है।

लेखक विनम्र रहते हुए नोट करते हैं कि उनका कॉन्फ्लिक्ट-सबस्पेस हस्तक्षेप वर्तमान में एक कोर्स प्रॉक्सी पर आधारित है और भविष्य के कार्यों में निम्नीकृत डोमेनों का पता लगाने और अधिक कुशल हस्तक्षेप के लिए लेटेंट कॉन्फ्लिक्ट सबस्पेस को सटीक रूप से पहचानने के लिए स्वचालन की आवश्यकता है।