💬 NLP

SHIFT: Gate-Modulated Activation Steering for Knowledge Conflict Mitigation in Retrieval-Augmented Generation

यह शोध पत्र SHIFT प्रस्तुत करता है, जो एक हल्का ढांचा (lightweight framework) है जो एक सीखने योग्य गेट मॉड्यूल (learnable gate module) का उपयोग करके आंतरिक सक्रियणों (internal activations) को अनुकूल रूप से नियंत्रित करता है, जिससे रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) में ज्ञान के संघर्षों को कम किया जा सके और मॉडल की सामान्य क्षमताओं से समझौता किए बिना रिट्रीव किए गए संदर्भ और पैरामीट्रिक ज्ञान के बीच के संघर्षों को हल किया जा सके।

मूल लेखक: Ruochang Li, Pengcheng Huang, Zhenghao Liu, Yukun Yan, Huiyuan Xie, Yu Gu, Ge Yu, Maosong Sun

प्रकाशित 2026-06-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ruochang Li, Pengcheng Huang, Zhenghao Liu, Yukun Yan, Huiyuan Xie, Yu Gu, Ge Yu, Maosong Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Shift: Gate-Modulated Activation Steering for Knowledge Conflict Mitigation in Retrieval-Augmented Generation" का सरल भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।

समस्या: "सब कुछ जानने वाला" बनाम "समाचार रिपोर्ट"

कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान और विद्वान मित्र है (AI मॉडल) जिसने किताबों के एक विशाल पुस्तकालय को कंठस्थ कर लिया है (इसे परामेट्रिक नॉलेज/Parametric Knowledge कहा जाता है)। आपका यह मित्र बहुत कुछ जानता है, लेकिन उसका यह पुस्तकालय स्थिर है; यह आज की खबरों के साथ अपडेट नहीं होता है।

अब, कल्पना कीजिए कि आप इस मित्र को एक प्रश्न का उत्तर देने में मदद करने के लिए एक ताज़ा समाचार पत्र का लेख देते हैं (यह रिट्रीव्ड कॉन्टेक्स्ट/Retrieved Context है)। कभी-कभी समाचार पत्र कुछ कहता है और आपके मित्र की स्मृति कुछ और कहती है। यह एक नॉलेज कॉन्फ्लिक्ट (ज्ञान का संघर्ष) है।

परिदृश्य A: समाचार पत्र सही है (जैसे, कल एक नया कानून पारित हुआ), लेकिन आपका मित्र पुराने नियम पर अड़ा हुआ है।
परिदृश्य B: समाचार पत्र एक फर्जी अफवाह है, लेकिन आपका मित्र अपने पुस्तकालय से सच्चाई जानता है।

रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) का लक्ष्य यह है कि AI समाचार पत्र का उपयोग तब करे जब वह सही हो और उसे तब अनदेखा कर दे जब वह गलत हो। हालाँकि, वर्तमान AI मॉडल अक्सर भ्रमित हो जाते हैं। वे या तो अपनी पुरानी यादों पर अड़े रहते हैं भले ही समाचार पत्र सही हो, या वे एक फर्जी समाचार पत्र पर अंधा विश्वास कर लेते हैं और अपने स्वयं के ज्ञान को अनदेखा कर देते हैं।

पुराने समाधान: सर्जरी और ब्रूट फोर्स (बलात प्रयोग)

इस शोध पत्र से पहले, शोधकर्ताओं ने इसे ठीक करने के लिए मुख्य रूप से दो तरीकों का प्रयास किया, जिनमें दोनों की अपनी समस्याएँ थीं:

"न्यूरोसर्जन" दृष्टिकोण: उन्होंने एक विशिष्ट तथ्य के लिए जिम्मेदार सटीक छोटे "न्यूरॉन्स" (जैसे विशिष्ट मस्तिष्क कोशिकाएं) को खोजने और उन्हें सर्जिकल तरीके से बदलने की कोशिश की।
- समस्या: यह एक घर में रिसाव को ठीक करने के लिए एक ईंट को बदलने जैसा है। यदि आप गलत ईंट चुनते हैं, तो आप अनजाने में पूरी दीवार ही गिरा सकते हैं। यह नाजुक और जोखिम भरा है।
"ब्रूट फोर्स" दृष्टिकोण: उन्होंने पूरे AI मॉडल को शुरू से फिर से प्रशिक्षित करने या इसे गहराई से फाइन-ट्यून करने की कोशिश की ताकि वह समाचार पत्र को सुनना सीख सके।
- समस्या: यह पूरे स्कूल को फिर से प्रशिक्षित करने के लिए एक नए शिक्षक को काम पर रखने जैसा है। यह महंगा है, धीमा है, और कभी-कभी शिक्षक इतिहास सिखाने के दौरान गणित सिखाना भूल जाता है (जिसे "कैटास्ट्रोफिक फॉरगेटिंग" की समस्या कहा जाता है)।

नया समाधान: "ट्रैफिक लाइट" (Shift)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे Shift कहा जाता है। AI के मस्तिष्क को काटने या पूरे मस्तिष्क को फिर से प्रशिक्षित करने के बजाय, वे इसके अंदर एक स्मार्ट, समायोज्य ट्रैफिक लाइट सिस्टम स्थापित करते हैं।

यह इस प्रकार काम करता है:

गेट (ट्रैफिक लाइट):
AI का "मस्तिष्क" परतों (layers) से बना होता है। लेखक इन परतों के सामने एक छोटा, हल्का गेट (Gate) जोड़ते हैं। इस गेट को एक डिमर स्विच या वॉल्यूम नॉब (आवाज़ कम-ज्यादा करने वाला बटन) के रूप में समझें।
- यदि AI एक ऐसा संघर्ष देखता है जहाँ समाचार पत्र सही है, तो गेट हरा (या ऊपर) हो जाता है, जिससे नई जानकारी मजबूती से प्रवाहित होती है।
- यदि AI एक ऐसा संघर्ष देखता है जहाँ समाचार पत्र फर्जी है, तो गेट लाल (या नीचे) हो जाता है, जिससे नई जानकारी का प्रभाव कम हो जाता है ताकि AI की आंतरिक स्मृति प्रभावी हो सके।
"फ्रोजन" (जमी हुई) मस्तिष्क:
महत्वपूर्ण बात यह है कि लेखक AI के मस्तिष्क को नहीं बदलते। वे इसे "फ्रोजन" रखते हैं। वे केवल छोटे गेट्स को प्रशिक्षित करते हैं।
- उपमा: कल्पना कीजिए कि एक मास्टर शेफ (फ्रोजन AI) है जो खाना बनाना पूरी तरह से जानता है। उसे निकालने और नया शेफ रखने के बजाय, आप उसे केवल एडजस्टेबल स्पाइस शेकर्स (गेट्स) देते हैं। शेफ वही रहता है, लेकिन अब वह तय कर सकता है कि विशिष्ट व्यंजन के आधार पर कितना नमक डालना है।
कोच (GRPO):
गेट्स कैसे सीखते हैं कि कब खुलना है या बंद होना है? लेखक ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) नामक प्रशिक्षण पद्धति का उपयोग करते हैं।
- उपमा: कल्पना कीजिए कि एक कोच शेफ को एक ही व्यंजन के 5 अलग-अलग संस्करण बनाते हुए देख रहा है। कोच कहता है, "वर्जन 3 सबसे अच्छा था क्योंकि आपने ग्राहक के अनुरोध (कॉन्टेक्स्ट) को सुना बजाय अपने पुराने स्वभाव के।" गेट्स इन तुलनाओं से सीखते हैं ताकि अगली बार बेहतर चुनाव कर सकें।

यह बेहतर क्यों है?

यह हल्का (Lightweight) है: लेखकों ने केवल 0.01% पैरामीटर्स को प्रशिक्षित किया। यह कार के इंजन को फिर से बनाने के बजाय उसमें एक छोटा सेंसर लगाने जैसा है।
यह लचीला (Flexible) है: गेट्स "इनपुट-डिपेंडेंट" हैं। इसका मतलब है कि गेट केवल यह नहीं कहता कि "हमेशा समाचार पत्र पर भरोसा करो।" यह विशिष्ट प्रश्न को देखता है और निर्णय लेता है, "इस प्रश्न के लिए, मुझे समाचार पत्र पर भरोसा करना चाहिए," लेकिन "उस प्रश्न के लिए, मुझे अपनी स्मृति पर भरोसा करना चाहिए।"
यह कौशल को सुरक्षित रखता है: क्योंकि मुख्य मस्तिष्क को छुआ नहीं गया था, इसलिए AI अन्य चीजें (जैसे कविता लिखना या गणित हल करना) करना नहीं भूला। शोधकर्ताओं ने इसका परीक्षण किया और पाया कि AI के सामान्य कौशल लगभग समान रहे।

परिणाम

शोधकर्ताओं ने Shift का परीक्षण छह अलग-अलग डेटासेट्स (एक बड़े क्विज़ बाउल की तरह) पर किया।

परिणाम: Shift ने लगातार अन्य तरीकों को पछाड़ दिया। यह यह जानने में बेहतर था कि कब नए सूचना पर भरोसा करना है और कब अपने स्वयं के ज्ञान पर टिके रहना है।
प्रमाण: एक परीक्षण मामले में, AI को एक फर्जी समाचार कहानी दी गई जिसमें दावा किया गया था कि एक प्रसिद्ध पुरस्कार गलत लोगों को मिला है। पुराने तरीके फर्जी समाचार से धोखा खा गए। Shift ने संघर्ष को पहचाना, फर्जी समाचार की "वॉल्यूम" को कम कर दिया, और अपने स्वयं के ज्ञान के आधार पर सही उत्तर दिया।

सारांश

Shift AI मॉडल्स को विरोधाभासी जानकारी को संभालने के लिए सिखाने का एक चतुर और कम लागत वाला तरीका है। AI के मस्तिष्क को फिर से लिखने या जोखिम भरी सर्जरी करने के बजाय, यह एक स्मार्ट, समायोज्य "वॉल्यूम नॉब" स्थापित करता है जो AI को यह तय करने की अनुमति देता है कि उसे अपनी स्मृति को सुनना है या अपनी नई पढ़ने वाली सामग्री को। यह AI को अधिक विश्वसनीय बनाता है बिना उसके बाकी ज्ञान को भुलाए।

तकनीकी सारांश: शिफ्ट - ज्ञान संघर्ष शमन के लिए गेट-मॉड्यूलेटेड एक्टिवेशन स्टीयरिंग

समस्या विवरण

रिट्रीवल-ऑगमेंटेड जनरेशन (RAG), बाहरी ज्ञान को शामिल करके लार्ज लैंग्वेज मॉडल्स (LLMs) को उन्नत करता है, लेकिन यह एक गंभीर चुनौती का सामना करता है: ज्ञान संघर्ष (knowledge conflict)। यह तब होता है जब रिट्रीव किया गया प्रासंगिक साक्ष्य (contextual evidence) मॉडल के पैरामीट्रिक ज्ञान (जो प्रीट्रेनिंग के दौरान एनकोडेड होता है) के साथ विरोधाभास करता है। ऐसे परिदृश्यों में, LLMs वैध रिट्रीव किए गए साक्ष्य को अनदेखा कर सकते हैं, पुराने या गलत पैरामीट्रिक ज्ञान पर अत्यधिक निर्भर हो सकते हैं, या दोनों स्रोतों को असंगत रूप से मिला सकते हैं, जिससे तथ्यात्मक विश्वसनीयता से समझौता होता है।

मौजूदा शमन रणनीतियाँ दो श्रेणियों में आती हैं जिनकी महत्वपूर्ण सीमाएँ हैं:

न्यूरॉन-स्तरीय हस्तक्षेप (Neuron-level interventions): ये विशिष्ट ज्ञान-संबंधी न्यूरॉन्स को खोजने और संपादित करने का प्रयास करते हैं। हालाँकि, ज्ञान अक्सर विरल (sparsely) रूप से प्रतिनिधित्व किया जाता है, जिससे सूक्ष्म-स्तर का स्थानीयकरण नाजुक हो जाता है और सामान्य मॉडल क्षमताओं पर अनपेक्षित कैस्केडिंग प्रभाव पड़ने की संभावना रहती है।
लेयर-स्तरीय हस्तक्षेप (Layer-level interventions): ये चयनित परतों या घटकों पर निश्चित नियम लागू करते हैं। हालांकि ये अधिक व्यावहारिक हैं, लेकिन इनमें विभिन्न संघर्ष मामलों के लिए लचीलेपन की कमी होती है और कठोर हस्तक्षेप योजनाओं के कारण ये सामान्य क्षमताओं को बाधित कर सकते हैं।

कार्यप्रणाली: शिफ्ट (Shift) फ्रेमवर्क

यह शोध पत्र शिफ्ट (Shift) (फीड-फॉरवर्ड नेटवर्क पर चयनात्मक हिडन-स्टेट हस्तक्षेप) प्रस्तावित करता है, जो एक हल्का (lightweight) फ्रेमवर्क है जो ज्ञान संघर्ष शमन को एक सीखने योग्य गेट मॉड्यूलेशन (gate modulation) समस्या के रूप में पुनर्गठित करता है। शिफ्ट बिना बैकबोन LLM मापदंडों को संशोधित किए कार्य करता है।

1. गेट-मॉड्यूलेटेड एक्टिवेशन स्टीयरिंग

शिफ्ट प्रत्येक ट्रांसफार्मर लेयर के फीड-फॉरवर्ड नेटवर्क (FFN) शाखाओं में हल्के, सीखने योग्य गेट मॉड्यूल सम्मिलित करता है। सीधे वेट्स को एडिट करने या स्थिर नियम लागू करने के बजाय, ये गेट इनपुट के आधार पर हिडन-स्टेट एक्टिवेशन्स को अनुकूल रूप से मॉड्यूलेट करते हैं।

तंत्र (Mechanism): लेयर $l$ और टोकन $t$ पर एक हिडन स्टेट $\tilde{h}_{l,t}$ के लिए, FFN योगदान को एक स्केलर गेट वैल्यू $g_{l,t}$ द्वारा स्केल किया जाता है:
$h_{l,t} = \tilde{h}_{l,t} + g_{l,t} \cdot \text{FFN}_l(\text{LN}(\tilde{h}_{l,t}))$
गेट गणना (Gate Computation): गेट वैल्यू की गणना इस प्रकार की जाती है:
$g_{l,t} = \lambda_g \cdot \sigma(w_l^\top \tilde{h}_{l,t} + b_l)$
जहाँ $\sigma$ सिग्मॉइड फंक्शन है, $w_l$ और $b_l$ सीखने योग्य पैरामीटर हैं, और $\lambda_g$ मॉड्यूलेशन रेंज को नियंत्रित करता है।
आरंभीकरण (Initialization): यह सुनिश्चित करने के लिए कि मॉडल मूल व्यवहार के साथ शुरू हो, गेट्स को इस तरह से आरंभीकृत किया जाता है कि $g_{l,t} \approx 1$ (विशेष रूप से, $b_l = \text{logit}(1/\lambda_g)$ ), जिससे शुरुआत में FFN आउटपुट अपरिवर्तित रहता है।

2. सुदृढीकरण-आधारित अनुकूलन (GRPO)

बैकबोन LLM को फ्रीज रखते हुए, गेट पैरामीटर्स को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करके अनुकूलित किया जाता है।

प्रक्रिया: प्रत्येक इनपुट के लिए, गेटेड पॉलिसी संभावित प्रतिक्रियाओं का एक समूह (group) उत्पन्न करती है।
रिवॉर्ड सिग्नल (Reward Signal): एक मिश्रित रिवॉर्ड का उपयोग किया जाता है, जिसमें शामिल हैं:
- फॉर्मेट रिवॉर्ड: संरचित आउटपुट सुनिश्चित करता है।
- फिथफुलनेस (Faithfulness) रिवॉर्ड: यह प्रोत्साहित करता है कि उत्तर रिट्रीव किए गए संदर्भ के साथ संरेखित हो जब वह ग्राउंड ट्रुथ हो, या पैरामीट्रिक ज्ञान के साथ संरेखित हो जब संदर्भ भ्रामक हो।
नियमितीकरण (Regularization): गेट पैरामीटर्स को फ्रीज किए गए बैकबोन के सामान्य व्यवहार को बाधित करने से रोकने के लिए एक L2 रेगुलराइजेशन टर्म लागू किया जाता है।
उद्देश्य (Objective): अनुकूलन GRPO लॉस को कम करता है जबकि पॉलिसी को रेफरेंस (फ्रीज) मॉडल के करीब रहने के लिए बाध्य करता है और गेट पैरामीटर्स में बड़े विचलन को दंडित करता है।

मुख्य योगदान

न्यूनतम दखल देने वाला फ्रेमवर्क (Minimally Invasive Framework): शिफ्ट एक गेट मॉड्यूलेशन फ्रेमवर्क पेश करता है जो बैकबोन LLM मापदंडों में संशोधन की आवश्यकता के बिना, डायनेमिक रूप से आंतरिक एक्टिवेशन्स को नियंत्रित करके ज्ञान संघर्ष को हल करता है।
इनपुट-निर्भर अनुकूलन (Input-Dependent Adaptation): स्थिर लेयर-स्तरीय हस्तक्षेपों के विपरीत, शिफ्ट विभिन्न संघर्ष मामलों के बीच संतुलन बनाने के लिए GRPO के माध्यम से अनुकूलित इनपुट-निर्भर गेट्स का उपयोग करता है। यह कुल मापदंडों के 0.01% से भी कम को प्रशिक्षित करके इसे प्राप्त करता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): व्यापक प्रयोग प्रदर्शित करते हैं कि शिफ्ट ज्ञान संघर्षों को कम करने में मजबूत बेसलाइन्स (प्रॉम्प्टिंग रणनीतियों, डिकोडिंग-आधारित विधियों और फुल फाइन-ट्यूनिंग दृष्टिकोणों सहित) को लगातार पछाड़ता है और साथ ही अपनी सामान्य क्षमताओं को बेहतर ढंग से संरक्षित करता है।

प्रयोगात्मक परिणाम

लेखकों ने Qwen और Llama मॉडल परिवारों (0.6B से 8B पैरामीटर्स तक) का उपयोग करके छह डेटासेट्स (HotpotQA, SearchQA, NewsQA, Natural Questions, TriviaQA, SQuAD) और आउट-ऑफ-डोमेन ConFiQA बेंचमार्क पर Shift का मूल्यांकन किया।

प्रदर्शन (Performance): Shift ने लगातार बेसलाइन्स को पीछे छोड़ा। MRQA बेंचमार्क पर, इसने सबसे मजबूत बेसलाइन्स पर औसतन 6.16% (Qwen-3-0.6B) और 2.64% (Qwen-3-8B) का सुधार हासिल किया। संघर्ष-विशिष्ट सेटिंग्स (ConFiQA) में, सुधार और भी स्पष्ट थे (जैसे, Qwen-3-0.6B पर +11.15% EM)।
सामान्यीकरण (Generalization): पद्धति ने विभिन्न मॉडल आर्किटेक्चर (Qwen और Llama) और स्केल के बीच मजबूत हस्तांतरणीयता दिखाई। छोटे मॉडल्स को महत्वपूर्ण लाभ हुआ (Llama-3.2-1B पर 34.72% तक सुधार), जबकि बड़े मॉडल्स ने भी सकारात्मक लाभ दिखाया।
क्षमता संरक्षण (Capability Preservation): महत्वपूर्ण रूप से, Shift ने बैकबोन मॉडल्स की सामान्य क्षमताओं को सुरक्षित रखा। MMLU बेंचमार्क पर, प्रदर्शन में गिरावट मामूली थी (औसत कमी < 0.5%), जिसमें 8B Qwen मॉडल ने अपने मूल स्कोर का 99.3% बनाए रखा।
तंत्र विश्लेषण (Mechanism Analysis): गेट एक्टिवेशन के विज़ुअलाइज़ेशन से पता चला कि प्रशिक्षित गेट्स ने संघर्ष के प्रकारों (सही संदर्भ बनाम सही पैरामीट्रिक ज्ञान) के बीच अंतर करना सीख लिया, जिसमें इन प्रकारों को अलग करने के लिए AUC (Area Under the Curve) 0.500 से बढ़कर 0.832 हो गया।

महत्व और दावे

शोध पत्र का दावा है कि Shift, RAG में ज्ञान संघर्ष की समस्या के लिए एक न्यूनतम दखल देने वाला और लचीला समाधान प्रदान करता है। भंगुर न्यूरॉन एडिटिंग या कठोर लेयर हस्तक्षेप से बदलकर अनुकूलनशील गेट मॉड्यूलेशन की ओर बढ़कर, यह फ्रेमवर्क LLMs को परस्पर विरोधी ज्ञान स्रोतों के बीच प्रभावी ढंग से निर्णय लेने की अनुमति देता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण:

फुल फाइन-ट्यूनिंग से जुड़े "कैटास्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) से बचता है।
न्यूरॉन-स्तरीय संपादन की "भंगुरता" (brittleness) और "कैस्केडिंग प्रभावों" को रोकता है।
एक स्केलेबल, पैरामीटर-कुशल तरीका ( <0.01% पैरामीटर्स का प्रशिक्षण) प्रदान करता है जो आवश्यक होने पर बाहरी साक्ष्य का उपयोग करने की क्षमता को बढ़ाते हुए मॉडल के सामान्य ज्ञान की अखंडता को बनाए रखता है।

यह कार्य निष्कर्ष निकालता है कि हल्के वजन वाले गेट्स के माध्यम से अनुकूलन योग्य आंतरिक विनियमन, विश्वसनीय रिट्रीवल-ऑगमेंटेड जनरेशन प्राप्त करने के लिए एक आशाजनक प्रतिमान (paradigm) है।