💬 NLP

Prism- $\Delta$ : Differential Subspace Steering for Prompt Highlighting in Large Language Models

PRISM- $\Delta$ एक नवीन प्रॉम्प्ट हाइलाइटिंग विधि है जो विभेदक संकेतों को अलग करने और साझा पैटर्न को समाप्त करने के लिए क्रॉस-कोवेरिएंस मैट्रिसेस (cross-covariance matrices) को विघटित करके लार्ज लैंग्वेज मॉडल्स को निर्देशित करती है, जिससे कम कम्प्यूटेशनल ओवरहेड बनाए रखते हुए कई बेंचमार्क और लॉन्ग-कॉन्टेक्स्ट कार्यों में उत्कृष्ट प्रदर्शन प्राप्त होता है।

मूल लेखक: Yuyao Ge, Shenghua Liu, Yiwei Wang, Tianyu Liu, Baolong Bi, Lingrui Mei, Jiayu Yao, Jiafeng Guo, Xueqi Cheng

प्रकाशित 2026-03-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuyao Ge, Shenghua Liu, Yiwei Wang, Tianyu Liu, Baolong Bi, Lingrui Mei, Jiayu Yao, Jiafeng Guo, Xueqi Cheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान मित्र (एक Large Language Model, या LLM) से बात कर रहे हैं। आप उन्हें एक लंबी कहानी देते हैं जिसमें एक विशिष्ट वाक्य को पीले रंग से हाइलाइट किया गया है, और उनसे केवल उस हाइलाइट किए गए भाग के आधार पर कहानी को आगे बढ़ाने के लिए कहते हैं।

समस्या यह है कि आपका मित्र अपने आंतरिक ज्ञान और कहानी के सामान्य प्रवाह का इतना अभ्यस्त है कि वह अक्सर पीले हाइलाइट को अनदेखा कर देता है। वे कह सकते हैं, "ओह, मैं इस पात्र को जानता हूँ! वे आमतौर पर X करते हैं," भले ही पीला टेक्स्ट कहता हो, "वास्तव में, आज उन्होंने Y किया।"

यह पेपर इस समस्या को ठीक करने के लिए PRISM-∆ (उच्चारण: प्रिज्म डेल्टा) नामक एक नया टूल पेश करता है। यह ऐसा है जैसे आपने अपने मित्र को विशेष चश्मे का एक जोड़ा दिया है जो उन्हें अपने स्वाभाविक प्रवाह को खोए बिना, पीले टेक्स्ट पर ध्यान केंद्रित करने के लिए मजबूर करता है।

यह कैसे काम करता है, इसे सरल उपमाओं के साथ यहाँ समझाया गया है:

1. समस्या: "रूटिंग" बनाम "कंटेंट"

AI में, जब मॉडल यह तय करता है कि उसे किस पर ध्यान केंद्रित करना चाहिए, तो वह दो मुख्य चैनलों का उपयोग करता है:

रूटिंग चैनल (The "Where" - कहाँ): यह एक GPS की तरह है। यह तय करता है कि टेक्स्ट में कहाँ देखना है। पिछले तरीकों ने केवल GPS को पीले टेक्स्ट की ओर इशारा करने के लिए समायोजित करके इस समस्या को ठीक करने की कोशिश की थी।
कंटेंट चैनल (The "What" - क्या): यह वास्तविक माल (cargo) की तरह है जिसे पहुँचाया जा रहा है। भले ही GPS पीले टेक्स्ट की ओर इशारा करे, मॉडल अभी भी अपने सामान्य ज्ञान से "पुराना बोझ" (अप्रासंगिक जानकारी) ढो रहा हो सकता है।

उपमा: कल्पना कीजिए कि एक डिलीवरी ट्रक है। पिछले तरीकों ने ड्राइवर को बताया, "गली के अंत में स्थित गोदाम पर जाओ!" (रूटिंग)। लेकिन ट्रक अभी भी पिछले स्टॉप से पुराने बक्सों से भरा हुआ था (कंटेंट)। ड्राइवर सही जगह तो पहुँचा, लेकिन गलत सामान पहुँचा दिया।

2. समाधान: PRISM-∆

PRISM-∆ दोनों—GPS और माल—दोनों को ठीक करता है। यह एक चतुर गणितीय तकनीक का उपयोग करता है जिसे डिफरेंशियल सबस्पेस स्टीयरिंग (Differential Subspace Steering) कहा जाता है।

स्टेप A: "अंतर" का जासूस (The "Difference" Detective)

केवल "अच्छे" टेक्स्ट (पीले हाइलाइट) या "बुरे" टेक्स्ट (कहानी के बाकी हिस्से) को अलग-अलग देखने के बजाय, PRISM-∆ उनके बीच के अंतर को देखता है।

उपमा: कल्पना कीजिए कि आप रसोई में एक विशिष्ट मसाला ढूँढने की कोशिश कर रहे हैं। केवल मसाले के जार को सूंघने (Positive) या पूरी रसोई को सूंघने (Negative) के बजाय, आप दोनों के बीच के अंतर को सूंघते हैं। यह उस विशिष्ट मसाले की अनूठी गंध को अलग करता है, जो आटे, कॉफी और साबुन की सामान्य गंध को अनदेखा कर देता है जो दोनों में समान है।
जादू: यह गणितीय ट्रिक (जिसे Differential SVD कहा जाता है) "साझा शोर" (सामान्य पैटर्न) को हटा देती है और केवल उस शुद्ध संकेत (signal) को छोड़ देती है जो हाइलाइट किए गए टेक्स्ट को विशेष बनाता है।

स्टेप B: अटेंशन हेड्स के लिए "डिमर स्विच" (The "Dimmer Switch" for Attention Heads)

मॉडल के पास समानांतर में काम करने वाले सैकड़ों छोटे "मस्तिष्क कोशिकाएं" (जिन्हें Attention Heads कहा जाता है) होती हैं। कुछ पीले टेक्स्ट को पहचानने में बहुत अच्छी होती हैं; अन्य भ्रमित या शोर भरी होती हैं।

पुराना तरीका: पिछले टूल्स एक लाइट स्विच की तरह उपयोग करते थे: "इस मस्तिष्क कोशिका को चालू या बंद करें।" यदि यह बहुत शोर भरी थी, तो वे इसे पूरी तरह से बंद कर देते थे।
PRISM-∆ तरीका: यह टूल एक डिमर स्विच का उपयोग करता है। यह प्रत्येक मस्तिष्क कोशिका को एक "सॉफ्ट" वेट (weight) देता है।
- बहुत मददगार कोशिकाएं? उनकी चमक बढ़ा दें।
- शोर भरी कोशिकाएं? उनकी चमक कम कर दें, लेकिन उन्हें पूरी तरह से बंद न करें।
- कमजोर लेकिन उपयोगी कोशिकाएं? उन्हें हल्की चमक पर चालू रखें।
यह क्यों मायने रखता है: कभी-कभी एक "कमजोर" कोशिका के पास एक छोटा सा सुराग होता है जो मदद करता है। उन्हें पूरी तरह से बंद कर देने से (जैसा कि पुराने तरीकों में होता था) वह सुराग खो जाता है। PRISM-∆ उपयोगी हिस्सों को रखता है और शोर को कम करता है।

स्टेप C: "माल" को ठीक करना (Value Channel)

यही इस पेपर का सबसे बड़ा नवाचार है। जबकि अन्य टूल्स केवल GPS (Routing) को ठीक करते थे, PRISM-∆ माल (Content) को भी साफ करता है।

परिणाम: मॉडल न केवल सही जगह देखता है, बल्कि हाइलाइट किए गए टेक्स्ट के अर्थ को भी बेहतर ढंग से समझता है। यह मॉडल को रोबोटिक होने या अपने प्राकृतिक "फ्लेयर" (प्रवाह) को खोने से रोकता है।

3. यह बेहतर क्यों है?

लेखकों ने इसे पांच अलग-अलग AI मॉडलों और चार अलग-अलग कार्यों (जैसे पक्षपाती जॉब डिस्क्रिप्शन को ठीक करना या लंबी कहानी के बीच में छिपे तथ्यों को याद रखना) पर परखा।

सटीकता (Accuracy): इसने किसी भी अन्य विधि की तुलना में अधिक बार सही उत्तर दिया (कुछ मामलों में 10% तक बेहतर)।
स्वाभाविकता (Naturalness): इसने AI को अजीब या अटकने वाला नहीं बनाया। वास्तव में, यह पुराने तरीकों की तुलना में अधिक स्वाभाविक लगा क्योंकि इसने AI को उसके अपने ज्ञान को पूरी तरह से अनदेखा करने के लिए मजबूर नहीं किया; इसने बस इसे बेहतर तरीके से संतुलित किया।
गति (Speed): यह मूल मॉडल के लगभग समान गति से काम करता है। इसके लिए AI को टेक्स्ट को कई बार फिर से पढ़ने या बहुत अधिक अतिरिक्त कंप्यूटर मेमोरी का उपयोग करने की आवश्यकता नहीं होती है।

सारांश

PRISM-∆ को AI के लिए एक स्मार्ट हाइलाइटर के रूप में समझें।

यह केवल AI को यह नहीं बताता कि कहाँ देखना है; यह AI को यह समझने में भी मदद करता है कि जो वह देख रहा है उसके बारे में क्या सोचना है।
यह "सामान्य बैकग्राउंड शोर" को फ़िल्टर करता है ताकि अद्वितीय संकेत को पाया जा सके।
यह AI के हर हिस्से के साथ कोमलता से व्यवहार करता है, भ्रमित हिस्सों को पूरी तरह से चुप कराने के बजाय उनकी आवाज़ को धीमा कर देता है।

परिणाम? एक ऐसा AI जो आपकी बात सुनता है, आपके विशिष्ट निर्देशों को याद रखता है, और फिर भी एक सहायक, प्रवाहपूर्ण इंसान की तरह सुनाई देता है।

यहाँ शोध पत्र "PRISM-∆: Differential Subspace Steering for Prompt Highlighting in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा

प्रॉम्प्ट हाईलाइटिंग (Prompt Highlighting) वह कार्य है जिसमें एक लार्ज लैंग्वेज मॉडल (LLM) को जनरेशन के दौरान उपयोगकर्ता द्वारा निर्दिष्ट विशिष्ट टेक्स्ट स्पैन (टोकन) को प्राथमिकता देने के लिए निर्देशित (steer) किया जाता है। यह उन परिदृश्यों में महत्वपूर्ण है जहाँ परस्पर विरोधी जानकारी शामिल होती है (जैसे, पैरामीट्रिक मेमोरी को नए तथ्यों के साथ ओवरराइड करना) या लॉन्ग-कॉन्टेक्स्ट रिट्रीवल (जैसे, "Lost-in-the-Middle" घटनाएँ) के मामले में।

पहचानी गई मुख्य चुनौतियाँ:

साझा बनाम विभेदक पैटर्न (Shared vs. Discriminative Patterns): मौजूदा विधियाँ अक्सर प्रासंगिक (relevant) और अप्रासंगिक (irrelevant) कॉन्टेक्स्ट के बीच साझा संरचनात्मक पैटर्न के आधार पर स्टीयरिंग दिशाएँ निकालती हैं, न कि उन विशिष्ट अंतरों के आधार पर जो किसी कॉन्टेक्स्ट को प्रासंगिक बनाते हैं।
रूटिंग बनाम कंटेंट चैनल्स (Routing vs. Content Channels): ट्रांसफॉर्मर अटेंशन दो चैनल्स से बना होता है:
- रूटिंग (Key): यह निर्धारित करता है कि मॉडल कहाँ देखता है (अटेंशन वेट्स)।
- कंटेंट (Value): यह निर्धारित करता है कि क्या जानकारी प्रसारित होती है।
- अंतराल (Gap): मौजूदा प्रॉम्प्ट हाईलाइटिंग विधियाँ (जैसे, PASTA, SPA, SEKA) केवल Key चैनल पर कार्य करती हैं। वे Value चैनल को अनदेखा कर देती हैं, जिससे एक महत्वपूर्ण विभेदक सिग्नल (discriminative signal) अप्रयुक्त रह जाता है।
फ्लुएंसी डिग्रेडेशन (Fluency Degradation): आक्रामक स्टीयरिंग अक्सर उत्पन्न किए गए टेक्स्ट की प्रवाह (fluency) और निरंतरता (consistency) को नुकसान पहुँचाती है।

2. कार्यप्रणाली: PRISM-∆

लेखक PRISM-∆ (Projection-based Relevance-Informed Steering Method) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो डिफरेंशियल सबस्पेस लर्निंग और एडेप्टिव हेड वेटिंग का उपयोग करके Key और Value दोनों चैनल्स को निर्देशित करता है।

A. डुअल-चैनल डिकम्पोज़िशन (Dual-Channel Decomposition)

अटेंशन आउटपुट को रूटिंग गेन्स (Key) और कंटेंट गेन्स (Value) में विभाजित किया जाता है। लेखक अनुभवजन्य रूप से प्रदर्शित करते हैं कि Value रिप्रेजेंटेशन, Keys के समान ही परिमाण वाले विभेदक सिग्नल ले जाते हैं, जो अलग-अलग नेटवर्क लेयर्स में पीक (peak) करते हैं (Keys मध्य लेयर्स में, Values अंतिम लेयर्स में)।

B. डिफरेंशियल क्रॉस-कोवेरिएंस डिकम्पोज़िशन (Differential Cross-Covariance Decomposition)

पॉजिटिव (प्रासंगिक) और नेगेटिव (अप्रासंगिक) कॉन्टेक्स्ट के लिए स्वतंत्र प्रोजेक्शन सीखने के बजाय, PRISM-∆ एक डिफरेंशियल प्रोजेक्शन सीखता है:

कॉन्ट्रास्टिव एक्सट्रैक्शन (Contrastive Extraction): तीन स्थितियों (न्यूट्रल, पॉजिटिव, नेगेटिव) के तहत रिप्रेजेंटेशन ( $H^+$ प्रासंगिक के लिए, $H^-$ अप्रासंगिक के लिए) निकाले जाते हैं।
डिफरेंशियल मैट्रिक्स: विधि डिफरेंशियल क्रॉस-कोवेरिएंस मैट्रिक्स की गणना करती है:
$\Omega_\Delta = H^\top (H^+ - H^-) / N = \Omega^+ - \Omega^-$
SVD और प्रोजेक्शन: $\Omega_\Delta$ $Ω_{Δ}$ पर सिंगुलर वैल्यू डिकम्पोज़िशन (SVD) लागू किया जाता है।
- सैद्धांतिक गारंटी: $\Omega_\Delta$ के टॉप सिंगुलर वेक्टर्स विभिन्न स्थितियों के बीच विभेदक ऊर्जा (discriminative energy) को अधिकतम करते हैं और स्वचालित रूप से साझा दिशाओं (shared directions) को हटा देते हैं (जहाँ $\Omega^+ u = \Omega^- u \implies \Omega_\Delta u = 0$ )। यह वास्तव में अद्वितीय सिग्नल्स को अलग करता है।

C. एडेप्टिव हेड वेटिंग (Adaptive Head Weighting - Softplus)

सभी अटेंशन हेड्स समान योगदान नहीं देते हैं।

डिस्क्रिमिनेबिलिटी स्कोर (Discriminability Score): प्रत्येक हेड के लिए पॉजिटिव और नेगेटिव रिप्रेजेंटेशन के नॉर्म अंतर के आधार पर एक स्कोर $D_{\ell,h}$ की गणना की जाती है।
निरंतर वेटिंग (Continuous Weighting): हार्ड थ्रेशोल्ड (जो हेड्स को पूरी तरह बंद कर देता है) के बजाय, PRISM-∆ स्कोर को एक निरंतर वेट में मैप करने के लिए Softplus फंक्शन का उपयोग करता है:
$w_{\ell,h} = \text{softplus}(D_{\ell,h} - \delta_{min})$
लाभ: यह "कमजोर लेकिन उपयोगी" हेड्स को कम शक्ति पर योगदान देने की अनुमति देता है, जिससे शोर (noise) को दबाते हुए सूक्ष्म संकेतों को संरक्षित किया जा सकता है, जो अधिक मजबूत स्टीयरिंग की ओर ले जाता है।

D. इन्फरेंस स्टीयरिंग (Inference Steering)

इन्फरेंस के समय, हाइलाइट किए गए टोकन $j \in S$ के लिए, दोनों चैनल्स को एक साथ एडिट किया जाता है:
$k'_j = k_j + g_K \cdot w^K_{\ell,h} \cdot P_K \cdot k_j$
$v'_j = v_j + g_V \cdot w^V_{\ell,h} \cdot P_V \cdot v_j$
जहाँ $g_K$ और $g_V$ गेन स्केलर हैं, और $P_K, P_V$ सीखे गए प्रोजेक्शन मैट्रिसेस हैं।

3. मुख्य योगदान

डिफरेंशियल सबस्पेस लर्निंग: एक ऐसी विधि पेश की जो पॉजिटिव और नेगेटिव क्रॉस-कोवेरिएंस मैट्रिसेस के बीच के अंतर को डिकम्पोज़ करती है, जो प्रभावी रूप से विभेदक दिशाओं को अलग करती है और साझा संरचनात्मक शोर को हटाती है।
डुअल-चैनल स्टीयरिंग: स्टीयरिंग को Value चैनल तक विस्तारित किया, जिससे वह कंटेंट सिग्नल कैप्चर हुआ जिसे पहले केवल Key-आधारित विधियों द्वारा अनदेखा किया जाता था। यह जनरेशन कंसिस्टेंसी में सुधार करता है और फ्लुएंसी डिग्रेडेशन को कम करता है।
एडेप्टिव सॉफ्टप्लस वेटिंग: बाइनरी हेड सिलेक्शन के स्थान पर निरंतर सॉफ्टप्लस वेटिंग का उपयोग किया, जिससे मॉडल को शोर पैदा किए बिना कमजोर लेकिन सूचनात्मक हेड्स का उपयोग करने में सक्षम बनाया गया।
दक्षता (Efficiency): यह विधि FlashAttention के साथ संगत है, नगण्य मेमोरी ओवरहेड जोड़ती है, और इसके लिए केवल एक सिंगल फॉरवर्ड पास की आवश्यकता होती है (लॉगिट-लेवल एंकरिंग विधियों के विपरीत)।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन 5 मॉडल्स (Qwen3-4B/8B/14B, Gemma3-4B/12B) पर 4 बेंचमार्क्स (BiasBios, CounterFact, Pronoun Change, Lost-in-the-Middle) पर किया गया।

प्रदर्शन: PRISM-∆ 20 में से 19 कॉन्फ़िगरेशन में सर्वश्रेष्ठ मौजूदा विधि (SEKA) की बराबरी करता है या उससे बेहतर प्रदर्शन करता है।
- सापेक्ष लाभ: Pronoun Change पर +10.6% और Long-Context रिट्रीवल पर +4.8% तक।
- BiasBios: स्टेट-ऑफ-द-आर्ट सटीकता प्राप्त की (जैसे, SEKA के 90.92% के मुकाबले Qwen3-4B पर 92.38%)।
फ्लुएंसी और कंसिस्टेंसी: PRISM-∆, SEKA की तुलना में "फ्लुएंसी कॉस्ट" (लॉग-प्रोबेबिलिटी में गिरावट) को काफी कम कर देता है। डुअल-चैनल दृष्टिकोण (PRISM-∆V) Key-only स्टीयरिंग की तुलना में जनरेशन क्वालिटी को बेहतर तरीके से सुरक्षित रखता है।
दक्षता:
- लेटेंसी (Latency): केवल ~0.30s लेटेंसी जोड़ता है (1.26x ओरिजिनल), जबकि PASTA के लिए +1.03s और SPA के लिए +5.32s है।
- मेमोरी: नगण्य वृद्धि (+0.02 GB), FlashAttention के साथ पूरी तरह से संगत।
एब्लेशन स्टडीज (Ablation Studies):
- डिफरेंशियल प्रोजेक्शन या सॉफ्टप्लस वेटिंग को हटाने से प्रदर्शन में गिरावट आती है, जो दोनों घटकों की आवश्यकता की पुष्टि करता है।
- अकेले Value चैनल +3.3% का लाभ प्रदान करता है, जो इसकी स्वतंत्र उपयोगिता को सिद्ध करता है।

5. महत्व और प्रभाव

सैद्धांतिक अंतर्दृष्टि: यह शोध पत्र प्रमाण प्रदान करता है कि Key और Value चैनल्स के पास कार्यात्मक विशेषज्ञता (functional specialization) होती है (Keys मध्य लेयर्स में अटेंशन को निर्देशित करते हैं; Values अंतिम लेयर्स में कंटेंट ट्रांसमिट करते हैं)। Value चैनल को अनदेखा करने से सब-ऑप्टिमल स्टीयरिंग होती है।
व्यावहारिक उपयोगिता: PRISM-∆ प्रॉम्प्ट हाईलाइटिंग के लिए एक उच्च-प्रदर्शन, कम-ओवरहेड समाधान प्रदान करता है, जो इसे वास्तविक समय के अनुप्रयोगों और लॉन्ग-कॉन्टेक्स्ट रिट्रीवल के लिए व्यवहार्य बनाता है जहाँ मॉडल आमतौर पर विफल होते हैं।
मजबूती (Robustness): सॉफ्टप्लस वेटिंग तंत्र इस विधि को हाइपरपैरामीटर ट्यूनिंग (विशेष रूप से $\delta_{min}$ थ्रेशोल्ड) के प्रति मजबूत बनाता है, जो हार्ड-थ्रेशोल्डिंग विधियों के विपरीत है जो शोर के प्रति संवेदनशील होती हैं।
भविष्य की दिशाएँ: निष्कर्ष बताते कि भविष्य के अटेंशन इंटरवेंशन को सरल एडिटिव बायस के बजाय डुअल-चैनल डायनेमिक्स और डिफरेंशियल सिग्नल एक्सट्रैक्शन पर विचार करना चाहिए।

संक्षेप में, PRISM-∆ दोनों रूटिंग और कंटेंट चैनल्स में विभेदक सिग्नल्स को गणितीय रूप से अलग करके, न्यूनतम कंप्यूटेशनल लागत के साथ बेहतर सटीकता और फ्लुएंसी प्राप्त करके LLM स्टीयरिंग में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।