💬 NLP

Intermittent Semi-Working Mask: A New Masking Paradigm for LLMs

यह शोध पत्र इंटरमिटेंट सेमी-वर्किंग मास्क (ISM) को प्रस्तुत करता है, जो एक पैरामीटर-मुक्त मास्किंग योजना है जो इन्फरेंस दक्षता बनाए रखते हुए और महंगी प्रशिक्षण डेटा विस्तार से बचते हुए, मल्टी-टर्न संवाद और संदर्भ-गहन तर्क प्रदर्शन को बढ़ाने के लिए कॉज़ल (causal) LLMs में स्पार्स द्विदिश अटेंशन (sparse bidirectional attention) को इंजेक्ट करता है।

मूल लेखक: HaoYuan Hu, Mingcong Lu, Di Luo, XinYa Wu, Jiangcai Zhu, Taoye Yin, Zheng Li, Hao Wang, Shusheng Zhang, KeZun Zhang, KaiLai Shao, Chao Chen, Feng Wang

प्रकाशित 2026-02-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: HaoYuan Hu, Mingcong Lu, Di Luo, XinYa Wu, Jiangcai Zhu, Taoye Yin, Zheng Li, Hao Wang, Shusheng Zhang, KeZun Zhang, KaiLai Shao, Chao Chen, Feng Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान मित्र (एक AI) के साथ एक लंबी, गहरी बातचीत कर रहे हैं। आप घंटों से बात कर रहे हैं, अपने दिन, अपने सपनों और एक कठिन गणित की समस्या पर चर्चा कर रहे हैं। अब, आप एक नया प्रश्न पूछते हैं।

समस्या:
आज के अधिकांश AI मॉडल उन लोगों की तरह हैं जिनका एक बहुत सख्त नियम है: "मैं केवल वही सुन सकता हूँ जो आपने मेरे अपना वाक्य बोलना शुरू करने से पहले कहा था। एक बार जब मैं बोलना शुरू कर देता हूँ, तो मैं अपने स्वयं के वाक्य के संदर्भ को समझने के लिए अपने द्वारा कही गई बातों को पीछे मुड़कर नहीं देख सकता।"

इसे कॉज़ल मास्किंग (Causal Masking) कहा जाता है। यह बहुत तेज़ है क्योंकि AI को हर बार यह समझने के लिए सब कुछ फिर से नहीं पढ़ना पड़ता कि उसने अभी क्या कहा। लेकिन इसमें एक दोष है: यदि बातचीत लंबी हो जाती है, तो AI आपके प्रश्नों की बारीकियों को भूल जाता है या अपने स्वयं के पिछले उत्तरों से भ्रमित हो जाता है। यह एक कहानी लिखने जैसा है जहाँ आपको केवल अपनी नोटबुक का पहला पृष्ठ पढ़ने की अनुमति है, और बीच में आपने जो कुछ भी लिखा है उसे अनदेखा करना पड़ता है।

अन्य मॉडल इसे ठीक करने की कोशिश करते हैं जिसमें AI को सब कुछ पढ़ने की अनुमति दी जाती है (जिसे प्रिफिक्स मास्किंग (Prefix Masking) कहा जाता है)। यह AI को बहुत स्मार्ट और सुसंगत बनाता है। लेकिन यह ऐसा है जैसे AI को हर बार एक नया शब्द टाइप करने के लिए आपकी पूरी बातचीत का इतिहास शुरू से फिर से पढ़ने के लिए कहना। यह इतना धीमा और महंगा है कि कोई भी वास्तविक समय की चैट के लिए इसका उपयोग नहीं करता है।

समाधान: "इंटरमिटेंट सेमी-वर्किंग मास्क" (ISM)
लेखकों ने एक चतुर नया नियम बनाया जिसे ISM कहा जाता है। इसे एक सरल उपमा (Analogy) का उपयोग करके समझते:

उपमा: जासूस और केस फाइल

कल्पना कीजिए कि AI एक रहस्य सुलझाने वाला जासूस है (बातचीत)।

पुराना तरीका (Causal Mask): जासूस केस फाइल पढ़ता है, फिर एक नोट लिखता है। नोट लिखते समय, वह आंखों पर पट्टी बांध लेता है और जब तक वह नोट पूरा नहीं कर लेता, वह फाइल को दोबारा नहीं देख सकता। वह यह सुनिश्चित करने के लिए अपने नोट्स को क्रॉस-रेफरेंस नहीं कर सकता कि वे सही अर्थ रखते हैं या नहीं।
"बहुत धीमा" तरीका (Prefix Mask): हर बार जब जासूस एक शब्द लिखता है, तो उसे पहली बार से पूरी 500 पन्नों की केस फाइल फिर से पढ़नी पड़ती है। यह सुनिश्चित करता है कि वह कोई भी सुराग मिस न करे, लेकिन इसमें बहुत समय लगता है।
नया तरीका (ISM): जासूस के पास एक विशेष नियम है:
- जब आप (उपयोगकर्ता) एक प्रश्न पूछते हैं: जासूस को उस समय तक की पूरी केस फाइल पढ़ने की अनुमति है, जिसमें आपके पिछले प्रश्न और उनके अपने पिछले उत्तर शामिल हैं। वे आपके प्रश्न को पूरी तरह से समझने के लिए सब कुछ क्रॉस-रेफरेंस कर सकते हैं।
- जब जासूस उत्तर देता है: वे उत्तर को सामान्य रूप से लिखते हैं, केवल उसी को देखते हुए जो पहले आया था। उन्हें उत्तर टाइप करते समय पूरी फाइल को फिर से पढ़ने की आवश्यकता नहीं होती क्योंकि "समझने" का चरण पहले ही पूरा हो चुका होता है।

यह गेम-चेंजर क्यों है?

यह तेज़ है: क्योंकि जासूस केवल तब भारी "पुनः पढ़ने" का काम करता है जब आप एक प्रश्न पूछते हैं (जो प्रति टर्न एक बार होता है), और उत्तर टाइप करते समय नहीं, इसलिए इसकी गति लगभग पुराने, आंखों पर पट्टी बांधे हुए तरीके जितनी ही तेज़ रहती है।
यह स्मार्ट है: क्योंकि वे प्रश्न पूछते समय फाइल को फिर से पढ़ सकते हैं, इसलिए वे संदर्भ को पूरी तरह से याद रखते हैं। वे यह नहीं भूलते कि जब आप बाद में "मौसम" के बारे में पूछते हैं, तो आपने तीन टर्न पहले "बीमारी" का जिक्र किया था।
यह मेमोरी बचाता है: कंप्यूटर के शब्दों में, यह AI को बातचीत का एक "कैश" (अस्थायी मेमोरी बैंक) रखने की अनुमति देता है। पुराने "प्रिफिक्स" तरीके को हर बार इस कैश को फेंकना पड़ता था और इसे फिर से बनाना पड़ता था। ISM इस कैश को बनाए रखता है, जिससे कंप्यूटिंग शक्ति की भारी बचत होती है।

परिणाम

शोधकर्ताओं ने दो लोकप्रिय AI मॉडल (LLaMA और Qwen) पर इसका परीक्षण किया और पाया कि:

बेहतर बातचीत: AI विषय पर बहुत बेहतर तरीके से टिका रहा। एक परीक्षण में, पुराना AI अचानक बीमारी के बारे में बात करने से अजीब, रोबोटिक तरीके से मौसम के बारे में बात करने लगा। ISM AI ने बातचीत को स्वाभाविक रूप से जारी रखा, बिल्कुल वैसे ही जैसे एक इंसान करता है।
बेहतर तर्क (Reasoning): यह गणित की उन समस्याओं को हल करने में बेहतर हुआ जिनमें समस्या के शुरुआती चरणों को याद रखने की आवश्यकता होती है।
गति में कोई कमी नहीं: यह मानक मॉडलों जितना ही तेज़ था।

मुख्य बात (Bottom Line)

ISM, AI को "चश्मे" देने जैसा है, लेकिन केवल तभी जब उसे आपके प्रश्न को समझने की आवश्यकता हो, और उत्तर देते समय उसे "बिना देखे दौड़ने" की अनुमति देना।

यह AI को सुपर स्मार्ट (लंबे संदर्भ को समझने में) और सुपर फास्ट (सब कुछ फिर से पढ़ने में समय बर्बाद किए बिना) दोनों होने की अनुमति देता है, जिससे AI चैटबॉट्स को वास्तव में मानवीय महसूस कराने वाली सबसे बड़ी समस्या हल हो जाती है।

यहाँ शोध पत्र "Intermittent Semi-working Mask: A New Masking Paradigm for LLMs" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को मल्टी-टर्न संवाद (multi-turn dialogues) और संदर्भ-गहन कार्यों (context-intensive tasks) को संभालने के दौरान एक महत्वपूर्ण ट्रेड-ऑफ का सामना करना पड़ता है:

कॉज़ल मास्किंग (Causal Masking - मानक): अधिकांश डिकोडर-ओनली मॉडल्स (जैसे LLaMA, Qwen) में उपयोग किया जाता है। यह एकदिशीय अटेंशन (unidirectional attention) लागू करता है (टोकन केवल पिछले टोकन पर ध्यान दे सकते हैं)।
- लाभ: यह इन्फरेंस के दौरान KV-कैश पुन: उपयोग (KV-cache reuse) को सक्षम बनाता है और प्रशिक्षण के दौरान डेटा विस्तार से बचाता है।
- हानि: यह संदर्भ संबंधी समझ को सीमित करता है। मॉडल वर्तमान प्रश्नों को परिष्कृत करने के लिए पिछले उत्तरों को "पीछे देख" (look back) नहीं सकता, जिससे टॉपिक ड्रिफ्ट (विषय भटकना) और लंबे संवादों में खराब सामंजस्य जैसी समस्याएं उत्पन्न होती हैं।
प्रिफिक्स मास्किंग (Prefix Masking - द्विदिश/Bidirectional): यह प्रिफिक्स (इतिहास) के सभी टोकनों पर द्विदिश अटेंशन की अनुमति देता है।
- लाभ: बेहतर प्रासंगिक संश्लेषण (contextual synthesis) और सैद्धांतिक अभिसरण (convergence) गुण।
- हानि: अकुशल। यह संवाद के दौरों (dialogue turns) के बीच KV-कैश पुन: उपयोग को रोकता है (इतिहास के पुन: कंप्यूटेशन की आवश्यकता होती है) और प्रशिक्षण के दौरान मल्टी-टर्न संवादों को कई डुप्लिकेट सिंगल-टर्न ट्रिपलेट्स में विस्तारित करने की आवश्यकता होती है, जिससे लेटेंसी और कम्प्यूटेशनल लागत बढ़ जाती है।

अंतराल (The Gap): एक ऐसी प्रणाली की आवश्यकता है जो प्रिफिक्स मास्किंग की प्रासंगिक समझ (contextual understanding) को बनाए रखते हुए, कॉज़ल मास्किंग की इन्फरेंस दक्षता (KV-cache reuse) और प्रशिक्षण सरलता को सुरक्षित रखे।

2. कार्यप्रणाली: इंटरमिटेंट सेमी-वर्किंग मास्क (ISM)

लेखक ISM प्रस्तावित करते हैं, जो एक नवीन मास्किंग स्कीम है जो एक कॉज़ल बैकबोन में स्पार्स द्विदिश अटेंशन (sparse bidirectional attention) को इंजेक्ट करती है।

मुख्य तंत्र (Core Mechanism)

एक संवाद संरचना $[P, Q_1, A_1, \dots, Q_n, A_n]$ को देखते हुए, ISM टोकन की स्थिति के आधार पर विभिन्न अटेंशन नियमों को लागू करता है:

क्वेरी सेगमेंट ( $Q_k$ ): उपयोगकर्ता के प्रश्न के भीतर के टोकन द्विदिश अटेंशन (bidirectional attention) लागू करते हैं। वे प्रॉम्प्ट के सभी टोकनों और वर्तमान क्वेरी के अंत तक के सभी पिछले दौरों (इतिहास) पर ध्यान दे सकते हैं।
आंसर सेगमेंट ( $A_k$ ): मॉडल द्वारा उत्पन्न उत्तर के भीतर के टोकन सख्त एकदिशीय (strictly unidirectional/causal) अटेंशन लागू करते हैं। वे केवल पूर्ववर्ती टोकनों पर ही ध्यान दे सकते हैं।
फ्यूचर ब्लॉकिंग (Future Blocking): महत्वपूर्ण रूप से, किसी भी टोकन को भविष्य के सेगमेंट (जैसे $Q_k$ द्वारा $A_k$ या $Q_{k+1}$ को देखना) को देखने की अनुमति नहीं है।

गणितीय सूत्र (Mathematical Formulation)

स्थिति $j$ पर एक टोकन के लिए अटेंशन मास्क फंक्शन $f(j)$ को इस प्रकार परिभाषित किया गया है:
$f(j) = \begin{cases} m_{q_k} & \text{यदि } m_{a_{k-1}} < j \leq m_{q_k} \quad (\text{क्वेरी सेगमेंट: द्विदिश}) \\ j & \text{यदि } m_{q_k} < j \leq m_{a_k} \quad (\text{आंसर सेगमेंट: कॉज़ल}) \end{cases}$
जहाँ $m_{q_k}$ $k$ -वें क्वेरी का अंतिम इंडेक्स है और $m_{a_k}$ $k$ -वें उत्तर का अंतिम इंडेक्स है।

सैद्धांतिक लाभ (अभिसरण/Convergence)

एक लीनियर सेल्फ-अटेंशन (LSA) सरोगेट का उपयोग करते हुए, लेखक सिद्ध करते हैं कि:

कॉज़ल मास्क: स्थिति-निर्भर ऑनलाइन ग्रेडिएंट डिसेंट को प्रेरित करता है, जो उप-इष्टतम (suboptimal) स्थिर बिंदुओं पर अभिसरित होता है।
प्रिफिक्स मास्क: इन-कॉन्टेक्स्ट उदाहरणों तक पूर्ण पहुंच की अनुमति देता है, जो लीनियर कन्वर्जेंस के साथ इष्टतम समाधान के लिए बैच ग्रेडिएंट डिसेंट की नकल करता है।
ISM: अंतिम क्वेरी विंडो में टोकन के लिए, अपडेट्स सभी इन-कॉन्टेक्स्ट उदाहरणों को एकत्रित करते हैं (प्रिफिक्स मास्क की तरह), जो इष्टतम वेट्स ( $w^*$ ) के लिए बैच ग्रेडिएंट डिसेंट डायनेमिक्स और लीनियर कन्वर्जेंस को रिकवर करता है, जबकि उत्तर जनरेशन के लिए कॉज़ल बाधाओं को बनाए रखता है।

व्यावहारिक एकीकरण (Practical Integration)

KV-कैश पुन: उपयोग: क्योंकि अटेंशन कभी भी भविष्य के दौरों में "आगे" नहीं देखता है, इसलिए पिछले दौरों के लिए कंप्यूट किए गए कीज़ (Keys) और वैल्यूज (Values) वैध रहते हैं। यह ISM को बिल्कुल मानक कॉज़ल मॉडल्स की तरह कैश को पुन: उपयोग करने की अनुमति देता है, जिससे प्रिफिक्स मास्किंग की लेटेंसी पेनल्टी से बचा जा जा सकता है।
आर्किटेक्चर अगनोस्टिक: ISM के लिए किसी वास्तुशिल्प परिवर्तन या अतिरिक्त पैरामीटर्स की आवश्यकता नहीं है। यह मौजूदा डिकोडर-ओनली मॉडल्स में अटेंशन मास्क के लिए एक "ड्रॉप-इन" रिप्लेसमेंट है।

3. प्रमुख योगदान

नवीन मास्किंग स्कीम: ISM का परिचय, जो क्वेरीज के लिए द्विदिश और उत्तरों के लिए एकदिशीय अटेंशन को बारी-बारी से लागू करता है, जिससे कॉज़ल-लेवल लेटेंसी के साथ प्रिफिक्स-लेवल गुणवत्ता प्राप्त होती है।
दक्षता संरक्षण: प्रिफिक्स मास्किंग के विपरीत, ISM संवाद दौरों के बीच पूर्ण KV-कैश पुन: उपयोग को सक्षम करता है और प्रशिक्षण के दौरान डेटा को सिंगल-टर्न ट्रिपलेट्स में विस्तारित करने की आवश्यकता को समाप्त करता है।
अनुभवजन्य सत्यापन (Empirical Validation): दो प्रमुख मॉडल परिवारों (LLaMA और Qwen) और तीन बेंचमार्क (मल्टी-टर्न संवाद और गणितीय तर्क) में महत्वपूर्ण प्रदर्शन लाभ प्रदर्शित किया गया, बिना इन्फरेंस लेटेंसी बढ़ाए।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने LLaMA3.1-8B, Qwen2.5-7B, और Qwen2.5-14B पर ISM का मूल्यांकन किया।

मल्टी-टर्न संवाद बेंचमार्क

MT-Eval: ISM ने सभी मॉडल्स में उच्चतम औसत स्कोर प्राप्त किया।
- LLaMA3.1-8B: ISM (6.17) > SFT (5.87) > Direct (2.84)।
- Qwen2.5-14B: ISM (7.00) > SFT (6.84) > Direct (5.90)।
- मुख्य अंतर्दृष्टि: सबसे बड़े सुधार Recollection (स्मृति) और Follow-up (अनुवर्ती) कार्यों में देखे गए, जो ऐतिहासिक संदर्भ को एकीकृत करने पर अत्यधिक निर्भर हैं।
BotChat: ISM ने निरंतर सफलता दर (Success Rate - SR) में सुधार दिखाया।
- $N=16$ टर्न पर LLaMA3.1-8B के लिए: ISM (79.2%) बनाम SFT (77.3%)।
- $N=16$ टर्न पर Qwen2.5-14B के लिए: ISM (86.3%) बनाम SFT (85.6%)।

गणितीय तर्क (MATH बेंचमार्क)

ISM ने MATH डेटासेट (LLaMA3.1-8B) पर सटीकता को बढ़ाकर 18.0% कर दिया, जो SFT (15.74%) और Direct (4.76%) से अधिक है। यह पुष्टि करता है कि ISM केवल संवाद से परे गहरे प्रासंगिक समझ वाले कार्यों से भी लाभान्वित होता है।

लेटेंसी विश्लेषण (Latency Analysis)

Time-To-First-Token (TTFT) और Time-Per-Output-Token (TPOT): NVIDIA A100 GPU पर प्रयोगों ने दिखाया कि ISM की लेटेंसी मानक कॉज़ल बेसलाइन (SFT) के लगभग समान है।
4,000 टोकन की कॉन्टेक्स्ट लेंथ के साथ भी अंतर नगण्य (लगभग 0.5–1.0 ms) था, जो पुष्टि करता है कि KV-कैश पुन: उपयोग प्रभावी रूप से बना रहता है।

केस स्टडी (Case Study)

एक गुणात्मक विश्लेषण में, SFT मॉडल ने "टॉपिक ड्रिफ्ट" (बिना किसी संक्रमण के स्वास्थ्य से मौसम पर अचानक स्विच होना) प्रदर्शित किया, जो कॉज़ल मास्किंग की एक सामान्य विफलता है।
ISM मॉडल ने विषयगत निरंतरता (topical continuity) और व्यावहारिक प्रवाह बनाए रखा, और वर्तमान क्वेरी को पूर्ण बातचीत इतिहास के साथ सफलतापूर्वक जोड़ा।

5. महत्व और निष्कर्ष

यह शोध पत्र LLMs के लिए प्रासंगिक क्षमता (contextual capability) और कम्प्यूटेशनल दक्षता के बीच संतुलन बनाने में एक बड़ी उपलब्धि प्रस्तुत करता है।

व्यावहारिक प्रभाव: ISM डेवलपर्स को ऐसे मॉडल्स तैनात करने की अनुमति देता है जो लंबे इतिहास को समझते हैं और मल्टी-टर्न चैट में सामंजस्य बनाए रखते हैं, बिना प्रिफिक्स मास्किंग से जुड़ी उच्च लेटेंसी लागत के।
सामान्यीकरण (Generalizability): यह विधि मॉडल-अग्नोस्टिक और पैरामीटर-मुक्त है, जिससे इसे मौजूदा प्रोडक्शन LLMs के लिए आसानी से अपनाया जा सकता है।
भावी कार्य: लेखक प्री-ट्रेनिंग के दौरान ISM का अन्वेषण करने, इसे रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) तक विस्तारित करने और इसे स्पेक्युलेटिव डिकोडिंग जैसी उन्नत इन्फरेंस तकनीकों के साथ एकीकृत करने की योजना बना रहे हैं।

संक्षेप में, ISM सफलतापूर्वक द्विदिश अटेंशन की सैद्धांतिक श्रेष्ठता और कॉज़ल दक्षता की व्यावहारिक आवश्यकता के बीच के अंतर को पाटता है, जो मल्टी-टर्न संवाद प्रणालियों के लिए एक नया मानक प्रदान करता है।