🤖 machine learning

Dynamic Short Convolutions Improve Transformers

यह शोध पत्र डायनेमिक शॉर्ट कन्वोल्यूशन (dynamic short convolutions) को प्रस्तुत करता है, जो एक इनपुट-निर्भर न्यूरल प्रिमिटिव (neural primitive) है जो विभिन्न आर्किटेक्चर और कार्यों में मानक और स्टैटिक कन्वोल्यूशन वेरिएंट्स से बेहतर प्रदर्शन करते हुए, कस्टम ट्राइटन कर्नेल (custom Triton kernels) के माध्यम से हार्डवेयर दक्षता बनाए रखते हुए, ट्रांसफॉर्मर के प्रदर्शन और स्केलिंग दक्षता को बढ़ाता है।

मूल लेखक: Oliver Sieberling, Bharat Runwal, Rameswar Panda, Yoon Kim

प्रकाशित 2026-06-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Oliver Sieberling, Bharat Runwal, Rameswar Panda, Yoon Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक लंबी कहानी को समझने की कोशिश कर रहे हैं, जैसे कि कोई उपन्यास या फिल्म की पटकथा। इसे करने के लिए, आपको यह याद रखने की आवश्यकता है कि पहले क्या हुआ था और वह वर्तमान में जो हो रहा है उससे कैसे जुड़ता है।

कुछ वर्षों के लिए, कंप्यूटरों (विशेष रूप से "ट्रांसफॉर्मर" नामक AI मॉडल) द्वारा इसे करने का सबसे अच्छा तरीका अटेंशन (Attention) का उपयोग करना रहा है। अटेंशन को एक सुपर-पावर्ड स्पॉटलाइट की तरह समझें। जब कंप्यूटर एक शब्द पढ़ता है, तो वह स्पॉटलाइट पूरी कहानी को स्कैन करती है ताकि उन सभी अन्य शब्दों को खोजा जा सके जो प्रासंगिक हो सकते हैं, चाहे वे कितनी भी दूर क्यों न हों। यह अविश्वसनीय रूप से लचीला है, लेकिन यह धीमा और ऊर्जा-गहन हो सकता है क्योंकि कंप्यूटर को एक ही समय में सब कुछ देखना पड़ता है।

कुछ साल पहले, कुछ शोधकर्ताओं ने इसमें कन्वोल्यूशन (Convolutions) को मिलाने की कोशिश की। कन्वोल्यूशन को एक छोटे, स्थानीय "मैग्नीफाइंग ग्लास" (आवर्धक लेंस) की तरह समझें जो केवल वर्तमान शब्द के ठीक आसपास के 3 या 4 शब्दों को देखता है। यह तेज़ और कुशल है, लेकिन यह "स्थिर" (static) है। यह एक निश्चित लेंस वाले मैग्नीफाइंग ग्लास की तरह है; यह हर शब्द पर एक ही तरह से ज़ूम करता है, चाहे वह संज्ञा हो, क्रिया हो, या कोई भ्रमित करने वाला वाक्यांश।

नया विचार: "स्मार्ट, आकार बदलने वाला" मैग्नीफाइंग ग्लास

यह पेपर एक नया टूल पेश करता है जिसे डायनामिक शॉर्ट कन्वोल्यूशन (Dynamic Short Convolutions) कहा जाता है।

यदि एक स्थिर (static) कन्वोल्यूशन एक निश्चित मैग्नीफाइंग ग्लास है, तो एक डायनामिक कन्वोल्यूशन एक आकार बदलने वाला, स्मार्ट मैग्नीफाइंग ग्लास है।

यह सरल शब्दों में इस प्रकार काम करता है:

यह स्थानीय स्तर पर देखता है: पुराने मैग्नीफाइंग ग्लास की तरह, यह केवल वर्तमान शब्द के ठीक बगल में मौजूद कुछ शब्दों को देखता है। यह इसे तेज़ और कुशल बनाए रखता है।
यह अपना निर्णय बदलता है: पुराने संस्करण के विपरीत, यह नया टूल वर्तमान शब्द को देखता है और पूछता है, "मुझे अभी किस तरह के लेंस की आवश्यकता है?"
- यदि शब्द "can" है (जैसे कि एक धातु का डिब्बा), तो टूल "old can" को समझने के लिए पिछले शब्द "old" को देखने का निर्णय ले सकता है।
- यदि शब्द "can" है (जैसे कि "सक्षम होना"), तो टूल "can swim" को समझने के लिए अगले शब्द "swim" को देखने का निर्णय ले सकता है।

कंप्यूटर हर एक शब्द के लिए एक अनूठा फ़िल्टर (लेंस) बनाता है जो उस शब्द पर आधारित होता है। यह AI को बिना एक छोटे विंडो में देखने के लाभ खोए, स्थानीय संदर्भ (context) को पहले से कहीं बेहतर ढंग से समझने की अनुमति देता है।

शोधकर्ताओं ने क्या पाया

लेखकों ने इस नए "आकार बदलने वाले" टूल का विभिन्न AI मॉडल पर परीक्षण किया, जो छोटे मॉडलों (150 मिलियन पैरामीटर्स) से लेकर बड़े मॉडलों (2 बिलियन पैरामीटर्स) तक फैले हुए हैं। उन्होंने यहाँ क्या खोजा:

यह अधिक स्मार्ट है: परीक्षणों में, जो यह देखने के लिए डिज़ाइन किए गए थे कि क्या AI विशिष्ट विवरणों को याद रख सकता है (जैसे कि "घास के ढेर में सुई" वाला कार्य), मॉडल इस नए टूल का उपयोग करने वाले मॉडलों की तुलना में सही जानकारी खोजने में काफी बेहतर थे।
यह अधिक कुशल है: उन्होंने पाया कि समान स्तर की बुद्धिमत्ता प्राप्त करने के लिए, इस नए टूल वाले मॉडल को कम कंप्यूटिंग पावर की आवश्यकता होती है। उन्होंने गणना की कि यह 1.33x से 1.60x का लाभ प्रदान करता है।
- उपमा: कल्पना कीजिए कि दो कारें एक ही दूरी तय करने की कोशिश कर रही हैं। नया टूल वाली कार मानक कार की तुलना में 30% कम ईंधन का उपयोग करके वहां पहुँच जाती है, या वह समान ईंधन के साथ तेज़ी से पहुँच सकती है।
यह हर जगह काम करता है: उन्होंने केवल मानक AI मॉडलों पर ही परीक्षण नहीं किया। उन्होंने नए प्रकार के AI (जैसे "Mamba" और "DeltaNet") पर भी इसे आज़माया और पाया कि इसने उन मॉडलों में भी सुधार किया।
यह पर्याप्त तेज़ है: आमतौर पर, जब आप किसी टूल को "स्मार्टर" बनाते हैं, तो वह धीमा हो जाता है। लेखकों ने यह सुनिश्चित करने के लिए विशेष सॉफ़्टवेयर (जिसे "ट्राइटन कर्नेल" कहा जाता है) बनाया कि यह नया टूल आधुनिक कंप्यूटर चिप्स पर कुशलता से चले। उन्होंने पाया कि गति का नुकसान बहुत कम था (सबसे सामान्य संस्करण के लिए केवल लगभग 8% धीमा), जो बुद्धिमत्ता में बड़े उछाल के लिए एक छोटा सा मूल्य है।

मुख्य निष्कर्ष

यह पेपर तर्क देता है कि डायनामिक शॉर्ट कन्वोल्यूशन अगली पीढ़ी के AI के लिए एक नया, आवश्यक निर्माण खंड (building block) है। वे दो दुनियाओं के सर्वश्रेष्ठ गुणों को जोड़ते हैं: केवल कुछ शब्दों को देखने की गति, और उन शब्दों को देखने के तरीके को संदर्भ के आधार पर बदलने का लचीलापन।

शोधकर्ता निष्कर्ष निकालते हैं कि यह इस नए टूल को पूरी तरह से नए आर्किटेक्चर का आविष्कार किए बिना AI मॉडलों को स्मार्ट और अधिक कुशल बनाने का एक व्यावहारिक, स्केलेबल तरीका है। यह एक मानक कार इंजन को एक स्मार्ट टर्बो के साथ अपग्रेड करने जैसा है, जो सड़क की स्थितियों के अनुसार खुद को ढाल लेता है, जिससे आपको बड़े इंजन की आवश्यकता के बिना अधिक शक्ति मिलती है।

तकनीकी सारांश: डायनेमिक शॉर्ट कॉन्वोल्यूशन ट्रांसफॉर्मर्स में सुधार करते हैं

समस्या विवरण

यद्यपि अटेंशन मैकेनिज्म की स्केलेबिलिटी के कारण ट्रांसफॉर्मर्स बड़े भाषा मॉडलों (LLMs) के लिए प्रमुख आर्किटेक्चर बन गए हैं, लेकिन उनमें स्थानीय अनुक्रम संरचना (local sequence structure) के प्रति एक अंतर्निहित इंडक्टिव बायस (inductive bias) की कमी है। हालांकि स्थैतिक लघु कॉन्वोल्यूशन (static short convolutions - छोटे कर्नेल विड्थ वाले डेप्थवाइज़ सेपरेबल कॉन्वोल्यूशन) को स्थानीयता लाने के लिए खोजा गया है, वे सभी स्थितियों में निश्चित फिल्टर लागू करते हैं, जो संदर्भ-निर्भर स्थानीय संरचनाओं को मॉडल करने की क्षमता को सीमित करता है। यह शोध पत्र एक अधिक अभिव्यंजक प्रिमिटिव (primitive) की आवश्यकता पर बल देता है—एक ऐसा प्रिमिटिव जो कॉन्वोल्यूशन की दक्षता और स्थानीयता के पक्ष को बनाए रखता है लेकिन फिल्टरिंग तंत्र को इनपुट के अनुसार गतिशील रूप से अनुकूलित करने की अनुमति देता है, जिससे स्केलेबिलिटी से समझौता किए बिना प्रदर्शन में सुधार होता है।

कार्यप्रणाली

डायनेमिक शॉर्ट कॉन्वोल्यूशन (Dynamic Short Convolutions)

लेखक डायनेमिक शॉर्ट कॉन्वोल्यूशन को एक न्यूरल नेटवर्क प्रिमिटिव के रूप में पेश करते हैं। उन स्थैतिक कॉन्वोल्यूशन के विपरीत जहाँ भार $w$ स्थिर होते हैं, डायनेमिक कॉन्वोल्यूशन प्रत्येक टाइम स्टेप $t$ पर इनपुट-निर्भर फिल्टर $w(t)$ उत्पन्न करते हैं।

तंत्र: सक्रियणों (activations) के एक अनुक्रम $x_t$ के लिए, आउटपुट की गणना $y_t := \sum_{k=0}^{W-1} w(t)_k \odot x_{t-k}$ के रूप में की जाती है।
पैरामीटराइजेशन: फिल्टर $w(t)$ $w (t)$ वर्तमान हिडन स्टेट के एक सीखे गए लीनियर ट्रांसफॉर्मेशन द्वारा उत्पन्न किया जाता है। पैरामीटर दक्षता बनाए रखने के लिए, लेखक दो विशिष्ट पैरामीटराइजेशन प्रस्तावित करते हैं:
1. लो-रैंक फैक्टराइजेशन (Low-rank factorization): प्रोजेक्शन को रैंक $R$ के एक लो-रैंक ट्रांसफॉर्मेशन के माध्यम से फैक्टर किया जाता है।
2. हेड-वाइज टायिंग (Head-wise tying): आयामों को हेड्स में विभाजित किया जाता है, जहाँ एक एकल वेट फिल्टर $H$ निरंतर चैनल्स के बीच साझा किया जाता है।
प्लेसमेंट: प्राथमिक प्रयोगों में, डायनेरिक कॉन्वोल्यूशन को रोटरी पोजीशन एम्बेडिंग्स (RoPE) से पहले क्वेरी (Q), की (K), और वैल्यू (V) प्रोजेक्शन पर लागू किया जाता है, जिसमें एक रेसिडुअल कनेक्शन ( $X = X + \text{dynamicShortConv}(X)$ ) होता है। लेखक प्रत्येक लीनियर लेयर के बाद उन्हें लागू करने का भी परीक्षण करते हैं।

कुशल प्रशिक्षण कार्यान्वयन

डायनेमिक कॉन्वोल्यूशन कम अरिथमेटिक इंटेंसिटी के कारण मेमोरी-बाउंड होते हैं। नैव (naïve) कार्यान्वयन अत्यधिक हाई बैंडविड्थ मेमोरी (HBM) ट्रैफिक से ग्रस्त होते हैं। इसे संबोधित करने के लिए, लेखकों ने कस्टम ट्रिटन कर्नेल्स (Triton kernels) विकसित किए हैं:

ऑन-चिप कंप्यूटेशन: कर्नेल्स सक्रियणों और डायनेमिक वेट्स को पढ़ते हैं, ऑन-चिप पूर्ण कॉन्वोल्यूशन करते हैं, और केवल अंतिम परिणाम को HBM में लिखते हैं।
फ्यूज्ड लो-रैंक कर्नेल: लो-रैंक वेरिएंट के लिए, कर्नेल फैक्टराइजेशन के दूसरे प्रोजेक्शन को सीधे कॉन्वोल्यूशन में फ्यूज करता है। यह लो-रैंक इनपुट्स ( $z$ ) और प्रोजेक्शन मैट्रिक्स ( $U$ ) को पढ़ता है, ऑन-चिप वेट्स ($zU$) उत्पन्न करता है, और तुरंत कॉन्वोल्यूशन लागू करता है, जिससे HBM में पूर्ण डायनेमिक वेट टेंसर के निर्माण (materialization) से बचा जा सकता है।
प्रदर्शन: ये कर्नेल्स अनुकूलित स्थैतिक कॉन्वोल्यूशन कर्नेल्स (जैसे causal_conv1d) के प्रतिस्पर्धी या उससे भी तेज़ लेटेंसी प्राप्त करते हैं, जिससे 2B पैरामीटर स्केल पर एंड-टू-एंड ट्रेनिंग थ्रूपुट में लगभग 8% (QKV वेरिएंट के लिए) और 22% (सभी-लीनियर वेरिएंट के लिए) की मामूली गिरावट आती है।

मुख्य योगदान

नया प्रिमिटिव: एक इनपुट-निर्भर, लोकैलिटी-बायस्ड प्रिमिटिव के रूप में डायनेमिक शॉर्ट कॉन्वोल्यूशन का प्रस्ताव, जो स्थैतिक शॉर्ट कॉन्वोल्यूशन का सामान्यीकरण करता है।
स्केलिंग लॉ विश्लेषण: अनुभवजन्य प्रमाण जो दर्शाते हैं कि डायनेमिक कॉन्वोल्यूशन मानक ट्रांसफॉर्मर्स की तुलना में कंप्यूट एडवांटेज प्रदान करते हैं।
- Q, K, और V वेक्टर्स पर लागू होने पर 1.33× लाभ।
- प्रत्येक लीनियर लेयर के बाद लागू होने पर 1.60× लाभ।
हार्डवेयर दक्षता: कस्टम ट्रिटन कर्नेल्स का विकास जो डायनेमिक कॉन्वोल्यूशन को आधुनिक GPU (H100) पर प्रबंधनीय ओवरहेड के साथ प्रशिक्षण के लिए व्यावहारिक बनाता है।
व्यापक प्रयोज्यता: डेंस ट्रांसफॉर्मर्स, मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) मॉडल, और लीनियर RNN (Mamba-2 और Gated DeltaNet) सहित विविध आर्किटेक्चर में दृष्टिकोण का सत्यापन।

प्रयोगात्मक परिणाम

सिंथेटिक बेंचमार्क

वेरिएबल-की MQAR: एक संशोधित मल्टी-क्वेरी एसोसिएटिव रिकॉल कार्य पर, जहाँ कीज़ (keys) की लंबाई परिवर्तनशील है और वे टोकन साझा करते हैं, डायनेमिक कॉन्वोल्यूशन ने वैनिला ट्रांसफॉर्मर्स और स्थैतिक कॉन्वोल्यूशन वाले मॉडलों दोनों को काफी पीछे छोड़ दिया। यह मॉडल की परिवर्तनशील-लंबाई वाली स्थानीय संरचनाओं को गतिशील रूप से हल करने की क्षमता को उजागर करता है।
MAD बेंचमार्क: डायनेमिक कॉन्वोल्यूशन ने मैकेनिस्टिक आर्किटेक्चर डिज़ाइन बेंचमार्क पर मजबूत प्रदर्शन दिखाया, विशेष रूप से "फजी रिकॉल" (Fuzzy Recall) पर, जहाँ कीज़ और वैल्यूज़ में परिवर्तनशील टोकन काउंट होते हैं।

लैंग्वेज मॉडलिंग

Nemotron-CC कॉर्पस पर 150M से 2B पैरामीटर्स और एक 7B-पैरामीटर MoE मॉडल के आकार के साथ प्रयोग किए गए।

परप्लेक्सिटी और सटीकता: डायनेमिक कॉन्वोल्यूशन ने निम्नलिखित की तुलना में परप्लेक्सिटी को लगातार कम किया और कॉमन-सेंस रीजनिंग कार्यों (lm-eval-harness) पर ज़ीरो-शॉट सटीकता में सुधार किया:
- मानक ट्रांसफॉर्मर्स।
- स्थैतिक शॉर्ट कॉन्वोल्यूशन वाले ट्रांसफॉर्मर्स।
- डायनेमिक वेरिएंट के पैरामीटर बजट से मेल खाने के लिए बढ़े हुए पैरामीटर काउंट (चौड़े FFNs) वाले ट्रांसफॉर्मर्स।
लीनियर RNN: Mamba-2 और Gated DeltaNet में स्थैतिक कॉन्वोल्यूशन को डायनेमिक से बदलने से परप्लेक्सिटी में महत्वपूर्ण सुधार हुआ, जो बताता है कि डायनेमिक कॉन्वोल्यूशन सीक्वेंस मिक्सर को फिर से डिजाइन करने के बजाय एक अधिक प्रभावी सीक्वेंस मिक्सिंग तंत्र प्रदान करते हैं।
RULER बेंचमार्क: डायनेमिक कॉन्वोल्यूशन ने मल्टी-की, मल्टी-क्वेरी, और मल्टी-वैल्यू सबटास्क में विशेष लाभ दिखाया, जो इनपुट-निर्भर स्थानीय एकत्रीकरण की उनकी क्षमता के अनुरूप है।

एब्लेशन अध्ययन (Ablation Studies)

कर्नेल विड्थ: $W=3$ या $4$ की विड्थ को इष्टतम (optimal sweet spot) पाया गया।
प्लेसमेंट: तीनों प्रोजेक्शन (Q, K, V) पर डायनेमिक कॉ्वोल्यूशन लागू करने से सबसे अच्छे परिणाम मिले, जिसमें वैल्यू प्रोजेक्शन ने सबसे महत्वपूर्ण व्यक्तिगत लाभ प्रदान किया।
QK-Norm: डायनेमिक कॉन्वोल्यूशन के लाभ QK-norm के साथ संयोजन में भी बने रहे, जबकि स्थैतिक कॉन्वोल्यूशन उस सेटिंग में बहुत कम लाभ प्रदान करते थे।

महत्व और दावे

यह शोध पत्र दावा करता है कि डायनेमिक शॉर्ट कॉन्वोल्यूशन ट्रांसफॉर्मर-आधारित भाषा मॉडलों को आगे बढ़ाने के लिए एक स्केलेबल, हार्डवेयर-कुशल, और अभिव्यंजक प्रिमिटिव का प्रतिनिधित्व करते हैं। लेखक तर्क देते हैं कि:

उन्होंने सफलतापूर्वक कॉन्वोल्यूशन के लोकैलिटी बायस और अटेंशन-जैसे तंत्रों की अभिव्यंजना के बीच के अंतर को पाटा है।
देखा गया कंप्यूट एडवांटेज (1.33× से 1.60×) यह सुझाव देता है कि डायनेमिक कॉन्वोल्यूशन LLMs के प्रदर्शन-दक्षता सीमा (performance-efficiency frontier) को बेहतर बना सकते हैं।
कस्टम ट्रिटन कर्नेल्स यह प्रदर्शित करते हैं कि ये लाभ प्रबंधनीय एंड-टू-एंड ट्रेनिंग स्लोडाउन (8–25%) के साथ प्राप्त किए जा सकते हैं, जो इस दृष्टिकोण को वास्तविक दुनिया के उपयोग के लिए व्यावहारिक बनाता है।

लेखक अपने निष्कर्षों के दायरे के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि हालांकि रुझान 2B पैरामीटर और 7B MoE तक सुसंगत हैं, फ्रंटियर स्केल, लंबे प्रशिक्षण क्षितिज और विभिन्न डेटा मिश्रणों पर इन लाभों की पुष्टि करने के लिए और अधिक शोध की आवश्यकता है। वे यह भी स्वीकार करते कि व्यापक हार्डवेयर सहायता और अनुमान (inference) को पूरी तरह से अनुकूलित करने के लिए और अधिक इंजीनियरिंग की आवश्यकता है।