🤖 machine learning

Flexformer: Flexible Linear Transformer with Learnable Attention Kernel

फ्लेक्सफॉर्मर (Flexformer) एक लचीला लीनियर ट्रांसफॉर्मर है जो प्रशिक्षण योग्य स्पेक्ट्रल आवृत्तियों के माध्यम से पूरी तरह से डेटा-संचालित तरीके से अटेंशन कर्नेल सीखकर लंबी अनुक्रमों (sequences) के लिए अभिव्यंजना और स्केलेबिलिटी को बढ़ाता है, जो दक्षता और हस्तांतरणीयता बनाए रखते हुए लगातार बेसलाइनों से बेहतर प्रदर्शन करता है।

मूल लेखक: Haoran Zhang, Feng Zhou

प्रकाशित 2026-06-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haoran Zhang, Feng Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप हज़ारों मेहमानों के साथ एक विशाल पार्टी आयोजित करने की कोशिश कर रहे हैं। AI की दुनिया में, ये मेहमान "टोकन्स" (टेक्स्ट या डेटा के टुकड़े) हैं, और लक्ष्य यह पता लगाना है कि पूरी कहानी समझने के लिए किसे किससे बात करने की ज़रूरत है।

समस्या: "हैंडशेक" (हाथ मिलाने का) बॉटलनेक

पारंपरिक AI मॉडल (जिन्हें ट्रांसफॉर्मर कहा जाता है) सॉफ्टमैक्स अटेंशन (Softmax Attention) का उपयोग करते हैं। इसे ऐसे समझें कि यह एक नियम है जहाँ पार्टी के हर एक मेहमान को दूसरे हर मेहमान से हाथ मिलाना पड़ता है ताकि यह देखा जा सके कि कौन प्रासंगिक है।

अच्छी बात: यह बहुत सटीक है। हर कोई समूह की पूरी समझ प्राप्त कर लेता है।
बुरी बात: यदि आपके पास 1,000 मेहमान हैं, तो वह 1,000,000 हैंडशेक हैं। यदि आपके पास 10,000 मेहमान हैं, तो वह 100,000,000 हैंडशेक हैं। काम क्वाड्रेटिकली (quadraticly) बढ़ता है। यह एक पूरे शहर के लिए पार्टी आयोजित करने जैसा है; कंप्यूटर बहुत जल्दी मेमोरी और समय की कमी के कारण रुक जाता है।

पुराना समाधान: "कठोर स्क्रिप्ट" (Rigid Script)

इसे ठीक करने के लिए, शोधकर्ताओं ने लीनियर अटेंशन (Linear Attention) का उपयोग किया। इसमें हर किसी से हाथ मिलाने के बजाय, वे एक शॉर्टकट का उपयोग करते हैं। वे हर किसी को एक "टैग" (एक फीचर मैप) देते हैं और केवल टैग्स की तुलना करते हैं।

चुनौती: अधिकांश शॉर्टकट एक निश्चित स्क्रिप्ट का उपयोग करते हैं। वे मान लेते हैं कि लोगों को टैग करने का केवल एक ही सही तरीका है (आमतौर पर एक विशिष्ट गणितीय सूत्र जिसे "सॉफ्टमैक्स कर्नेल" कहा जाता है)।
दोष: सिर्फ इसलिए कि एक स्क्रिप्ट पार्टी के एक प्रकार के लिए काम करती है, इसका मतलब यह नहीं है कि वह सभी प्रकार की पार्टियों के लिए काम करेगी। कभी-कभी, "निश्चित टैग" महत्वपूर्ण कनेक्शन को मिस कर देता है, जिससे AI कम स्मार्ट हो जाता है।

नया समाधान: फ्लेक्सफॉर्मर (Flexformer)

इस पेपर के लेखक फ्लेक्सफॉर्मर का प्रस्ताव करते हैं। फ्लेक्सफॉर्मर को एक स्मार्ट, कस्टमाइज़ेबल टैगिंग सिस्टम के रूप में समझें जो पार्टी के दौरान ही सबसे अच्छे टैग्स को सीखता है।

यह इस प्रकार काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. "रेडियो ट्यूनर" की उपमा

कल्पना कीजिए कि जिस तरह से AI लोगों को जोड़ता है, वह रेडियो ट्यून करने जैसा है।

पुराना लीनियर अटेंशन: रेडियो एक विशिष्ट फ्रीक्वेंसी पर अटका हुआ है। यह केवल एक ही स्टेशन सुन सकता है।
फ्लेक्सफॉर्मर: रेडियो में एक ट्यूनेबल डायल (घुमाने वाला बटन) है। एक निश्चित फ्रीक्वेंसी पर अटके रहने के बजाय, फ्लेक्सफॉर्मर "फ्रीक्वेंसीज" (वे गणितीय सेटिंग्स जो यह तय करती हैं कि लोग कैसे जुड़ते हैं) को सीखने योग्य नॉब्स (learnable knobs) के रूप में मानता है।
यह कैसे सीखता है: AI इन नॉब्स को ऊपर-नीचे घुमाता है, डेटा को सुनता है, और यह पता लगाता है कि सबसे महत्वपूर्ण संबंधों को पकड़ने के लिए कौन सा "स्टेशन" सबसे अच्छा है। यह केवल अनुमान नहीं लगाता; यह सटीक रूप से सीखता है कि जो डेटा वह पढ़ रहा है, उसके लिए सबसे अच्छा क्या काम करता है।

2. "लचीला रबर बैंड" (Flexible Rubber Band)

पेपर इस सिस्टम के दो संस्करण बनाता है:

स्टेशनरी वर्जन (Flexformer_s): कल्पना कीजिए कि एक रबर बैंड है जो हर जगह एक ही तरह से खिंचता है चाहे आप उसे कहीं भी खींचें। यह लचीला है, लेकिन खिंचने के नियम सुसंगत (consistent) हैं।
नॉन-स्टेशनरी वर्जन (Flexformer_n): यह एक सुपर-फ्लेक्सिबल, आकार बदलने वाले रबर बैंड जैसा है। यह खिंच सकता है, मुड़ सकता है और बिल्कुल उसी स्थान पर अपने नियम बदल सकता है जहाँ आप मौजूद हैं। पेपर का दावा है कि यह संस्करण और भी शक्तिशाली है क्योंकि यह उन जटिल पैटर्न के अनुकूल हो सकता है जिन्हें "सुसंगत" संस्करण मिस कर सकता है।

यह एक बड़ी बात क्यों है?

यह पेपर तीन मुख्य बातें सिद्ध करता है:

यह तेज़ और हल्का है: पुराने लीनियर तरीकों की तरह ही, फ्लेक्सफॉर्मर "हैंडशेक" की संख्या को कम रखता है। यह लीनियर रूप से स्केल करता है (1,000 मेहमान = 1,000 हैंडशेक, न कि 1,000,000)। इसका मतलब है कि यह बहुत लंबे दस्तावेज़ों (जैसे पूरी किताबें या लंबे वीडियो ट्रांसक्रिप्ट) को बिना कंप्यूटर क्रैश किए संभाल सकता है।
यह अधिक स्मार्ट है: क्योंकि यह अपने स्वयं के "टैग्स" सीखता है न कि एक निश्चित स्क्रिप्ट का उपयोग करता है, यह पुराने लीनियर तरीकों की तुलना में डेटा को बेहतर समझता है। परीक्षणों में (जैसे रीडिंग कॉम्प्रिहेन्शन और वाक्य में अगला शब्द प्रेडिक्ट करने में), फ्लेक्सफॉर्मर ने सभी अन्य तेज़ तरीकों को पछाड़ दिया और यहाँ तक कि धीमे, भारी "गोल्ड स्टैंडर्ड" मॉडल्स के बराबर या उनसे बेहतर प्रदर्शन किया।
यह पुराने तरीके की "नकल" कर सकता है: यदि आपके पास पहले से ही एक धीमा, परफेक्ट AI मॉडल है और आप उसे तेज़ बनाना चाहते हैं, तो आप फ्लेक्सफॉर्मर को "डिस्टिल" (सिखाने) के माध्यम से उस धीमे मॉडल के व्यवहार की नकल करना सिखा सकते हैं। फ्लेक्सफॉर्मर उस धीमे, परफेक्ट मॉडल की तरह बिल्कुल व्यवहार करना सीख सकता है लेकिन बिजली जैसी तेज़ गति से चल सकता है। इसके अलावा, यदि आप इसे एक विषय (जैसे समाचार लेख) पर सिखाते हैं, तो यह उस ज्ञान को दूसरे विषय (जैसे वैज्ञानिक पेपर) में अन्य तेज़ मॉडलों की तुलना में बेहतर तरीके से ट्रांसफर कर सकता है।

सारांश

फ्लेक्सफॉर्मर लंबे टेक्स्ट को पढ़ने का एक नया तरीका है। AI को विचारों को जोड़ने के लिए एक कठोर, पूर्व-लिखित नियम पुस्तिका का उपयोग करने के लिए मजबूर करने के बजाय, यह AI को एडजस्टेबल डायल्स (समायोज्य बटन) का एक सेट देता है। AI इन डायल्स को घुमाना सीखता है ताकि वह विचारों को जोड़ने का सबसे अच्छा तरीका खोज सके, जिसके परिणामस्वरूप एक ऐसा सिस्टम मिलता है जो लंबे दस्तावेज़ों के लिए पर्याप्त तेज़ है लेकिन जटिल विवरणों को समझने के लिए पर्याप्त स्मार्ट भी है।

तकनीकी सारांश: Flexformer

समस्या विवरण

ट्रांसफॉर्मर मॉडल लंबी दूरी की निर्भरता (long-range dependencies) को पकड़ने के लिए डॉट-प्रोडक्ट अटेंशन मैकेनिज्म पर निर्भर करते हैं, लेकिन यह मैकेनिज्म अनुक्रम लंबाई $N$ के सापेक्ष द्विघाती (quadratic) समय और स्थान जटिलता ( $O(N^2)$ ) का सामना करता है। यह बाधा लंबी अनुक्रमों (sequences) के लिए स्केलेबिलिटी को गंभीर रूप से सीमित करती है। जबकि कर्नेल-आधारित लीनियर अटेंशन विधियाँ फीचर मैप्स के माध्यम से अटेंशन मैकेनिज्म का अनुमान लगाकर जटिलता को लीनियर ( $O(N)$ ) तक कम कर देती हैं, मौजूदा दृष्टिकोण दक्षता और अभिव्यक्ति (expressiveness) के बीच एक ट्रेड-ऑफ का सामना करते हैं:

फिक्स्ड कर्नेल्स (Fixed Kernels): Performer और RFA जैसी विधियाँ सॉफ्टमैक्स कर्नेल का अनुमान लगाने के लिए रैंडम फूरियर फीचर्स (RFF) पर भरोसा करती हैं। हालाँकि, वे कर्नेल को एक निश्चित और गैर-सीखने योग्य (non-learnable) मानकर चलते हैं, यह मानते हुए कि सॉफ्टमैक्स इष्टतम है, जो सभी परिदृश्यों में सही नहीं हो सकता है।
कमज़ोर रूप से सीखने योग्य कर्नेल्स (Weakly Learnable Kernels): हाल के कार्य (जैसे Hedgehog, Polaformer) सॉफ्टमैक्स के लो-एंट्रॉपी गुण की नकल करने के लिए विशिष्ट फलनों (exponential, power functions) के साथ सीखने योग्य मैपिंग पेश करते हैं। हालाँकि, ये विधियाँ यह गारंटी नहीं देती हैं कि सीखा गया कर्नेल परिवार व्यापक अटेंशन पैटर्न को समाहित करने के लिए पर्याप्त अभिव्यंजक है, जिससे प्रदर्शन से समझौता हो सकता है।

मुख्य चुनौती एक लचीला, सीखने योग्य अटेंशन कर्नेल बनाने की है जो लीनियर जटिलता बनाए रखते हुए फिक्स्ड कर्नेल्स और कमज़ोर सीखने योग्य बेसलाइन्स दोनों से बेहतर प्रदर्शन करने के लिए पर्याप्त अभिव्यक्ति प्रदान करे।

कार्यप्रणाली (Methodology)

लेखक Flexformer प्रस्तावित करते हैं, जो एक लीनियर ट्रांसफॉर्मर फ्रेमवर्क है जो रैंडम फूरियर फीचर्स (RFF) का उपयोग करके डेटा-संचालित तरीके से अटेंशन कर्नेल्स को सीखता है।

सैद्धांतिक आधार

यह विधि स्पेक्ट्रल रिप्रेजेंटेशन थ्योरी पर आधारित है।

स्टेशनरी कर्नेल्स (Stationary Kernels): बोchner के प्रमेय (Theorem 3.1) के आधार पर, एक स्टेशनरी कर्नेल $k(x-y)$ एक स्पेक्ट्रल डेंसिटी $p(\omega)$ से संबंधित होता है। मानक RFF इसे एक निश्चित वितरण (जैसे सॉफ्टमैक्स के लिए गॉसियन) से आवृत्तियों $\omega$ को सैंपल करके अनुमानित करता है।
नॉन-स्टेशनरी कर्नेल्स (Non-Stationary Kernels): याग्लोम प्रमेय (Theorem 3.2) के आधार पर, नॉन-स्टेशनरी कर्नेल्स को जॉइंट स्पेक्ट्रल डेंसिटी के माध्यम से दर्शाया जा सकता है।

Flexformer आर्किटेक्चर

फिक्स्ड डिस्ट्रीब्यूशन से फ्रीक्वेंसीज को सैंपल करने के बजाय, Flexformer स्पेक्ट्रल फ्रीक्वेंसीज को सीखने योग्य पैरामीटर्स (trainable parameters) के रूप में मानता है जिन्हें एंड-टू-एंड ऑप्टिमाइज़ किया जाता है।

Flexformer $_s$ (Stationary): फ्रीक्वेंसीज $\{\omega_i\}$ सीखने योग्य पैरामीटर्स हैं। यह मॉडल को सीधे डेटा से एक इष्टतम स्पेक्ट्रल डेंसिटी $p(\omega)$ सीखने की अनुमति देता है। फीचर मैप को इस प्रकार बनाया गया है:
$\tilde{\phi}_n(x) = \exp\left(\frac{\|x\|^2}{2\sqrt{d}}\right) \phi_n(x)$
जहाँ $\phi_n(x)$ में सीखने योग्य फ्रीक्वेंसीज के कोसाइन और साइन टर्म शामिल हैं। यह फॉर्मूलेशन सॉफ्टमैक्स कर्नेल के अनबायस्ड एस्टीमेट को सख्ती से समाहित करता है, जो इष्टतम होने पर सॉफ्टमैक्स अटेंशन को रिकवर करने की गारंटी देता है।
Flexformer $_n$ (Non-Stationary): अभिव्यक्ति बढ़ाने के लिए, लेखक याग्लोम प्रमेय का उपयोग करके नॉन-स्टेशनरी कर्नेल्स के लिए फ्रेमवर्क का विस्तार करते हैं। इसमें फ्रीक्वेंसी पेयर्स $\{(\omega_{1i}, \omega_{2i})\}$ और एक स्केलिंग पैरामीटर $\tau$ (जो $2\sqrt{d}$ को रिप्लेस करता है) को सीखना शामिल है। फीचर मैप बनता है:
$\tilde{\phi}_n(x) = \exp\left(\frac{\|x\|^2}{\exp(\tau)}\right) \phi_n(x)$
नॉन-स्टेसनरी वेरिएंट सैद्धांतिक रूप से स्टेशनरी वेरिएंट की तुलना में काफी अधिक अभिव्यंजक है।

जटिलता (Complexity)

दोनों वेरिएंट अनुक्रम लंबाई $N$ के संबंध में लीनियर टाइम कॉम्प्लेक्सिटी $O(Ndd') $और **लीनियर स्पेस कॉम्प्लेक्सिटी**$ O(Nd + Nd' + dd') $बनाए रखते हैं, जहाँ$ d $हिडन डायमेंशन है और$ d'$ फीचर मैप डायमेंशन है।

मुख्य योगदान

लर्नेबल कर्नेल फ्रेमवर्क: Flexformer का प्रस्ताव, जो रैंडम फूरियर फीचर फ्रेमवर्क के भीतर सीखने योग्य स्पेक्ट्रल फ्रीक्वेंसीज का लाभ उठाता है, जिससे मॉडल डेटा-ड्रिवन तरीके से कर्नेल के एक विस्तृत परिवार को सीख सकता है।
सैद्धांतिक अभिव्यक्ति (Theoretical Expressiveness): यह प्रदर्शित करता है कि Flexformer कर्नेल फैमिली सॉफ्टमैक्स कर्नेल को सख्ती से समाहित करती है (स्टेशनरी वेरिएंट के लिए) और नॉन-स्टेशनरी वेरिएंट में अधिक अभिव्यक्ति प्रदान करती है, जो फिक्स्ड या एम्पिरिकल डिज़ाइन किए गए कर्नेल्स की सीमाओं को संबोधित करती है।
डिस्टिलेशन और ट्रांसफ़रेबिलिटी: यह दिखाता है कि Flexformer को प्री-ट्रेन्ड ट्रांसफॉर्मर्स से प्रभावी ढंग से डिस्टिल किया जा सकता है ताकि सॉफ्टमैक्स अटेंशन प्रदर्शन को रिकवर किया जा सके और यह मजबूत क्रॉस-डोमेन कर्नेल ट्रांसफ़रेबिलिटी प्रदर्शित करता है।

प्रयोगात्मक परिणाम

लेखकों ने लैंग्वेज मॉडलिंग, सीक्वेंस क्लासिफिकेशन और डिस्टिलेशन कार्यों पर Flexformer का मूल्यांकन किया।

लॉन्ग-रेंज एरिना (LRA): Flexformer ने सभी कार्यों (ListOps, Text, Retrieval, Image, Pathfinder) में उच्चतम औसत सटीकता प्राप्त की। विशेष रूप से, Flexformer $_n$ ने डॉक्यूमेंट रिट्रीवल, इमेज क्लासिफिकेशन और पाथफाइंडर पर सर्वश्रेष्ठ परिणाम प्राप्त किए, जिसने मौजूदा सर्वश्रेष्ठ लीनियर अटेंशन बेसलाइन से औसत सटीकता में सापेक्ष 4.4% की बढ़त बनाई।
ऑटोरेग्रेसिव लैंग्वेज मॉडलिंग (WikiText-103):
- छोटे मॉडल्स (41M params) में, Flexformer वेरिएंट्स ने सभी अन्य लीनियर अटेंशन बेसलाइन्स को पछाड़ दिया और वैनिला ट्रांसफॉर्मर के प्रदर्शन के करीब पहुँच गए।
- बड़े मॉडल्स (247M params) में, Flexformer $_n$ ने वैनिला ट्रांसफॉर्मर को भी पीछे छोड़ दिया, जो बताता है कि लर्नबल कर्नेल्स बढ़ी हुई मॉडल कैपेसिटी से काफी लाभान्वित होते हैं।
दक्षता (Efficiency): डॉक्यूमेंट रिट्रीवल कार्य पर, Flexformer ने वैनिला ट्रांसफॉर्मर की तुलना में 2.6 $\times$ ट्रेनिंग स्पीडअप और 84% मेमोरी उपयोग में कमी हासिल की, जबकि समय और मेमोरी में लीनियर स्केलिंग बनाए रखी।
डिस्टिलेशन (GLUE बेंचमार्क): एक प्री-ट्रेन्ड RoBERTa मॉडल को डिस्टिल करते समय, Flexformer $_n$ ने सॉफ्टमैक्स अटेंशन व्यवहार को लगभग पूरी तरह से रिकवर किया, जो नॉन-लर्नेबल लीनियर मेथड्स (Performer, RFA) से बेहतर था और यहाँ तक कि CoLA डेटासेट पर स्टैंडर्ड सॉफ्टमैक्स से भी आगे निकल गया।
कर्नेल ट्रांसफ़रेबिलिटी: क्रॉस-डोमेन प्रयोगों में, एक GLUE डेटासेट पर Flexformer $_n$ द्वारा सीखे गए कर्नेल्स, Hedgehog द्वारा सीखे गए कर्नेल्स की तुलना में अन्य डेटासेट्स पर अधिक प्रभावी ढंग से ट्रांसफर हुए, जिससे आउट-ऑफ-डोमेन कार्यों पर कम प्रदर्शन गिरावट देखी गई।

महत्व और दावे

पेपर का दावा है कि Flexformer लॉन्ग-सीक्वेंस मॉडलिंग के लिए सॉफ्टमैक्स अटेंशन का एक प्रभावी और स्केलेबल विकल्प प्रदान करता है। इसका प्राथमिक महत्व लीनियर अटेंशन में दक्षता और अभिव्यक्ति के बीच के तनाव को हल करना है:

यह इस धारणा से आगे बढ़ता है कि सॉफ्टमैक्स इष्टतम है, बल्कि सीधे डेटा से कर्नेल को सीखता है।
यह केवल एम्पिरिकल ह्यूरिस्टिक्स पर निर्भर रहने के बजाय, लचीले कर्नेल्स के निर्माण के लिए एक सिद्धांत-आधारित दृष्टिकोण (स्पेक्ट्रल रिप्रेजेंटेशन थ्योरी के माध्यम से) प्रदान करता है।
यह प्रदर्शित करता है कि लीनियर अटेंशन, विशेष रूप से स्केल या डिस्टिल होने पर, क्वाड्रेटिक अटेंशन के प्रदर्शन के बराबर या उससे बेहतर हो सकता है, जबकि कम्प्यूटेशनल दक्षता बनाए रखता है।

सीमाएँ: लेखक नोट करते हैं कि Flexformer यह मान लेता है कि सीखा गया अटेंशन कर्नेल पॉजिटिव डेफिनिट (positive definite) है। क्या पॉजिटिव डेफिनिट कर्नेल्स अटेंशन के लिए सैद्धांतिक रूप से इष्टतम विकल्प हैं, यह भविष्य के शोध के लिए एक खुला प्रश्न बना हुआ है।