📊 statistics

Exact Sequence Interpolation with Transformers

यह शोध पत्र यह सिद्ध करता है कि ट्रांसफॉर्मर $\mathbb{R}^d$ में इनपुट और आउटपुट अनुक्रमों के परिमित डेटासेट को सटीक रूप से इंटरपोलेट कर सकते हैं, जिसमें एक ऐसा मॉडल निर्मित किया गया है जिसकी जटिलता इनपुट लंबाई से स्वतंत्र है, और जो सीक्वेंस-टू-सीक्वेंस लर्निंग कार्यों के लिए सैद्धांतिक गारंटी प्रदान करने हेतु अल्टरनेटिंग लेयर्स और लो-रैंक अटेंशन मैकेनिज्म का उपयोग करता है।

मूल लेखक: Albert Alcalde, Giovanni Fantuzzi, Enrique Zuazua

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Albert Alcalde, Giovanni Fantuzzi, Enrique Zuazua

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास कहानियों का एक विशाल पुस्तकालय है। कुछ कहानियाँ बहुत लंबी हैं, और कुछ छोटी। आपका लक्ष्य एक जादुई मशीन (एक "ट्रांसफॉर्मर") बनाना है जो इन लंबी कहानियों को पढ़ सके और उन्हें तुरंत विशिष्ट, छोटे सारांशों या उत्तरों में फिर से लिख सके।

यह शोध पत्र यह सिद्ध करता है कि इस मशीन को इस तरह बनाया जा सकता है कि वह हर बार बिल्कुल सही उत्तर दे सके, चाहे इनपुट कहानियाँ कितनी भी जटिल क्यों न हों। यह केवल अनुमान नहीं लगाता या "करीब" नहीं पहुँचता; यह सीधे निशाने पर सटीक वार करता है।

लेखकों ने इसे सरल उपमाओं का उपयोग करके इस प्रकार समझाया है:

1. समस्या: "गलत फिट होने वाला सूट" (The Mismatched Suit)

आमतौर पर, जब आप एक लंबी कहानी (इनपुट) को एक छोटे सारांश (आउटपुट) में फिट करने की कोशिश करते हैं, तो आपको एक समस्या का सामना करना पड़ता है। यदि आप एक मानक मशीन (जैसे ResNet, जो सरल फिल्टरों का एक ढेर है) का उपयोग करते हैं, तो यह कहानी के हर शब्द को स्वतंत्र रूप से देखता है। यह ऐसा है जैसे लोगों की एक लंबी कतार को एक छोटे कमरे में फिट करने के लिए बस प्रत्येक व्यक्ति को व्यक्तिगत रूप से सिकुड़ने के लिए कहना। यदि लोगों को फिट होने के लिए आपस में जुड़ने की आवश्यकता है, तो यह काम नहीं करता है।

लेखक दिखाते हैं कि ट्रांसफॉर्मर विशेष हैं क्योंकि उनमें एक "ग्रुप चैट" फीचर (जिसे सेल्फ-अटेंशन कहा जाता है) होता है। यह मशीन को पूरी कहानी को एक साथ देखने, यह तय करने कि कौन से शब्द महत्वपूर्ण हैं, और उन्हें एक साथ समूहबद्ध करने की अनुमति देता है।

2. समाधान: "जादुई सॉर्टिंग हैट" (The Magic Sorting Hat)

यह शोध पत्र सिद्ध करता है कि इस मशीन के पर्याप्त स्तरों (layers) को जोड़कर, आप किसी भी इनपुट को ठीक उसी आउटपुट में बदलने के लिए जो आप चाहते हैं, एक विशिष्ट चार-चरणीय जादुई ट्रिक कर सकते हैं:

चरण 1: अलगाव (सॉर्टिंग हैट)
कल्पना कीजिए कि आपके पास लोगों के कई अलग-अलग समूह (अलग-अलग कहानियाँ) एक भीड़ भरे कमरे में खड़े हैं, और अलग-अलग समूहों के कुछ लोग एक जैसे दिखते हैं। मशीन पहले एक "सॉर्टिंग हैट" का उपयोग करती है जो समूहों को धीरे से एक-दूसरे से दूर धकेल देती है ताकि वे ओवरलैप न हों। यह सुनिश्चित करती है कि हर कहानी अपने कमरे के एक अलग कोने में हो।
चरण 2: लीडर का चयन (कैप्टनों को चुनना)
प्रत्येक समूह से, मशीन कुछ "कैप्टनों" (वे शब्द जो अंतिम सारांश बनेंगे) को चुनती है। वह इन कैप्टनों को कमरे के विशिष्ट, सुरक्षित स्थानों पर ले जाती है।
चरण 3: पतन/विलय (द हडल - The Huddle)
यह सबसे चतुर हिस्सा है। मशीन समूह के उन सभी लोगों को आदेश देती है जो कप्तान नहीं हैं कि "एक साथ सिमट जाएँ" (huddle up) और उस कप्तान में बदल जाएँ जिसके वे सबसे करीब हैं। क्योंकि इसमें "ग्रुप चैट" फीचर है, गैर-कप्तान वास्तव में कैप्टनों में विलीन हो जाते हैं। अब, एक लंबी कहानी को केवल कुछ टोकन (कैप्टनों) में संकुचित कर दिया गया है।
चरण 4: इंटरपोलेशन (अंतिम पॉलिश)
अंत में, मशीन इन कुछ बचे हुए कैप्टनों को उनके सटीक अंतिम गंतव्य (सही सारांश शब्द) तक ले जाती है।

3. बड़ा आश्चर्य: आकार मायने नहीं रखता (इनपुट के लिए)

यहाँ सबसे रोमांचक खोज है: मशीन का आकार इस बात पर निर्भर करता है कि आउटपुट कितना लंबा है, न कि इस पर कि इनपुट कितना लंबा है।

उपमा: कल्पना कीजिए कि आपके पास 10 पेज से लेकर 1,000 पेज तक की किताबों का एक पुस्तकालय है। आप उन सभी का 1-पेज के नोट्स में सारांश करना चाहते हैं।
पुरानी मशीनें (ResNets): 1,000 पन्नों की किताब को संभालने के लिए, आपको एक ऐसी मशीन की आवश्यकता होगी जो विशाल और जटिल होती जाए। किताब जितनी बड़ी होगी, मशीन उतनी ही बड़ी होगी।
यह नई मशीन (Transformer): मशीन का आकार इस बात से नहीं बदलता कि किताब 10 पन्नों की है या 1,000 पन्नों की। इसे केवल इतना बड़ा होने की आवश्यकता है कि वह 1-पेज के सारांश को रख सके।

यह समझाता है कि ट्रांसफॉर्मर लंबे दस्तावेज़ों का सारांश करने या छवियों को वर्गीकृत करने जैसे कार्यों में इतने अच्छे क्यों हैं: वे एक विशाल, फूली हुई मशीन की आवश्यकता के बिना भारी मात्रा में जानकारी को एक छोटे उत्तर में संकुचित कर सकते हैं।

4. उन्होंने यह कैसे किया ( "हार्ड" बनाम "सॉफ्ट" गणित)

लेखकों ने पहले इस मशीन के "हार्ड" संस्करण (Hardmax) का उपयोग करके इसे सिद्ध किया, जहाँ समूहीकरण सख्त और बाइनरी (जैसे एक लाइट स्विच: ऑन या ऑफ) होता है। इसने गणित को विज़ुअलाइज़ करना आसान बना दिया, जैसे लेगो ब्लॉक्स को आपस में जोड़ना।

फिर, उन्होंने दिखाया कि "सॉफ्ट" संस्करण (Softmax), जिसका उपयोग वास्तविक दुनिया के AI में किया जाता है (जहाँ समूहीकरण एक डिमर स्विच की तरह है), बिल्कुल वही काम कर सकता है। उन्होंने सिद्ध किया कि भले ही "डिमर स्विच" अधिक सुचारू (smooth) और नियंत्रित करने में कठिन है, फिर भी आप सटीक परिणाम प्राप्त करने के लिए इसे पूरी तरह से ट्यून कर सकते हैं।

5. प्रशिक्षण के लिए यह क्यों महत्वपूर्ण है

यह शोध पत्र इन AI मॉडलों को प्रशिक्षित करने वाले लोगों के लिए एक व्यावहारिक लाभ का भी उल्लेख करता है। क्योंकि उन्होंने सिद्ध किया है कि एक "परफेक्ट" मशीन मौजूद है, इसलिए वे अब यह देख सकते हैं कि प्रशिक्षण प्रक्रिया सही ढंग से काम कर रही है या नहीं।

उपमा: यदि आप एक घाटी के निचले हिस्से (परफेक्ट सॉल्यूशन) को खोजने की कोशिश कर रहे हैं, और आप जानते हैं कि एक रास्ता मौजूद है जो ठीक वहीं ले जाता है, तो आप अपनी प्रगति की जांच कर सकते हैं। यदि आपका ट्रेनिंग लॉस (त्रुटि) एक विशिष्ट तरीके से गिरना बंद हो जाता है, तो आप जानते हैं कि आप वैश्विक सर्वश्रेष्ठ (global best) पर पहुँच गए हैं। यदि यह बहुत जल्दी गिरना बंद हो जाता है, तो आप जानते हैं कि आप एक छोटे गड्ढे (local minimum) में फंस गए हैं और आपको आगे बढ़ने की आवश्यकता है।

सारांश

संक्षेप में, यह शोध पत्र इस गणितीय प्रमाण के रूप में है कि ट्रांसफॉर्मर डेटा के किसी भी अनुक्रम के लिए परफेक्ट ट्रांसलेटर होने के लिए पर्याप्त शक्तिशाली हैं। वे एक लंबे, अव्यवस्थित इनपुट को ले सकते हैं और उसे 100% सटीकता के साथ एक छोटे, सटीक आउटपुट में बदल सकते हैं, और वे ऐसा कुशलता से करते हैं, बिना इनपुट लंबा होने पर खुद को बड़ा किए। वे जानकारी को संकुचित करने के लिए "ग्रुप चैट" तंत्र का उपयोग करके और टुकड़ों को व्यवस्थित करके इसे हासिल करते हैं।

तकनीकी सारांश: ट्रांसफॉर्मर्स के साथ सटीक अनुक्रम इंटरपोलेशन (Exact Sequence Interpolation)

1. समस्या विवरण

यह शोध पत्र अनुक्रम-से-अनुक्रम मैपिंग (sequence-to-sequence mapping) के संदर्भ में ट्रांसफॉर्मर्स के लिए सटीक इंटरपोलेशन समस्या (exact interpolation problem) को संबोधित करता है। विशेष रूप से, $N$ इनपुट-आउटपुट अनुक्रम युग्मों $\{(X_j, Y_j)\}_{j=1}^N$ के एक डेटासेट के दिए जाने पर, जहाँ $X_j \in (\mathbb{R}^d)^{n_j}$ और $Y_j \in (\mathbb{R}^d)^{m_j}$ है और $m_j \le n_j$ , लक्ष्य एक ट्रांसफॉर्मर आर्किटेक्चर $T$ का निर्माण करना है ताकि $T(X_j) = Y_j$ सभी $j$ के लिए सत्य हो।

समस्या के निरूपण का एक महत्वपूर्ण पहलू अनुक्रमों के बीच समानता की परिभाषा है। लेखक अनुक्रमों को अक्रमित सेट (unordered sets) (परम्यूटेशन-इक्विवेरिएंट) के रूप में मानते हैं, जिसका अर्थ है कि $T(X_j) = Y_j$ तब सत्य होता है जब आउटपुट अनुक्रम के टोकन, लक्ष्य अनुक्रम $Y_j$ के टोकन के सेट से मेल खाते हैं (हाउसरडॉर्फ दूरी/Hausdorff distance के माध्यम से मापा गया)। यह फॉर्मूलेशन उन कार्यों के लिए उपयुक्त है जहाँ आउटपुट की लंबाई इनपुट की लंबाई से कम होती है (जैसे मास्क लैंग्वेज मॉडलिंग या इमेज इनपेंटिंग), एक ऐसी स्थिति जहाँ लंबाई बनाए रखने वाले मानक अनुक्रम-से-अनुक्रम मॉडल में विसंगति आती है।

यह अध्ययन निम्नलिखित धारणाएँ लेता है:

इनपुट अनुक्रम युग्व (pairwise) रूप से भिन्न हैं।
प्रत्येक इनपुट अनुक्रम के भीतर टोकन युग्व रूप से भिन्न हैं।
प्रत्येक आउटपुट अनुक्रम के भीतर टोकन युग्व रूप से भिन्न हैं।

विश्लेषण $d \ge 2$ (विशेष रूप से मुख्य रचनात्मक प्रमाणों के लिए $d \ge 20$ ) के लिए किया गया है और इसमें हार्डमैक्स (hardmax) (तापमान $\tau \to 0$ के रूप में सॉफ्टमैक्स की सीमा) और सॉफ्टमैक्स (softmax) सेल्फ-अटेंशन तंत्र दोनों पर विचार किया गया है।

2. कार्यप्रणाली (Methodology)

लेखक एक रचनात्मक प्रमाण (constructive proof) प्रदान करते हैं जो प्रदर्शित करता है कि विशिष्ट ट्रांसफॉर्मर आर्किटेक्चर ऐसे किसी भी डेटासेट को सटीक रूप से इंटरपोलेट कर सकते हैं। कार्यप्रणाली टोकन स्थितियों को ज्यामितीय रूप से हेरफेर करने के लिए फीड-फॉरवर्ड (FF) परतों को सेल्फ-अटेंशन (SA) परतों के साथ बारी-बारी से उपयोग करने पर निर्भर करती है।

2.1 आर्किटेक्चर

ट्रांसफॉर्मर $L$ ब्लॉक्स से बना है, जहाँ प्रत्येक ब्लॉक एक FF परत और एक SA परत का संयोजन है।

फीड-फॉरवर्ड परतें: इन्हें $FF(x) = \eta x + W\sigma(Ux + b)$ के रूप में परिभाषित किया गया है, जहाँ $\sigma$ ReLU एक्टिवेशन है। लेखक ट्यूनेबल रेसिडुअल पैरामीटर $\eta$ के महत्व और कम-चौड़ाई वाले नेटवर्क ( $d' \le 4$ ) का उपयोग करने की क्षमता पर जोर देते हैं।
सेल्फ-अटेंशन परतें: इन्हें $SA_i(X) = \rho x_i + V \sum_{\ell} \pi_{i\ell}(X, A) x_\ell$ $S A_{i} (X) = ρ x_{i} + V \sum_{ℓ} π_{i ℓ} (X, A) x_{ℓ}$ के रूप में परिभाषित किया गया है।
- हार्डमैक्स सेटिंग: अटेंशन वेट्स $\pi_{i\ell}$ उन टोकन को चुनते हैं जिनका आंतरिक उत्पाद (inner product) $\langle A x_i, x_\ell \rangle$ अधिकतम होता है। लेखक मैट्रिक्स $A$ के लिए एक विशिष्ट संरचना (रैंक-वन या आइडेंटिटी के स्केलर गुणक) का उपयोग करते हैं ताकि विशिष्ट क्लस्टरिंग व्यवहार उत्पन्न किया जा सके।
- सॉफ्टमैक्स सेटिंग: मानक सॉफ्टमैक्स अटेंशन का उपयोग किया जाता है। लेखक दिखाते हैं कि जबकि सॉफ्टमैक्स एक ही चरण में सटीक "कोलैप्स" (collapse) की अनुमति नहीं देता है (हार्डमैक्स के विपरीत), विशिष्ट FF लेयर कंस्ट्रक्शन के साथ सॉफ्टमैक्स अटेंशन को जोड़कर अभी भी सटीक इंटरपोलेशन प्राप्त किया जा सकता है।

2.2 ज्यामितीय रणनीति (Geometric Strategy)

निर्माण प्रक्रिया चार अलग-अलग ज्यामितीय चरणों के माध्यम से आगे बढ़ती है, जो टोकन कॉन्फ़िगरेशन को बदलने के लिए विशिष्ट लेम्मा (lemmas) का उपयोग करती है:

पृथक्करण (Separation): $O(N)$ ब्लॉक्स का उपयोग करके, ट्रांसफॉर्मर विभिन्न इनपुट अनुक्रमों के टोकन को अलग करता है जो प्रारंभिक कॉन्फ़िगरेशन में ओवरलैप हो सकते हैं। इसमें टोकन को इस तरह से स्थानांतरित करना शामिल है कि अनुक्रम युग्व रूप से विसंयुक्त (disjoint) सेट बन जाएं।
लीडर चयन (Leader Selection): ट्रांसफॉर्मर सभी टोकन को एक विशिष्ट ज्यामितीय क्षेत्र (पॉजिटिव ऑर्थेंट) में स्थानांतरित करता है। इसके बाद यह प्रत्येक अनुक्रम $X_j$ $X_{j}$ के लिए $m_j$ $m_{j}$ "लीडर" टोकन चुनता है और उन्हें सावधानीपूर्वक व्यवस्थित करता है:
- एक लीडर को एक विशिष्ट क्षेत्र $P$ (मूल बिंदु से दूर) में रखा जाता है।
- शेष $m_j - 1$ लीडर्स को नेगेटिव ऑर्थेंट में एक हाइपरस्फीयर (hypersphere) पर रखा जाता है।
- नॉन-लीडर टोकन को इस तरह रखा जाता है कि वे लीडर्स की ओर आकर्षित हों।
कोलैप्स (Collapse):
- हार्डमैक्स: एक विशिष्ट पैरामीटर के साथ एक एकल SA लेयर सभी नॉन-लीडर टोकन को उनके संबंधित लीडर्स पर सटीक रूप से कोलैप्स कर देती है क्योंकि हार्डमैक्स अटेंशन में क्लस्टरिंग प्रभाव होता है।
- सॉफ्टमैक्स: चूंकि सॉफ्टमैक्स एक सख्त कॉनवेक्स कॉम्बिनेशन (convex combination) प्रदान करता है, इसलिए एक चरण में सटीक कोलैप्स असंभव है। लेखक गैर-रेसिडुअल FF लेयर्स और ReLU एक्टिवेशन का उपयोग करके $O(N)$ अतिरिक्त ब्लॉक्स पेश करते हैं जो टोकन के छोटे पड़ोस (neighborhoods) को लीडर्स पर पुनरावृत्ति (iteratively) से कोलैप्स करते हैं।
इंटरपोलेशन (Interpolation): एक बार जब अनुक्रम $m_j$ अद्वितीय टोकन में कोलैप्स हो जाते हैं, तो मानक FF लेयर्स (जो "हैट फंक्शन्स" के रूप में कार्य करती हैं) इन टोकन को व्यक्तिगत रूप से उनके अंतिम लक्ष्य स्थानों $Y_j$ में ले जाती हैं।

3. मुख्य योगदान

3.1 वास्तविक-मान वाले आउटपुट के साथ सटीक इंटरपोलेशन

यह शोध पत्र सिद्ध करता है कि ट्रांसफॉर्मर्स किसी भी वास्तविक वेक्टर-मान वाले अनुक्रम-से-अनुक्रम मैप्स को सटीक रूप से इंटरपोलेट कर सकते हैं। यह साहित्य की पिछली सीमाओं को दूर करता है जो केवल डिस्क्रीट (discrete) आउटपुट तक सीमित थीं या केवल अनुमानित इंटरपोलेशन प्रदान करती थीं।

3.2 इनपुट लंबाई से स्वतंत्र जटिलता

एक केंद्रीय निष्कर्ष यह है कि आवश्यक ट्रांसफॉर्मर आकार केवल कुल आउटपुट लंबाई ( $\sum m_j$ ) और एम्बेडिंग डायमेंशन $d$ पर निर्भर करता है, न कि इनपुट अनुक्रम की लंबाई ( $n_j$ ) पर।

पैरामीटर गणना: $P = O(d \sum_{j=1}^N m_j)$ ।
ब्लॉक्स की संख्या: $L = O(\sum m_j + N)$ ।
यह पारंपरिक दृष्टिकोणों (जैसे ResNets) के विपरीत है जहाँ जटिलता आमतौर पर इनपुट लंबाई $n$ के साथ बढ़ती है। यह सारांश (summarization) जैसे कार्यों में ट्रांसफॉर्मर्स की दक्षता की व्याख्या करता है जहाँ $m_j \ll n_j$ होता है।

3.3 लो-रैंक अटेंशन के माध्यम से पैरामीटर दक्षता

निर्माण प्रक्रिया सेल्फ-अटेंशन तंत्र में लो-रैंक पैरामीटर मैट्रिसेस का उपयोग करती है (विशेष रूप से, $A$ एक रैंक-वन मैट्रिक्स और आइडेंटिटी के गुणक का योग है)। यह व्यावहारिक कुशल ट्रांसफॉर्मर डिजाइनों के अनुरूप है और सुनिश्चित करता है कि पैरामीटर गणना $d$ के साथ रैखिक रूप से बढ़ती है।

3.4 नियमित अनुकूलन (Regularized Training) के निहितार्थ

सटीक इंटरपोलेटिंग ट्रांसफॉर्मर्स का अस्तित्व नियमित अनुकूलन के लिए एक सैद्धांतिक आधार प्रदान करता है। लेखक दिखाते हैं कि यदि टिकोनोव-रेगुलराइज्ड (Tikhonov-regularized) ऑब्जेक्टिव के लिए एक ग्लोबल मिनिमाइज़र मौजूद है, तो ट्रेनिंग लॉस रेगुलराइजेशन पैरामीटर $\varepsilon \to 0$ होने पर $\varepsilon$ के साथ रैखिक रूप से स्केल करता है। इस स्केलिंग से विचलन इस बात का निदान (diagnostic) हो सकता है कि क्या ऑप्टिमाइज़ेशन ग्लोबल या लोकल मिनिमा पर अभिसरित (converge) हुआ है।

4. मुख्य परिणाम

थ्योरम 1.6 (हार्डमैक्स ट्रांसफॉर्मर्स)

किसी भी डेटासेट के लिए जो विशिष्टता की धारणाओं को पूरा करता है, एक हार्डमैक्स ट्रांसफॉर्मर मौजूद है जिसमें:

चौड़ाई $d' \le 4$ है।
ब्लॉक्स $L = 2 \sum_{j=1}^N m_j + 2N + 1$ हैं।
पैरामीटर्स $P = O(d \sum_{j=1}^N m_j)$ हैं।
ताकि $T_0(X_j) = Y_j$ सभी $j$ के लिए सत्य हो।

थ्योरम 1.8 (सॉफ्टमैक्स ट्रांसफॉर्मर्स)

उसी डेटासेट के लिए, एक तापमान $\tau^* > 0$ मौजूद है कि सभी $0 < \tau < \tau^*$ के लिए, एक सॉफ्टमैक्स ट्रांसफॉर्मर मौजूद है जिसमें:

चौड़ाई $d' \le 4$ है।
ब्लॉक्स $L = 2 \sum_{j=1}^N m_j + 3N$ हैं।
पैरामीटर्स $P = O(d \sum_{j=1}^N m_j)$ हैं।
ताकि $T_\tau(X_j) = Y_j$ सभी $j$ के लिए सत्य हो।
नोट: सॉफ्टमैक्स के लिए प्रमाण में अटेंशन लेयर में सटीक कोलैप्स की कमी को संभालने के लिए हार्डमैक्स की तुलना में $N-1$ अतिरिक्त ब्लॉक्स की आवश्यकता होती है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि यह वास्तविक-मान वाले आउटपुट वाले डीप सॉफ्टमैक्स ट्रांसफॉर्मर्स के लिए पहला सटीक इंटरपोलेशन परिणाम प्रदान करता है।

सैद्धांतिक अंतर्दृष्टि: परिणाम सेल्फ-अटेंशन की दोहरी भूमिका को स्पष्ट करते हैं: क्लस्टरिंग (टोकन को कोलैप्स करना) के माध्यम से डायमेंशनलिटी रिडक्शन तंत्र के रूप में कार्य करना और टोकन को अलग करने के लिए नॉन-लोकैलिटी (non-locality) का लाभ उठाना।
ResNets के साथ तुलना: लेखक प्रदर्शित करते हैं कि उन कार्यों के लिए जहाँ आउटपुट अनुक्रम इनपुट अनुक्रमों से छोटे होते हैं ( $m_j < n_j$ ), ट्रांसफॉर्मर्स ResNets की तुलना में स्पष्ट रूप से अधिक पैरामीटर-कुशल हैं। जहाँ एक ResNet को इनपुट लंबाई $n$ के साथ स्केल करने वाले पैरामीटर्स की आवश्यकता होगी (जैसे, $O(d N n)$ ), वहीं ट्रांसफॉर्मर आउटपुट लंबाई ( $O(d \sum m_j)$ ) के साथ स्केल करता है।
व्यावहारिक प्रासंगिकता: निर्माण प्रक्रिया व्यावहारिक विशेषताओं को दर्शाती है, जिसमें FF और SA लेयर्स का बारी-बारी से उपयोग और लो-रैंक अटेंशन का उपयोग शामिल है, जो यह सुझाव देता है कि ट्रांसफॉर्मर्स की सैद्धांतिक क्षमता केवल आदर्श आर्किटेक्चर के आर्टिफैक्ट (artifact) के रूप में नहीं है, बल्कि उनके मानक डिजाइन का एक अंतर्निहित हिस्सा है।

लेखक स्वीकार करते हैं कि उनका निर्माण एक 'वर्स्ट-केस' (worst-case) सीमा है और व्यावहारिक मॉडल अक्सर बहुत कम ब्लॉक्स के साथ अच्छा प्रदर्शन करते हैं। वे यह भी नोट करते हैं कि सेल्फ-अटेंशन की कम्प्यूटेशनल लागत (इनपुट लंबाई में द्विघातीय/quadratic) एक ट्रेड-ऑफ है जिसे पैरामीटर जटिलता विश्लेषण में संबोधित नहीं किया गया है। भविष्य के कार्य की दिशाओं में ब्लॉक काउंट को अनुकूलित करना, पैरामीटर नॉर्म्स का विश्लेषण करना और मास्क किए गए कॉज़ल (causal) सेटिंग्स में परिणामों का विस्तार करना शामिल है।