🤖 machine learning

CART: Context-Anchored Recurrent Transformer -- A Parameter-Efficient Architecture with Learned Stability

यह शोध पत्र CART को प्रस्तुत करता है, जो एक पैरामीटर-कुशल भाषा मॉडल है जो सीखे गए स्थिरता तंत्रों के माध्यम से एक एकल कोर ब्लॉक का पुन: उपयोग करता है, लेकिन यह पाता है कि जबकि प्रल्यूड (prelude) की गहराई प्रदर्शन पर हावी रहती है, यह आर्किटेक्चर अंततः पैरामीटर-मैच्ड डेंस बेसलाइन की तुलना में कम प्रदर्शन करता है और प्रभावी टेस्ट-टाइम डेप्थ स्केलिंग का समर्थन करने में विफल रहता है।

मूल लेखक: Chad A. Capps

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chad A. Capps

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ CART पेपर का सरल भाषा और उपमाओं (analogies) के साथ अनुवाद दिया गया है।

मुख्य विचार: एक "लूपिंग" (Looping) भाषा मॉडल

कल्पना कीजिए कि आप एक कहानी लिखने की कोशिश कर रहे हैं। AI द्वारा कहानी लिखने का मानक तरीका (जिसे Transformer कहा जाता है) ऐसा है जैसे 12 अलग-अलग संपादकों (editors) की एक टीम को काम पर रखना। संपादक 1 पहला वाक्य पढ़ता है, संपादक 2 पढ़ता है जो संपादक 1 ने लिखा है, संपादक 3 पढ़ता है जो संपादक 2 ने लिखा है, और इसी तरह। प्रत्येक संपादक की अपनी अनूठी शैली और नोट्स होते हैं। यह अच्छा काम करता है, लेकिन यह महंगा है क्योंकि आपको 12 अलग-अलग लोगों को भुगतान करना पड़ता है।

CART (Context-Anchored Recurrent Transformer) एक अलग दृष्टिकोण अपनाता है। यह केवल एक संपादक को काम पर रखता है और उसे कहानी को छह बार (या अधिक) पढ़ने के लिए कहता है।

लक्ष्य: लेखन की वही गुणवत्ता प्राप्त करना, लेकिन एक बहुत छोटी टीम (कम पैरामीटर्स) के साथ, जिससे पैसा और मेमोरी बच सके।
चुनौती: यदि आप एक ही व्यक्ति को एक ही चीज़ छह बार पढ़ने के लिए कहते हैं, तो हो सकता है कि वह ऊब जाए और वही गलतियाँ दोहराने लगे। चुनौती यह है कि उस एकल संपादक को नए लोगों की आवश्यकता के बिना, हर बार गुजरने (pass) के साथ और स्मार्ट कैसे बनाया जाए।

CART कैसे काम करता है: "एंकर" (Anchor) और "गेट" (Gate)

CART इस लूपिंग को सफल बनाने के लिए तीन विशेष तरकीबें इस्तेमाल करता है:

"एंकर" (एक जमा हुआ नक्शा - The Frozen Map):
- मानक लूपिंग: अन्य लूपिंग मॉडलों में, हर बार जब संपादक कहानी पढ़ता है, तो वह महत्वपूर्ण शब्दों के स्थान का नक्शा फिर से बनाता है। यह धीमा और अनावश्यक है।
- CART का तरीका: लूपिंग शुरू होने से पहले, "प्री-एडिटर्स" (जिसे Prelude कहा जाता है) की एक छोटी टीम कहानी को एक बार पढ़ती है और महत्वपूर्ण शब्दों का एक सटीक, विस्तृत नक्शा बनाती है। यह नक्शा जमा (frozen) रहता है।
- लूप: एकल लूपिंग संपादक फिर हर बार कहानी पढ़ते समय इसी एक ही, जमे हुए नक्शे को देखता है। वह नक्शा फिर से नहीं बनाता; वह बस अपनी समझ को बेहतर बनाने के लिए इसका उपयोग एक स्थिर आधार (anchor) के रूप में करता है। यह बहुत सारी कंप्यूटिंग शक्ति बचाता है।
"गेट" (स्थिरता स्विच - The Stability Switch):
- समस्या: यदि आप किसी को बार-बार किसी चीज़ के बारे में सोचने के लिए कहते हैं, तो वह भ्रमित हो सकता है या गलत बातें (hallucinate) बताने लग सकता है।
- CART का समाधान: यहाँ एक "गेट" है जो यह नियंत्रित करता है कि संपादक पिछले विचार का कितना हिस्सा रखता है। यह एक वॉल्यूम नॉब (volume knob) की तरह है। यदि संपादक बहुत अधिक अराजक हो रहा है, तो गेट वॉल्यूम को थोड़ा कम कर देता है।
- खोज: शोधकर्ताओं ने पाया कि यह गेट एक बहुत ही विशिष्ट "स्वीट स्पॉट" (0.79 और 0.83 के बीच एक संख्या) पर स्थिर होना सीख जाता है। इसे इंजीनियरों द्वारा जबरदस्ती नहीं थोपा गया है; AI ने स्थिरता बनाए रखने के लिए यह विशिष्ट सेटिंग खुद सीखी है।
"लूप इंडेक्स" (चरण काउंटर - The Step Counter):
- संपादक को एक काउंटर (1, 2, 3...) दिया जाता है ताकि उसे पता रहे कि वह किस चरण (pass) पर है। इससे उसे यह जानने में मदद मिलती है कि क्या वह शुरुआती चरणों में है या अंतिम पॉलिशिंग के चरण में।

प्रयोग: क्या हुआ?

शोधकर्ताओं ने इसे एक सिंगल कंज्यूमर ग्राफिक्स कार्ड (जैसे एक हाई-एंड गेमिंग पीसी) पर दो चरणों के प्रशिक्षण के माध्यम से परखा।

चरण 1: त्वरित परीक्षण (एक "पूर्वाभास" - The "Hunch")

उन्होंने कई छोटे CART वर्ज़न को जल्दी से प्रशिक्षित किया।
पूर्वाभास: उन्हें लगा कि बड़े, अधिक जटिल मॉडलों के लिए, लूपिंग को अधिक बार चलाना (जैसे 6 के बजाय 8 बार) बहुत बेहतर होगा। यह देखने में लगा कि "अधिक लूप = स्मार्ट AI।"

चरण 2: पूर्ण प्रशिक्षण (एक "वास्तविकता की जाँच" - The "Reality Check")

उन्होंने मॉडलों को बहुत लंबे समय तक प्रशिक्षित किया (लगभग 1 अरब शब्दों के टेक्स्ट का उपयोग करके)।
आश्चर्य: पूर्वाभास गलत था। पूर्ण प्रशिक्षण के बाद, लूपिंग को अधिक बार चलाने से मॉडल वास्तव में थोड़ा खराब हो गया या बेहतर नहीं हुआ।
उपमा: कल्पना कीजिए कि आप एक छात्र को एक पाठ्यपुस्तक का अध्याय 10 बार पढ़ने के लिए कहते हैं। एक त्वरित परीक्षण में, 10 बार पढ़ना बहुत अच्छा लगता है। लेकिन पूरे सेमेस्टर तक अध्ययन करने के बाद, आपको एहसास होता है कि 6 बार पढ़ना पर्याप्त है। 8 या 10 बार पढ़ना केवल घटते लाभ (diminishing returns) या भ्रम की ओर ले जाता है। मॉडल ने सीखा कि इस विशिष्ट सेटअप में "अधिक लूप" का अर्थ "अधिक बुद्धिमत्ता" नहीं था।

बड़ा फैसला: क्या यह जीता?

शोधकर्ताओं ने अपने "एक संपादक, छह लूप" वाले मॉडल की तुलना एक मानक "छह अलग-अलग संपादकों" वाले मॉडल (एक डेंस ट्रांसफार्मर) से की, जिसमें समान मेमोरी थी।

परिणाम: मानक मॉडल (6 अलग-अलग संपादक) CART मॉडल से बेहतर निकला।
- मानक मॉडल भाषा को समझने में लगभग 10% बेहतर था।
- यहाँ तक कि जब उन्होंने मानक मॉडल को समान "प्रभावी" शक्ति दी (इसे 12 संपादकों लंबा बनाकर), तब भी इसने CART को पीछे छोड़ दिया।

CART क्यों हारा?
शोधकर्ताओं ने यह जानने के लिए एक "पोस्टमार्टम" (डायग्नोस्टिक एब्लेशन) किया कि ऐसा क्यों हुआ:

जमा हुआ नक्शा (Frozen Map) समस्या नहीं थी: भले ही वे संपादक को हर बार नक्शा फिर से बनाने देते, इससे ज्यादा मदद नहीं मिलती।
"मशीनरी" बेकार थी: उनके द्वारा जोड़े गए विशेष गैजेट्स (स्टेबिलिटी गेट, स्टेप काउंटर, और पिछले विचारों का मिश्रण) काफी हद तक सजावटी निकले। उन्हें हटाने से प्रदर्शन पर ज्यादा फर्क नहीं पड़ा।
असली मुद्दा: मुख्य समस्या वजन साझा करना (sharing the same weights) था। यह विचार कि "एक संपादक द्वारा छह पास करना" छह अलग-अलग संपादकों के बराबर है, टिक नहीं सका। साझा भार (shared weights) एक बाधा (bottleneck) बन गया। "विषम" (heterogeneous) डिज़ाइन (प्री-एडिटर्स, एक जमा हुआ एंकर और एक लूपिंग एडिटर का मिश्रण) बहुत जटिल था और एक साधारण, समान स्तर के संपादकों के स्टैक की तुलना में कम कुशल था।

एक वाक्य में सारांश

CART एक चतुर, मेमोरी-कुशल विचार है जो एक जमा हुए संदर्भ मानचित्र का उपयोग करके एक एकल AI ब्लॉक को बार-बार "सोचने" की कोशिश करता है, लेकिन अंत में, यह पता चलता है कि विशेषज्ञों की एक अनूठी टीम (मानक मॉडल) रखने से एक विशेषज्ञ के बार-बार घूमने (looping) की तुलना में बेहतर परिणाम मिलते हैं, और लूपिंग को स्थिर बनाने के लिए जोड़े गए अतिरिक्त गैजेट्स ज्यादातर अनावश्यक थे।

भविष्य के लिए मुख्य सबक:
पेपर निष्कर्ष निकालता है कि हालांकि "जमा हुआ एंकर" (frozen anchor) कुछ कंप्यूटिंग शक्ति बचाता है, लेकिन केवल एक साझा कोड ब्लॉक को लूप करके भारी बुद्धिमत्ता प्राप्त करने का वादा इस पैमाने पर सफल नहीं हुआ। आर्किटेक्चर स्थिर और दिलचस्प है, लेकिन यह कच्चे प्रदर्शन के मामले में मानक दृष्टिकोण को नहीं हरा सका।

तकनीकी सारांश: CART (कॉन्टेक्स्ट-एंकरड रिकरेंट ट्रांसफॉर्मर)

समस्या विवरण (Problem Statement)

भाषा मॉडलिंग (language modeling) का प्रमुख प्रतिमान (paradigm), स्टैक्ड ट्रांसफॉर्मर (stacked transformer) है, जो गहराई ( $L$ अद्वितीय परतें) के साथ पैरामीटर संख्या को रैखिक रूप से स्केल करता है, जिससे सीमित हार्डवेयर पर परिनियोजन (deployment) के लिए मेमोरी बाधाएँ उत्पन्न होती हैं। डेप्थ-रिकरेंट (या लूप वाले) ट्रांसफॉर्मर एक साझा ब्लॉक के माध्यम से कई पास ( $R$ ) में एक ही सेट के पैरामीटर्स को पुन: उपयोग करके इसे संबोधित करने का प्रयास करते हैं। हालांकि, सहज वेट-शेयरिंग (naive weight-sharing) अक्सर डेप्थ-मैच्ड यूनिक मॉडल्स की तुलना में खराब प्रदर्शन करती है क्योंकि एक ही ब्लॉक को प्रत्येक लूप इटरेशन में समान रूप से लागू करने से व्यवहार को अनुकूलित नहीं किया जा सकता है। पूर्व समाधानों ने, जैसे कि हाइपर-कनेक्शन, लूप-इंडेक्स एम्बेडिंग और स्पष्ट स्थिरता बाधाओं ने इसे कम करने का प्रयास किया है, लेकिन एक महत्वपूर्ण वास्तुशिल्प अंतराल बना हुआ है: अधिकांश समवर्ती लूप आर्किटेक्चर (जैसे Hyperloop, Parcae, OpenMythos) हर इटरेशन में विकसित हो रहे हिडन स्टेट से की-वैल्यू (K, V) निरूपणों की पुन: गणना करते हैं, जो कॉन्टेक्स्ट एनकोडिंग को इटरेटिव रिफाइनमेंट (iterative refinement) से अलग करने में विफल रहते हैं।

कार्यप्रणाली: CART आर्किटेक्चर (Methodology: CART Architecture)

CART एक पैरामीटर-कुशल आर्किटेक्चर पेश करता है जो गहराई में एक साझा कोर ब्लॉक $R$ बार पुन: उपयोग करता है, जिसे तीन विशिष्ट वास्तुशिल्प योगदानों द्वारा अलग किया गया है:

एक बार गणना किया गया KV एंकर (Once-Computed KV Anchor): पूर्व कार्यों के विपरीत जो हर लूप स्टेप पर K और V की पुन: गणना करते हैं, CART एक मल्टी-लेयर "प्रेल्यूड" (एक अद्वितीय सेट $P$ ट्रांसफॉर्मर परतों वाला) से K और V को एक बार कंप्यूट करता है और उन्हें स्थिर रखता है। रिकरेंट कोर फिर इन फ्रीज किए गए टेंसरों के विरुद्ध क्रॉस-अटेंशन (cross-attention) करता है। यह कॉन्टेक्स्ट एनकोडिंग (प्रेल्यूड) को इटरेटिव रिफाइनमेंट (कोर) से अलग करता है, जिससे रेडंडेंट KV प्रोजेक्शन को समाप्त करके प्रति-लूप FLOPs को कम किया जाता है।
सिग्मॉइड-गेटेड LTI के माध्यम से सीखा गया स्थायित्व (Learned Stability via Sigmoid-Gated LTI): रिकरेंट कंप्यूटेशन के अभिसरण (convergence) को सुनिश्चित करने के लिए, CART एक सीखा हुआ लीनियर टाइम-इनवेरिएंट (LTI) गेट नियोजित करता है: $h_{\ell} = \sigma(a) \odot h_{in} + f_{transformer}(h)$ । अन्य कार्यों में उपयोग किए जाने वाले वास्तुशिल्प बाधाओं (जैसे ज़ीरो-ऑर्डर होल्ड डिसक्रेटाइजेशन) के विपरीत, यह गेट डेटा से सीधे अपने अभिसरण दर (स्पेक्ट्रल रेडियस $\varrho$ ) को सीखता है, जो संरचनात्मक कठोरता के बिना $\varrho < 1$ की गारंटी देता है।
कॉज़ल क्रॉस-अटेंशन बाधा (Causal Cross-Attention Constraint): शोधपत्र ऑटोरिग्रेसिव रिकरेंट मॉडल्स के लिए एक महत्वपूर्ण बाधा की पहचान करता है: प्रेल्यूड से कोर तक का क्रॉस-अटेंशन कॉज़ल (causal) होना चाहिए। नॉन-कॉज़ल अटेंशन प्रेल्यूड के कॉन्टेक्स्ट से भविष्य के टोकन को रिकरेंट स्टेट में लीक कर देता है, जिससे लॉस कोलैप्स (loss collapse) होता है।

आर्किटेक्चर एक "प्रेल्यूड $\to$ एंकर $\to$ कोर $\to$ कोडा" टोपोलॉजी का अनुसरण करता है। प्रेल्यूड ( $P$ अद्वितीय परतें) कॉन्टेक्स्ट एंकर $e$ उत्पन्न करता है। कोर (साझा भार, $R$ इटरेशन) $e$ से फ्रीज किए गए K, V का उपयोग करके स्टेट को रिफाइन करता है। एक एकल अद्वितीय "कोडा" लेयर अंतिम लॉजिट्स (logits) उत्पन्न करती है।

प्रयोगात्मक सेटअप (Experimental Setup)

लेखकों ने उपभोक्ता-ग्रेड GPU (RTX 3050 और RTX 3090) पर $\sim$ 1B टोकन के सिंगल-पास कॉर्पस (TinyStories, Wikipedia, FineWeb-Edu) का उपयोग करके दो चरणों में CART का मूल्यांकन किया।

चरण 1: 64 कॉन्फ़िगरेशन ( $d \in \{256, 512, 768, 1024\}$ , $R \in \{2, 4, 6, 8\}$ , $P \in \{2, 3, 4, 6\}$ ) का हाइपरपैरामीटर स्क्रीन, जिसे 3,000 स्टेप्स ( $\sim$ 49M टोकन) के लिए प्रशिक्षित किया गया।
चरण 2: 36 कॉन्फ़िगरेशन ( $P=6$ , $R \in \{6, 8, 10\}$ , 3 सीड्स प्रत्येक) का पूर्ण प्रशिक्षण, 30,500 स्टेप्स ( $\sim$ 1B टोकन) के लिए।
बेसलाइन्स (Baselines): बाइंडिंग स्केल ( $d=1024$ ) पर, CART की तुलना स्टोर किए गए पैरामीटर्स (7-लेयर) और प्रभावी पैरामीटर्स (12-लेयर) दोनों पर मैच किए गए डेंस (Dense) ट्रांसफॉर्मर्स से की गई।

मुख्य परिणाम (Key Results)

1. स्थिरता और स्पेक्ट्रल रेडियस (Stability and Spectral Radius)

सभी 36 चरण 2 कॉन्फ़िगरेशन में, सीखा हुआ LTI गेट का स्पेक्ट्रल रेडियस $\varrho$ $[0.79, 0.83]$ के एक संकीर्ण बैंड में स्थिर हुआ। यह मान एक निश्चित डिज़ाइन लक्ष्य नहीं है बल्कि प्रशिक्षण से उभरता है। $\varrho$ मॉडल की चौड़ाई ( $d$ ) के साथ मोनोटोनिक रूप से बढ़ता है और लूप काउंट ( $R$ ) के साथ कमजोर रूप से बढ़ता है। चरण 1 में देखे गए "यूनिवर्सल" $\varrho \approx 0.893$ को पूर्ण प्रशिक्षण के दौरान घटने वाले मिड-ट्रेनिंग ट्रांजिएंट के रूप में पहचाना गया।

2. रिकरेंस बेनिफिट का उलटाव ( $R$ ) (The Reversal of Recurrence Benefit)

चरण 1 और चरण 2 के बीच रुझानों का एक महत्वपूर्ण उलटाव पाया गया:

चरण 1 (3k स्टेप्स): सुझाव दिया कि रिकरेंस डेप्थ ( $R$ ), मॉडल विड्थ ( $d$ ) बढ़ने के साथ अधिक मूल्यवान हो जाती है, जहाँ $d=1024$ पर $R=8$ , $R=2$ से काफी बेहतर प्रदर्शन करता है।
चरण 2 (30.5k स्टेप्स): यह रुझान उलट गया। पूर्ण प्रशिक्षण पर, सभी स्केल $d \ge 512$ के लिए $R=6$ सबसे अच्छा कॉन्फ़िगरेशन था। $R$ को 8 या 10 तक बढ़ाने से परफॉरमेंस में गिरावट (परप्लेक्सिटी पर 1% तक की गिरावट) आई।
इन्फरेंस स्केलिंग (Inference Scaling): सर्वश्रेष्ठ $d=1024$ मॉडल (जो $R=6$ पर प्रशिक्षित था) पर वेरिएबल- $R$ इन्फरेंस ने दिखाया कि प्रशिक्षित मान से अधिक इटरेशन चलाने से HellaSwag, LAMBADA और PIQA पर प्रदर्शन लगातार खराब हुआ। यह वर्तमान ट्रेनिंग रेसिपी के तहत टेस्ट-टाइम कंप्यूट स्केलिंग के लिए एक स्पष्ट नकारात्मक परिणाम को दर्शाता है।

3. पैरामीटर दक्षता दावे (Parameter Efficiency Claims)

बाइंडिंग स्केल ( $d=1024$ , $\sim$ 1B टोकन्स) पर:

स्टोर्ड-पैरामीटर पैरिटी: एक डेंस 7-लेयर मॉडल (जो CART के स्टोर किए गए पैरामीटर्स से मैच किया गया था) ने परप्लेक्सिटी मेट्रिक्स पर CART ( $P=6, R=6$ ) को 1-2% से पछाड़ दिया।
इफेक्टिव-पैरामीटर पैरिटी: एक डेंस 12-लेयर मॉडल (जो CART के प्रभावी पैरामीटर्स से मैच किया गया था) ने नेचुरल-लैंग्वेज सेट्स पर $\sim$ 10% से अधिक प्रदर्शन किया।
निष्कर्ष: यह परिकल्पना कि साझा-भार रिकरेंस $R$ -गुना प्रभावी क्षमता प्रदान करती है, इस स्केल और ट्रेनिंग बजट पर सिद्ध नहीं हुई।

4. डायग्नोस्टिक एब्लेशन (Diagnostic Ablations)

लेखकों ने डेंस बेसलाइन के साथ CART के प्रदर्शन अंतर का विश्लेषण किया:

फ्रोजन K, V: K, V को अनफ्रीज करना (उन्हें प्रत्येक स्टेप पर पुन: गणना करना) प्रदर्शन में महत्वपूर्ण सुधार नहीं लाया, जिससे यह सिद्ध हुआ कि फ्रोजन एंकर प्राथमिक बाधा नहीं है।
रिकरेंस डेप्थ: $R$ को 1 तक कम करने (रिकरेंस हटाना) से केवल $\sim$ 1% की गिरावट आई, जो बताता है कि रिकरेंट कोर पहले इटरेशन के बाद बहुत कम योगदान देता है।
शेयर्ड वेट्स: कोर वेट्स को अनशेयर करना (प्रत्येक इटरेशन को अद्वितीय पैरामीटर्स देना) ने प्रदर्शन में $\sim$ 5% का सुधार किया, जिससे पुष्टि हुई कि वेट शेयरिंग एक महत्वपूर्ण क्षमता संबंधी बाधा (capacity bottleneck) है।
मशीनरी घटक: हाइपर-कनेक्शन, LTI गेट, और लूप इंडेक्स एम्बेडिंग (LIE) के एब्लेशन ने दिखाया कि वे साझा-भार कॉन्फ़िगरेशन में वेस्टीजियल (vestigial) हैं; उन्हें व्यक्तिगत रूप से हटाने से परप्लेक्सिटी पर कोई मापने योग्य प्रभाव नहीं पड़ा।
रेसिड्यूल गैप (Residual Gap): शेष $\sim$ 5% का अंतर डेंस बेसलाइन से विषम "प्रेल्यूड $\to$ एंकर $\to$ कोर $\to$ कोडा" फ्रेमिंग के कारण है, न कि किसी एक विशिष्ट तंत्र के कारण।

महत्व और दावे (Significance and Claims)

यह शोधपत्र CART को डेप्थ-रिकरेंट ट्रांसफॉर्मर्स के एक कठोर अनुभवजन्य जांच के रूप में प्रस्तुत करता है, जो तीन मुख्य योगदान देता है:

वास्तुशिल्प विशिष्टता: CART अपने परिवार में पहला है जो प्रेल्यूड से एक बार K, V कंप्यूट करता है और उन्हें एक फ्रीज्ड एंकर के रूप में पुन: उपयोग करता है, जो कॉन्टेक्स्ट एनकोडिंग को रिफाइनमेंट से अलग करता है।
सीखा हुआ स्थायित्व: यह प्रदर्शित करता है कि एक सिग्मॉइड-गेटेड LTI फ़िल्टर संरचनात्मक बाधाओं के बिना एक स्थिर अभिसरण दर ( $\varrho \in [0.79, 0.83]$ ) सीख सकता है, जो मॉडल की चौड़ाई और लूप काउंट के अनुकूल होता है।
अनुभवजन्य वास्तविकता की जाँच: शोधपत्र साझा-भार रिकरेंस की पैरामीटर-दक्षता के संबंध में एक "क्लीन नेगेटिव रिजल्ट" प्रदान करता है। यह दर्शाता है कि:
- रिकरेंस डेप्थ ( $R$ ) का लाभ पूर्ण प्रशिक्षण के दौरान आवश्यक रूप से मॉडल विड्थ के साथ नहीं बढ़ता; वास्तव में, यह उलट सकता है।
- टेस्ट-टाइम कंप्यूट स्केलिंग (इन्फरेंस के दौरान $R$ बढ़ाना) हानिकारक है यदि इसे प्रशिक्षण के साथ मैच न किया जाए।
- "शेयर्ड-वेट लीवरेज" थीसिस (कि $R$ इटरेशन का एक साझा ब्लॉक $R$ अद्वितीय परतों के बराबर होता है) $d=1024$ और $\sim$ 1B टोकन्स के साथ विफल हो जाती है, जहाँ आर्किटेक्चर एक पैरामीटर-मैच्ड डेंस बेसलाइन से पीछे रह जाता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि CART एक नियत विलंबता (deterministic latency) और निश्चित मेमोरी उपयोग (परिनियोजन के लिए फायदेमंद) प्रदान करता है, लेकिन इसका वर्तमान स्वरूप परीक्षण किए गए स्केल पर मानक डेंस ट्रांसफॉर्मर्स से बेहतर प्रदर्शन करने के लिए आवश्यक पैरामीटर दक्षता प्रदान नहीं करता है। उनके निष्कर्षों से पता चलता है कि विषम वास्तुशिल्प फ्रेमिंग और वेट शेयरिंग ही प्राथमिक बाधाएँ हैं, न कि विशिष्ट रिकरेंस मशीनरी (HyperConnection, LTI, LIE)।