💬 NLP

A Systematic Analysis of Hybrid Linear Attention

यह शोध पत्र व्यवस्थित रूप से 72 हाइब्रिड लीनियर अटेंशन मॉडलों का मूल्यांकन करता है यह निर्धारित करने के लिए कि जबकि स्टैंडअलोन लीनियर प्रदर्शन हाइब्रिड सफलता की गारंटी नहीं देता है, HGRN-2 या GatedDeltaNet जैसी आर्किटेक्चर जो 3:1 से 6:1 के लीनियर-टू-फुल अटेंशन अनुपात का उपयोग करती हैं, चयनात्मक गेटिंग (selective gating), पदानुक्रमित पुनरावृत्ति (hierarchical recurrence) और नियंत्रित विस्मृति (controlled forgetting) का लाभ उठाकर कुशलतापूर्वक ट्रांसफॉर्मर-स्तर की रिकॉल प्राप्त करती हैं।

मूल लेखक: Dustin Wang, Rui-Jie Zhu, Steven Abreu, Yong Shan, Taylor Kergan, Yuqi Pan, Yuhong Chou, Zheng Li, Jibin Wu, Ge Zhang, Wenhao Huang, Jason Eshraghian

प्रकाशित 2026-06-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dustin Wang, Rui-Jie Zhu, Steven Abreu, Yong Shan, Taylor Kergan, Yuqi Pan, Yuhong Chou, Zheng Li, Jibin Wu, Ge Zhang, Wenhao Huang, Jason Eshraghian

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "A Systematic Analysis of Hybrid Linear Attention" पेपर का विवरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों में विभाजित किया गया है।

बड़ी समस्या: "अभिभूत पुस्तकालयाध्यक्ष" (The Overwhelmed Librarian)

कल्पना कीजिए कि एक ट्रांसफॉर्मर (AI के लिए वर्तमान मानक) एक बुद्धिमान पुस्तकालयाध्यक्ष (Librarian) है जो एक किताब को इस तरह पढ़ता है कि वह एक साथ हर एक पन्ने को अपने हाथों में रखता है।

अच्छी बात: वह याद रख सकता है कि पेज 100 पढ़ते समय पेज 1 पर क्या हुआ था।
बुरी बात: यदि किताब 1,000 पन्नों की है, तो पुस्तकालयाध्यक्ष 1,000 पन्ने थामे हुए है। यदि किताब 10 लाख पन्नों की है, तो वह वजन से शारीरिक रूप से ढह जाएगा। यह "क्वाड्रेटिक कॉम्प्लेक्सिटी" (Quadratic Complexity) की समस्या है: जैसे-जैसे कहानी लंबी होती है, आवश्यक मेमोरी विस्फोट की तरह बढ़ती जाती है।

इसे ठीक करने के लिए, शोधकर्ताओं ने लीनियर अटेंशन (Linear Attention) मॉडल बनाए। ये उन पुस्तकालयाध्यक्षों की तरह हैं जो अब तक की कहानी का सारांश देने के लिए केवल एक सिंगल स्टिकी नोट (एक छोटा सा नोट) रखते हैं।

अच्छी बात: वे बिना मेमोरी खत्म हुए अनंत लंबाई की किताब पढ़ सकते हैं।
बुरी बात: स्टिकी नोट बहुत छोटा होता है। यदि आप पूछें, "पेज 10 पर विलेन का नाम क्या था?" तो पुस्तकालयाध्यक्ष उसे भूल सकता है क्योंकि उसने केवल सारांश ही रखा था। यह "रिकॉल" (Recall) की समस्या है।

प्रस्तावित समाधान: "हाइब्रिड टीम" (The Hybrid Team)

यह पेपर हाइब्रिड मॉडल्स की जांच करता है। एक अकेला पुस्तकालयाध्यक्ष चुनने के बजाय, वे एक टीम बनाते हैं:

टीम के अधिकांश सदस्य स्टिकी नोट पुस्तकालयाध्यक्ष (Linear Attention) हैं। वे तेज़ हैं और मेमोरी के मामले में सस्ते हैं।
हर कुछ स्टेप्स के बाद, एक फुल-अटेंशन पुस्तकालयाध्यक्ष (Standard Transformer) बीच में आता है। यह व्यक्ति पूरी किताब को पकड़ता है, बारीकियों की जांच करता है, और टीम की मेमोरी को अपडेट करता है।

लेखकों ने जो बड़ा सवाल पूछा था, वह था: "हम सबसे अच्छी टीम कैसे बनाएं?"

मुख्य निष्कर्ष (The "Aha!" Moments)

1. "स्टार प्लेयर" का मिथक

खेलों में, आप मान सकते हैं कि सबसे अच्छा एकल खिलाड़ी सबसे अच्छा टीम प्लेयर बनाता है। लेखकों ने विभिन्न प्रकार के "स्टिकी नोट पुस्तकालयाध्यक्षों" (Linear मॉडल्स) के साथ इसका परीक्षण किया।

निष्कर्ष: वह मॉडल जो अकेले किताब पढ़ने में सबसे अच्छा था (Standalone), वह जरूरी नहीं कि हाइब्रिड टीम में सबसे अच्छा हो।
उदाहरण: कल्पना कीजिए कि एक धावक है जो अकेले दौड़ने में सबसे तेज़ स्प्रिंटर है। लेकिन जब वह रिले टीम में शामिल होता है, तो वह शायद बैटन (Baton) पास करने में बहुत खराब हो सकता है। पेपर में पाया गया कि HGRN-2 (एक विशिष्ट प्रकार का लीनियर मॉडल) नामक मॉडल, सबसे तेज़ एकल धावक नहीं था, लेकिन फुल-अटेंशन पुस्तकालयाध्यक्ष के साथ जुड़ने पर वह हाइब्रिड टीम का चैंपियन बन गया।

2. "मिक्स रेशियो" (Mix Ratio) मेमोरी के लिए व्याकरण से अधिक महत्वपूर्ण है

लेखकों ने विभिन्न टीम संरचनाओं का परीक्षण किया:

24:1 का अनुपात: प्रत्येक 1 फुल-अटेंशन पुस्तकालयाध्यक्ष के लिए 24 स्टिकी नोट पुस्तकालयाध्यक्ष।
3:1 का अनुपात: प्रत्येक 1 फुल-अटेंशन पुस्तकालयाध्यक्ष के लिए 3 स्टिकी नोट पुस्ततालयाध्यक्ष।
भाषा कौशल (व्याकरण/प्रवाह): आश्चर्यजनक रूप से, अनुपात का ज्यादा महत्व नहीं था। चाहे आपके पास 24 स्टिकी-नोट पुस्तकालयाध्यक्ष हों या 3, AI ऐसे वाक्य लिखता था जो सुनने में उतने ही अच्छे लगते थे।
रिकॉल कौशल (याददाश्त): यहीं पर अनुपात सब कुछ बदल देता है।
- उदाहरण: यदि आपके पास हर 24 स्टेप के बाद केवल एक फुल-अटेंशन पुस्तकालयाध्यक्ष है, तो टीम कहानी के विवरण जल्दी भूल जाती है। यदि आप हर 3 स्टेप के बाद एक फुल-अटशन पुस्तकालयाध्यक्ष लाते हैं, तो टीम कथानक को पूरी तरह से याद रखती है।
- परफेक्ट संतुलन (Sweet Spot): पेपर में पाया गया कि 3:1 या 6:1 का अनुपात "गोल्डिलॉक्स" ज़ोन (Goldilocks Zone) है। यह आपको लगभग पूर्ण मेमोरी (भारी ट्रांसफॉर्मर की तरह) देता है, लेकिन बहुत कम कंप्यूटर मेमोरी का उपयोग करता है।

3. एक अच्छा "स्टिकी नोट" पुस्तकालयाध्यक्ष क्या बनाता है?

पेपर ने विश्लेषण किया कि क्यों कुछ लीनियर मॉडल हाइब्रिड टीम में दूसरों की तुलना में बेहतर काम करते हैं। उन्होंने तीन "सुपरपावर्स" पाईं जो सर्वश्रेष्ठ मॉडल्स में थीं:

सिलेक्टिव गेटिंग (Selective Gating - "डोंट डिस्टर्ब" साइन):
- कुछ मॉडल हर बार नया शब्द पढ़ते ही अपनी मेमोरी को ओवरराइट कर देते हैं। सर्वश्रेष्ठ मॉडल्स में एक "गेट" होता है जो तय करता है, "क्या मुझे इस पुरानी याद को रखना चाहिए, या इसे भूलने का समय आ गया है?" यह महत्वपूर्ण विवरणों को गलती से मिटने से रोकता है।
हाइरार्किकल रिकरेंस (Hierarchical Recurrence - "दो-नोट सिस्टम"):
- सर्वश्रेष्ठ मॉडल दो प्रकार के नोट्स का उपयोग करते हैं: एक "बड़ी तस्वीर" के लिए (जो धीरे बदलता है) और एक "वर्तमान विवरणों" के लिए (जो तेज़ी से बदलता है)। यह उन्हें मुख्य कथानक को थामे रखने में मदद करता है जबकि वे वर्तमान वाक्य को भी ट्रैक कर सकते हैं।
कंट्रोल्ड फॉरगेटिंग (Controlled Forgetting - "इरेज़र"):
- पुराने डेटा पर नया डेटा जोड़ने के बजाय (जिससे अव्यवध ढेर लग जाता है), सर्वश्रेष्ठ मॉडल नई जानकारी लिखने से पहले अप्रासंगिक जानकारी को सक्रिय रूप से "मिटाते" हैं। यह उनकी मेमोरी को साफ और कुशल रखता है।

अंतिम सिफारिश

लेखक निष्कर्ष निकालते हैं कि यदि आप एक ऐसा AI बनाना चाहते हैं जो मेमोरी खत्म हुए बिना लंबी किताबें पढ़ सके, तो आपको:

केवल सबसे मजबूत एकल लीनियर मॉडल न चुनें। (उसका चुनाव न करें जो अकेले कागज पर सबसे अच्छा दिखता हो)।
एक विशिष्ट आर्किटेक्चर का उपयोग करें (जैसे HGRN-2 या GatedDeltaNet) जिसमें "गेट्स" और "हाइरार्किकल" मेमोरी हो।
उन्हें फुल-अटेंशन लेयर्स के साथ 3:1 से 6:1 के अनुपात में मिलाएं।

परिणाम: आपको एक ऐसा AI मिलता है जो विशाल, भारी ट्रांसफॉर्मर्स की तरह ही लंबी कहानियों को याद रख सकता है, लेकिन यह बहुत तेज़ी से चलता है और 4 से 7 गुना कम कंप्यूटर मेमोरी का उपयोग करता है।

यह पेपर क्या नहीं कहता

यह दावा नहीं करता कि यह बीमारियों का इलाज करेगा या जलवायु परिवर्तन को हल करेगा।
यह नहीं कहता कि यह सभी संभावित AI कार्यों (जैसे इमेज जनरेशन) के लिए काम करता है, केवल टेक्स्ट/लैंग्वेज कार्यों के लिए।
यह दावा नहीं करता कि ये मॉडल बहुत बड़े पैमाने (जैसे 100 बिलियन पैरामीटर्स) पर पूरी तरह काम करते हैं, हालांकि उन्हें संदेह है कि नियम लागू रहेंगे। यह अध्ययन 1.3 बिलियन पैरामीटर्स तक के मॉडल्स पर किया गया था।

तकनीकी सारांश: हाइब्रिड लीनियर अटेंशन का एक व्यवस्थित विश्लेषण

समस्या विवरण

ट्रांसफॉर्मर आर्किटेक्चर लार्ज लैंग्वेज मॉडल्स (LLMs) पर हावी हैं, लेकिन वे द्विघाती कम्प्यूटेशनल जटिलता ( $O(L^2)$ ) और अनुक्रम लंबाई ( $L$ ) बढ़ने के साथ रैखिक रूप से बढ़ते की-वैल्यू (KV) कैश मेमोरी आवश्यकताओं से ग्रस्त हैं। जबकि लीनियर अटेंशन मैकेनिज्म, फिक्स्ड-साइज़ हिडन स्टेट्स में KV कैश को कंप्रेस करके $O(L)$ जटिलता प्रदान करते हैं, वे आमतौर पर फुल अटेंशन की तुलना में निम्न रिकॉल प्रदर्शन प्रदर्शित करते हैं। इस समस्या को हल करने के लिए, "हाइब्रिड लीनियर अटेंशन" मॉडल्स उभरे हैं, जो फुल अटेंशन लेयर्स को लीनियर अटेंशन लेयर्स के साथ इंटरलीव (interleave) करते हैं। हालांकि, इन हाइब्रिड्स के भीतर लीनियर अटेंशन घटक के चयन का आधार काफी हद तक मनमाना बना हुआ है। मौजूदा शोध मुख्य रूप से फुल-टू-लीनियर लेयर्स के अनुपात पर केंद्रित है, न कि लीनियर घटकों के विशिष्ट आर्किटेक्चरल गुणों पर। इसके अलावा, यह स्पष्ट नहीं है कि क्या एक लीनियर मॉडल जो अकेले (स्टैंडअलोन) अच्छा प्रदर्शन करता है, वह अनिवार्य रूप से एक बेहतर हाइब्रिड आर्किटेक्चर में परिवर्तित होता है, और लीनियर-टू-फुल अनुपात लैंग्वेज मॉडलिंग (LM) लॉस बनाम लॉन्ग-रेंज रिकॉल को कैसे अलग तरह से प्रभावित करता है।

कार्यप्रणाली

लेखकों ने 72 मॉडल्स के प्रशिक्षण और मूल्यांकन को शामिल करते हुए दो पैरामीटर स्केल्स पर एक व्यापक व्यवस्थित विश्लेषण किया:

340M पैरामीटर्स: 20 बिलियन टोकन्स पर प्रशिक्षित।
1.3B पैरामीटर्स: 100 बिलियन टोकन्स पर प्रशिक्षित।

मूल्यांकित मॉडल्स:
यह अध्ययन लीनियर अटेंशन मैकेनिज्म की तीन पीढ़ियों को कवर करता है:

पीढ़ी 1 (वेक्टर रिकरेंस): HGRN (गेटेड वेक्टर स्टेट)।
पीढ़ी 2 (आउटर प्रोडक्ट्स के माध्यम से मैट्रिक्स स्टेट): RetNet (फिक्स्ड डिके), GLA (डेटा-डिपेंडेंट गेट्स), HGRN-2 (हायरार्किकल/टाइड गेट्स), और Mamba-2 एवं RWKV-6 जैसे वेरिएंट्स।
पीढ़ी 3 (डेल्टा-रूल/कंट्रोल्ड फॉरगेटिंग): DeltaNet और Gated DeltaNet।

प्रायोगिक डिजाइन:

हाइब्रिडाइजेशन: प्रत्येक लीनियर वेरिएंट का पांच विशिष्ट लीनियर-टू-फुल अनुपातों पर फुल अटेंशन लेयर्स के साथ हाइब्रिड कॉन्फ़िगरेशन में परीक्षण किया गया: 24:1, 12:1, 6:1, 3:1, और एक प्योर लीनियर बेसलाइन। एक स्टैंडर्ड फुल ट्रांसफॉर्मर को अपर-बाउंड बेसलाइन के रूप में उपयोग किया गया।
बेंचमार्क्स:
- लैंग्वेज मॉडलिंग: मानक बेंचमार्क्स जिनमें ARC-Challenge, ARC-Easy, HellaSwag, LAMBADA, OpenBookQA, और PIQA शामिल हैं।
- रिकॉल: RULER बेंचमार्क सुइट, जो रिट्रीवल, मल्टी-हॉप ट्रेसिंग, एग्रीगेशन और क्वेश्चन आंसरिंग का आकलन करता है।
प्रशिक्षण: सभी मॉडल्स को fineweb-edu डेटासेट पर flash-linear-attention लाइब्रेरी का उपयोग करके प्रशिक्षित किया गया, जिसे AdamW और कोसाइन लर्निंग रेट शेड्यूल्स के साथ ऑप्टिमाइज़ किया गया। मूल्यांकन ज़ीरो-शॉट तरीके से किया गया।

मुख्य योगदान

पीढ़ियों के बीच तुलनात्मक विश्लेषण: यह पेपर तीनों पीढ़ियों के लीनियर अटेंशन आर्किटेक्चर का पहला व्यवस्थित तुलनात्मक अध्ययन प्रदान करता है, जो उन्हें स्टैंडअलोन मॉडल और हाइब्रिड स्टैक में एकीकृत करने के रूप में भी मूल्यांकन करता है।
स्टैंडअलोन और हाइब्रिड प्रदर्शन का पृथक्करण: यह अध्ययन इस धारणा को चुनौती देता है कि बेहतर स्टैंडअलोन लीनियर मॉडल बेहतर हाइब्रिड मॉडल प्रदान करते हैं। यह प्रदर्शित करता है कि फुल अटेंशन लेयर्स पेश करने पर आर्किटेक्चर का रैंकिंग महत्वपूर्ण रूप से बदल जाता है।
LM बनाम रिकॉल ड्राइवर्स का पृथक्करण: यह कार्य विश्लेषण करता है कि कैसे लीनियर-टू-फुल अनुपात लैंग्वेज मॉडलिंग क्षमताओं बनाम रिकॉल प्रदर्शन को अलग-अलग प्रभावित करता है, यह पहचानते हुए कि ये दो मेट्रिक्स आर्किटेक्चरल बदलावों के प्रति अलग तरह से प्रतिक्रिया करते हैं।
महत्वपूर्ण आर्किटेक्चरल घटकों की पहचान: लेखकों ने हाइब्रिड प्रदर्शन को अनुकूलित करने के लिए महत्वपूर्ण डिज़ाइन सिद्धांतों—सिलेक्टिव गेटिंग, हायरार्किकल रिकरेंस और कंट्रोल्ड फॉरगेटिंग—को अलग किया है।

मुख्य परिणाम

1. स्टैंडअलोन बनाम हाइब्रिड प्रदर्शन बेमेल (Mismatch)

एक लीनियर मॉडल जिसका स्टैंडअलोन प्रदर्शन सबसे अच्छा है, वह बेहतर हाइब्रिड प्रदर्शन की गारंटी नहीं देता है।

अवलोकन: 340M स्केल पर, GatedDeltaNet ने उच्चतम स्टैंडअलोन सटीकता प्राप्त की। हालांकि, हाइब्रिड कॉन्फ़िगरेशन में, HGRN-2 (6:1 के अनुपात पर) ने GatedDeltaNet को पीछे छोड़ दिया, और ट्रांसफॉर्मर बेसलाइन तथा स्टैंडअलोन लीडर दोनों से 1.2 प्रतिशत अंक अधिक प्रदर्शन किया।
निहितार्थ: स्टैंडअलोन बेंचमार्क्स हाइब्रिड बैकबोन चुनने के लिए अविश्वसनीय भविष्यवक्ता हैं।

2. लीनियर-टू-फुल अनुपात का प्रभाव

लैंग्वेज मॉडलिंग (LM): प्रदर्शन सभी अनुपातों (24:1 से 3:1 तक) में काफी हद तक स्थिर रहता है। अधिकांश आर्किटेक्चर 0.55–0.57 के औसत LM स्कोर के आसपास क्लस्टर होते हैं, जो फुल अटेंशन लेयर्स के अनुपात के प्रति न्यूनतम संवेदनशीलता दिखाते हैं।
रिकॉल प्रदर्शन: रिकॉल अनुपात के प्रति अत्यधिक संवेदनशील है। जैसे-जैसे फुल अटेंशन लेयर्स का अनुपात बढ़ता है, प्रदर्शन में उल्लेखनीय सुधार होता है।
- प्योर लीनियर मॉडल्स खराब रिकॉल दिखाते हैं (RULER स्कोर ~0.1–0.35)।
- रिकॉल 3:1 अनुपात पर ट्रांसफॉर्मर बेसलाइन के करीब पहुँच जाता है या उसे पार कर जाता है।
- DeltaNet और GatedDeltaNet जैसे मॉडल्स 3:1 कॉन्फ़िगरेशन में रिकॉल के शिखर पर पहुँचते हैं।

3. सफलता के आर्किटेक्चरल निर्धारक

प्रभावी हाइब्रिड मॉडल्स के लिए तीन पूरक गुणों की पहचान की गई:

सिलेक्टिव गेटिंग (Selective Gating): सीखे गए, टोकन-वाइज गेट्स वाले मॉडल्स (जैसे, GatedDeltaNet, HGRN-2) लगातार फिक्स्ड डिके (जैसे, RetNet) वाले मॉडल्स से बेहतर प्रदर्शन करते हैं, जो लॉन्ग-रेंज क्यूज़ (cues) को सुरक्षित रखने में विफल रहते हैं।
हायरार्किकल रिकरेंस (Hierarchical Recurrence): HGRN-2 का दो-स्तरीय पाथवे (स्लो कोर्स मेमोरी + फास्ट टोकन डिटेल्स) इसके सिंगल-पाथ एब्लेशन (HGRN) की तुलना में रिकॉल को दोगुना कर देता है, जो बताता है कि व्यापक रूप से फैले हुए फुल अटेंशन लेयर्स को एक रिकरेंट पदानुक्रम (hierarchy) से लाभ होता है जो सूचना को "लैच" (latch) कर सकता है।
कंट्रोल्ड फॉरगेटिंग (Controlled Forgetting): वे मैकेनिज्म जो डेल्टा रूल्स या गेटेड डायगोनल डिके के माध्यम से पुराने कंटेंट को स्पष्ट रूप से मिटाते हैं, स्टेट क्राउडिंगिंग (state crowding) को रोकते हैं। जो मॉडल्स इनमें सक्षम नहीं हैं (जैसे, शुद्ध एडिटिव अपडेट्स जैसे GLA), वे अनुपात के बावजूद ट्रांसफॉर्मर-स्तर का रिकॉल प्राप्त करने के लिए संघर्ष करते हैं।

4. व्यावहारिक सिफारिशें

अध्ययन HGRN-2 या GatedDeltaNet जैसे आर्किटेक्चर की सिफारिश करता है जिनका लीनियर-टू-फुल अनुपात 3:1 और 6:1 के बीच हो। यह कॉन्फ़िगरेशन KV कैश मेमोरी फुटप्रिंट को 4 से 7 गुना कम करते हुए ट्रांसफॉर्मर-स्तर की रिकॉल क्षमता प्राप्त करता है।

महत्व और दावे

पेपर का दावा है कि यह हाइब्रिड फ्रेमवर्क के भीतर तीन पीढ़ियों के लीनियर अटेंशन मैकेनिज्म की पहली व्यवस्थित तुलना प्रदान करता है। इसका प्राथमिक महत्व अनुभवजन्य अनुपात अन्वेषण (empirical ratio exploration) से हटकर सिद्धांत-आधारित घटक चयन (principled component selection) पर ध्यान केंद्रित करना है।

लेखक दावा करते हैं कि:

हाइब्रिड गुणवत्ता का अनुमान स्टैंडअलोन प्रदर्शन से नहीं लगाया जा सकता; लीनियर और फुल अटेंशन लेयर्स के बीच की अंतःक्रिया गैर-तुच्छ (non-trivial) है।
रिकॉल, न कि परप्लेक्सिटी (LM लॉस), इष्टतम लीनियर-टू-फुल मिश्रण का निर्णायक कारक है।
एक मेमोरी-प्रतिबंधित अभ्यासी (practitioner), सिलेक्टिव गेटिंग, हायरार्किकल रिकरेंस और कंट्रोल्ड फॉरगेटिंग वाले बैकबोन को चुनकर और लगभग एक-चौथाई लेयर्स को फुल अटेंशन के लिए आवंटित करके, KV कैश लागत के एक अंश में ट्रांसफॉर्मर-स्तर का रिकॉल प्राप्त कर सकता है।

अध्ययन सीमाओं को स्वीकार करता है, जिसमें उल्लेख है कि परिणाम 1.3B पैरामीटर्स तक के मॉडल्स और 4,096-टोकन कॉन्टेक्स्ट विंडो तक सीमित हैं, जिससे 10B+ पैरामीटर्स और लंबे कॉन्टेक्स्ट (जैसे, 128k टोकन्स) तक स्केलिंग के संबंध में प्रश्न खुले रह जाते हैं। हालाँकि, लेखक मौजूदा प्रोडक्शन मॉडल्स (जैसे, MiniMax-01) को प्रमाण के रूप में प्रस्तुत करते हैं कि हाइब्रिड मॉडल्स प्रभावी ढंग से स्केल कर सकते हैं।