🤖 machine learning

GQA-{\mu}P: The maximal parameterization update for grouped query attention

यह शोध पत्र GQA- $\mu$ P को प्रस्तुत करता है, जो एक नवीन पैरामीट्रिज़ेशन फ्रेमवर्क है जो स्पेक्ट्रल नॉर्म (spectral norm) की शर्तों के माध्यम से फीचर लर्निंग को पुनर्व्याख्यायित करके और उन्हें गैर-पूर्ण-रैंक (non-full-rank) वेट मैट्रिसेस के लिए अनुकूलित करके ग्रुपड-क्वेरी अटेंशन के लिए अधिकतम अपडेट स्केलिंग प्राप्त करता है, जिससे विभिन्न मॉडल आर्किटेक्चरों के बीच प्रभावी हाइपरपैरामीटर ट्रांसफर सक्षम होता है।

मूल लेखक: Kyle R. Chickering, Huijuan Wang, Mengxi Wu, Alexander Moreno, Muhao Chen, Xuezhe Ma, Daria Soboleva, Joel Hestness, Zhengzhong Liu, Eric Xing

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kyle R. Chickering, Huijuan Wang, Mengxi Wu, Alexander Moreno, Muhao Chen, Xuezhe Ma, Daria Soboleva, Joel Hestness, Zhengzhong Liu, Eric Xing

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ हैं जो एक विशाल दावत (एक विशाल AI मॉडल) के लिए रेसिपी को बेहतर बनाने की कोशिश कर रहे हैं। आप जानते हैं कि यदि आप नमक और गर्मी की सही मात्रा के साथ एक छोटे बर्तन में सूप (एक छोटा मॉडल) पकाते हैं, तो आप यह अनुमान लगा पाएंगे कि बड़े बर्तन के लिए कितनी नमक और गर्मी का उपयोग करना चाहिए, बिना बड़े संस्करण का स्वाद चखे। यही हाइपरपैरामीटर ट्रांसफर (Hyperparameter Transfer) का सपना है: एक छोटे मॉडल का उपयोग करके एक बड़े मॉडल के लिए सेटिंग्स का पता लगाना।

कुछ समय के लिए, शेफ के पास एक विशिष्ट नियम पुस्तिका थी जिसे µP (मैक्सिमल अपडेट पैरामीमेटराइजेशन) कहा जाता था, जो मानक रेसिपी के लिए बहुत अच्छा काम करती थी। लेकिन जैसे-जैसे AI मॉडल विकसित हुए, उन्होंने एक नई, अधिक कुशल खाना पकाने की तकनीक का उपयोग किया जिसे GQA (ग्रुपेड क्वेरी अटेंशन) कहा जाता है। GQA को ऐसे समझें जैसे कई शेफ समय और स्थान बचाने के लिए सामग्री के एक ही सेट को साझा करते हैं।

समस्या यह है कि पुराना नियम (µP) इस नई GQA तकनीक के लिए काम नहीं करता था। यदि आप छोटे बर्तन वाली सेटिंग्स को बड़े GAF बर्तन पर आज़माते हैं, तो सूप जल जाएगा या बेस्वाद हो जाएगा। गणित कहता था कि यह काम करना चाहिए, लेकिन वास्तविकता ने कहा कि नहीं।

यह पेपर, GQA-µP, नियम पुस्तिका को ठीक करता है ताकि यह इन नई, कुशल रेसिपी के लिए काम कर सके। यहाँ बताया गया है कि उन्होंने इसे कैसे किया, सरल उपमाओं का उपयोग करते हुए:

1. "रूलर" (Scale/Ruler) की समस्या (स्पेक्ट्रल नॉर्म बनाम एक्सपेक्टेड ऑपरेटर नॉर्म)

पुराने नियम पुस्तिका में, शेफ सामग्री (वजन/weights) में कितना बदलाव आ रहा है, इसे मापने के लिए एक विशिष्ट रूलर का उपयोग करते थे जिसे स्पेक्ट्रल नॉर्म कहा जाता था।

समस्या: पुराना रूलर "फुल-रैंक" सामग्री (जैसे पनीर का एक ठोस ब्लॉक) के लिए डिज़ाइन किया गया था। लेकिन GQA "लो-रैंक" सामग्री (जैसे छेद वाला पनीर का ब्लॉक) का उपयोग करता है।
उपमा: कल्पना कीजिए कि आप लकड़ी के एक ठोस ब्लॉक के लिए बने रूलर से स्विस चीज़ (छेद वाले पनीर) के आकार को मापने की कोशिश कर रहे हैं। रूलर कह सकता है कि चीज़ बहुत बड़ी है क्योंकि यह पूरी चौड़ाई तक फैली हुई है, लेकिन वास्तव में, छेदों के कारण, वह चीज़ उस स्थान को नहीं भरती है।
समाधान: लेखकों ने एक नया रूलर बनाया जिसे एक्सपेक्टेड ऑपरेटर नॉर्म कहा जाता है। "सैद्धांतिक अधिकतम आकार" (जिसमें छेद भी शामिल हैं) को मापने के बजाय, यह नया रूलर उस "औसत आकार" को मापता है जिसका आप वास्तव में उपयोग करते समय सामना करते हैं। यह नया रूलर शेफ को सही ढंग से बताता है कि सामग्री को कैसे स्केल किया जाए ताकि सूप का स्वाद सही रहे, चाहे पनीर में कितने भी छेद (ग्रुप्स) क्यों न हों।

2. "टीमवर्क" की समस्या (ग्रुपेड क्वेरी अटेंशन)

GQA में, कई "क्वेरी हेड्स" (सवाल पूछने वाले शेफ) एक ही "की और वैल्यू हेड्स" (जवाब देने वाले शेफ) को साझा करते हैं।

समस्या: जब आप इन शेफों को एक साथ समूहबद्ध करते हैं, तो गणित जटिल हो जाता है। पुराना नियम पुस्तिका मानती थी कि हर शेफ के पास अपने स्वयं के अद्वितीय उपकरण हैं। जब वे उपकरण साझा करते हैं, तो पुराना गणित इस बारे में भ्रमित हो जाता है कि उपकरणों में कितना बदलाव होना चाहिए।
समाधान: लेखकों ने विशेष रूप से इस साझा व्यवस्था के लिए एक नया स्केलिंग फॉर्मूला तैयार किया। उन्होंने यह पता लगाया कि कितने शेफ उपकरणों को साझा कर रहे हैं, इसके आधार पर "लर्निंग रेट" (शेफ कितनी तेज़ी से सीखते हैं) को ठीक से कैसे समायोजित किया जाए।
- उपमा: यदि एक शेफ सारा काम कर रहा है, तो उन्हें एक निश्चित मात्रा में ऊर्जा की आवश्यकता होती है। यदि दस शेफ मिलकर काम साझा करते हैं, तो ऊर्जा का वितरण बदल जाता है। नया नियम पुस्तिका सटीक रूप से आवश्यक ऊर्जा की गणना करती है ताकि चाहे आपके पास 1 शेफ हो या 12, काम पूरी तरह से संपन्न हो जाए।

3. "नमक" की समस्या (वेट डिके)

खाना पकाने में, "वेट डिके" (weight decay) एक संरक्षक (नमक) जोड़ने जैसा है ताकि सूप खराब होने (ओवरफिटिंग) से बचा जा सके।

समस्या: पुराना नियम पुस्तिका यह नहीं बताती थी कि जब आप बर्तन का आकार या रेसिपी की गहराई बदलते हैं, तो नमक को कैसे समायोजित करें।
समाधान: लेखकों ने दिखाया कि यदि आप उनके नए नियमों का उपयोग करते हैं, तो आप "नमक" की सेटिंग्स को भी ट्रांसफर कर सकते हैं। आप एक छोटे बर्तन के लिए नमक की सटीक मात्रा पा सकते हैं, और यह बड़े बर्तन के लिए भी काम करेगी। उन्होंने यह भी सिद्ध किया कि एक विशिष्ट टाइमिंग कांस्टेंट (जिसे $\tau_{epoch}$ कहा जाता है) इस ट्रांसफर के लिए अच्छा काम करता है।

4. "शोर भरी रसोई" का रियलिटी चेक

लेखकों ने GKA रसोई में एक दिलचस्प विचित्रता भी पाई।

खोज: नए पूर्ण नियम पुस्तिका के साथ भी, यदि बहुत कम शेफ उपकरणों को साझा कर रहे हैं (बहुत कम "KV हेड्स"), तो खाना पकाने की प्रक्रिया "शोर भरी" (noisy) हो जाती है। यह एक ऐसी रसोई की तरह है जहाँ शेफ एक-दूसरे से फुसफुसाकर बात कर रहे हैं; कभी-कभी वे एक-दूसरे को स्पष्ट रूप से सुनते हैं, कभी-कभी नहीं।
सबक: हालांकि गणित काम करता है, लेखक चेतावनी देते हैं कि मॉडलों के बीच बहुत अलग संख्या में साझा समूहों (shared groups) के बीच सेटिंग्स को ट्रांसफर करना थोड़ा अस्थिर हो सकता है। "कई-शेफ" सेटअप से "कम-शेफ" सेटअप की ओर जाने में सावधानी बरतना सबसे अच्छा है।

सारांश

संक्षेप में, यह पेपर कहता है:

जब कुशल GQA तकनीक का उपयोग किया गया, तो AI मॉडल को स्केल करने वाला पुराना गणित विफल हो गया क्योंकि इसने सामग्री को मापने के लिए गलत "रूलर" का उपयोग किया था।
लेखकों ने एक नया रूलर (एक्सपेक्टेड ऑपरेटर नॉर्म) बनाया जो GQA संरचना में मौजूद "छेदों" को ध्यान में रखता है।
इस नए रूलर का उपयोग करके, उन्होंने एक नई नियम पुस्तिका लिखी जो शेफ को छोटे मॉडलों से बड़े GQA मॉडलों में खाना पकाने की सेटिंग्स (लर्निंग रेट और नमक की मात्रा) को पूरी तरह से ट्रांसफर करने की अनुमति देती है।
उन्होंने लैब में इसे सिद्ध किया, यह दिखाते हुए कि नया नियम पुस्तिका प्रशिक्षण प्रक्रिया को बहुत अधिक अनुमानित और कुशल बनाती है।

उन्होंने सूप पकाने का एक नया तरीका (AI आर्किटेक्चर) नहीं बनाया, बल्कि उन्होंने मापने वाले कप और चम्मचों को ठीक किया ताकि कोई भी छोटे बर्तन की रेसिपी का उपयोग करके एक आदर्श विशाल बर्तन का सूप पका सके।

तकनीकी सारांश: GQA-µP: ग्रुपड क्वेरी अटेंशन के लिए मैक्सिमल पैरामीट्राइजेशन अपडेट

समस्या विवरण

हाइपरपैरामीटर ट्रांसफर, विशेष रूप से मैक्सिमल अपडेट पैरामीट्राइजेशन (µP), विभिन्न मॉडल आर्किटेक्चर के बीच हाइपरपैरामीटर के अनुकूलन को सक्षम बनाता है, जिससे छोटे प्रॉक्सी मॉडल्स के माध्यम से बड़े पैमाने के मॉडल्स के लिए इष्टतम हाइपरपैरामीटर्स का निर्धारण किया जा सकता है। जबकि µP को मॉडल की चौड़ाई (width) के संदर्भ में लर्निंग रेट ट्रांसफर के लिए सफलतापूर्वक लागू किया गया है, नए आर्किटेक्चर और अन्य हाइपरपैरामीटर्स (जैसे वेट डिके और डेप्थ) पर इसका अनुप्रयोग चुनौतीपूर्ण बना हुआ है।

ग्रुपड-क्वेरी अटेंशन (GQA) के लिए एक विशिष्ट अंतराल मौजूद है, जो एक ऐसी प्रक्रिया है जिसका उपयोग आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) में मेमोरी उपयोग को कम करने के लिए की-वैल्यू हेड्स को क्वेरी हेड्स के समूहों के बीच साझा करने हेतु व्यापक रूप से किया जाता है। मानक µP को GQA पर लागू करने के पिछले प्रयासों ने एक महत्वपूर्ण विफलता प्रदर्शित की: हालांकि कार्यान्वयन ने मानक "कोऑर्डिनेट चेक" (जो एक्टिवेशन नॉर्म्स को मान्य करते हैं) को पास कर लिया, लेकिन यह विभिन्न संख्या में KV हेड्स के बीच लर्निंग रेट को प्रभावी ढंग से ट्रांसफर करने में विफल रहा। मौजूदा µP फ्रेमवर्क वेट डिके और डेप्थ के लिए सिद्धांतिक स्केलिंग प्राप्त करने में भी संघर्ष करते हैं, क्योंकि वे "लेजी-लर्निंग" धारणाओं पर निर्भर करते हैं। मुख्य सैद्धांतिक कठिनाई यह है कि GQA वेट मैट्रिसेस अक्सर रैंक-डिजेनरेट (लो-रैंक) होते हैं, जिसके कारण मानक स्पेक्ट्रल नॉर्म, ट्रेनिंग के दौरान इनपुट्स के अपेक्षित विरूपण (deformation) को सटीक रूप से पकड़ने में विफल रहता है।

कार्यप्रणाली (Methodology)

लेखक यांग एट अल. (2023a) के स्पेक्ट्रल फीचर-लर्निंग दृष्टिकोण पर आधारित नए स्केलिंग लॉ बनाने के लिए निर्माण करते हैं। कार्यप्रणाली में तीन प्राथमिक सैद्धांतिक और विश्लेषणात्मक प्रगति शामिल हैं:

स्पेक्ट्रल नॉर्म्स के माध्यम से फीचर लर्निंग को पुनर्परिभाषित करना:
यह पेपर वेट मैट्रिसेस पर स्पेक्ट्रल नॉर्म की शर्तों को एक ह्यूरिस्टिक (heuristic) से हटाकर फीचर लर्निंग की औपचारिक परिभाषा के रूप में ऊपर उठाता है। लेखक तर्क देते हैं कि यह सुनिश्चित करना कि वेट अपडेट का स्पेक्ट्रल नॉर्म सही ढंग से स्केल होता है, केवल एक्टिवेशन नॉर्म्स के विश्लेषण की तुलना में फीचर लर्निंग के लिए एक अधिक मजबूत और विश्वसनीय स्थिति है। यह बदलाव "लेजी-लर्निंग" धारणाओं के बिना वेट डिके और डेप्थ (Complete-P) स्केलिंग को व्युत्पन्न करने की अनुमति देता है।
एक्स्पेक्टेड ऑपरेटर नॉर्म (Expected Operator Norm) का परिचय:
GQA मैट्रिसेस की रैंक-डिजेनरेसी को संबोधित करने के लिए, लेखक एक संशोधित नॉर्म पेश करते हैं: एक्स्पेक्टेड ऑपरेटर नॉर्म ( $||A||_E$ )।
- मानक स्पेक्ट्रल नॉर्म्स ( $||A||$ ) इनपुट वेक्टर के अधिकतम विरूपण को मापते हैं। फुल-रैंक मैट्रिसेस के लिए, यह ट्रेनिंग के दौरान एसिम्प्टोटिक रूप से प्राप्त होता है।
- रैंक-डिजेनरेट मैट्रिसेस (जैसे GQA) के लिए, अधिकतम विरूपण उत्पन्न करने वाले वेक्टरों के होने की संभावना शून्य होती है (क्योंकि इनपुट्स i.i.d. होते हैं)। फलस्वरूप, स्पेक्ट्रल नॉर्म वास्तविक विरूपण का अतिरंजित अनुमान लगाता है।
- एक्स्पेक्टेड ऑपरेटर नॉर्म को इनपुट डिस्ट्रीब्यूशन पर आउटपुट और इनपुट नॉर्म के अनुपात के प्रत्याशा (expectation) के रूप में परिभाषित किया गया है: $||A||_{E,\Omega,p} := \mathbb{E}_{x \sim \Omega} [\frac{||Ax||_p}{||x||_p}]$ ।
- यह नॉर्म प्रशिक्षण के दौरान सामना किए जाने वाले वास्तविक विरूपण को सही ढंग से दर्शाता है, जिससे GQA के लिए स्केलिंग लॉ की वैधता बहाल होती है।
GQA-µP स्केलिंग का व्युत्पत्ति (Derivation):
एक्स्पेक्टेड ऑपरेटर नॉर्म का उपयोग करते हुए, लेखक GQA लेयर्स के लिए विशिष्ट स्केलिंग फैक्टर्स निकालते हैं।
- एक GQA लेयर के लिए जिसमें $r$ की-वैल्यू हेड रिपिटिशन है, लर्निंग रेट ( $\eta$ ) और वेट डिके ( $\lambda$ ) को मानक अटेंशन की तुलना में अलग तरह से स्केल किया जाना चाहिए।
- व्युत्पन्न लर्निंग रेट स्केलिंग $\eta = \Theta(\frac{1+\sqrt{r}}{n})$ है, जहाँ $n$ एम्बेडिंग डायमेंशन है।
- वेट डिके स्केलिंग को $\lambda = \Theta(\frac{2n}{1+\sqrt{r}})$ के रूप में समायोजित किया गया है ताकि रेगुलाइजेशन और ग्रेडिएंट अपडेट के बीच संतुलन बना रहे।
- इन डेरिवेशंस को पेपर की टेबल 1 में संक्षेपित किया गया है, जो GQA के साथ ट्रांसफॉर्मर्स के लिए एक एकीकृत पैरामीट्राइजेशन प्रदान करता है।
डेप्थ स्केलिंग (Complete-P):
यह फ्रेमवर्क रेसिडुअल नेटवर्क के लिए डेप्थ स्केलिंग निकालने के लिए लागू किया गया है। रेसिडुअल ब्लॉक्स के संयोजन पर स्पेक्ट्रल कंडीशन लागू करके, लेखक दिखाते हैं कि रेसिडुअल ब्रांच के लिए स्केलिंग फैक्टर $\beta$ को $\Theta(L^{-1})$ (जहाँ $L$ डेप्थ है) होना चाहिए ताकि सिग्नल विस्फोट या लुप्त होने (vanishing) को रोका जा सके, जो "नो लेजी लर्निंग" धारणा की आवश्यकता के बिना डे (Dey) एट अल. (2025) के समान परिणाम प्राप्त करता है।

मुख्य योगदान

GQA के लिए प्रथम µP व्युत्पत्ति: लेखकों के ज्ञान के अनुसार, यह पेपर ग्रुपड-क्वेरी अटेंशन के लिए µP स्केलिंग का पहला सिद्धांत आधारित व्युत्पत्ति प्रदान करता है, जो उस विसंगति को हल करता है जहाँ मानक µP कार्यान्वयन लर्निंग रेट ट्रांसफर करने में विफल रहे थे।
स्पेक्ट्रल µP का सैद्धांतिक विस्तार: यह कार्य यांग एट अल. (2023a) के स्पेक्ट्रल µP सिद्धांत को विस्तारित करता है, जो स्पेक्ट्रल नॉर्म स्थितियों को फीचर लर्निंग की परिभाषा के रूप में बढ़ावा देता है और रैंक-डिजेनरेट वेट्स को संभालने के लिए एक्स्पेक्टेड ऑपरेटर नॉर्म पेश करता है। यह वेट डिके, रिकर्सन ब्लॉक्स और GQA के लिए स्केलिंग निकालने में सक्षम बनाता है।
ट्रांसफर का अनुभवजन्य सत्यापन: लेखक प्रदर्शित करते हैं कि उनके व्युत्पन्न स्केलिंग्स विभिन्न GQA रिपिटिशन काउंट्स ( $r$ ) के बीच लर्निंग रेट और मॉडल साइज के बीच वेट डिके को ट्रांसफर करने में सक्षम हैं। वे दिखाते हैं कि वैनिला Adam-µP कार्यान्वयन GQA के लिए स्पेक्ट्रल कोऑर्डिनेट चेक में विफल रहता है, जबकि उनका प्रस्तावित स्केलिंग उन्हें पास करता है।

प्रयोगात्मक परिणाम

लेखक अपने सैद्धांतिक व्युत्पत्तियों को व्यापक प्रयोगों के माध्यम से सत्यापित करते हैं:

लर्निंग रेट ट्रांसफर: की-वैल्यू हेड्स की संख्या (1 से 12 तक) को बदलते हुए प्रयोग दिखाते हैं कि मानक पैरामीट्राइजेशन और वैनिला Adam-µP एक सुसंगत इष्टतम लर्निंग रेट तक अभिसरण (converge) करने में विफल रहते हैं। इसके विपरीत, प्रस्तावित GQA-µP स्केलिंग इष्टतम लर्निंग रेट क्षेत्र को काफी कम कर देती है, जिससे प्रभावी ट्रांसफर संभव होता है।
कोऑर्डिनेट चेक: एक्टिवेशन अपडेट नॉर्म्स ( $||\Delta h||$ ) के विश्लेषण ने सुझाव दिया कि वैनिला कार्यान्वयन सही था, लेकिन वेट मैट्रिक्स स्पेक्ट्रल नॉर्म्स ( $||\Delta W||$ ) के विश्लेषण ने की-वैल्यू हेड्स की संख्या पर एक गैर-रेखीय निर्भरता का खुलासा किया, जो ट्रांसफर विफलता की व्याख्या करता है। प्रस्तावित GQA-µP स्केलिंग इस निर्भरता को हटा देती है।
वेट डिके और $\tau_{\text{epoch}}$ ट्रांसफर: पेपर प्रदर्शित करता है कि सही स्केलिंग के साथ, वेट डिके और ट्रेनिंग-टाइम कांस्टेंट $\tau_{\text{epoch}}$ (वांग और एिचिसन, 2024 द्वारा पेश किया गया) दोनों मॉडल साइज के बीच ट्रांसफर करने योग्य हैं। प्रस्तावित कार्यान्वयन के लिए इष्टतम हाइपरपैरामीटर्स में भिन्नता बेसलाइन्स की तुलना में काफी कम है।
GQA में शोर (Noise): लेखक देखते हैं कि जबकि लर्निंग रेट ट्रांसफर संभव है, GQA ट्रेनिंग में अंतर्निहित शोर आता है जो की-वैल्यू हेड्स की संख्या कम होने पर अधिक स्पष्ट हो जाता है। वे एक ट्रेड-ऑफ नोट करते हैं: व्युत्पन्न स्केलिंग के माध्यम से फीचर लर्निंग प्राप्त करने से $r$ कम होने पर शोर वाली गतिशीलता (dynamics) होती है, जबकि स्थिरता के लिए वेरिएंस को नियंत्रित करने से इष्टतम लर्निंग रेट शिफ्ट हो जाता है।

महत्व और दावे

यह पेपर आधुनिक, प्रोडक्शन-ग्रेड LLM आर्किटेक्चर में µP की प्रयोज्यता के एक महत्वपूर्ण अंतर को भरने का दावा करता है। लो-रैक मैट्रिसेस के लिए मानक स्पेक्ट्रल नॉर्म की सीमाओं की पहचान करके और एक्स्पेक्टेड ऑपरेटर नॉर्म का प्रस्ताव देकर, लेखक GQA जैसे जटिल आर्किटेक्चर के लिए µP स्केलिंग के लिए एक मजबूत सैद्धांतिक आधार प्रदान करते हैं।

इस कार्य का महत्व निम्नलिखित में निहित है:

व्यावहारिक उपयोगिता: यह अभ्यासकर्ताओं को छोटे प्रॉक्सी मॉडल्स का उपयोग करके उनके GQA-आधारित मॉडल्स (जैसे LLaMA 3, Mistral 7B) के लिए इष्टतम हाइपरपैरामीटर्स निर्धारित करने में सक्षम बनाता है, जिससे हाइपरपैरामीटर ट्यूनिंग की कम्प्यूटेशनल लागत कम हो जाती है।
सैद्धांतिक कठोरता: यह एक्टिवेशन-आधारित चेक्स से आगे बढ़कर वेट-मैट्रिक्स-आधारित स्पेक्ट्रल कंडीशंस के रूप में फीचर लर्निंग को परिष्कृत करता है, जो कार्यान्वयन को मान्य करने के लिए अधिक प्रभावी सिद्ध होता है।
व्यापक प्रयोज्यता: फ्रेमवर्क सफलतापूर्वक वेट डिके और डेप्थ (Complete-P) के लिए मौजूदा स्केलिंग को पुनः प्राप्त करता है और इसे GQA तक विस्तारित करता है, जो भविष्य के आर्किटेक्चरल नवाचारों के लिए एक एकीकृत दृष्टिकोण का सुझाव देता है।

लेखक विनम्रतापूर्वक नोट करते हैं कि हालांकि उनका एसिम्प्टोटिक विश्लेषण ठोस है, रिपिटिशन पैरामीटर $r$ की व्यावहारिक सीमा सीमित और आमतौर पर छोटी होती है (जैसे $r \le 16$ )। $r$ के संबंध में स्केलिंग का प्राथमिक लक्ष्य अनुभवजन्य है: $r$ के मामले में लर्निंग रेट ड्रिफ्ट को रोकना, न कि अनंत सीमा का मॉडल बनाना। वे यह भी रेखांकित करते हैं कि GQA ट्रेनिंग स्वाभाविक रूप से शोर भरी रहती है, जो बहुत अलग GQA कॉन्फ़िगरेशन के बीच लर्निंग रेट ट्रांसफर करते समय सावधानी बरतने का सुझाव देती है।