📊 statistics

Algebraic Representability as the Limiting Regime of Grokking: An Exactly Solvable Model with Holomorphic Activations

यह शोध पत्र यह प्रदर्शित करता है कि मॉड्यूलर अंकगणित पर प्रशिक्षित होलोमोर्फिक मोनोमियल एक्टिवेशन वाले दो-परत वाले न्यूरल नेटवर्क में, अभिव्यक्त होने वाला फलन वर्ग (फंक्शन क्लास) एक परिमित-आयामी बीजगणितीय विविधता (एल्जेब्रिक वैरायटी) में सिमट जाता है, जिससे नेटवर्क या तो तत्काल सामान्यीकरण (इंस्टेंट जनरलाइजेशन) या गारंटीकृत प्रशिक्षण विफलता का द्विआधारी परिणाम प्रदर्शित करता है—जिससे क्षमता-ग्रोकिंग संबंध के सीमांत शासन (लिमिटिंग रिजीम) तक पहुँचते ही ग्रोकिंग घटना पूरी तरह से समाप्त हो जाती है।

मूल लेखक: Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

प्रकाशित 2026-07-16

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को गणित की पहेलियाँ हल करना सिखा रहे हैं। आमतौर पर, जब हम इन रोबोट्स (जिन्हें न्यूरल नेटवर्क कहा जाता है) को प्रशिक्षित करते हैं, तो हमें उम्मीद होती है कि वे अभ्यास के साथ बेहतर होंगे। लेकिन कभी-कभी, कुछ अजीब होता है: रोबोट उत्तरों को पूरी तरह से रट लेता है, अपने होमवर्क में परफेक्ट स्कोर प्राप्त करता है, लेकिन फिर एक नया, समान समस्या मिलने पर बुरी तरह विफल हो जाता है। वह वहीं बैठा रहता है, "रटने" के मोड में फंसा हुआ, हजारों स्टेप्स तक। फिर, बिना किसी चेतावनी के, वह अचानक एक नए मोड में आ जाता है और नई समस्याओं को सही ढंग से हल करने लगता है। इस अजीब, देरी से होने वाली जागृति को ग्रोकिंग (grokking) कहा जाता है। यह उस छात्र की तरह है जो परीक्षा के लिए रट्टा मारता है, अगली सुबह सब भूल जाता है, और फिर अचानक एक हफ्ते बाद अवधारणा (concept) को समझ जाता है।

वैज्ञानिक इस बात को समझने की कोशिश कर रहे हैं कि यह देरी क्यों होती है। वे जानते हैं कि रोबोट के मस्तिष्क का आकार (उसकी "क्षमता") मायने रखता है। यदि मस्तिष्क बहुत छोटा है, तो शायद वह कभी सीख न पाए। यदि यह बहुत बड़ा है, तो वह तुरंत सीख लेगा। लेकिन बीच में क्या होता है? क्या मस्तिष्क बड़ा होने पर देरी बस कम हो जाती है? या क्या ऐसा कोई बिंदु है जहाँ रोबोट का मस्तिष्क इतना अजीब तरीके से बना होता है कि वह उत्तर नहीं सीख सकता, चाहे आप कितना भी इंतजार करें? यह शोध पत्र इसी प्रश्न की गहराई में जाता है, जिसमें एक बहुत ही विशिष्ट, गणितीय रूप से पूर्ण रोबोट बनाया गया है ताकि देखा जा सके कि क्या होता है जब सीखने के नियमों को उनकी अंतिम सीमा तक धकेला जाता है।

एक ही आकार वाले मस्तिष्क वाला रोबोट

इस शोध पत्र के लेखकों ने केवल अनुमान लगाने के बजाय निर्माण करने का निर्णय लिया। एक मानक, अव्यवस्थित रोबोट मस्तिष्क के बजाय, उन्होंने एक विशेष प्रकार का नेटवर्क बनाया जिसमें एक बहुत सख्त नियम था: यह केवल एक विशिष्ट प्रकार के गणितीय पैटर्न में सोच सकता है जिसे "होलोमोर्फिक मोनोमियल" (holomorphic monomial) कहा जाता है।

इस रोबोट के मस्तिष्क को एक ताला खोलने वाले (locksmith) के रूप में सोचें जिसके पास चाबियों का एक विशिष्ट सेट है।

मानक रोबोट (यूनिवर्सल एप्रोक्सिमेटर्स): अधिकांश AI मॉडल एक ऐसे ताला खोलने वाले की तरह हैं जिसके पास औजारों का एक विशाल टूलबॉक्स है। आप उन्हें जो भी ताला देंगे, वे अंततः उसे खोल लेंगे यदि उनके पास पर्याप्त समय और पर्याप्त औजार हों। उन्हें सही संयोजन खोजने में समय लग सकता है (रटना), और फिर अचानक वे इसे हासिल कर लेते हैं (सामान्यीकरण/generalization), लेकिन वे हमेशा दरवाजा खोल ही सकते हैं।
इस शोध पत्र का रोबोट: इस रोबोट के पास केवल एक विशिष्ट आकार की चाबी है। यह केवल उन्हीं तालों को खोल सकता है जो उस सटीक आकार से मेल खाते हैं। यदि आप इसे ऐसा ताला देते हैं जो उस आकार में फिट नहीं बैठता, तो यह केवल दरवाजा खोलने में समय नहीं लेता; यह इसे बिल्कुल भी नहीं खोल सकता। यह "पर्याप्त औजार नहीं होने" की बात नहीं है; यह "गलत उपकरण" होने की बात है।

शोधकर्ताओं ने इस रोबोट का परीक्षण मॉड्यूलर अंकगणित कार्यों (मूल रूप से ऐसी गणितीय समस्याएं जहां संख्याएं घड़ी की तरह घूमती हैं) पर किया। उन्होंने पूछा: यदि रोबोट का मस्तिष्क इतना सीमित है कि वह उत्तर को दर्शा ही नहीं सकता, तो क्या वह फिर भी "ग्रोक" करेगा?

बड़ी खोज: "सब-या-कुछ-नहीं" वाला स्विच

उन्हें जो उत्तर मिला वह आश्चर्यजनक रूप से सरल और बाइनरी (दो-चरणीय) है। यहाँ कोई बीच का रास्ता नहीं है, कोई धीमी देरी नहीं है, और कोई ग्रोकिंग नहीं है।

"हाँ" वाला मामला: यदि गणित की समस्या जिसे रोबकार को हल करने के लिए कहा गया है, संयोग से उसकी चाबी के विशिष्ट आकार से मेल खाती है, तो रोबोट इसे तुरंत हल कर लेता है। वह प्रशिक्षण डेटा और नए डेटा को बिल्कुल एक ही समय में सीख लेता है। कोई प्रतीक्षा अवधि नहीं होती। यह उस ताला खोलने वाले को उसकी जन्मजात चाबी सौंपने जैसा है; दरवाजा तुरंत खुल जाता है।
"नहीं" वाला मामला: यदि समस्या चाबी के आकार से मेल नहीं खाती है, तो रोबोट पूरी तरह से विफल हो जाता है। वह उत्तरों को रटता नहीं है। वह एक लूप में नहीं फंसता। वह बस हमेशा रैंडम अनुमान लगाने के स्तर पर ही रहता है। ट्रेनिंग लॉस (यह मापने का तरीका कि वह कितना गलत है) एक कठिन स्तर पर पहुंच जाता है और उससे नीचे जाने से इनकार कर देता है, चाहे रोबोट का मस्तिष्क कितना भी बड़ा क्यों न हो या आप उसे कितना भी लंबे समय तक प्रशिक्षित करें।

लेखकों ने इसे गणितीय रूप से सिद्ध किया। उन्होंने दिखाया कि इस विशिष्ट प्रकार के रोबोट के लिए, जिन समस्याओं को वह हल कर सकता है, वे सभी संभावित समस्याओं का एक बहुत छोटा, निश्चित हिस्सा हैं। यदि आपकी समस्या उस हिस्से में नहीं है, तो रोबोट गणितीय रूप से डेटा को फिट करने में असमर्थ है। यह अनुकूलन (optimization) की समस्या नहीं है; यह एक संरचनात्मक असंभवता है।

प्रयोग: सत्य के 585 परीक्षण

यह सिद्ध करने के लिए कि यह केवल एक सिद्धांत नहीं था, टीम ने 585 प्रयोग चलाए। उन्होंने रोबोट का परीक्षण 39 अलग-अलग गणितीय समस्याओं और 5 विभिन्न "चाबी आकारों" (एक्टिवेशन डिग्री) पर किया।

परिणाम: रोबोट का व्यवहार गणितीय भविष्यवाणियों के साथ 99.8% सटीकता से मेल खाया।
पैटर्न: परिणामों ने एक पूर्ण "सीढ़ी" (staircase) बनाई। यदि समस्या के अंक सही कुल योग में जुड़ते थे, तो रोबोट तुरंत सफल होता था। यदि नहीं, तो वह तुरंत विफल हो जाता था।
लुप्त मध्य भाग: 585 रन में, "ग्रोकिंग" (विलंबित सफलता) के शून्य मामले थे और "सामान्यीकरण के बिना रटना" (होमवर्क सही करना लेकिन टेस्ट में फेल होना) के भी शून्य मामले थे। रोबोट या तो तुरंत जीत गया या तुरंत हार गया।

तुलना: "सामान्य" रोबोट

यह सुनिश्चित करने के लिए कि यह केवल उनके विशेष रोबोट की कोई अजीब विशेषता नहीं थी, उन्होंने एक मानक, "सामान्य" रोबोट (ReLU एक्टिवेशन का उपयोग करते हुए, जो उद्योग का मानक है) पर वही परीक्षण किए।

सामान्य रोबोट: यह रोबोट हर समस्या को हल कर सकता था। इसने सब कुछ रट लिया। लेकिन कठिन समस्याओं पर, इसने क्लासिक ग्रोकिंग व्यवहार प्रदर्शित किया: इसने प्रशिक्षण सेट को रटा, हजारों स्टेप्स तक वहीं बैठा रहा, और फिर अचानक सामान्यीकरण (generalize) कर लिया।
विपरीत स्थिति: जिन समस्याओं के कारण विशेष रोबोट पूरी तरह विफल हो गया था, वे वही समस्याएं थीं जिनके कारण सामान्य रोबोट ने ग्रोक किया था। यह सिद्ध करता है कि ग्रोकिंग में "देरी" केवल इसलिए नहीं होती कि समस्या कठिन है; बल्कि इसलिए होती है क्योंकि रोबोट का मस्तिष्क लगभग पर्याप्त बड़ा है, लेकिन पूरी तरह से नहीं। विशेष रोबोट ने हमें दिखाया कि क्या होता है जब मस्तिष्क इतना छोटा होता है कि वह दौड़ शुरू भी नहीं कर सकता।

"बॉटलनेक" टेस्ट: अंतर को पाटना

शोधकर्ता यह देखना चाहते थे कि क्या "तत्काल विफलता" और "तत्काल सफलता" के बीच कोई सुगम मार्ग है। उन्होंने एक सामान्य रोबलेट लिया और उसके मस्तिष्क को एक "बॉटलनेक" (संकुचित मार्ग) के माध्यम से दबाया, जिससे वह अधिक से अधिक संकरा होता गया।

चौड़ा बॉटलनेक: रोबोट ग्रो करता है (विलंबित सफलता)।
मध्यम बॉटलनेक: रोबोट रटता है लेकिन सामान्यीकरण नहीं कर पाता (वह फंस जाता है)।
छोटा बॉटलनेक: रोबोट रटने में भी विफल रहता है (तत्काल विफलता)।

इस प्रयोग ने कड़ियों को जोड़ दिया। इसने दिखाया कि विशेष रोबोट का "तत्काल विफलता" वाला क्षेत्र उसी स्पेक्ट्रम का चरम छोर है जहाँ ग्रोकिंग होती है। जैसे-जैसे आप रोबोट की क्षमता को कम करते हैं, देरी लंबी होती जाती है, जब तक कि अंततः देरी अनंत नहीं हो जाती क्योंकि रोबोट डेटा को रटने में भी सक्षम नहीं रह जाता।

चाबियों को सीखने के बारे में क्या?

कोई सोच सकता है: "क्या होगा यदि रोबोट अपनी खुद की चाबियाँ सीख सके?" लेखकों ने रोबोट को उसका अपना इनपुट एनकोडिंग सीखने की अनुमति देकर इसका परीक्षण किया (निश्चित "रूट्स ऑफ यूनिटी" एनकोडिंग के बजाय)।

परिणाम: "सीढ़ी" वाला पैटर्न (तत्काल सफलता और विफलता) गायब हो गया। रोबोट अब लगभग सभी लीनियर समस्याओं को तुरंत हल कर सकता था।
अपवाद: अभी भी एक समस्या थी जिसे वह हल नहीं कर सका: गुणन कार्य ( $a \times b$ )। भले ही रोबोट का मस्तिष्क सीखा हुआ था, लेकिन उसकी संरचना गुणन की जटिलता को पकड़ने के लिए बहुत सरल थी। इसने पुष्टि की कि विफलता केवल उनके द्वारा उपयोग किए गए विशिष्ट गणित के बारे में नहीं थी; यह रोबोट के आर्किटेक्चर की एक मौलिक सीमा थी।

निष्कर्ष

यह शोध पत्र AI प्रशिक्षण के बारे में एक मौलिक सत्य प्रकट करता है: ग्रोकिंग सामान्यीकरण और रटने के बीच की एक दौड़ है। लेकिन इस दौड़ के लिए होने के लिए, धावक को पहले अपने जूतों के फीते बांधने में सक्षम होना चाहिए।

यदि किसी न्यूरल नेटवर्क का मस्तिष्क इतना छोटा या कठोर है कि वह उत्तर को दर्शा ही नहीं सकता (यानी "फीते नहीं बांध सकता"), तो दौड़ शुरू ही नहीं होती। वहां कोई देरी नहीं है, कोई संघर्ष नहीं है, और कोई अचानक जागृति नहीं है। वहां केवल एक कठोर रोक है। सवाल यह नहीं है कि "यह कब ग्रो करेगा?" बल्कि यह सरल और अधिक मौलिक सवाल बन जाता है: "क्या यह वास्तव में उस चीज़ को दर्शाने में सक्षम है जिसे हम उससे करने के लिए कह रहे हैं?"

लेखकों ने दिखाया है कि जब आप एक नेटवर्क को उसकी गणितीय सीमाओं तक धकेलते हैं, तो ग्रोकिंग का अस्त-व्यस्त, भ्रमित करने वाला व्यवहार गायब हो जाता है, और उसकी जगह एक स्पष्ट, बाइनरी वास्तविकता ले लेती है: या तो गणित फिट बैठता है, और आप तुरंत जीत जाते हैं; या नहीं, और आप तुरंत हार जाते हैं। यह एक अनुस्मारक है कि AI कैसे सीखता है, इसके बारे में बात करने से पहले, हमें यह सुनिश्चित करना होगा कि वह वास्तव में उस चीज़ को सीखने में सक्षम है जो हम उससे करने को कह रहे हैं।

तकनीकी सारांश: ग्रौकिंग (Grokking) के सीमित शासन के रूप में बीजगणितीय प्रतिनिधित्व क्षमता (Algebraic Representability)

समस्या विवरण
मॉड्यूलर अंकगणित कार्यों पर प्रशिक्षित न्यूरल नेटवर्क में "ग्रौकिंग" (grokking)—एक ऐसी घटना जहाँ न्यूरल नेटवर्क मॉड्यूलर अंकगणित कार्यों पर प्रशिक्षण के बाद याद रखने (memorization) से सामान्यीकरण (generalization) की ओर संक्रमण करता है—के हालिया साहित्य ने स्थापित किया है कि मॉडल की क्षमता इस संक्रमण के समय को नियंत्रित करती है। हालाँकि, मौजूदा ढांचे (जैसे, Song और Ye 2026) यह मान लेते हैं कि नेटवर्क पर्याप्त रूप से बड़ा है ताकि वह अंततः प्रशिक्षण डेटा को याद रख सके। यह शोध पत्र उस सीमित शासन (limiting regime) की जांच करता है जहाँ नेटवर्क का अभिव्यक्त करने योग्य फलन वर्ग (expressible function class) इतना सीमित है कि वह लक्षित फलन (target function) को सिद्धांत रूप में भी प्रस्तुत नहीं कर सकता। केंद्रीय प्रश्न यह है: जब आर्किटेक्चर की क्षमता केवल धीमी होने के बजाय, संरचनात्मक रूप से प्रशिक्षण सेट को फिट करने के लिए अपर्याप्त हो, तो याद रखने और सामान्यीकरण करने की गतिशीलता (dynamics) में क्या होता है?

कार्यप्रणाली
लेखक एक विशिष्ट, सटीक रूप से हल करने योग्य आर्किटेक्चर का अध्ययन करते हैं: एक दो-परत वाला जटिल-मान (complex-valued) न्यूरल नेटवर्क जिसमें एक होलॉर्मोरिक मोनॉमियल सक्रियण (holomorphic monomial activation) $\sigma(z) = z^k$ है। नेटवर्क को मॉड्यूलर अंकगणित कार्यों $f: \mathbb{Z}_p \times \mathbb{Z}_p \to \mathbb{Z}_p$ (जहाँ $p$ एक अभाज्य संख्या है) पर 'रूट्स-ऑफ-यूनिटी' (roots-of-unity) एन्कोडिंग का उपयोग करके प्रशिक्षित किया जाता है, जहाँ इनपुट $(a, b)$ को $(\omega^a, \omega^b)$ में मैप किया जाता है, जहाँ $\omega = e^{2\pi i/p}$ ।

मुख्य कार्यप्रणाली संबंधी विकल्प निम्नलिखित हैं:

बीजगणितीय सुगमता (Algebraic Tractability): $\sigma(z) = z^k$ का चयन यह सुनिश्चित करता है कि नेटवर्क का आउटपुट $k$ घात का एक बहुपद (polynomial) है। रूट्स-ऑफ-यूनिटी एन्कोडिंग पर, यह नेटवर्क के आउटपुट को समूह $(\mathbb{Z}_p)^2$ के कैरेक्टर्स (characters) के एक विशिष्ट उपसमष्टि (subspace) तक सीमित कर देता है।
फूरियर विश्लेषण (Fourier Analysis): लेखक परिमित एबेलियन समूहों (finite abelian groups) पर हार्मोनिक विश्लेषण का उपयोग करके "अभिव्यक्त करने योग्य वर्ग" $\mathcal{F}_k$ को वर्गीकृत करते हैं। वे सिद्ध करते हैं कि छिपे हुए चौड़ाई (hidden width) $H$ के बावजूद, नेटवर्क का आउटपुट $(\ell, k-\ell)$ फ्रीक्वेंसी लेबल वाले कैरेक्टर्स द्वारा स्पैन किए गए $(k+1)$ -आयामी उपसमष्टि में सीमित है, जहाँ $0 \le \ell \le k$ ।
सैद्धांतिक सीमाएँ (Theoretical Bounds): लेख गैर-प्रतिनिधित्व योग्य लक्ष्यों (non-representable targets) के लिए प्रशिक्षण हानि (training loss) पर एक निचली सीमा निर्धारित करता है, यह सिद्ध करते हुए कि हानि एक धनात्मक मान बनी रहती है और छिपी हुई चौड़ाई से स्वतंत्र होती है।
प्रायोगिक सत्यापन: सिद्धांत का परीक्षण 39 कार्यों (35 लीनियर-फेज, 4 नॉनलीनियर-फेज) और 5 सक्रियण घातों ( $k=2$ से $6$) के साथ 585 प्रायोगिक रन में किया गया है।
तुलनात्मक एब्लेशन (Comparative Ablations): अध्ययन एक ReLU बेसलाइन (यूनिवर्सल एप्रोक्सिमेटर) और एक "बॉटलनेक" एब्लेशन (ReLU नेटवर्क पर) को शामिल करता है ताकि प्रतिनिधित्व की विफलता से ग्रौकिंग तक के संक्रमण को ट्रैक किया जा सके।

मुख्य योगदान

प्रतिनिधित्व क्षमता का सटीक बीजगणितीय लक्षण वर्णन:
लेखक इस बात का पूर्ण लक्षण वर्णन प्रदान करते हैं कि कौन से मॉड्यूलर कार्य अभिव्यक्त करने योग्य वर्ग $\mathcal{F}_k$ के अंतर्गत आते हैं।

लीनियर-फेज लक्ष्य ( $f(a,b) = ma + nb \mod p$ ): एक कार्य तभी प्रतिनिधित्व योग्य है यदि $m + n = k$ (यह मानते हुए कि $m+n \le k$ )। यदि यह शर्त पूरी नहीं होती है, तो लक्ष्य संपूर्ण अभिव्यक्त उपसमष्टि के लंबवत (orthogonal) होता है।
नॉनलीनियर-फेज लक्ष्य (जैसे, $ab$, $a^2+b^2$ ): इन कार्यों का फूरियर सपोर्ट डायगोनल $u+v \equiv k \pmod p$ से आगे तक फैला हुआ है। शोध पत्र सिद्ध करता है कि ये किसी भी परिमित $k < p$ के लिए गैर-प्रतिनिधित्व योग्य हैं।
एन्कोडिंग स्वतंत्रता: प्रपोजिशन 1 के माध्यम से, लेखक दिखाते हैं कि सीखे गए एम्बेडिंग्स के साथ भी, किसी कार्य की प्रतिनिधित्व क्षमता लक्ष्य मैट्रिक्स के रैंक द्वारा बाधित होती है। विशेष रूप से, कार्य $ab$ (जो कि एक फुल-रैंक DFT मैट्रिक्स के अनुरूप है) किसी भी $k < p-1$ के लिए गैर-प्रतिनिधित्व योग्य रहता है, चाहे इनपुट एन्कोडिंग कुछ भी हो।

"कोई याद रखने वाला नहीं" (No Memorization) शासन:
लेखक सिद्ध करते हैं कि गैर-प्रतिनिधित्व योग्य लक्ष्यों के लिए, नेटवर्क प्रशिक्षण सेट को याद नहीं रख सकता है। क्योंकि आउटपुट बीजगणितीय रूप से एक ऐसे उपसमष्टि में सीमित है जिसमें लक्ष्य शामिल नहीं है, इसलिए प्रशिक्षण हानि एक धनात्मक स्थिरांक (स्पेक्ट्रल गैप) द्वारा नीचे की ओर सीमित है। फलस्वरूप, कोई "मेमोरइजेशन" चरण नहीं है, कोई "ग्रौकिंग" विलंब नहीं है, और कोई क्रमिक सुधार नहीं है; नेटवर्क केवल डेटा को फिट करने में विफल रहता है, और चांस-लेवल (chance-level) सटीकता पर बना रहता है।
बाइनरी परिणामों का प्रायोगिक सत्यापन:
585 रन में, बीजगणितीय भविष्यवाणी ने 99.8% सटीकता के साथ देखे गए परिणाम का मिलान किया। परिणाम पूरी तरह से बाइनरी थे:

प्रतिनिधित्व योग्य कार्य: लगभग तुरंत सीख लिए गए (इंस्टेंट जनरलाइजेशन, या INST) जिसमें प्रशिक्षण और परीक्षण सटीकता के बीच कोई अंतर नहीं था।
गैर-प्रतिनिधित्व योग्य कार्य: पूर्ण विफलता (FAIL) जिसमें प्रशिक्षण सटीकता चांस-लेवल पर अटकी रही।
होलॉर्मोरिक नेटवर्क के लिए ग्रौकिंग या "मेमोरइजेशन-विदाउट-जनरलाइजेशन" का एक भी मामला नहीं देखा गया।

क्षमता स्पेक्ट्रम (Capacity Spectrum) से जुड़ाव:
यह शोध पत्र "बीजगणितीय चरम" (होलॉर्मोरिक नेटवर्क) और मानक यूनिवर्सल एप्रोक्सिमेटर्स (ReLU नेटवर्क) के बीच के अंतर को पाटता है।

ReLU बेसलाइन: मानक ReLU नेटवर्क सभी कार्यों को याद रखते हैं और कठिन नॉनलीनियर कार्यों पर ग्रौकिंग प्रदर्शित करते हैं, जहाँ विलंब कार्य की जटिलता के साथ बढ़ता है।
बॉटलनेक एब्लेशन: एक लीनियर बॉटलनेक के माध्यम से ReLU नेटवर्क को संकुचित करके, लेखक एक निरंतर पथ को ट्रैक करते हैं जो FAIL (जब बॉटलनेक डेटा को फिट करने के लिए बहुत संकीर्ण हो) से MEM (जनरलाइजेशन के बिना मेमोरइजेशन) से GROK (क्षमता बढ़ने के साथ घटते अंतराल के साथ) तक जाता है। यह दर्शाता है कि होलॉर्मोरिक मॉडल में देखा गया "FAIL" शासन, क्षमता-ग्रौकिंग स्पेक्ट्रम का संरचनात्मक सीमा है।

महत्व और दावे
लेख का तर्क है कि "एक नेटवर्क कब ग्रोक करेगा" यह एक माध्यमिक प्रश्न है जो प्राथमिक शर्त—प्रतिनिधित्व क्षमता (representability)—को पूर्वधारणा के रूप में मान लेता है।

सीमित शासन (Limiting Regime): होलॉर्मोरिक नेटवर्क उस मामले का प्रतिनिधित्व करता है जहाँ अभिव्यक्त करने योग्य वर्ग एक निश्चित बीजगणितीय वस्तु में सिमट जाता है। इस शासन में, मेमोरइजेशन और जनरलाइजेशन की गति के बीच की प्रतिस्पर्धा (ग्रौकिंग का तंत्र) कभी शुरू ही नहीं होती क्योंकि मेमोरइजेशन चरण संरचनात्मक रूप से असंभव है।
ऑप्टिमाइज़ेशन बनाम स्ट्रक्चरल बाधाएं: परिणाम ऑप्टिमाइज़ेशन की कठिनाइयों (जो मानक नेटवर्कों में ग्रौकिंग विलंब का कारण बनती हैं) और प्रतिनिधित्व की असंभवता (जो बाधित नेटवर्कों में तत्काल विफलता का कारण बनती है) के बीच अंतर करते हैं।
बाधा की सार्वभौमिकता: कार्य $ab$ की विफलता को आर्किटेक्चर के रैंक प्रतिबंधों का एक आंतरिक गुण दिखाया गया है, न कि फिक्स्ड रूट्स-ऑफ-यूनिटी एन्कोडिंग का कोई प्रभाव।

लेखक निष्कर्ष निकालते हैं कि उनका कार्य एक ऐसे शासन को परिभाषित करता है जहाँ ग्रौकिंग की गतिशीलता प्रतिनिधित्व क्षमता के एक बाइनरी प्रश्न में विलीन हो जाती है। हालांकि विशिष्ट बीजगणितीय परिणाम इस होलॉर्मोरिक सेटिंग पर लागू होते हैं, बॉटलनेक प्रयोग यह सुझाव देते हैं कि तीन-चरण वाली संरचना (Failure $\to$ Memorization $\to$ Grokking) क्षमता स्पेक्ट्रम की एक सामान्य विशेषता है, जिसमें होलॉर्मोरिक मॉडल "Failure" छोर के लिए एक कठोर, विश्लेषणात्मक रूप से हल करने योग्य सीमा स्थिति (boundary condition) प्रदान करता है।