🤖 machine learning

S-GAI: Spectral Geometry-Aware Initialization for Sigmoidal MLPs -- From Dataset Geometry to Network Weights

यह शोध पत्र S-GAI को प्रस्तुत करता है, जो सिग्मोइडल MLPs के लिए एक स्पेक्ट्रल ज्योमेट्री-अवेयर इनिशियलाइज़ेशन फ्रेमवर्क है जो डेटासेट की अंतर्निहित ज्यामिति को एनकोड करने वाले हिडन लेयर के निर्माण के लिए इमेज डेटा के क्लास-वाइज SVD का लाभ उठाता है, जिसके परिणामस्वरूप मानक रैंडम इनिशियलाइज़ेशन विधियों की तुलना में काफी बेहतर प्रारंभिक प्रदर्शन और प्रतिस्पर्धी अंतिम सटीकता प्राप्त होती है।

मूल लेखक: Yi-Shan Chu

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yi-Shan Chu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "S-GAI: सिग्मोइडल MLPs के लिए स्पेक्ट्रल ज्योमेट्री-अवेयर इनिशियलाइजेशन" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

मुख्य विचार: नेटवर्क को एक अच्छी शुरुआत देना

कल्पना कीजिए कि आप एक नए कर्मचारी (एक न्यूरल नेटवर्क) को काम पर रख रहे हैं ताकि वह मेल के एक विशाल ढेर को अलग-अलग डिब्बों में छाँट सके (जैसे अंकों या कपड़ों जैसी छवियों को वर्गीकृत करना)।

पुराना तरीका (स्टैंडर्ड इनिशियलाइजेशन):
आमतौर पर, जब आप इस काम की शुरुआत करते हैं, तो आप नए कर्मचारी को पूरी तरह से यादृच्छिक (random) निर्देशों का एक सेट देते हैं। उन्हें नहीं पता कि "7" कैसा दिखता है, या "शर्ट" कैसी दिखती है। उन्हें अंधेरे में अनुमान लगाना पड़ता है, गलतियाँ करनी पड़ती हैं, और धीरे-धीरे अपनी गलतियों से सीखना पड़ता है। यह जो "ज़ेवियर इनिशियलाइजेशन" (Xavier initialization) जैसे मानक तरीके करते हैं, वैसा ही है। यह किसी को एक खाली नक्शा थमाने और यह कहने जैसा है, "रास्ता खोजने के लिए शुभकामनाएँ।"

नया तरीका (S-GAI):
यह शोध पत्र S-GAI नामक एक स्मार्ट दृष्टिकोण प्रस्तावित करता है। कर्मचारी को एक खाली नक्शा देने के बजाय, शोधकर्ता कर्मचारी के काम शुरू करने से पहले मेल के ढेर का विश्लेषण करते हैं। वे ढेर में मौजूद अक्षरों के आकार, आकार (size) और पैटर्न का विश्लेषण करते हैं।

फिर वे कर्मचारी के लिए एक कस्टम, पूर्व-निर्मित नक्शा बनाते हैं। यह नक्शा कहता है, "ठीक है, सभी '7' में यहाँ एक लंबी क्षैतिज रेखा और वहाँ एक ऊर्ध्वाधर रेखा होगी। सभी 'शर्ट्स' की एक विशिष्ट चौड़ाई और बनावट होगी।" नेटवर्क अपना काम उस ज्ञान के साथ शुरू करता है जो पहले से ही उसके मस्तिष्क में समाहित है।

यह कैसे काम करता है: "स्पेक्ट्रल" नक्शा

शोधकर्ता इस नक्शे को बनाने के लिए SVD (सिंगुलर वैल्यू डिकम्पोजिशन) नामक एक गणितीय उपकरण का उपयोग करते हैं। SVD को किसी आकार की "मुख्य दिशाओं" को खोजने के एक तरीके के रूप में समझें।

औसत (Mean) खोजना: सबसे पहले, वे प्रत्येक क्लास के "औसत" आकार को पाते हैं। अंक "1" के लिए, औसत एक सीधी ऊर्ध्वाधर रेखा है। "0" के लिए, यह एक अंडाकार है।
दिशाएँ खोजना: वे देखते हैं कि आकार कैसे बदलते हैं। क्या "1" कभी बाईं ओर झुकता है? क्या "0" कभी चौड़ा होता है? ये "प्रमुख दिशाएँ" (principal directions) हैं।
ऊर्जा सीमा (Energy Threshold): वे हर छोटी बारीकी को नहीं रखते (जैसे किसी अक्षर पर लगा दाग)। वे केवल सबसे महत्वपूर्ण, बड़े-पिक्चर वाली दिशाओं को रखने के लिए एक फ़िल्टर (जिसे ऊर्जा सीमा कहा जाता है) सेट करते हैं।
गेट (Gates) बनाना: प्रत्येक महत्वपूर्ण दिशा के लिए, वे दो "गेट" (गणितीय स्विच) बनाते हैं। एक गेट यह जाँचता है कि क्या आकार बाईं ओर एक निश्चित सीमा के भीतर है, और दूसरा दाईं ओर।

परिणामस्वरूप, न्यूरल नेटवर्क की एक छिपी हुई परत (hidden layer) तैयार होती है जो उस विशिष्ट ज्यामिति (geometry) को पहचानने के लिए पहले से ही वायर्ड होती है जिसे वह देखेगी।

"स्लैब" (Slab) की उपमा

शोध पत्र इन गेट्स को "स्लैब्स" के रूप में वर्णित करता है।

कल्पना कीजिए कि आप एक पहाड़ी से लुढ़कती हुई गेंद को पकड़ने की कोशिश कर रहे हैं।

रैंडम इनिशियलाइजेशन (Xavier): आप अंधेरे में पहाड़ी के नीचे एक जाल फेंक देते हैं। आप उम्मीद करते हैं कि गेंद इसमें गिर जाएगी।
S-GAI: आप पहले पहाड़ी को देखते हैं। आप देखते हैं कि गेंद आमतौर पर एक विशिष्ट लेन में लुढ़कती है। आप अपना जाल ठीक उसी लेन में रखते हैं, जो गेंद को पकड़ने के लिए बिल्कुल सही आकार का है।

गणित की दुनिया में, एक "स्लैब" केवल एक सुरक्षित क्षेत्र है। नेटवर्क को बताया जाता है: "यदि छवि इस तरह दिखती है कि वह संख्या '3' के लिए इस सुरक्षित क्षेत्र के भीतर आती है, तो इस स्विच को ON करें।"

प्रयोग: क्या यह काम आया?

शोधकर्ताओं ने तीन प्रसिद्ध इमेज डेटासेट्स पर इसका परीक्षण किया: MNIST (हस्तलिखित अंक), Fashion-MNIST (कपड़े), और CIFAR-10 (वास्तविक दुनिया की तस्वीरें जैसे कार और जानवर)।

उन्होंने अपने "स्मार्ट मैप" नेटवर्क की तुलना "रैंडम गेस" नेटवर्क से की।

1. "जीरो-एपोक" टेस्ट (सीखने से पहले):
उन्होंने यह जाँच की कि नेटवर्क ने सीखने या अपने वेट्स (weights) को बदलने की अनुमति मिलने से पहले कैसा प्रदर्शन किया।

परिणाम: S-GAI नेटवर्क पहले से ही अविश्वसनीय रूप से अच्छा अनुमान लगाने में सक्षम था। अंक वाले डेटासेट पर, इसने एक भी चीज़ सीखे बिना 87% सटीकता के साथ शुरुआत की। रैंडम नेटवर्क लगभग 10% के साथ शुरू हुआ (जो कि केवल एक तुक्का है)।
निष्कर्ष: S-GAI नेटवर्क को आकारों को "खोजने" की आवश्यकता नहीं थी; उसे आकार चांदी की थाली में परोसे गए थे।

2. "फ्रोजन" टेस्ट (केवल आउटपुट सीखना):
उन्होंने नेटवर्क के "स्मार्ट मैप" वाले हिस्से को लॉक कर दिया ताकि वह बदल न सके, और केवल अंतिम निर्णय लेने वाले हिस्से को सीखने दिया।

परिणाम: एक जमे हुए (frozen) दिमाग के बावजूद, S-GAG नेटवर्क ने जमे हुए रैंडम नेटवर्क की तुलना में बहुत बेहतर प्रदर्शन किया।
निष्कर्ष: यह साबित करता है कि "स्मार्ट मैप" स्वयं उच्च गुणवत्ता वाला था। जो फीचर्स इसने निकाले, वे तुरंत उपयोगी थे, न कि घंटों प्रशिक्षण के बाद।

3. "फुल ट्रेनिंग" टेस्ट (सब कुछ सीखना):
उन्होंने दोनों नेटवर्कों को पूरी तरह से सीखने दिया।

परिणाम: अंत में, दोनों नेटवर्क लगभग एक ही उच्च स्तर की सटीकता तक पहुँच गए।
निष्कर्ष: S-GAI ने नेटवर्क को लंबे समय में अधिक "स्मार्ट" नहीं बनाया; इसने केवल शुरुआत को बहुत बेहतर बना दिया। यह एक ऐसे धावक की तरह है जो दौड़ की शुरुआत में अन्य लोगों से 100 मीटर आगे खड़ा है। वे उसी समय दौड़ पूरी करते हैं जब अन्य लोग फिनिश लाइन से शुरू करने वाले धावक के साथ पहुँचते हैं, लेकिन आगे खड़े धावक के लिए शुरुआत बहुत आसान रही।

यह क्यों मायने रखता है (शोध पत्र के अनुसार)

शोध पत्र का तर्क है कि हम अक्सर न्यूरल नेटवर्क के साथ ऐसा व्यवहार करते हैं जैसे उन्हें सब कुछ शून्य से सीखने की आवश्यकता हो। लेकिन डेटा (जैसे संख्याओं की छवियां) में एक छिपा हुआ ढांचा होता है।

सरल आकारों के लिए (MNIST): इसकी संरचना बहुत स्पष्ट है। S-GAI अद्भुत रूप से काम करता है, जिससे नेटवर्क को एक बड़ी बढ़त मिलती है।
जटिल आकारों के लिए (CIFAR-10): इसकी संरचना अधिक अव्यवस्थित है (एक बिल्ली कई मुद्राओं में हो सकती है, अलग-अलग फर के रंगों के साथ)। S-GAI अभी भी मदद करता है, लेकिन इसका लाभ उतना बड़ा नहीं है क्योंकि "सरल नक्शा" वास्तविक दुनिया की फोटो की जटिलता को पूरी तरह से कैप्चर नहीं कर सकता।

सारांश

S-GAI एक ऐसा न्यूरल नेटवर्क बनाने की विधि है जो पहले डेटा को देखता है, मुख्य आकारों और पैटर्न को समझता है, और फिर नेटवर्क की आंतरिक वायरिंग को उन पैटर्न से मेल खाने के लिए बनाता है।

ऐसा नहीं है कि नेटवर्क पहले दिन बिना किसी जानकारी के जागता है, बल्कि S-GAI उसे डेटा की ज्योमेट्री का एक "चीट शीट" देकर जगाता है। यह गारंटी नहीं देता कि फिनिश लाइन एकदम सटीक होगी, लेकिन यह सुनिश्चित करता है कि नेटवर्क दौड़ की शुरुआत एक बड़े लाभ के साथ करे।

तकनीकी सारांश: S-GAI – सिग्मॉइडल MLPs के लिए स्पेक्ट्रल ज्योमेट्री-अवेयर इनिशियलाइज़ेशन (Spectral Geometry-Aware Initialization)

1. समस्या विवरण (Problem Statement)

शास्त्रीय यूनिवर्सल एप्रोक्सिमेशन थ्योरम्स (UAT) यह स्थापित करते हैं कि सिग्मॉइडल मल्टीलेयर पर्सेप्ट्रॉन्स (MLPs) किसी कॉम्पैक्ट डोमेन पर किसी भी निरंतर फलन (continuous function) को अनुमानित करने की अभिव्यंजक शक्ति रखते हैं। हालाँकि, ये प्रमेय अस्तित्व संबंधी (existential) हैं; वे यह निर्धारित नहीं करते हैं कि प्रारंभिक भार (initial weights) को डेटा वितरण की विशिष्ट ज्यामितीय संरचना को कैसे एनकोड करना चाहिए। ज़ेवियर/ग्लोरॉट (Xavier/Glorot) जैसे मानक इनिशियलाइजेशन तरीके सिग्नल प्रसार और ग्रेडिएंट स्केल को स्थिर करने के लिए डिज़ाइन किए गए हैं, लेकिन वे प्रशिक्षण से पहले क्लास-विशिष्ट ज्यामिति के प्रति "अंधे" (blind) रहते हैं।

वह केंद्रीय समस्या जिसका समाधान किया जा रहा है वह यह है कि क्या प्रारंभिक भारों को इस तरह से निर्मित किया जा सकता है जो किसी भी ग्रेडिएंट-आधारित अनुकूलन (optimization) से पहले विभिन्न डेटा क्लासेज़ द्वारा घेरे गए स्थान के संरचित क्षेत्रों (जैसे MNIST में अंक या Fashion-MNIST में कपड़ों की श्रेणियाँ) को स्पष्ट रूप से एनकोड कर सके।

2. कार्यप्रणाली: S-GAI (Methodology: S-GAI)

प्रस्तावित S-GAI (स्पेक्ट्रल ज्योमेट्री-अवेयर इनिशियलाइज़ेशन) ढांचा सैद्धांतिक रचनात्मक ज्यामिति और डेटा-संचालित उच्च-आयामी इंस्टेंशिएशन के बीच के अंतर को पाटता है। यह विधि तीन चरणों में आगे बढ़ती है:

A. ज्यामितीय प्रेरणा (परिमित योगों से गेट्स तक) (Geometric Motivation: From Finite Sums to Gates)

पूर्ववर्ती रचनात्मक कार्य (Chu and Kuo [2]) पर आधारित, लेखक यह स्थापित करते हैं कि सिग्मॉइडल नेटवर्क को स्मूथ हाफ-स्पेस गेट्स (smooth half-space gates) के एकत्रीकरण के रूप में देखा जा सकता है।

हाफ-स्पेस गेट (Half-space Gate): एक यूनिट $g_{a,c,\kappa}(x) = \sigma(\kappa(c - a^\top x))$ हाफ-स्पेस $a^\top x \leq c$ के लिए एक स्मूथ इंडिकेटर के रूप में कार्य करती है।
पॉलीटोप निर्माण (Polytope Construction): इन गेट्स को जोड़कर, एक पॉलीटोप (हाफ-स्पेस के इंटरसेक्शन) और फाइनाइट कवर्स (पॉलीटोप के यूनियन) के लिए क्लासिफायर बनाया जा सकता है।
डेटा-संचालित की ओर बदलाव (Shift to Data-Driven): जबकि पूर्ववर्ती कार्य हाथ से निर्दिष्ट प्लानर कवर्स को मानते थे, S-GAI इन ज्यामितीय सीमाओं का अनुमान सीधे इमेज डेटा से लगाता है।

B. स्पेक्ट्रल क्लास ज्योमेट्री एस्टीमेशन (Spectral Class Geometry Estimation)

डेटासेट के प्रत्येक क्लास $k$ के लिए:

मीन और सेंट्रिंग (Mean and Centering): क्लास मीन $\mu_k$ की गणना करें और सैंपल्स को $x_i - \mu_k$ से केंद्रित करें।
SVD/PCA: सेंटर्ड डेटा मैट्रिक्स $X_k = U_k S_k V_k^\top$ पर सिंगुलर वैल्यू डिकंपोजिशन (SVD) करें।
एनर्जी थ्रेसहोल्डिंग (Energy Thresholding): एक रिटेंड रैंक $m_k(\tau)$ को ऊर्जा थ्रेसहोल्ड $\tau \in (0,1)$ के आधार पर चुनें, ताकि पहले $m_k$ सिंगुलर वेक्टर्स का संचयी विचरण (cumulative variance) $\tau$ से अधिक हो।
SVD-महालनोबिस रेफरेंस (SVD-Mahalanobis Reference): एक नॉन-न्यूरल सबस्पेस क्लासिफायर को रिटेन किए गए दिशाओं $V_{k, m_k}$ और एम्पिरिकल स्केल्स का उपयोग करके तैयार किया जाता है। इस क्लासिफायर में एक ट्रंकेटेड महालनोबिस डिस्टेंस टर्म और रिटेन किए गए सबस्पेस के बाहर अवशिष्ट ऊर्जा (residual energy) के लिए एक पेनल्टी टर्म शामिल है। यह एक ज्यामितीय संदर्भ के रूप में कार्य करता है कि क्या स्पेक्ट्रल ज्योमेट्री स्वाभाविक रूप से डिस्क्रिमिनेटिव है, इससे पहले कि इसे MLP में एम्बेड किया जाए।

C. सिग्मॉइड स्लैब्स में ज्योमेट्री को संकलित करना (Compiling Geometry into Sigmoid Slabs)

अनुमानित स्पेक्ट्रल ज्योमेट्री को एक वन-हिडन-लेयर सिग्मॉइड MLP के वेट्स में संकलित किया जाता है:

नॉर्मलाइज्ड कोऑर्डिनेट्स (Normalized Coordinates): प्रत्येक रिटेन की गई दिशा $v_{k,i}$ के लिए, एक नॉर्मलाइज्ड कोऑर्डिनेट परिभाषित किया जाता है: $z_{k,i}(x) = \frac{v_{k,i}^\top(x - \mu_k)}{\hat{\sigma}_{k,i}}$ ।
स्लैब गेट्स (Slab Gates): प्रत्येक दिशा के लिए एक "स्लैब" बाधा $[-\rho, \rho]$ $[- ρ, ρ]$ को दो सिग्मॉइड गेट्स का उपयोग करके मॉडल किया जाता है:
- $h^+_{k,i}(x) = \sigma(\beta(\rho - z_{k,i}(x)))$
- $h^-_{k,i}(x) = \sigma(\beta(\rho + z_{k,i}(x)))$
  ये गेट्स तब सक्रिय होते हैं जब सैंपल मुख्य दिशा के साथ स्लैब के भीतर होता है।
वेट इनिशियलाइज़ेशन (Weight Initialization): हिडन लेयर के वेट्स और बायस को इन गेट्स को लागू करने के लिए स्पष्ट रूप से सेट किया जाता है। प्रत्येक रिटेन की गई दिशा दो हिडन यूनिट्स में योगदान देती है।
आउटपुट एग्रीगेशन (Output Aggregation): आउटपुट लेयर शुरू में प्रत्येक क्लास से संबंधित गेट्स को एकत्रित करती है, जिससे एक क्लास-विशिष्ट हिडन ग्रुप स्ट्रक्चर बनता है।

कुल हिडन विड्थ $H = 2 \sum_k m_k(\tau)$ है, जिसे ऊर्जा थ्रेसहोल्ड $\tau$ द्वारा नियंत्रित किया जाता है।

3. प्रमुख योगदान (Key Contributions)

सैद्धांतिक सेतु (Theoretical Bridge): UAT फाइनाइट सम्स से स्मूथ हाफ-स्पेस और कवर-आधारित सिग्मॉइड गेट्स तक एक संक्षिप्त संबंध प्रदान करता है, जो प्लानर कंस्ट्रक्शंस को उच्च-आयामी डेटा तक विस्तारित करता है।
ज्यामितीय संदर्भ (Geometric Reference): एक SVD-आधारित सबस्पेस क्लासिफायर पेश करता है जो एक नॉन-न्यूरल रेफरेंस के रूप में कार्य करता है। यह मान्य करता है कि क्या क्लास-वाइज स्पेक्ट्रल ज्योमेट्री डिस्क्रिमिनेटिव है और ऊर्जा थ्रेसहोल्ड $\tau$ के चयन में मार्गदर्शन करता है।
S-GAI इनिशियलाइज़ेशन (S-GAI Initialization): एक डेटा-संचालित इनिशियलाइज़र प्रस्तावित करता है जहाँ हिडन यूनिट्स रैंडम नहीं हैं, बल्कि उन्हें स्पष्ट रूप से क्लास-वाइज SVD दिशाओं से प्राप्त किया गया है। हिडन लेयर को क्लास-विशिष्ट समूहों में विभाजित किया गया है, जिसमें प्रत्येक रिटेन स्पेक्ट्रल दिशा के लिए दो यूनिट्स हैं।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करता है कि S-GAI, ज़ेवियर इनिशियलाइज़ेशन की तुलना में एक काफी अधिक सूचनात्मक प्रारंभिक अवस्था बनाता है, विशेष रूप से "फ्रोजन-हिडन" (frozen-hidden) प्रोटोकॉल के तहत जहाँ हिडन लेयर को अपडेट नहीं किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग MNIST, Fashion-MNIST, और CIFAR-10 पर एक वन-हिडन-लेयर सिग्मॉइडल MLP पर Adam के साथ 20 एपॉक्स के लिए किए गए। तुलना मैच किए गए ज़ेवियर बेसलाइन्स (समान आर्किटेक्चर और विड्थ) के विरुद्ध की गई।

जीरो-एपॉक परफॉरमेंस (Zero-Epoch Performance): S-GAI-इनिशियलाइज्ड मॉडल्स, ज़ेवियर-इनिशियलाइज्ड मॉडल्स की तुलना में काफी अधिक सटीकता के साथ शुरू होते हैं।
- MNIST ( $\tau=0.95$ ): S-GAI 87.41% से शुरू होता है बनाम ज़ेवियर का ~10%।
- Fashion-MNIST ( $\tau=0.95$ ): S-GAI 71.32% से शुरू होता है बनाम ज़ेवियर का ~10%।
- CIFAR-10 ( $\tau=0.90$ ): S-GAI 20.32% से शुरू होता है बनाम ज़ेवियर का ~9.97%।
फ्रोजन-हिडन प्रोटोकॉल (Frozen-Hidden Protocol): जब हिडन लेयर को फ्रीज कर दिया जाता है और केवल आउटपुट लेयर को प्रशिक्षित किया जाता है, तो S-GAI एक मजबूत बढ़त बनाए रखता है, जो यह सिद्ध करता है कि हिडन गेट्स स्वयं उपयोगी फीचर्स हैं।
- MNIST: S-GAS (frozen) 96.73% तक पहुँचता है बनाम ज़ेवियर (frozen) 89.31% पर।
- Fashion-MNIST: S-GAI (frozen) 86.36% तक पहुँचता है बनाम ज़ेवियर (frozen) 80.52% पर।
- CIFAR-10: S-GAI (frozen) 44.36% तक पहुँचता है बनाम ज़ेवियर (frozen) 36.53% पर।
फुल ट्रेनिंग (Full Training): पूर्ण प्रशिक्षण (सभी वेट्स अपडेट होने) के तहत, S-GAI और ज़ेवियर मॉडल्स तुलनीय अंतिम सटीकता तक पहुँचते हैं (जैसे, MNIST पर ~98%, CIFAR-10 पर ~52%)। यह इंगित करता है कि S-GAI मॉडल की क्षमता (capacity) को नहीं बढ़ाता है, बल्कि अनुकूलन (optimization) के शुरुआती बिंदु को एक अधिक संरचित क्षेत्र में स्थानांतरित करता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि अनुभवजन्य क्लास ज्योमेट्री को ग्रेडिएंट-आधारित प्रशिक्षण से पहले एक सिग्मॉइडल MLP में इंजेक्ट किया जा सकता है। इसका महत्व इस बात में निहित है कि इनिशियलाइज़ेशन डेटा संरचना के प्रति अंधा होने की आवश्यकता नहीं है।

रिप्रेजेंटेशन क्वालिटी (Representation Quality): प्राथमिक योगदान एक उच्च-क्षमता वाला क्लासिफायर नहीं है, बल्कि एक बेहतर प्रारंभिक प्रतिनिधित्व है। S-GAI स्लैब गेट्स प्रभावी रूप से क्लास-डिपेंडेंट स्पेक्ट्रल ज्योमेट्री (मीन्स, डोमिनेंट डायरेक्शंस और स्केल्स) को एनकोड करते हैं।
ट्रेनिंग डायनेमिक्स (Training Dynamics): एक संरचित अवस्था से शुरू होकर, नेटवर्क प्रशिक्षण के बोझ को "शून्य से निर्णय सीमाओं (decision boundaries) की खोज करने" के बजाय पहले से मौजूद संरचित प्रतिनिधित्व को "कैलिब्रेट और रिफाइन" करने की ओर स्थानांतरित करता है।
सीमाएं और दायरा (Limitations and Scope): लेखक विनम्रतापूर्वक नोट करते हैं कि यह विधि क्लास-वाइज लीनियर SVD पर निर्भर करती है और क्लासेज़ के भीतर नॉन-लीनियर मैनिफोल्ड्स को मॉडल नहीं करती है। इसकी प्रभावशीलता उन डेटासेट्स पर उच्चतम है जिनमें स्पष्ट स्पेक्ट्रल स्ट्रक्चर है (MNIST, Fashion-MNIST) और CIFAR-10 पर कमजोर है, जहाँ क्लास पहचान स्थानीय बनावट (texture) और उच्च-स्तरीय फीचर्स पर अधिक निर्भर करती है। लेखक सुझाव देते हैं कि भविष्य के कार्य इस सिद्धांत को सीखे गए फीचर स्पेस और मजबूत इंडक्टिव बायस वाले आर्किटेक्चर (जैसे CNNs, Vision Transformers) तक विस्तारित कर सकते हैं।