🤖 machine learning

Learning with Shallow Neural Networks on Cluster-Structured Features

यह शोधपत्र एक सुलभ मॉडल प्रस्तावित करता है जो यह प्रदर्शित करता है कि क्लस्टर-संरचित, सहसंबंधित इनपुट से प्राप्त होने वाले लेटेंट (अव्यक्त) बूलियन चरों पर निर्भर लर्निंग टारगेट्स के लिए, ग्रेडिएंट डिसेंट के साथ प्रशिक्षित शैलो न्यूरल नेटवर्क के लिए, सैंपल कॉम्प्लेक्सिटी इनपुट आयाम के बजाय लेटेंट चरों की संख्या के साथ स्केल करती है, बशर्ते कि सिग्नल-टू-नॉइज़ रेशियो पर्याप्त रूप से उच्च हो।

मूल लेखक: Elisabetta Cornacchia, Laurent Massoulié

प्रकाशित 2026-05-15

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Elisabetta Cornacchia, Laurent Massoulié

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: शोर में संकेत खोजना

कल्पना कीजिए कि आप एक रोबोट को विभिन्न प्रकार के फलों को पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे हर फल के लिए 10,000 विशेषताओं (features) की एक विशाल सूची देते हैं: हर एक पिक्सेल पर लाल रंग का सटीक शेड, त्वचा पर छोटे उभार, आसपास की हवा का तापमान और कमरे की नमी।

वास्तविक दुनिया में डेटा ऐसा ही अस्त-व्यस्त होता है। यह उच्च-आयामी (high-dimensional) और शोर (noise) से भरा होता है। हालाँकि, यह शोध पत्र तर्क देता है कि वास्तविक डेटा यादृच्छिक (random) शोर नहीं है। इसमें एक छिपा हुआ ढांचा (structure) होता है।

उपमा: "शोर वाला कमरा" बनाम "छिपा हुआ वक्ता"
डेटा को एक बहुत ही शोर भरे, भीड़भाड़ वाले कमरे (उच्च-आयामी इनपुट) के रूप में सोचें। इस कमरे के भीतर, केवल कुछ ही लोग बोल रहे हैं (अव्यक्त चर या latent variables)।

पुराना तरीका: अधिकांश सिद्धांतों ने माना कि वक्ता एक खाली शून्य में चिल्ला रहे थे, और कमरा खाली था। उनका मानना था कि रोबोट को यह समझने के लिए कि क्या कहा जा रहा है, भीड़ के हर एक व्यक्ति को सुनना होगा।
नया तरीका: यह शोध पत्र कहता है, "ठहरिए! वक्ता वास्तव में समूहों (clusters) में बँटे हुए हैं।" शायद "सेब समूह" के सभी लोग सेब के बारे में चिल्ला रहे हैं, और "केला समूह" के सभी लोग केले के बारेв बारे में चिल्ला रहे हैं। भले ही कमरे में 10,000 लोग हों, वे वास्तव में एक ही 10 आवाजों की 100 प्रतियां मात्र हैं, जो पृष्ठभूमि के शोर से थोड़ी विकृत हो गई हैं।

यह शोध पत्र पूछता है: यदि हमें पता हो कि वक्ता समूहों में बँटे हुए हैं, तो क्या एक सरल रोबोट (एक "उथला" या shallow न्यूरल नेटवर्क) बिना किसी अत्यंत जटिल मस्तिष्क की आवश्यकता के, केवल भीड़ को सुनकर नियमों को सीख सकता है?

समस्या: "सरल" आमतौर पर क्यों विफल होता है

आमतौर पर, यदि आपके पास एक सरल रोबंड (एक उथला न्यूरल नेटवर्क) है और डेटा की विशाल मात्रा (उच्च आयाम) है, तो वह संघर्ष करता है। वह अभिभूत हो जाता है। यह घास के ढेर में से सुई खोजने जैसा है, जहाँ आपको हर एक घास के तिनके को व्यक्तिगत रूप से देखना पड़ता है। सैद्धांतिक रूप से, कुछ सीखने के लिए आपको डेटा की एक बहुत बड़ी मात्रा की आवश्यकता होगी।

हालाँकि, वास्तविक दुनिया का डेटा (जैसे चित्र, पाठ या जीन अनुक्रम) अतिरेक (redundancy) रखता है।

जीनोमिक्स में: आप 20,000 जीन माप सकते हैं। लेकिन उनमें से कई जीन कोशिका के भीतर होने वाली समान 50 जैविक प्रक्रियाओं की केवल "गूँज" (echoes) हैं।
चित्रों में: एक बिल्ली की तस्वीर में हजारों पिक्सेल होते हैं, लेकिन वे सभी सह-संबंधित (correlated) होते हैं। यदि बाईं ओर के पिक्सेल फर (fur) दिखाते हैं, तो दाईं ओर के पिक्सेल भी संभवतः वही दिखाएंगे।

समाधान: रोबोट कैसे सीखता है

लेखकों ने इसका परीक्षण करने के लिए एक गणितीय मॉडल बनाया। उन्होंने ऐसा डेटा सोचा जहाँ विशेषताएँ समूहों (clusters) में बँटी हुई हैं।

सेटअप: $N$ छिपे हुए "विषय" (जैसे "सेब" या "केला") हैं।
क्लस्टर: 10,000 विशेषताओं को समूहों में विभाजित किया गया है। समूह 1 की सभी विशेषताएँ केवल विषय 1 की शोर भरी प्रतियां हैं। समूह 2 की सभी विशेषताएँ विषय 2 की शोर भरी प्रतियां हैं।
प्रशिक्षण: उन्होंने एक मानक, सरल प्रशिक्षण विधि का उपयोग किया जिसे ग्रेडिएंट डिसेंट (Gradient Descent) कहा जाता है (इसे ऐसे समझें जैसे रोबोट अपने अनुमान को सुधारने के लिए छोटे कदम उठा रहा है) और एक दो-परत वाले न्यूरल नेटवर्क (एक "उथला" नेटवर्क, गहरा या जटिल नहीं) का उपयोग किया।

जादुई ट्रिक:
रोबोट को यह बताने की आवश्यकता नहीं है कि, "हे, ये 500 पिक्सेल सेब समूह से संबंधित हैं।" वह इसे खुद समझ लेता है।

क्योंकि क्लस्टर में मौजूद विशेषताएँ सह-संबंधित होती हैं, रोबोट की पहली परत के न्यूरॉन्स स्वाभाविक रूप से एक साथ पूरे समूह को "सुनना" शुरू कर देते हैं।
यह प्रभावी रूप से शोर को छान देता है और छिपे हुए विषय की स्पष्ट आवाज सुन लेता है।
एक बार जब वह विषय को सुन लेता है, तो नेटवर्क की दूसरी परत को बस सरल नियम सीखना होता है (जैसे, "यदि विषय 1 तेज है, तो यह एक सेब है")।

मुख्य खोज: आकार मायने नहीं रखता (अब और नहीं)

सबसे रोमांचक परिणाम इस बारेм है कि रोबोट को सीखने के लिए कितने डेटा की आवश्यकता होती है।

पुरानी अपेक्षा: यदि आपके पास 10,000 विशेषताएँ हैं, तो आमतौर पर सीखने के लिए आपको डेटा की एक विशाल मात्रा (10,000 के अनुपात में) की आवश्यकता होती है।
शोध पत्र का निष्कर्ष: यदि डेटा क्लस्टर्ड (अतिरेक युक्त) है और संकेत पर्याप्त मजबूत है, तो रोबोट को इससे कोई फर्क नहीं पड़ता कि कमरा कितना बड़ा है।
- चाहे कमरे में 100 लोग हों या 100,000 लोग, रोबोट को केवल वक्ताओं की संख्या (छिपे हुए विषयों) से संबंधित नमूनों (samples) की आवश्यकता होती है, न कि भीड़ में मौजूद लोगों की संख्या की।
- केवल एक चीज़ ही डेटा की आवश्यकता को बदलती है, और वह है आकार के लघुगणक (logarithm) से संबंधित थोड़ा सा गणित (जो कि एक बहुत ही धीमी गति से बढ़ने वाली संख्या है)।

उपमा:
कल्पना कीजिए कि आप एक गाना सीखने की कोशिश कर रहे हैं।

परिदृश्य A (असंरचित): आपको 10,000 अलग-अलग वाद्य यंत्रों को यादृच्छिक स्वर बजाते हुए सुनना पड़ता है। धुन को समझने के लिए आपको गाना 10,000 बार सुनना होगा।
परिदृश्य B (क्लस्टर्ड): आपके पास 10,000 वाद्य यंत्र हैं, लेकिन वे सभी एक ही 5 स्वर बजा रहे हैं, बस थोड़े बेसुरे हैं। आपको यह समझने के लिए केवल कुछ बार गाना सुनना होगा कि, "ओह, यह तो बस वे 5 स्वर हैं!" ऑर्केस्ट्रा का आकार गाने को सीखना कठिन नहीं बनाता।

वास्तविक दुनिया का प्रमाण

लेखकों ने केवल गणित नहीं किया; उन्होंने इसका परीक्षण भी किया।

सिंथेटिक डेटा: उन्होंने ज्ञात क्लस्टर और शोर के साथ नकली डेटा बनाया। सरल रोबोट ने पैटर्न को जल्दी सीख लिया, और डेटा की आवश्यकता तब भी स्थिर रही जब उन्होंने उसमें और अधिक "शोर" वाली विशेषताएँ जोड़ीं।
वास्तविक डेटा (जेनेटिक्स): उन्होंने मानव कोशिकाओं (RNA सीक्वेंसिंग) के एक वास्तविक डेटासेट का उपयोग किया। इस डेटा में, हजारों जीन मापे जाते हैं, लेकिन वे कुछ जैविक कार्यक्रमों द्वारा नियंत्रित होते हैं।
- उन्होंने सेल प्रकारों (जैसे B-cells बनाम T-cells) की पहचान करने के लिए एक सरल नेटवर्क को प्रशिक्षित किया।
- परिणाम: जैसे-जैसे उन्होंने जीनों (विशेषताओं) की संख्या 50 से बढ़ाकर 500 की, अच्छा परिणाम प्राप्त करने के लिए आवश्यक डेटा की मात्रा बढ़ी नहीं। रोबोट ने 500 जीनों के साथ उतनी ही तेजी से सीखा जितना उसने 50 के साथ सीखा था, जिससे यह सिद्ध हुआ कि जीनों की "क्लस्टर्ड" प्रकृति ने अतिरिक्त डेटा को अनावश्यक बना दिया और उसे अनदेखा करना आसान बना दिया।

सारांश

यह शोध पत्र दिखाता है कि उथले, सरल न्यूरल नेटवर्क हमारी सोच से कहीं अधिक स्मार्ट हैं, बशर्ते डेटा में एक विशिष्ट संरचना (सह-संबंधित विशेषताओं के क्लस्टर) हो।

यदि डेटा "अतिरेकपूर्ण" (redundant) है (कई विशेषताएँ कुछ छिपे हुए सत्यों की केवल शोर भरी प्रतियां हैं), तो एक सरल रोबोट शोर को अनदेखा कर सकता है और सत्य को बहुत कुशलता से सीख सकता है। उसे केवल इसलिए भारी मात्रा में डेटा की आवश्यकता नहीं होती क्योंकि डेटासेट विशाल है; उसे केवल उन कुछ छिपे हुए सत्यों को समझने के लिए पर्याप्त डेटा चाहिए। यह समझाता है कि डीप लर्निंग छवियों और डीएनए जैसे अव्यवस्थित, वास्तविक दुनिया के डेटा पर इतने सरल मॉडलों के साथ भी इतना अच्छा काम क्यों करती है।

तकनीकी सारांश: क्लस्टर-स्ट्रक्चर्ड फीचर्स पर शैलो न्यूरल नेटवर्क के साथ लर्निंग

समस्या विवरण (Problem Statement)

यह शोध पत्र उच्च-आयामी परिवेश में शैलो न्यूरल नेटवर्क के साथ सीखने की 'सैंपल कॉम्प्लेक्सिटी' (नमूना जटिलता) को संबोधित करता है, जहाँ इनपुट फीचर्स में मजबूत स्थानिक सहसंबंध (spatial correlations) होते हैं। जबकि मानक सैद्धांतिक मॉडल अक्सर असंरचित इनपुट्स (जैसे कि आइसोट्रोपिक गाऊसी या यूनिफॉर्म बूलियन वितरण) मानते हैं और कम-आयामी संरचना को केवल लक्षित फलन (target function) के गुण के रूप में देखते हैं, वास्तविक दुनिया का डेटा (छवियाँ, पाठ, जीनोमिक्स) अक्सर इनपुट वितरण के भीतर ही सहसंबंध प्रदर्शित करता है।

इनपुट के संरचित स्वरूपों के मौजूदा विश्लेषण आमतौर पर उन स्थितियों में कार्य करते हैं जहाँ लेटेंट आयाम (latent dimension) इनपुट आयाम के साथ बढ़ता है, जिसके परिणामस्वरूप सैंपल कॉम्प्लेक्सिटी अभी भी एम्बिएंट आयाम $d$ पर महत्वपूर्ण रूप से निर्भर करती है। यह शोध पत्र एक भिन्न परिदृश्य पर ध्यान केंद्रित करता है: जहाँ लेटेंट डिग्री ऑफ फ्रीडम ( $N$ ) सीमित रहता है ( $N = O_d(1)$ ) जबकि देखे गए फीचर्स की संख्या ( $d$ ) बढ़ती जाती है। केंद्रीय प्रश्न यह है कि क्या ग्रेडिएंट-आधारित प्रशिक्षण वाले शैलो नेटवर्क इन इनपुट सहसंबंधों का लाभ उठाकर सैंपल कॉम्प्लेक्सिटी को एम्बिएंट आयाम के बजाय इंट्रिन्सिक (आंतरिक) आयाम द्वारा नियंत्रित कर सकते हैं, बिना किसी स्पष्ट लेटेंट रिप्रेजेंटेशन के ज्ञान के।

कार्यप्रणाली (Methodology)

डेटा मॉडल (Data Model)

लेखक एक क्लस्टर्ड-स्ट्रक्चर्ड फीचर्स मॉडल प्रस्तावित करते हैं। इनपुट स्पेस $\mathbb{R}^d$ को $N$ विलगित क्लस्टर्स $C_1, \dots, C_N$ में विभाजित किया गया है।

लेटेंट वेरिएबल्स: एक गुप्त बाइनरी वेरिएबल्स का वेक्टर $s \in \{\pm 1\}^N$ यूनिफॉर्मली सैंपल किया जाता है।
ऑब्जर्वेशन जनरेशन: प्रत्येक क्लस्टर $C_i$ में फीचर $x_j$ के लिए, मान इस प्रकार उत्पन्न किया जाता है: $x_j = s_i \xi_j$ , जहाँ $\xi_j$ परस्पर स्वतंत्र सब-गाऊसी नॉइज़ वेरिएबल्स हैं जिनका माध्य $m_j$ और वेरियंस $\tau_j^2$ है।
लेबल्स: लेबल $y$ , लेटेंट वेरिएबल्स का एक अनिश्चित फलन $f(s)$ है।
आइडेंटिफिएबिलिटी (Identifiability): एक प्रमुख धारणा यह है कि कोई भी क्लस्टर अत्यधिक कमजोर नहीं होना चाहिए। विशेष रूप से, प्रत्येक क्लस्टर की सिग्नल पावर $v_i = \sum_{j \in C_i} m_j^2$ कुल सिग्नल पावर $v_{sum} = \sum v_i$ का एक स्थिर अंश होनी चाहिए।

आर्किटेक्चर और प्रशिक्षण (Architecture and Training)

यह अध्ययन एक टू-लेयर फुली कनेक्टेड न्यूरल नेटवर्क का उपयोग करता है:
$\text{NN}(x; \theta) = \sum_{h=1}^n a_h \sigma(w_h^\top x + b_h)$
प्रशिक्षण एल्गोरिदम एक लेयरवाइज स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) वेरिएंट है:

फेज 1: पहले लेयर के वेट्स $w$ पर एक सिंगल ग्रेडिएंट स्टेप लिया जाता है (दूसरे लेयर को फ्रीज करके और छोटे स्केल पर इनिशियलाइज़ करके)।
फेज 2: पहली लेयर को फ्रीज कर दिया जाता है, और दूसरे लेयर के वेट्स $a$ को स्क्वेयर्ड लॉस पर SGD का उपयोग करके कन्वर्जेंस तक प्रशिक्षित किया जाता है।

विश्लेषण विशिष्ट तकनीकी शर्तों पर निर्भर करता है:

एक्टिवेशन: डिग्री $P \ge 2N$ वाले पॉलिनोमियल एक्टिवेशन जो हर्मिट कोएफिशिएंट्स पर एक नॉन-डेजेनरेसी कंडीशन को संतुष्ट करते हैं।
इनिशियलाइजेशन: फर्स्ट लेयर वेट्स के बीच विविधता उत्पन्न करने के लिए गाऊसी इनिशियलाइज़ेशन, जो कारबेरी-राइट एंटी-कंसंट्रेशन असमानता (Carbery–Wright anti-concentration inequality) का लाभ उठाता है।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. एम्बिएंट डायमेंशन से सैंपल कॉम्प्लेक्सिटी की स्वतंत्रता

प्राथमिक सैद्धांतिक योगदान एक प्रमाण है कि, हाई सिग्नल-टू-नॉइज़ रेशियो (SNR) के साथ क्लस्टर्ड फीचर मॉडल के तहत, सीखने की सैंपल कॉम्प्लेक्सिटी इनपुट डायमेंशन $d$ से स्वतंत्र है, और केवल पोलिलॉगारिदमिक रूप से स्केल करती है।

अनौपचारिक प्रमेय 1: $N$ लेटेंट बिट्स पर एक टार्गेट फंक्शन $f$ के लिए, $O(\log(1/\epsilon))$ हिडन न्यूरॉन्स वाला एक टू-लेयर नेटवर्क जिसे लेयरवाइज-SGD द्वारा प्रशिक्षित किया गया है, अधिकतम आवश्यकता होगा:
$B \cdot (T_1 + T_2) = O\left( \frac{\log(d)^2 d}{v_{sum} \delta^2} \right) \text{ सैंपल्स}$
चूंकि हाई-SNR रिजीम में $v_{sum} = \Theta(d)$ है, इसलिए सैंपल कॉम्प्लेक्सिटी $O(\text{polylog}(d))$ के रूप में स्केल करती है। यह मानक असंरचित सेटिंग्स के विपरीत है जहाँ जटिलता आमतौर पर $d$ के साथ रैखिक या बहुपद रूप से स्केल करती है।

2. लर्निंग का तंत्र (Mechanism of Learning)

पेपर एक दो-चरणीय लर्निंग मैकेनिज्म का वर्णन करता है:

फीचर डिस्कवरी (फेज 1): पहले लेयर पर प्रारंभिक ग्रेडिएंट स्टेप वेट्स को क्लस्टर मीन दिशाओं के रैंडम लीनियर कॉम्बिनेशन के साथ संरेखित (align) करता है। रैंडम गाऊसी इनिशियलाइज़ेशन और आइडेंटिफिएबिलिटी धारणा के कारण, परिणामी हिडन यूनिट्स प्रभावी रूप से इनपुट का लेटेंट दिशाओं पर प्रोजेक्शन $u(s) = s^\top \tilde{\alpha}(w_0)$ की गणना करती हैं।
प्रोजेक्शन कंसिस्टेंसी: एंटी-कंसंट्रेशन असमानताओं का उपयोग करते हुए, लेखक दिखाते हैं कि उच्च संभावना के साथ, अलग-अलग लेटेंट कॉन्फ़िगरेशन $s$ अलग-अलग प्रोजेक्शन वैल्यू $u(s)$ में मैप होते हैं। यह सुनिश्चित करता है कि फर्स्ट लेयर एक ऐसा "सर्टिफिकेट" बनाती है जहाँ टार्गेट फंक्शन $f(s)$ हिडन यूनिट एक्टिवेशन द्वारा विशिष्ट रूप से निर्धारित होता है।
इंटरपोलेशन (फेज 2): एक विस्तृत अंतराल पर बायस (biases) को यूनिफॉर्मली सैंपल करके, नेटवर्क यह सुनिश्चित करता है कि कम से कम एक बायस प्रत्येक विशिष्ट प्रोजेक्शन वैल्यू के साथ संरेखित हो। इसके बाद दूसरा लेयर $f(s)$ को इस ग्रिड पर सटीक रूप से इंटरपोलेट करने के लिए एक लीनियर सिस्टम को हल करता है, जिससे कम जनरलाइजेशन एरर प्राप्त होता है।

3. विशेष मामला: होमोजेनियस बाइनरी सिमेट्रिक चैनल (BSC)

लेखक होमोजेनियस BSC मॉडल (जहाँ क्लस्टर्स समान आकार के हैं और नॉइज़ बाइनरी है) के लिए अपने परिणामों को परिष्कृत करते हैं। वे प्रदर्शित करते हैं कि लर्निंग एक व्यापक SNR रिजीम ( $v_{sum} = \Omega(\log(d)^4)$ ) में भी संभव है, बशर्ते कि टार्गेट फंक्शन एक "मेजोरिटी मार्जिन" नॉन-डेजेनरेसी कंडीशन को संतुष्ट करे। यह परिणाम डिटर्मिनिस्टिक इनिशियलाइज़ेशन के साथ ReLU एक्टिवेशन के लिए मान्य है।

4. अनुभवजन्य सत्यापन (Empirical Validation)

सैद्धांतिक निष्कर्षों को निम्नलिखित द्वारा सत्यापित किया गया है:

सिंथेटिक डेटा: BSC और गाऊसी मिक्सचर मॉडल्स के तहत लेटेंट बिट्स पर पैरिटी फंक्शन्स को सीखना। परिणाम दिखाते हैं कि सैंपल कॉम्प्लेक्सिटी $d$ बढ़ने के साथ स्थिर रहती है, जो सिद्धांत के अनुरूप है।
वास्तविक डेटा: सिंगल-सेल RNA-seq डेटा (GSE96583) का उपयोग करके सेल टाइप्स का वर्गीकरण। यह डेटासेट ब्लॉक-डायगोनल कोरिलेशन स्ट्रक्चर प्रदर्शित करता है जो मॉडल के अनुरूप है। प्रयोग दिखाते हैं कि विभिन्न इनपुट डायमेंशन $d \ge 200$ के लिए टेस्ट एक्यूरेसी कर्व्स लगभग एक समान हैं, जो डायमेंशन-इंडिपेंडेंट सैंपल कॉम्प्लेक्सिटी का सुझाव देते हैं।

महत्व और दावे (Significance and Claims)

यह पेपर यह प्रदर्शित करने के लिए एक सुलभ सैद्धांतिक ढांचा प्रदान करने का दावा करता है कि शैलो न्यूरल नेटवर्क इनपुट सहसंबंधों का लाभ उठाकर 'कर्स ऑफ डायमेंशनलिटी' (आयामीता का अभिशाप) को दूर कर सकते हैं, बशर्ते कि लेटेंट स्ट्रक्चर सीमित और आइडेंटिफिएबल हो।

डेप्थ सेपरेशन के पूरक के रूप में: पदानुक्रमित (hierarchical) डेटा पर केंद्रित कार्यों के विपरीत, जहाँ डीप नेटवर्क अनिवार्य रूप से आवश्यक हैं, यह कार्य दिखाता है कि जब सहसंबंध सुलभ हों, तो शैलो आर्किटेक्चर भी बिना किसी स्पष्ट लेटेंट रिप्रेजेंटेशन के कुशलतापूर्वक सीख सकता है।
रेजीम शिफ्ट: यह कार्य थर्मोडायनामिक लिमिट्स (जहाँ लेटेंट डायमेंशन इनपुट के साथ स्केल करता है) से आगे बढ़कर एक फिक्स्ड-लेटेंट रिजीम पर केंद्रित है, जो यह दिखाता है कि सैंपल कॉम्प्लेक्सिटी एम्बिएंट डायमेंशन के बजाय इंट्रिन्सिक डायमेंशन द्वारा नियंत्रित हो सकती है।
व्यावहारिक निहितार्थ: परिणाम बताते हैं कि अत्यधिक रेडंडेंट और सहसंबंधित डेटा (जैसे जीनोमिक्स) के लिए, स्टैंडर्ड SGD द्वारा प्रशिक्षित शैलो नेटवर्क कुशल लर्निंग प्राप्त कर सकते हैं, जिसमें सैंपल साइज को फीचर्स की संख्या के साथ रैखिक रूप से बढ़ने की आवश्यकता नहीं होती है।

लेखक भविष्य की दिशाओं के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि उनका वर्तमान विश्लेषण एक निश्चित संख्या में लेटेंट वेरिएबल्स $N$ को मानता है। वे सुझाव देते हैं कि इसे $N$ को $d$ के साथ बढ़ने देने (संभावित रूप से गहरे आर्किटेक्चर की आवश्यकता के साथ) और निरंतर लेटेंट वेरिएबल्स को संभालने तक विस्तारित करना भविष्य के शोध के लिए खुले प्रश्न हैं।