📊 statistics

Estimating the expected output of wide random MLPs more efficiently than sampling

यह लेख एक सैंपलिंग-मुक्त विधि प्रस्तावित करता है जो व्यापक रैंडम एमएलपी (MLP) के अपेक्षित आउटपुट का कुशलतापूर्वक अनुमान लगाने के लिए क्यूमुलेंट्स (cumulants) और हर्मिट एक्सपेंशन (Hermite expansions) का उपयोग करती है, जो पारंपरिक मोंटे कार्लो सैंपलिंग की तुलना में कम कम्प्यूटेशनल लागत और दुर्लभ घटनाओं (rare events) के लिए बेहतर सटीकता प्राप्त करती है।

मूल लेखक: Wilson Wu, Victor Lecomte, Michael Winer, George Robinson, Jacob Hilton, Paul Christiano

प्रकाशित 2026-05-07

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wilson Wu, Victor Lecomte, Michael Winer, George Robinson, Jacob Hilton, Paul Christiano

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी समस्या: औसत का अनुमान लगाना

कल्पना कीजिए कि एक विशाल, जटिल मशीन (एक न्यूरल नेटवर्क) है जो हजारों गियरों और लीवरों से बनी है। आप जानना चाहते हैं: "यदि मैं इस मशीन में एक रैंडम इनपुट डालूँ, तो इसका औसत आउटपुट क्या होगा?"

मशीन लर्निंग की दुनिया में इस प्रश्न का उत्तर देने का मानक तरीका मोंटे-कार्लो सिमुलेशन (Monte-Carlo simulation) है।

पुराना तरीका: आप मशीन में एक रैंडम इनपुट डालते हैं और आउटपुट रिकॉर्ड करते हैं। आप इसे 1,000 बार करते हैं। फिर 10,000 बार। फिर 100,000 बार। अंत में, आप इन सभी परिणामों का औसत लेते हैं।
समस्या: यह किसी शहर के सभी लोगों की औसत ऊंचाई का अनुमान लगाने के लिए एक के बाद एक व्यक्ति को मापने जैसा है। यह काम करता है, लेकिन यह अविश्वसनीय रूप से धीमा और गणनात्मक रूप से महंगा (computationally expensive) है। यदि आप बहुत सटीक उत्तर चाहते हैं, तो आपको मशीन को लाखों बार चलाना होगा।

नया समाधान: "मैकेनिकल" मैप

इस शोध पत्र के लेखक एक अलग दृष्टिकोण प्रस्तावित करते हैं। मशीन को बार-बार चलाने के बजाय, वे मशीन के गियर कैसे जुड़े हुए हैं, इसका विश्लेषण करके सीधे उत्तर की गणना करना चाहते हैं।

वे इसे क्युमलेंट प्रोपेगेशन (Cumulant Propagation) कहते हैं।

उपमा: धुंध भरी फैक्ट्री (The Foggy Factory)

कल्पना कीजिए कि मशीन एक फैक्ट्री है जहाँ एक तरफ से कच्चा माल (इनपुट) आता है और दूसरी तरफ से उत्पाद (आउटपुट) बाहर निकलता है।

इनपुट: कच्चा माल कुछ हद तक "धुंधला" या अनिश्चित (रैंडम) है।
प्रक्रिया: जैसे-जैसे सामग्री फैक्ट्री के माध्यम से यात्रा करती है, उसे विभिन्न मशीनों (नेटवर्क की परतों) द्वारा मिलाया, गर्म किया और आकार दिया जाता है।
लक्ष्य: हम जानना चाहते हैं कि फैक्ट्री के बिल्कुल अंत में उस धुंध का आकार कैसा दिखता है।

पुराना तरीका (सिमुलेशन): आप कच्चे माल के साथ एक ट्रक फैक्ट्री में भेजते हैं और देखते हैं कि क्या बाहर निकला। फिर आप दूसरा ट्रक भेजते हैं। और एक और। आप तब तक करते रहते हैं जब तक कि आपको अंतिम आकार का अच्छा अंदाजा न मिल जाए।

नया तरीका (क्युमलेंट प्रोपेगेशन): ट्रक भेजने के बजाय, आप फैक्ट्री के ब्लूप्रिंट (खाके) को देखते हैं। आप जानते हैं कि पहली मशीन धुंध को कैसे मिलाती है। आप जानते हैं कि दूसरी मशीन उसे कैसे खींचती है।

लेखकों ने एक गणितीय "लेंस" विकसित किया है (क्युमलेंट्स और हर्मिट एक्सपेंशन जैसे उपकरणों का उपयोग करके) जो उन्हें बिना वास्तव में कोई ट्रक भेजे, फैक्ट्री के माध्यम से यात्रा करते समय धुंध के आकार को ट्रैक करने की अनुमति देता है।
वे धुंध के "केंद्र", उसके "फैलाव" और उसके "उबड़-खाबड़" या "अजीब" होने के तरीके को ट्रैक करते हैं। वे इन सांख्यिकी (statistics) को एक मशीन से दूसरी मशीन में पास करते हैं, और गणितीय रूप से आकार को अपडेट करते जाते हैं जब तक कि वे अंत तक नहीं पहुँच जाते।

यह एक बड़ी बात क्यों है

यह शोध पत्र दिखाता है कि वाइड (wide) नेटवर्क (बहुत चौड़े कन्वेयर बेल्ट वाली फैक्ट्रियां) के लिए, यह नया तरीका पुराने सिमुलेशन तरीके की तुलना में बहुत अधिक तेज़ है।

दक्षता (Efficiency): समान स्तर की सटीकता प्राप्त करने के लिए, नया तरीका पुराने सिमुलेशन तरीके की तुलना में काफी कम "कंप्यूटेशनल ऑपरेशन्स" (FLOPs) का उपयोग करता है। कुछ मामलों में, यह 100 गुना तेज़ है।
दुर्लभ घटनाएँ (Rare Events): नया तरीका दुर्लभ घटनाओं का पता लगाने में विशेष रूप से अच्छा है।
- उपमा: कल्पना कीजिए कि आप जानना चाहते हैं कि फैक्ट्री में एक विशिष्ट, बहुत दुर्लभ दोष (defect) होने की संभावना क्या है।
- सिमुलेशन: आप दोष को देखने के लिए फैक्ट्री को दस लाख बार चला सकते हैं और फिर भी वह नहीं दिखेगा। आपको अनुमान लगाना होगा कि यह शून्य है, या इसे एक बार देखने के लिए आपको अरबों बार चलाना होगा।
- नया तरीका: चूंकि यह फैक्ट्री के मैकेनिक्स का विश्लेषण करता है, इसलिए यह उस दुर्लभ दोष की संभावना का अनुमान लगा सकता है जो सिमुलेशन में वास्तव में कभी हुआ ही नहीं है। यह ब्लूप्रिंट को देखकर यह कह सकता है कि, "यदि गियर ठीक इसी तरह संरेखित (aligned) हैं, तो एक दोष उत्पन्न हो सकता है," बिना इसके इंतज़ार किए कि वह वास्तव में घटित हो।

यह कैसे काम करता है (द "सीक्रेट रेसिपी")

यह संभव बनाने के लिए शोध पत्र कुछ चतुर गणितीय युक्तियों पर निर्भर करता है:

क्युमलेंट्स (Cumulants): इन्हें धुंध के "आकार" का वर्णन करने के एक तरीके के रूप में समझें।
- पहला क्युमलेंट औसत (average) है।
- दूसरा फैलाव (variance/spread) है।
- तीसरा और चौथा यह बताते हैं कि धुंध कितनी तिरछी (skewed) या नुकीली (peaked) है।
- लेखक इन आकारों को परत-दर-परत ट्रैक करते हैं।
हर्मिट एक्सपेंशन (Hermite Expansions): जब धुंध एक नॉन-लीनियर मशीन (जैसे ReLU एक्टिवेशन जो शून्य से नीचे की हर चीज़ को काट देता है) से टकराती है, तो आकार विकृत हो जाता है। लेखक इस विकृति को कैसे होने का अनुमान लगाया जाए, इसके लिए एक विशेष गणितीय श्रृंखला (जो टेयलर सीरीज़ के समान है, लेकिन आकारों के लिए है) का उपयोग करते हैं, ताकि पूर्ण सिमुलेशन का भारी काम किए बिना इसे समझा जा सके।
फैक्टरिज़ेशन (Factorization): गणित को बहुत भारी होने से बचाने के लिए, वे जटिल आकारों को छोटे, प्रबंधनीय टुकड़ों (factors) में तोड़ देते हैं, ठीक वैसे ही जैसे कोई बड़े पहेली (puzzle) को तेज़ी से हल करने के लिए उसे छोटे हिस्सों में तोड़ सकता है।

वे वास्तव में क्या दावा करते हैं

यह रैंडम नेटवर्क के लिए काम करता है: यह विधि सिद्ध करती है कि यह उन नेटवर्क पर सबसे अच्छा काम करती है जहाँ भार (weights/गियर की सेटिंग्स) को शुरुआत में रैंडम तरीके से चुना जाता है।
यह सिमुलेशन को मात देता है: वाइड नेटवर्क के लिए, यह विधि सिमुलेशन चलाने की तुलना में बहुत कम कंप्यूटर ऑपरेशन्स के साथ सटीकता के लक्ष्य तक पहुँच जाती है।
यह नेटवर्क को प्रशिक्षित कर सकता है: चूंकि यह विधि एक स्मूथ, गणितीय अनुमान प्रदान करती है (सिमुलेशन से प्राप्त शोर वाले औसत के बजाय), इसका उपयोग एक 'टीचर नेटवर्क' की नकल करने वाले 'स्टूडेंट नेटवर्क' को प्रशिक्षित करने के लिए किया जा सकता है। वे इसे "मैकेनिस्टिक डिस्टिलेशन" (mechanistic distillation) कहते हैं।
यह सुरक्षा में मदद करता है: चूंकि यह दुर्लभ, अनपेक्षित घटनाओं (टेल रिस्क) का अनुमान लगाने में बेहतर है, इसलिए यह विधि सैद्धांतिक रूप से ऐसे मॉडल को प्रशिक्षित करने में मदद कर सकती है जो विनाशकारी त्रुटियाँ करने की कम संभावना रखते हैं, जो इतनी दुर्लभ होती हैं कि मानक सिमुलेशन उन्हें पकड़ नहीं पाते।

यह क्या नहीं है

यह हर न्यूरल नेटवर्क के लिए रामबाण इलाज नहीं है। यह "वाइड" नेटवर्क (कई न्यूरॉन्स वाले) के लिए सबसे अच्छा काम करता है और अभी भी बहुत गहरे (deep) या संकीले (narrow) नेटवर्क के लिए विकसित किया जा रहा है।
यह अभी भी सभी कार्यों के लिए सिमुलेशन की जगह नहीं लेता है; यह विशिष्ट, सुव्यवस्थित परिदृश्यों में अपेक्षित मानों (expected values) का अनुमान लगाने के लिए एक विशेष उपकरण है।

संक्षेप में: लेखकों ने एक जटिल संभाव्यता प्रश्न (probability question) का उत्तर देने के लिए मशीन की संरचना का विश्लेषण करने का तरीका खोजा है, न कि मशीन को लाखों बार चलाकर उत्तर का अनुमान लगाने का तरीका।

तकनीकी सारांश: सैंपलिंग के माध्यम से तुलना में वाइड रैंडम MLPs के अपेक्षित आउटपुट का अधिक कुशल अनुमान लगाना

1. समस्या विवरण (Problem Statement)

एक न्यूरल नेटवर्क के अपेक्षित लॉस (expected loss) का अनुमान लगाने का मानक दृष्टिकोण इनपुट वितरण से नमूने (samples) लेना, प्रत्येक के लिए लॉस की गणना करना और उनका अनुभवजन्य औसत (empirical average) बनाना है (मोंटे-कार्लो सैंपलिंग)। हालांकि यह स्वाभाविक लगता है, लेकिन यह विधि तब उप-इष्टतम (suboptimal) हो सकती है जब इनपुट वितरण और लॉस फंक्शन औपचारिक रूप से निर्दिष्ट हों।

यह योगदान एक वाइड रैंडम मल्टीलेयर पर्सेप्ट्रॉन (MLP) के अपेक्षित आउटपुट का अनुमान लगाने की विशिष्ट समस्या को संबोधित करता है, जो गाऊसी (Gaussian) इनपुट पर आधारित है। विशेष रूप से, लक्ष्य यह है कि, एक निश्चित भार $\theta$ वाले नेटवर्क के साथ (जो गाऊसी इनिवेशन से प्राप्त एक "क्वेंच्ड" औसत है), निम्नलिखित का अनुमान लगाया जाए:
$\mathbb{E}_{X \sim \mathcal{N}(0, I_n)} [M_\theta(X)]$
जहाँ $M_\theta$ एक चौड़ाई $n$ और $L$ हिडन लेयर्स वाला MLP है। उद्देश्य $O(\epsilon^2)$ का लक्षित मीन स्क्वेर्ड एरर (MSE) प्राप्त करना है, जो कि नेइव मोंटे-कार्लो सैंपलिंग के लिए आवश्यक $O(n^2/\epsilon^2)$ फ्लोटिंग-पॉइंट ऑपरेशंस (FLOPs) की तुलना में काफी कम है।

2. कार्यप्रणाली (Methodology)

लेखक क्युमलेंट प्रोपेगेशन (cumulant propagation) पर आधारित सैंपलिंग-मुक्त अनुमान प्रक्रियाओं (sampling-free estimation procedures) का प्रस्ताव करते हैं। इनपुट को सैंपल करने के बजाय, ये एल्गोरिदम परत दर परत (layer by layer) सक्रियण वितरण (activation distributions) के सांख्यिकी को विश्लेषणात्मक रूप से प्रसारित करते हैं।

मुख्य गणितीय उपकरण (Core Mathematical Tools)

क्युमलेंट्स (Cumulants): एल्गोरिदम सक्रियण वितरण के क्युमलेंट्स को ट्रैक करते हैं। $k$ -वें क्रम के क्युमलेंट्स गाऊसीता से विचलन को मापते हैं (जहाँ प्रथम और द्वितीय क्रम माध्य और सहप्रसरण/covariance के अनुरूप होते हैं)।
हर्मिट विस्तार (Hermite Expansions): नॉनलीनियर एक्टिवेशन फंक्शन $\phi$ को संभालने के लिए, लेखक प्री-एक्टिवेशन वितरण के स्थानीय गाऊसी सन्निकटन के संबंध में $\phi$ को हर्मिट बहुपदों (Hermite polynomials) के रूप में विस्तारित करते हैं।
डायग्राम समेशन फॉर्मूला (Diagram Summation Formula): एक प्रमुख सैद्धांतिक योगदान हर्मिट-आधारित डायग्राम समेशन फॉर्मूला है। यह फॉर्मूला एक नॉनलीनियर लेयर के आउटपुट के क्युमलेंट्स को इनपुट के क्युमलेंट्स और एक्टिवेशन फंक्शन के हर्मिट गुणांकों के पदों में व्यक्त करता है। यह कोवेरिएंस प्रोपेगेशन (Wright et al., 2024) को मनमाने क्रमों (arbitrary orders) के लिए सामान्यीकृत करता है।

एल्गोरिद्मिक वेरिएंट्स (Algorithmic Variants)

यह योगदान चार प्रकार के एस्टिमेटर का वर्णन करता है जो कम्प्यूटेशनल लागत और सटीकता के बीच संतुलन बनाते हैं:

बेस एल्गोरिदम (Base Algorithm): अधिकतम क्रम $K$ तक के क्युमलेंट्स को ट्रैक करता है। यह लीनियर और नॉनलीनर लेयर्स के माध्यम से क्युमलेंट्स को प्रसारित करने के लिए डायग्राम समेशन फॉर्मूला का उपयोग करता है।
ऑगमेंटेड एल्गोरिदम (Augmented Algorithm): $(K+1)$ -वें क्रम के क्युमलेंट टेंसर के अतिरिक्त हार्मोनिक घटकों (विशेष रूप से पूर्ण ट्रेस/full trace) को ट्रैक करता है ताकि MSE में कांस्टेंट फैक्टर को सुधारा जा सके, बिना रनटाइम ऑर्डर को बढ़ाए।
फैक्टर्ड एल्गोरिदम (Factored Algorithm): $K$ -वें क्रम के क्युमलेंट टेंसर को फुल टेंसर (आकार $O(n^K)$ ) के बजाय फैक्टर्ड रूप (आकार $O(n^{K-1})$ ) में प्रस्तुत करता है। यह मैट्रिक्स मल्टीप्लिकेशन के लीनियर स्टेप के रनटाइम को $n$ के कारक से कम कर देता है।
फैक्टर्ड ऑगमेंटेड (Factored Augmented): दोनों सुधारों को जोड़ता है।

सटीकता के लिए महत्वपूर्ण समायोजन (Important Adjustments for Accuracy)

यह सुनिश्चित करने के लिए कि त्रुटि नेटवर्क की चौड़ाई $n$ के साथ सही ढंग से स्केल करे, लेखक दो महत्वपूर्ण समायोजन पेश करते हैं:

पावर क्युमलेंट्स (Power Cumulants): एक्टिवेशन फंक्शन $\phi$ का सीधे विस्तार करने के बजाय, वे $\phi$ की घातों (जैसे $\phi^2, \phi^3$ ) का विस्तार करते हैं। यह सक्रियण आउटपुट के वेरिएंस और उच्च मोमेंट्स की सटीक गणना करने में सक्षम बनाता है और उन मामलों को संभालता है जहाँ क्युमलेंट टेंसर के इंडेक्स दोहराए जाते हैं।
फुल ट्रेस को ट्रैक करना (Tracking the Full Trace): यदि अधिकतम क्युमलेंट क्रम $K$ विषम (odd) है, तो एल्गोरिदम $(K+1)$ -वें क्रम के क्युमलेंट टेंसर के पूर्ण ट्रेस को ट्रैक करता है। यह उन विशिष्ट सहसंबंधों (correlations) को कैप्चर करता है जो अन्यथा खो जाते और यह सुनिश्चित करता है कि त्रुटि $O(n^{-K})$ के रूप में स्केल करे।

3. मुख्य योगदान और परिणाम (Key Contributions and Results)

सैद्धांतिक परिणाम (Theoretical Results)

यह योगदान बहुपद एक्टिवेशन फंक्शन वाले नेटवर्क्स के लिए कठोर सैद्धांतिक सीमाएं प्रदान करता है (और सामान्य कार्यों के लिए एक अनुमान भी देता है):

थ्योरम 5.1 (Base Algorithm): एक निश्चित गहराई $L$ के लिए, बेस एल्गोरिदम $O(n^2/\epsilon^2)$ समय में $O(\epsilon^2)$ का MSE प्राप्त करता है। यह मोंटे-कार्लो सैंपलिंग की एसिम्प्टोटिक कॉम्प्लेक्सिटी से मेल खाता है, हालांकि इसका कांस्टेंट वैल्यू बेहतर हो सकता है।
थ्योरम 5.2 (Factored Algorithm): फैक्टर्ड रिप्रेजेंटेशन का उपयोग करके, एल्गोरिदम $O(n/\epsilon^2)$ समय में $O(\epsilon^2)$ का MSE प्राप्त करता है, बशर्ते $\epsilon(n)^2 = O(1/n^2)$ हो। यह पर्याप्त रूप से वाइड नेटवर्क्स के लिए मोंटे-कार्लो सैंपलिंग की तुलना में $n$ के कारक से स्पीडअप का प्रतिनिधित्व करता है।
एरर स्केलिंग (Error Scaling): MSE $O(1/n^K)$ के रूप में स्केल करता है, जहाँ $K$ अधिकतम ट्रैक किया गया क्युमलेंट क्रम है। त्रुटि गहराई $L$ के साथ बढ़ती है (अनुमानित रूप से $O((L/n)^K)$ ), जो सैंपलिंग की तुलना में एक सीमा (limitation) है, जहाँ त्रुटि गहराई से स्वतंत्र होती है।

अनुभवजन्य परिणाम (Empirical Results)

256 तक की चौड़ाई और 12 तक की गहराई वाले रैंडम ReLU MLPs पर प्रयोग किए गए।

दक्षता (Efficiency): फैक्टर्ड और फैक्टर्ड ऑगमेंटेड एल्गोरिदम 7 ऑर्डर्स ऑफ मैग्नीट्यूड के कंप्यूट बजट में मोंटे-कार्लो सैंपलिंग की तुलना में 10 से 1,000 गुना बेहतर प्रदर्शन करते हैं। उदाहरण के लिए, 4 हिडन लेयर्स और 256 की चौड़ाई के साथ, ये विधियाँ सैंपलिंग से 100 गुना से अधिक बेहतर प्रदर्शन करती हैं।
कम संभावनाओं का अनुमान (Estimation of Low Probabilities): ये विधियाँ दुर्लभ घटनाओं (distribution tails) की संभावनाओं का अनुमान लगाने में उत्कृष्ट हैं। जहाँ मोंटे-कार्लो सैंपलिंग तब विफल हो जाती है जब वास्तविक संभावना $1/N$ (जहाँ $N$ नमूनों की संख्या है) से नीचे गिर जाती है, वहीं क्युमलेंट प्रोपेगेशन विधि $1/N$ से कई ऑर्डर्स छोटी संभावनाओं के लिए भी कम सापेक्ष त्रुटि बनाए रखती है।
मैकेनिस्टिक डिस्टिलेशन (Mechanistic Distillation): प्रमाण के रूप में, लेखकों ने एक रैंडम "टीचर" नेटवर्क की नकल करने के लिए एक "स्टूडेंट" नेटवर्क को प्रशिक्षित करने हेतु अपने अनुमानों की अवकलनीयता (differentiability) का उपयोग किया। हालांकि यह विशिष्ट सेटअप में मानक स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) की तुलना में थोड़ा कम कुशल है, फिर भी यह विश्लेषणात्मक लॉस अनुमान के माध्यम से प्रशिक्षण की व्यवहार्यता को प्रदर्शित करता है।

4. महत्व और दावे (Significance and Claims)

लेखक इस कार्य को मैकेनिस्टिक एस्टिमेशन (mechanistic estimation) की ओर एक कदम के रूप में देखते हैं, जो एक ऐसा प्रतिमान (paradigm) है जहाँ आउटपुट वितरण के गुणों को प्राप्त करने के लिए ब्लाइंड सैंपलिंग पर निर्भर रहने के बजाय नेटवर्क के आंतरिक तंत्रों के बारे में तर्क दिया जाता है।

दक्षता: मुख्य दावा यह है कि वाइड रैंडम नेटवर्क्स के लिए, कम्प्यूटेशनल दक्षता के संबंध में अपेक्षित आउटपुट का अनुमान लगाने में विश्लेषणात्मक विधियाँ सैंपलिंग की तुलना में काफी बेहतर हो सकती हैं।
सुरक्षा और दुर्लभ घटनाएँ (Safety and Rare Events): यह योगदान इस बात पर प्रकाश डालता है कि कम-संभावना वाली घटनाओं का सटीक अनुमान लगाना सुरक्षा के लिए महत्वपूर्ण है। मानक SGD प्रशिक्षण के दौरान कभी भी किसी "विनाशकारी" दुर्लभ घटना को सैंपल नहीं कर पाएगा, जिससे ऐसे मॉडल बन सकते हैं जो ऐसे जोखिमों को अनदेखा करते हैं। मैकेनिस्टिक एस्टिमेशन सैद्धांतिक रूप से टेल प्रोबेबिलिटीज को विश्लेषणात्मक रूप से कैप्चर करके इन दुर्लभ लेकिन परिणामी घटनाओं के प्रति मजबूत मॉडल तैयार कर सकता है।
मैकेनिस्टिक ट्रेनिंग: लेखक "मैकेनिस्टिक ट्रेनिंग" की ओर एक मार्ग प्रस्तावित करते हैं, जहाँ ग्रेडिएंट डिसेंट को विश्लेषणात्मक लॉस एस्टिमेट्स पर लागू किया जाता है। वे वर्तमान सीमाओं को स्वीकार करते हैं (गारंटी मुख्य रूप से रैंडम, अनट्रेंड नेटवर्क्स के लिए लागू होती है) लेकिन सुझाव देते हैं कि भविष्य के कार्य इन विधियों को आंशिक रूप से प्रशिक्षित नेटवर्क्स (weights को 'स्ट्रक्चर' और 'रैंडमनेस' के मिश्रण के रूप में मानकर) के लिए अनुकूलित कर सकते हैं।

निष्कर्षतः, हालांकि वर्तमान परिणाम विशिष्ट रूप से रैंडम MLPs (इनिशियलाइजेशन पर) के लिए हैं, वे इस बात की एक "पहली झलक" प्रदान करते हैं कि कैसे डक्टिव (deductive), मैकेनिस्टिक सोच मशीन लर्निंग में सैंपलिंग को प्रतिस्थापित या पूरक कर सकती है, जिससे विनाशकारी टेल रिस्क (catastrophic tail risks) की संभावनाओं को नाटकीय रूप से कम करने वाले मॉडल विकसित किए जा सकते हैं।