📊 statistics

Uncertainty propagation through trained multi-layer perceptrons: Exact analytical results

यह शोध पत्र एक बहुभिन्नीय गाऊसी वितरण (multivariate Gaussian distribution) का अनुसरण करने वाले इनपुट के साथ, सीरीज़ विस्तार (series expansions) पर निर्भर किए बिना, ReLU सक्रियणों (activations) वाले प्रशिक्षित सिंगल-हिडन-लेयर मल्टी-लेयर पर्सेप्ट्रॉन्स के आउटपुट के माध्य (mean) और प्रसरण (variance) के लिए सटीक विश्लेषणात्मक व्यंजक प्रस्तुत करता है।

मूल लेखक: Andrew Thompson, Miles McCrory

प्रकाशित 2026-01-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrew Thompson, Miles McCrory

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ी रहस्यमयी मशीन है। आप इसमें कुछ डेटा (जैसे कि एक रेसिपी) डालते हैं, और यह एक भविष्यवाणी (जैसे कि एक केक) निकाल कर देती है। यह मशीन एक मल्टी-लेयर परसेप्ट्रॉन (MLP) है, जो आर्टिफिशियल इंटेलिजेंस का एक प्रकार है।

समस्या यह है: क्या होगा अगर आपकी रेसिपी एकदम सही न हो? शायद आपने आटा थोड़ा गलत नापा हो, या तापमान में उतार-चढ़ाव आया हो। वास्तविक दुनिया में, आपके इनपुट डेटा में हमेशा थोड़ी बहुत "लड़खड़ाहट" (wobble) या अनिश्चितता होती है।

बड़ा सवाल जिसका यह पेपर उत्तर देता है वह यह है: यदि हमें पता हो कि हमारा इनपुट कितना "लड़खड़ाता" है, तो क्या हम बिना लाखों केक बनाए यह गणना कर सकते हैं कि अंतिम केक कितना "लड़खड़ाएगा"?

यहाँ उनकी खोज का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:

1. मशीन: एक तीन-चरण वाला कारखाना

लेखकों ने इन AI मशीनों के एक विशिष्ट, सरल संस्करण को देखा। इसे एक कारखाने के रूप में सोचें जिसमें तीन स्टेशन हैं:

स्टेशन 1 (मिक्सर): आप इसमें सामग्री डालते हैं (इनपुट डेटा)। मशीन इन्हें कुछ वेट्स (weights) के साथ मिलाती है और इसमें चुटकी भर नमक डालती है (यह एक गणितीय "अफाइन ट्रांसफॉर्मेशन" है)।
स्टेशन 2 (गेटकीपर): यह सबसे महत्वपूर्ण हिस्सा है। मशीन एक ReLU फंक्शन का उपयोग करती है। एक गेट की कल्पना करें जो केवल सकारात्मक संख्याओं को ही अंदर जाने देता है। यदि संख्या नकारात्मक है, तो गेट बंद हो जाता है और आउटपुट शून्य हो जाता है। यह "नकारात्मक संख्याओं की अनुमति नहीं है" वाले नियम जैसा है।
स्टेशन 3 (बेकर): जो संख्याएं गेट से पार हुईं, उन्हें अंतिम आउटपुट (भविष्यवाणी) बनाने के लिए फिर से मिलाया जाता है।

2. पुराना तरीका: बेकिंग द्वारा अनुमान लगाना (मोंटे कार्लो)

इस पेपर से पहले, यदि आप जानना चाहते थे कि आपका अंतिम केक कितना अनिश्चित था, तो आपको मोंटे कार्लो सैंपलिंग (Monte Carlo sampling) नामक विधि का उपयोग करना पड़ता था।

उपमा: कल्पना करें कि आप जानना चाहते हैं कि यदि आटे की मात्रा एक ग्राम कम या ज्यादा हो जाए, तो केक की ऊंचाई कितनी बदल जाएगी। पुराना तरीका यह था कि आप 100,000 बार केक बनाते, हर बार आटे की मात्रा को थोड़ा सा रैंडमली बदलते। फिर आप उन सभी 100,000 केक्स को मापते, उनका औसत निकालते, और देखते कि उनमें कितना अंतर था।
नुकसान: यह धीमा है, इसमें बहुत अधिक कंप्यूटिंग पावर लगती है, और यह केवल एक अनुमान है। आपको कभी भी सटीक उत्तर नहीं मिलता, बस एक बहुत अच्छा अंदाजा मिलता है जो अधिक केक बनाने पर बेहतर होता जाता है।

3. नया तरीका: सटीक फॉर्मूला (एनालिटिकल रिजल्ट्स)

लेखकों, एंड्रयू थॉम्पसन और माइल्स मैककोरी ने एक गणितीय शॉर्टकट खोज निकाला। उन्होंने एक सटीक फॉर्मूला (एक क्लोज्ड-फॉर्म एक्सप्रेशन) तैयार किया जो आपको बताता है कि इनपुट के गणित को देखकर आउटपुट का औसत और उसकी "लड़खड़ाहट" (वेरिएंस) बिल्कुल कितनी होगी।

उपमा: 100,000 केक बनाने के बजाय, उन्होंने एक एकल समीकरण लिखा जो आपको बताता है कि आटे की "लड़खड़ाहट" मिक्सर के माध्यम से कैसे यात्रा करती है, गेट से टकराती है, और अंतिम ऊंचाई को कैसे बदलती है।
यह क्यों खास है:
- यह सटीक है: कोई अनुमान नहीं। लाखों केक बनाने की कोई आवश्यकता नहीं।
- यह पारदर्शी है: आप फॉर्मूले को देख सकते हैं और समझ सकते हैं कि आउटपुट अनिश्चित क्यों है। यह कारखाने के ब्लूप्रिंट को देखने जैसा है, न कि केवल तैयार उत्पाद को देखने जैसा।
- यह तेज़ है: आपको सिमुलेशन चलाने की आवश्यकता नहीं है; आप बस फॉर्मूले में नंबर डाल देते हैं।

4. "गेटकीपर" की चुनौती

उनके गणित का सबसे कठिन हिस्सा गेटकीपर (ReLU) था।

जब आप सामग्री मिलाते हैं, तो गणित आमतौर पर सुचारू और अनुमानित होता है (जैसे एक सीधी रेखा)।
लेकिन गेटकीपर पेचीदा है। यह शून्य से नीचे की हर चीज़ को काट देता है। यह गणित में एक "मोड़" (kink) पैदा करता है।
पिछले तरीकों ने इस "मोड़" का अनुमान लगाने के लिए लंबी, अनंत श्रृंखलाओं (infinite series) का उपयोग करने की कोशिश की (जैसे एक वृत्त को बहुत सारी छोटी सीधी रेखाओं को जोड़कर समझाने की कोशिश करना)।
ब्रेकथ्रू: लेखकों ने इस "मोड़" के परिणाम को मानक, प्रसिद्ध गणितीय उपकरणों (गौसियन इंटीग्रल्स) का उपयोग करके निकालने का तरीका खोजा, बिना उन अनंत और जटिल श्रृंखलाओं के। उन्होंने इस पहेली को सुलझाया कि जब "लड़खड़ाहट" उस "नकारात्मक संख्याओं की अनुमति नहीं है" वाले गेट से टकराती है, तो उसका व्यवहार कैसा होता है।

5. क्या यह काम कर गया? (परीक्षण)

यह साबित करने के लिए कि उनका फॉर्मूला केवल एक सिद्धांत नहीं है, उन्होंने एक वास्तविक दुनिया की समस्या पर इसका परीक्षण किया: विद्युत डेटा का उपयोग करके लिथियम-आयन बैटरी (जैसे इलेक्ट्रिक कारों में) के स्वास्थ्य की भविष्यवाणी करना।

उन्होंने बैटरी डेटा पर अपने AI को प्रशिक्षित किया।
उन्होंने टेस्ट बैटरियों का एक सेट लिया और अनिश्चितता की भविष्यवाणी करने के लिए अपने सटीक फॉर्मूला का उपयोग किया।
उन्होंने यह देखने के लिए पुराने तरीके (मोंटे कार्लो सैंपलिंग के माध्यम से 1,000,000 वर्चुअल केक बनाना) का भी उपयोग किया कि "वास्तविक" उत्तर क्या था।
परिणाम: सटीक फॉर्मूला, 1,000,000-बेक सिमुलेशन के साथ लगभग पूरी तरह से मेल खा गया, लेकिन बहुत ही कम समय में।

सारांश

यह पेपर एक जटिल, ऊबड़-खाबड़ परिदृश्य के माध्यम से की जाने वाली यात्रा के लिए एक परफेक्ट मैप (पूर्ण मानचित्र) खोजने जैसा है।

पहले: आपको यह जानने के लिए कि उभार कहाँ हैं, लाखों बार रास्ता तय करना पड़ता था।
अब: आपके पास एक ऐसा मानचित्र है जो केवल शुरुआती बिंदु को देखकर ही आपको बता देता है कि उभार कहाँ हैं और वे कितने बड़े हैं।

उन्होंने यह विशेष रूप से उन मशीनों के लिए किया जिनमें एक हिडन लेयर और एक ReLU गेट था। वे स्वीकार करते हैं कि यदि मशीन अधिक जटिल (अधिक लेयर्स) हो जाती है या अलग गेट का उपयोग करती है, तो गणित बहुत कठिन हो जाता है, लेकिन इस विशिष्ट सेटअप के लिए, उनके पास सटीक और पूर्ण उत्तर है।

तकनीकी सारांश: प्रशिक्षित मल्टी-लेयर पर्सेप्ट्रोंस के माध्यम से अनिश्चितता प्रसार

समस्या विवरण
यह शोध पत्र प्रशिक्षित मशीन लर्निंग रिग्रेशन मॉडल, विशेष रूप से मल्टी-लेयर पर्सेप्ट्रोंस (MLPs) के माध्यम से अनिश्चितता प्रसार (uncertainty propagation) की चुनौती को संबोधित करता है। जबकि मॉडल की विश्वसनीयता (जैसे, EU AI एक्ट के तहत) के लिए अनिश्चितता का निर्धारण (uncertainty quantification) तेजी से अनिवार्य होता जा रहा है, एक निश्चित मॉडल के माध्यम से ज्ञात इनपुट अनिश्चितताओं को प्रसारित करने वाली मौजूदा विधियाँ अक्सर मोंटे कार्लो (Monte Carlo) जैसे सैंपलिंग-आधारित दृष्टिकोणों पर निर्भर करती हैं। ये विधियाँ आउटपुट वितरण का अनुमान लगाने के लिए महत्वपूर्ण कम्प्यूटेशनल संसाधनों की आवश्यकता होती हैं। विश्लेषणात्मक विधियाँ, जो सटीक लक्षण वर्णन प्रदान करती हैं, अक्सर सन्निकटन (जैसे, रैखिकीकरण, एसिम्प्टोटिक सीमाएं) तक सीमित होती हैं या अनंत श्रृंखला विस्तार (infinite series expansions) पर निर्भर करती हैं जिन्हें विशिष्ट सक्रियण फलनों (activation functions) के लिए मूल्यांकन करना कम्प्यूटेशनल रूप से थकाऊ होता है।

कार्यप्रणाली (Methodology)
लेखक एकल छिपी हुई परत (single hidden layer) और ReLU सक्रियण (activation function) वाले पूर्णतः-जुड़े फीड-फॉरवर्ड MLPs पर ध्यान केंद्रित करते हैं, यह मानते हुए कि इनपुट डेटा एक बहुभिन्नरूपी गाऊसी वितरण (multivariate Gaussian distribution) का अनुसरण करता है। इसकी संरचना इस प्रकार है:

एक इनपुट वेक्टर $V$ को एक एफ़ाइन ट्रांसफॉर्मेशन के माध्यम से $W$ उत्पन्न करने के लिए पारित किया जाता है।
$W$ पर एक घटक-वार (component-wise) ReLU सक्रियण ( $X = W_+$ ) लागू किया जाता है।
एक अंतिम एफ़ाइन ट्रांसफॉर्मेशन द्वारा स्केलर आउटपुट $Y$ उत्पन्न किया जाता है।

मुख्य पद्धतिगत योगदान $Y$ के माध्य (mean) और प्रसरण (variance) के लिए सटीक विश्लेषणात्मक अभिव्यक्तियों का व्युत्पन्न (derivation) है। लेखक समस्या को विभाजित करते हैं:

एफ़ाइन परतों के माध्यम से प्रसार को गाऊसीय वितरणों के मानक रैखिक रूपांतरणों के माध्यम से संभाला जाता है।
प्राथमिक चुनौती ReLU सक्रियण के माध्यम से अनिश्चितता को प्रसारित करना है। लेखक एक रेक्टिफाइड मल्टीवेरिएट गाऊसीय वितरण के प्रथम और द्वितीय क्षणों (माध्य और सहप्रसरण) के लिए क्लोज्ड-फॉर्म अभिव्यक्तियों को व्युत्पन्न करते हैं।
विशेष रूप से, वे मानक 1D और 2D गाऊसीय इंटीग्रल्स (PDF $\phi$ और CDF $\Phi$ का उपयोग करते हुए) का उपयोग करके $E[X_i]$ , $E[X_i^2]$ , और $E[X_i X_j]$ (जहाँ $X = W_+$ ) के लिए सूत्र प्रदान करते हैं।
शोध पत्र इन परिदृश्यों के लिए कॉर्नर केस (corner cases) को भी संबोधित करता है जहाँ इनपुट प्रसरण शून्य है या सहसंबंध (correlations) पूर्ण हैं ( $|\rho| = 1$ ), जो उनके सीमा रूपों (limiting forms) प्रदान करता है।

प्रमुख योगदान

सटीक विश्लेषणात्मक अभिव्यक्तियाँ: शोध पत्र ReLU सक्रियण और गाऊसीय इनपुट वाले MLP आउटपुट के माध्य और प्रसरण के लिए क्लोज्ड-फॉर्म सूत्र प्रस्तुत करता है। अनंत टेलर श्रृंखला (Taylor series) पर निर्भर रहने वाले पिछले कार्यों (जैसे, [19]) के विपरीत, ये अभिव्यक्तियाँ परिमित हैं और केवल मानक गाऊसीय इंटीग्रल्स पर निर्भर करती हैं।
ReLU गैर-रैखिकता का प्रबंधन: व्युत्पत्ति रैखिकीकरण या शून्य-माध्य धारणाओं का सहारा लिए बिना, ReLU की गैर-रैखिकता को स्पष्ट रूप से संभालती है, जो रेक्टिफाइड वितरण के लिए सटीक परिणाम प्रदान करती है।
कॉर्नर केस विस्तार: लेखक अपने परिणामों को उन डिजेनरेट मामलों (degenerate cases) तक विस्तारित करते हैं जहाँ इनपुट अनिश्चितता शून्य है या जहाँ छिपी हुई परत के चर पूर्णतः सहसंबंधित हैं।
सत्यापन: विश्लेषणात्मक परिणामों को इलेक्ट्रिकल इम्पीडेंस स्पेक्ट्रोस्कोपी (EIS) डेटा के आधार पर लिथियम-आयन सेल के स्टेट-ऑफ-हेल्थ (SOH) के अनुमान के वास्तविक दुनिया के परीक्षण प्रश्न का उपयोग करके मोंटे कार्लो सैंपलिंग के विरुद्ध सत्यापित किया गया है।

परिणाम

सैद्धांतिक: व्युत्पन्न अभिव्यक्तियाँ (प्रमेय 1, 2, और 3) श्रृंखला ट्रंकेशन (series truncation) की आवश्यकता के बिना आउटपुट मोमेंट्स की गणना करने की अनुमति देती हैं।
अनुभवजन्य (Empirical): SOH भविष्यवाणी प्रयोग में, विश्लेषणात्मक परिणामों की तुलना $10^3$ $1 0^{3}$ से $10^6$ $1 0^{6}$ नमूनों के आकार के साथ मोंटे कार्लो सिमुलेशन के विरुद्ध की गई।
- माध्य और प्रसरण दोनों के अनुमानों के लिए विश्लेषणात्मक और मोंटे कार्लो परिणामों के बीच का रूट मीन स्क्वायर एरर (RMSE) तब कम हो गया जब मोंटे कार्लो परीक्षणों की संख्या बढ़ाई गई।
- $10^6$ परीक्षणों के साथ, माध्य और प्रसरण दोनों के अनुमानों के लिए RMSE $10^{-5}$ से नीचे गिर गया।
- नमूना आकार बनाम RMSE के लॉग-लॉग प्लॉट्स ने लगभग $-0.5 $के ग्रेडिएंट के साथ एक पावर-लॉ संबंध की पुष्टि की, जो मोंटे कार्लो विधियों की अपेक्षित$ 1/\sqrt{n}$ अभिसरण दर (convergence rate) के अनुरूप है। यह पुष्टि करता है कि विश्लेषणात्मक अभिव्यक्तियाँ उन "सत्य" मानों से मेल खाती हैं जिनका मोंटे कार्लो विधियाँ अनुमान लगाती हैं।

महत्व और दावे
शोध पत्र का दावा है कि इसका विश्लेषणात्मक दृष्टिकोण सैंपलिंग-आधारित विधियों की तुलना में अधिक सटीक, पारदर्शी और पुनरुत्पादनीय (reproducible) समाधान प्रदान करता है।

सटीकता: विश्लेषणात्मक अभिव्यक्तियाँ आउटपुट अनिश्चितता का सटीक लक्षण वर्णन करती हैं, जबकि सैंपलिंग विधियाँ केवल इसका अनुमान लगाती हैं।
पारदर्शिता: गणितीय व्युत्पत्ति अनिश्चितता के स्रोतों के बारे में अंतर्दृष्टि प्रदान करती है, जो "ब्लैक बॉक्स" सैंपलिंग के विपरीत है।
पुनरुत्पादनीयता: मूल्यांकन को दोहराने के लिए केवल इनपुट वितरण और विश्लेषणात्मक सूत्र की आवश्यकता होती है, जिससे विशिष्ट सैंपलिंग प्रक्रियाओं को रिकॉर्ड करने या दोहराने की आवश्यकता नहीं होती है।

लेखक नोट करते हैं कि जबकि वर्तमान परिणाम एकल-छिपी हुई परत वाले नेटवर्क और ReLU के लिए सटीक हैं, इन सटीक परिणामों को गहरे नेटवर्क या अन्य सक्रियण फलनों तक विस्तारित करने के लिए अलग गणितीय तकनीकों या सन्निकटन (जैसे, प्रत्येक परत पर गाऊसीय सन्निकटन) की आवश्यकता होगी। शोध पत्र निष्कर्ष निकालता है कि एकल-छिपी हुई परत वाले ReLU नेटवर्क के विशिष्ट मामले के लिए, गाऊसीय इनपुट के साथ, सटीक विश्लेषणात्मक अनिश्चितता प्रसार संभव और श्रेष्ठ है।