Scalable extensions to given-data Sobol' index estimators

तकनीकी सारांश: दिए गए-डेटा सोबोल' इंडेक्स अनुमानकों (Given-Data Sobol' Index Estimators) के स्केलेबल विस्तार

समस्या विवरण

विचरण-आधारित संवेदनशीलता विश्लेषण (VBSA), विशेष रूप से सोबोल' इंडेक्स के माध्यम से, मॉडल आउटपुट विचरण (variance) को इनपुट अनिश्चितताओं के लिए जिम्मेदार ठहराने की एक सुदृढ़ विधि है। हालांकि, पारंपरिक "पिक-फ्रीज" (pick-freeze) सैंपलिंग डिजाइन के लिए निर्धारित इनपुट मानों पर मॉडल का मूल्यांकन करने की क्षमता आवश्यक होती है और इसमें $N(d+2)$ का कम्प्यूटेशनल खर्च होता है, जहाँ $N$ सैंपल आकार है और $d$ इनपुट्स की संख्या है। यह अत्यधिक उच्च इनपुट कार्डिनैलिटी ($10^4$ से $10^5$ इनपुट्स) वाले मॉडलों के लिए या उन परिदृश्यों के लिए अव्यवहारिक हो जाता है जहाँ इनपुट्स को नियंत्रित नहीं किया जा सकता (जैसे स्टोकेस्टिक इनपुट्स या मौजूदा डेटासेट्स का पोस्ट-हॉक विश्लेषण)।

जबकि "दिए गए-डेटा" (given-data) विधियाँ बिना किसी अतिरिक्त मॉडल मूल्यांकन के असंरचित इनपुट-आउटपुट नमूनों से सोबोल' इंडेक्स का अनुमान लगाने के लिए मौजूद हैं, मौजूदा कार्यान्वयन उच्च-आयामी समस्याओं के लिए दो महत्वपूर्ण सीमाओं का सामना करते हैं:

1. मेमोरी संबंधी बाधाएं: वर्तमान विधियाँ बैच एल्गोरिदम हैं जिनमें पूरे डेटासेट को एक साथ मेमोरी में रखना आवश्यक होता है, जो बड़े $N$ और उच्च $d$ के लिए अव्यवहारिक हो जाता है।
2. पार्टिशन बायस (विभाजन पूर्वाग्रह) और स्क्रीनिंग: मौजूदा विधियाँ आमतौर पर सम-प्रायिकता (equiprobable) विभाजनों पर निर्भर करती हैं, जिन्हें लेखक दर्शाते हैं कि वे बड़े सैंपल साइज पर भी महत्वपूर्ण पूर्वाग्रह उत्पन्न कर सकती हैं। इसके अलावा, उच्च-आयामी स्थानों में नगण्य इंडेक्स की स्क्रीनिंग करना चुनौतीपूर्ण है; मानक बूटस्ट्रैप विधियाँ स्ट्रीमिंग डेटा के लिए कम्प्यूटेशनल रूप से निषेधात्मक हैं, और पिक-फ्रीज अनुमानकों के लिए प्राप्त एसिम्प्टोटिक (asymptotic) कॉन्फिडेंस इंटरवल सीधे दिए गए-डेटा अनुमानकों पर लागू नहीं होते हैं।

कार्यप्रणाली

लेखक स्केलेबिलिटी और सटीकता को संबोधित करने के लिए दिए गए-डेटा सोबोल' इंडेक्स ढांचे के अंतर्गत विस्तारों का एक समूह प्रस्तावित करते हैं।

1. मनमाने विभाजनों के साथ सामान्यीकृत अनुमानक (Generalized Estimator with Arbitrary Partitions)

लेखक एक सामान्य प्रथम-क्रम सोगोल' इंडेक्स अनुमानक को परिभाषित करते हैं जो मनमाने विभाजन (partitioning) योजनाओं को समाहित करता है, जिससे सख्त सम-प्रायता बिन (bin) की आवश्यकता शिथिल हो जाती है। अनुमानक सोबोल' सूत्र के अंश, $E[V(f(X)|X_i)]$, को बिन वेरिएंस के भारित योग (weighted sum) का उपयोग करके सन्निकट करता है:
$$\hat{S}_i = 1 - \frac{\hat{EV}_i}{\hat{V}}$$
जहाँ $\hat{EV}_i = \sum_{k=1}^M s^2(X_i \in A_k) P_k$, $s^2$ बिन $k$ के भीतर सैंपल वेरिएंस है, और $P_k$ बिन की अनुभवजन्य प्रायिकता (empirical probability) है। यह सूत्रीकरण "इक्विडिस्टेंट" (समान दूरी वाले) विभाजनों (समान रूप से अंतराल वाले बिन किनारे) के साथ-साथ सम-प्रायता विभाजनों के उपयोग की अनुमति देता है, जो असामान्य इनपुट वितरणों (जैसे स्पाइक-एंड-स्लैब घनत्व) को संभालने के लिए महत्वपूर्ण है।

2. स्ट्रीमिंग एल्गोरिदम

मेमोरी सीमाओं को दूर करने के लिए, एक स्ट्रीमिंग एल्गोरिदम विकसित किया गया है जो इनपुट-आउटपुट नमूनों को बैचों में संसाधित करता है। एल्गोरिदम तीन चरणों में कार्य करता है:

1. आरंभीकरण (Initialization): एक छोटे प्रारंभिक नमूना सेट ($n \ll N$) का उपयोग करके एक विभाजन को परिभाषित किया जाता है।
2. स्ट्रीमिंग अपडेट: जैसे-जैसे नए बैच आते हैं, नमूनों को बिन में आवंटित किया जाता है, और बिन सांख्यिकी (मीन और अनस्केल्ड वेरिएंस) को वेल्फोर्ड के ऑनलाइन अपडेट सूत्रों (या सैंपल सेट्स के लिए समकक्ष मर्जिंग सूत्रों) का उपयोग करके वृद्धिशील रूप से अपडेट किया जाता है।
3. अंतिम रूप देना (Finalization): एक बार सभी नमूनों को संसाधित करने के बाद, इंडेक्स की गणना के लिए सांख्यिकी को अंतिम रूप दिया जाता है।
   यह दृष्टिकोण मेमोरी आवश्यकताओं को $O(N \times d)$ से घटाकर $O(M \times d)$ कर देता है, जहाँ $M$ बिनों की संख्या है, जिससे मानक हार्डवेयर पर $>10^4$ इनपुट्स वाले मॉडलों का विश्लेषण संभव हो जाता है।

3. एसिम्प्टोटिक विश्लेषण और स्क्रीनिंग ह्यूरिस्टिक

पेपर एक निश्चित-विभाजन (fixed-partition) अनुमानक का सैद्धांतिक एसिम्प्टोटिक विश्लेषण प्रदान करता है:

• गैर-शून्य इंडेक्स ($S_i > 0$): अनुमानक एसिम्प्टोटिक रूप से सामान्य (normal) है जिसका त्रुटि क्षय दर (error decay rate) $N^{-1/2}$ है।
• शून्य इंडेक्स ($S_i = 0$): अनुमानक एसिम्प्टोटिक रूप से सामान्य नहीं है। इसके बजाय, यह $N^{-1}$ की तेज़ दर से अभिसरित (converge) होता है और गाऊसी चरों के द्विघात रूप (quadratic form) का अनुसरण करता है जिसमें एक सकारात्मक शिफ्ट (अनबायस्ड वेरिएंस अनुमानकों के उपयोग के कारण) होता है।

इस विशिष्ट अभिसरण व्यवहार से प्रेरित होकर, लेखक एक व्यावहारिक स्क्रीनिंग ह्यूरिस्टिक का प्रस्ताव करते हैं। वे शून्य-इंडेक्स वितरण की परिवर्तनशीलता का अनुमान नकारात्मक इंडेक्स अनुमानों के सममित मानकीकृत विचलन ($\sigma$) का उपयोग करके लगाते हैं। जिन इंडेक्स के मान $k\sigma$ (जहाँ $k=4$ अनुशंसित है) से कम हैं, उन्हें सांख्यिकीय रूप से शून्य से अभिन्न (indistinguishable) माना जाता है। यह कम्प्यूटेशनल रूप से महंगे बूटस्ट्रैपिंग की आवश्यकता को समाप्त करता है।

मुख्य परिणाम और संख्यात्मक जांच

विभाजन सटीकता (Partitioning Accuracy)

विश्लेषणात्मक परीक्षण कार्यों (सोबोल' G, इशिगामी, और बहुपद फलन) पर संख्यात्मक अध्ययन प्रकट करते हैं कि:

• सम-प्रायता बनाम इक्विडिस्टेंट: हालांकि सम-प्रायता विभाजन मानक हैं, वे गैर-समान इनपुट वितरणों (जैसे सामान्य या स्पाइक-स्लैब) के लिए महत्वपूर्ण पूर्वाग्रह उत्पन्न कर सकते हैं क्योंकि वे बदलते सशर्त वेरिएंस वाले बिनों को समान भार देते हैं। इक्विडिस्टेंट विभाजन, जो इनपुट प्रायिकता घनत्व का बेहतर अनुमान लगाते हैं, को विशिष्ट परीक्षण मामलों में इस पूर्वाग्रह को कम करने के लिए दिखाया गया था।
• आरंभीकरण संवेदनशीलता: अंतिम सोबोल' इंडेक्स की सटीकता प्रारंभिक विभाजन की परिशुद्धता (एक छोटे सैंपल सेट द्वारा परिभाषित) के प्रति अपेक्षाकृत असंवेदनशील है। केवल दो प्रारंभिक नमूनों प्रति बिन के साथ भी, स्ट्रीमिंग एल्गोरिदम ने बड़े आरंभीकरण सेटों का उपयोग करने वाले परिणामों के तुल्य परिणाम दिए।

स्क्रीनिंग ह्यूरिस्टिक प्रदर्शन

प्रस्तावित $k\sigma$ स्क्रीनिंग ह्यूरिस्टिक को प्रतिकृति सैंपलिंग वितरणों के विरुद्ध सत्यापित किया गया था:

• विषमता (Skewness): शून्य-इंडेक्स वितरणों के लिए सकारात्मक विषमता की सैद्धांतिक भविष्यवाणियों के बावजूद, अनुभवजन्य परिणाम दिखाते हैं कि व्यावहारिक सैंपल आकार ($N \ge 10^4$) और मध्यम आउटपुट विषमता के लिए, वितरण केवल मामूली रूप से विषम है, जो एक सममित मानक विचलन अनुमान के उपयोग को उचित ठहराता है।
• अभिसरण: नकारात्मक इंडेक्स से प्राप्त अनुमानित मानक विचलन ($\sigma_{symm}$) वास्तविक सैंपलिंग परिवर्तनशीलता को सटीक रूप से ट्रैक करता है और अनुमानित $N^{-1}$ अभिसरण दर प्रदर्शित करता है।
• मजबूती (Robustness): स्क्रीनिंग परिणाम (रिटेन किए गए इंडेक्स का योग) मल्टीप्लायर $k$ (3 और 5 के बीच परीक्षण किया गया) के चयन के प्रति मजबूत पाए गए, विशेष रूप से जैसे-जैसे सैंपल आकार बढ़ता है।

एनालॉग न्यूरल नेटवर्क पर अनुप्रयोग

इन विधियों को दो एनालॉग इन-मेमोरी कंप्यूटिंग न्यूरल नेटवर्क मॉडलों पर लागू किया गया जहाँ इनपुट्स (कंडक्टेंस) को निर्धारित नहीं किया जा सकता है:

1. सैटेलाइट डिटेक्शन नेटवर्क: एक मॉडल जिसमें $\approx 10^4$ वेट्स हैं। स्ट्रीमिंग एल्गोरिदम ने 50,000 नमूनों को कुशलतापूर्वक संसाधित किया। स्क्रीनिंग ह्यूरिस्टिक ने 209 प्रासंगिक वेट्स (10,696 में से) की पहचान की जो प्रथम-क्रम संवेदनशीलता पर हावी हैं, जिनमें से अधिकांश पहले कनवल्शनल लेयर में स्थित हैं।
2. CIFAR-10 क्लासिफिकेशन नेटवर्क: एक ResNet-14 मॉडल जिसमें $\approx 1.7 \times 10^5$ वेट्स हैं। मेमोरी बाधाओं के कारण, स्ट्रीमिंग एल्गोरिदम अनिवार्य था। विश्लेषण ने 1,205 प्रासंगिक कंडक्टेंस की पहचान की, जिनमें से अधिकांश नेटवर्क की दूसरी परत (लेयर 1) में केंद्रित हैं।

दोनों मामलों में, दृष्टिकोण ने संवेदनशीलता समस्या की आयाम (dimensionality) को $>10^4$ इनपुट्स से एक प्रबंधनीय उपसमुच्चय तक सफलतापूर्वक कम कर दिया, जिससे लक्षित सुधारों की सुविधा मिली।

महत्व और दावे

पेपर का दावा है कि यह अत्यंत उच्च इनपुट आयामों ($>10^4$) वाले मॉडलों (जैसे न्यूरल नेटवर्क) के लिए, जहाँ इनपुट्स निर्धारित नहीं किए जा सकते और मेमोरी सीमित है, विचरण-आधारित संवेदनशीलता विश्लेषण करने के लिए एक व्यावहारिक और सैद्धांतिक ढांचा प्रदान करता है।

इस कार्य का महत्व निम्नलिखित में निहित है:

• स्केलेबिलिटी: एक स्ट्रीमिंग एल्गोरिदम के माध्यम से बड़े पैमाने के मॉडलों (जैसे न्यूरल नेटवर्क) के लिए सोबोल' इंडेक्स गणना को सक्षम बनाना जो "ऑल-एट-वंस" मेमोरी बाधा से बचता है।
• सैद्धांतिक अंतर्दृष्टि: यह स्थापित करना कि शून्य-मूल्य वाले दिए गए-डेटा सोबोल' इंडेक्स का गैर-शून्य इंडेक्स ($N^{-1/2}$) की तुलना में एक अलग एसिम्प्टोटिक वितरण होता है (धनात्मक शिफ्ट के साथ $N^{-1}$ पर अभिसरण), जो एक नए, कुशल स्क्रीनिंग ह्यूरिस्टिक को उचित ठहराता है।
• पूर्वाग्रह शमन: यह प्रदर्शित करना कि मौजूदा विधियों में कठोर सम-प्रायता विभाजन धारणा पूर्वाग्रह उत्पन्न कर सकती है और सामान्यीकृत, लचीले विभाजन (जैसे इक्विडिस्टेंट बिन) सटीकता में सुधार कर सकते हैं।
• व्यावहारिक उपयोगिता: जटिल इंजीनियरिंग प्रणालियों (विशेष रूप से एनालॉग न्यूरल नेटवर्क) में महत्वपूर्ण मापदंडों की पहचान करने के लिए एक सत्यापित वर्कफ़्लो प्रदान करना जहाँ पारंपरिक संवेदनशीलता विश्लेषण अव्यवहारिक है।

लेखक नोट करते हैं कि जबकि वर्तमान कार्य प्रथम-क्रम इंडेक्स पर केंद्रित है, सामान्यीकृत अनुमानक और विभाजन अंतर्दृष्टि उच्च-क्रम इंडेक्स और एडेप्टिव पार्टिशनिंग रणनीतियों के लिए भविष्य के विस्तार के लिए आधार तैयार करते हैं।