Global Sequential Testing for Multi-Stream Auditing

तकनीकी सारांश: मल्टी-स्ट्रीम ऑडिटिंग के लिए ग्लोबल सीक्वेंशियल टेस्टिंग

समस्या का स्वरूप (Problem Formulation)
यह शोध पत्र कई डेटा स्ट्रीम्स (जैसे कि विभिन्न जनसांख्यिकीय समूह, भौगोलिक स्थान, या इमेजिंग मोडैलिटीज) में मशीन लर्निंग (ML) सिस्टमों की निरंतर ऑडिटिंग की चुनौती को संबोधित करता है। इसका लक्ष्य यह पता लगाना है कि क्या सिस्टम किसी भी $k$ स्ट्रीम्स पर उप-इष्टतम (sub-optimal) प्रदर्शन कर रहा है। इसे एक ग्लोबल नल हाइपोथीसिस ($H_{global}^0$) के साथ एक सीक्वेंशियल हाइपोथीसिस टेस्टिंग समस्या के रूप में औपचारिक रूप दिया गया है, जो यह दावा करती है कि सिस्टम सभी $k$ स्ट्रीम्स में इच्छित रूप से कार्य कर रहा है (अर्थात, विचलन चर का माध्य सभी स्ट्रीम्स के लिए शून्य है)। वैकल्पिक हाइपोथीसिस ($H_{global}^1$) यह मानती है कि कम से कम एक स्ट्रीम का माध्य गैर-शून्य है।

लेखक इन परीक्षणों की दक्षता, विशेष रूप से अपेक्षित स्टॉपिंग टाइम ($E[\tau]$) पर ध्यान केंद्रित करते हैं, जो यह मापता है कि जब वैकल्पिक हाइपोथीसिस सत्य हो, तो परीक्षण कितनी जल्दी नल हाइपोथीसिस को खारिज कर सकता है। मानक दृष्टिकोण बोनफेरोनी सुधार (Bonferroni correction) का उपयोग करता है, जो प्रत्येक स्ट्रीम के अधिकतम वेल्थ (प्रमाण) को ट्रैक करता है और महत्व सीमा (significance threshold) को समायोजित करता है। हालांकि यह विधि $\alpha$-स्तर का परीक्षण सुनिश्चित करती है, लेकिन यह शोध पत्र तर्क देता है कि "घने" (dense) परिदृश्यों में यह अक्षम है जहाँ कई स्ट्रीम्स नल से विचलित होती हैं, क्योंकि यह कई स्ट्रीम्स से प्रमाण को प्रभावी ढंग से एकत्रित करने में विफल रहता है।

कार्यप्रणाली (Methodology)
लेखक "टेस्टिंग-बाय-बेटिंग" फ्रेमवर्क का उपयोग करते हैं, जिसमें प्रत्येक स्ट्रीम के लिए गैर-ऋणात्मक सुपरमार्टिंगेल्स (वेल्थ प्रोसेसेज) का निर्माण किया जाता है। एक एकल स्ट्रीम $i$ के लिए, वे बेटिंग अंशों (betting fractions) को अपडेट करने के लिए ऑनलाइन न्यूटन स्टेप (ONS) एल्गोरिदम का उपयोग करते हैं, जिससे यह सुनिश्चित होता है कि वेल्थ प्रोसेस वैकल्पिक हाइपोथीसिस के तहत तेजी से बढ़े और नल के तहत मार्टिंगेल बना रहे।

ग्लोबल नल परीक्षण के लिए, शोध पत्र $k$ व्यक्तिगत वेल्थ प्रोसेसेज ($W_i$) से प्रमाण को विलय (merge) करने की तीन रणनीतियों की जांच करता है:

1. बोनफेरोनी ($\phi_{bonf}$): यह अधिकतम वेल्थ, $\max_i W_i$, को ट्रैक करता है जिसका थ्रेशोल्ड $k/\alpha$ है।
2. प्रोडक्ट ($\phi_{prod}$): यह वेल्थ प्रोसेसेज के गुणनफल के माध्यम से प्रमाण को विलय करता है, $W_t^{prod} = \prod_{i=1}^k W_{i,t}$।
3. एवरेज ($\phi_{ave}$): यह अंकगणितीय माध्य के माध्यम से प्रमाण को विलय करता है, $W_t^{ave} = \frac{1}{k} \sum_{i=1}^k W_{i,t}$।

लेखक स्पार्स अल्टरनेटिव्स (कम गैर-नल स्ट्रीम्स) और डेंस अल्टरनेटिव्स (अधिक गैर-नल स्ट्रीम्स) दोनों के तहत प्रोडक्ट और एवरेज टेस्ट के अपेक्षित स्टॉपिंग टाइम के लिए नए सैद्धांतिक बाउंड्स (bounds) प्राप्त करते हैं।

मुख्य योगदान और सैद्धांतिक परिणाम (Key Contributions and Theoretical Results)
यह शोध पत्र विलय-आधारित (merging-based) सीक्वेंशियल टेस्ट के लिए कठोर स्टॉपिंग टाइम गारंटी प्रदान करता है, जो उनकी पूरक शक्तियों को उजागर करता है:

• प्रोडक्ट टेस्ट ($\phi_{prod}$): घने परिदृश्यों (जहाँ कई स्ट्रीम्स नॉन-नल हैं) में, प्रोडक्ट टेस्ट $O(\frac{1}{k} \ln \frac{1}{\alpha})$ का अपेक्षित स्टॉपिंग टाइम प्राप्त करता है। यह बोनफेरोनी दर $O(\ln k / \alpha)$ की तुलना में काफी तेज है। हालांकि, स्पार्स परिदृश्यों में, इसका प्रदर्शन गिरकर $O(k \ln k)$ हो जाता है, जिससे यह अक्षम हो जाता है जब केवल कुछ ही स्ट्रीम्स नॉन-नल होती हैं।
• एवरेज टेस्ट ($\phi_{ave}$): स्पार्स परिदृश्यों में, एवरेज टेस्ट बोनफेरोनी दर $O(\ln k / \alpha)$ से मेल खाता है। घने परिदृश्यों में, यह $O(\ln 1/\alpha)$ में सुधर जाता है, हालांकि यह प्रोडक्ट टेस्ट की तरह $O(1/k)$ त्वरण प्राप्त नहीं करता है।
• बैलेंस्ड टेस्ट ($\phi_{balance}$): यह अनिश्चितता को दूर करने के लिए कि वैकल्पिक हाइपोथीसिस स्पार्स है या डेंस, लेखक एक सरल बैलेंस्ड टेस्ट प्रस्तावित करते हैं जो प्रोडक्ट और एवरेज वेल्थ प्रोसेसेज को औसत करता है ($W_t^{balance} = \frac{1}{2}W_t^{ave} + \frac{1}{2}W_t^{prod}$)।
  • थ्योरम 4.3 यह स्थापित करता है कि यह बैलेंस्ड टेस्ट दोनों दुनियाओं का सर्वश्रेष्ठ परिणाम देता है: यह स्पार्स परिदृश्यों में $O(\ln k / \alpha)$ दर और घने परिदृश्यों में $O(\frac{1}{k} \ln \frac{1}{\alpha})$ दर प्राप्त करता है, बिना स्पर्सिटी स्तर के पूर्व ज्ञान के।

प्रायोगिक सत्यापन (Experimental Validation)
लेखक सिंथेटिक और वास्तविक दुनिया के डेटा का उपयोग करके अपने सिद्धांत को सत्यापित करते हैं:

• सिंथेटिक डेटा: $k=250$ स्ट्रीम्स के प्रयोगों से पता चलता है कि $\phi_{prod}$ स्पार्स सेटिंग्स (1% नॉन-नल) में विफल रहता है लेकिन डेंस सेटिंग्स (75% नॉन-नल) में उत्कृष्ट प्रदर्शन करता है। इसके विपरीत, $\phi_{ave}$ और $\phi_{bonf}$ स्पार्स सेटिंग्स में अच्छा प्रदर्शन करते हैं लेकिन डेंस सेटिंग्स में धीमे होते हैं। बैलेंस्ड टेस्ट लगातार प्रत्येक परिदृश्य में सर्वश्रेष्ठ प्रदर्शन करने वाली रणनीति के साथ मेल खाता है।
• वास्तविक दुनिया का डेटा: विधियों को इमेजिंग मोडैलिटीज और एनाटॉमिकल क्षेत्रों द्वारा परिभाषित 10 समूहों में ConceptCLIP, एक मेडिकल विजन-लैंग्वेज मॉडल, के ऑडिट के लिए लागू किया गया।
  • एक जीरो-शॉट (zero-shot) सेटिंग में (जहाँ मॉडल ने अधिकांश समूहों में पूर्वाग्रह दिखाया), प्रोडक्ट और बैलेंस्ड टेस्ट ने सबसे तेजी से नल को खारिज किया।
  • एक पोस्ट-प्रोसेस्ड (post-processed) सेटिंग में (एक स्पार्स अल्टरनेटिव का अनुकरण करते हुए जहाँ पूर्वाग्रह केवल एक समूह में मौजूद था), एवरेज और बैलेंस्ड टेस्ट ने सबसे तेजी से खारिज किया, जो बैलेंस्ड दृष्टिकोण की सैद्धांतिक अनुकूलन क्षमता की पुष्टि करता है।

महत्व (Significance)
यह शोध पत्र दावा करता है कि जबकि बोनफेरोनी सुधार ग्लोबल सीक्वेंशियल टेस्टिंग के लिए एक मानक और सरल दृष्टिकोण है, यह हमेशा कुशल नहीं होता है, विशेष रूप से तब जब नल के विरुद्ध प्रमाण कई स्ट्रीम्स में वितरित होता है। एवरेजिंग और प्रोडक्ट नियमों के माध्यम से मर्ज़िंग मार्टिंगेल्स का लाभ उठाकर, लेखक यह प्रदर्शित करते हैं कि ऐसे परीक्षणों का निर्माण करना संभव है जिनके स्टॉपिंग टाइम में काफी सुधार हुआ है। प्राथमिक योगदान बैलेंस्ड टेस्ट है, जो एक मजबूत समाधान प्रदान करता है जो वैकल्पिक हाइपोथीसिस की अज्ञात स्पर्सिटी के अनुकूल होता है, जो टाइप-I एरर पर सख्त नियंत्रण बनाए रखते हुए मल्टी-स्ट्रीम ऑडिटिंग परिदृश्यों में त्रुटिपूर्ण मॉडल व्यवहार का तेजी से पता लगाने की सुविधा देता है।