Catalyst: Out-of-Distribution Detection via Elastic Scaling

यहाँ शोध पत्र "Catalyst: Out-of-Distribution Detection via Elastic Scaling" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वास्तविक दुनिया के वातावरण में तैनात डीप न्यूरल नेटवर्क (DNNs) अनिवार्य रूप से आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) नमूनों का सामना करते हैं—ऐसे इनपुट जो प्रशिक्षण डेटा से अलग वितरण (distributions) से लिए गए हैं। वर्तमान अत्याधुनिक पोस्ट-हॉक OOD डिटेक्शन विधियाँ (जैसे Energy, ReAct, SCALE) लगभग पूरी तरह से ग्लोबल एवरेज पूलिंग (GAP) या आउटपुट लॉजिट्स के माध्यम से प्राप्त पेनल्टीमेट फीचर वेक्टर (penultimate feature vector) पर निर्भर करती हैं।

लेखक तर्क देते हैं कि यह निर्भरता एक सूचना बाधा (information bottleneck) उत्पन्न करती है। स्थानिक जानकारी (spatial information) को एक एकल वेक्टर में पूल (pool) करके, ये विधियाँ प्री-पूलिंग एक्टिवेशन मैप्स के कच्चे चैनल-वाइज़ सांख्यिकी (raw channel-wise statistics) में निहित समृद्ध, पूरक संकेतों को त्याग देती हैं। विशेष रूप से, व्यक्तिगत चैनलों की स्थानिक परिवर्तनशीलता (spatial variability), पीक एक्टिवेशन और एंट्रॉपी में ID (In-Distribution) और OOD नमूनों के बीच अंतर करने वाले विशिष्ट संकेत होते हैं, जो पूलिंग प्रक्रिया के दौरान लुप्त हो जाते हैं।

2. कार्यप्रणाली: Catalyst (Methodology: Catalyst)

Catalyst एक पोस्ट-हॉक फ्रेमवर्क है जिसे मॉडल को पुन: प्रशिक्षित (retraining) किए बिना इन त्याग दिए गए सांख्यिकीय संकेतों को पुनः प्राप्त करने और उनका लाभ उठाने के लिए डिज़ाइन किया गया है। यह एक इलास्टिक स्केलिंग (Elastic Scaling) तंत्र पेश करता है।

A. स्केलिंग फैक्टर ($\gamma$) की गणना करना

पूल किए गए फीचर वेक्टर का उपयोग करने के बजाय, Catalyst पेनल्टीमेट लेयर के प्री-पूलिंग एक्टिवेशन मैप ($g(\mathbf{x})$) से सीधे सांख्यिकी निकालता है। यह तीन प्रमुख चैनल-वाइज़ सांख्यिकी के आधार पर एक इनपुट-डिपेंडेंट स्केलिंग फैक्टर $\gamma(\mathbf{x})$ की गणना करता है:

1. चैनल मीन ($\mu$): जो मानक GAP फीचर वेक्टर के समकक्ष है।
2. चैनल स्टैंडर्ड डेविएशन ($\sigma$): प्रत्येक चैनल के भीतर स्थानिक परिवर्तनशीलता को मापता है।
3. चैनल मैक्सिमम ($m$): प्रत्येक चैनल में पीक एक्टिवेशन रिस्पॉन्स को कैप्चर करता है।

OOD एक्टिवेशन को स्कोर को विकृत करने से रोकने के लिए, एक क्लिपिंग मैकेनिज्म (clipping mechanism) लागू किया जाता है। प्रत्येक सांख्यिकी को एक थ्रेशोल्ड $c$ (जो ID एक्टिवेशन वितरण के पर्सेंटाइल द्वारा निर्धारित होता है) द्वारा सीमित किया जाता है:
$$\bar{f}(\mathbf{x}) = \min(f(\mathbf{x}), c)$$
अंतिम स्केलिंग फैक्टर सभी $n$ चैनलों में इन सुधारे गए फीचर्स का योग है:
$$\gamma(\mathbf{x}; f) = \sum_{i=1}^n \bar{f}_i(\mathbf{x})$$

B. इलास्टिक स्केलिंग (फ्यूजन रणनीति)

Catalyst $\gamma$ को मौजूदा बेसलाइन OOD स्कोर $S(\mathbf{x}; \theta)$ (जैसे Energy स्कोर) के साथ फ्यूज करता है। शोध पत्र दो फ्यूजन रणनीतियों का प्रस्ताव देता है लेकिन मल्टीप्लिकेटिव स्केलिंग (multiplicative scaling) को प्राथमिक विधि के रूप में चुनता है, जिसे "इलास्टिक स्केलिंग" कहा जाता है:
$$S^*(\mathbf{x}) = \gamma(\mathbf{x}) \times S(\mathbf{x})$$

• तंत्र (Mechanism): यह एक डायनेमिक मॉड्यूलेटर के रूप में कार्य करता है। विशिष्ट ID नमूनों के लिए, जहाँ बेसलाइन स्कोर और $\gamma$ दोनों उच्च होते हैं, स्कोर को बढ़ाया जाता है। OOD नमूनों के लिए, जहाँ $\gamma$ आमतौर पर कम होता है (या बेसलाइन स्कोर कम होता है), स्कोर को दबा दिया जाता है।
• लाभ: यह मल्टीप्लिकेटिव दृष्टिकोण ID स्कोर के वितरण को "फैलाता" (stretches) है और OOD स्कोर को "सिकोड़ता" (shrinks) है, जो एडिटिव शिफ्ट (additive shifts) की तुलना में दोनों वितरणों के बीच के अंतर को काफी अधिक चौड़ा कर देता है।

C. सामान्यीकरण क्षमता (Generalizability)

Catalyst को एक प्लग-एंड-प्ले मॉड्यूल के रूप में डिज़ाइन किया गया है। इसके लिए पुन: प्रशिक्षण की आवश्यकता नहीं है और इसे निम्नलिखित के साथ निर्बाध रूप से एकीकृत किया जा सकता है:

• लोगिट-आधारित विधियाँ: Energy, ReAct, DICE, ASH, SCALE, MSP, OD_IN।
• डिस्टेंस-आधारित विधियाँ: K-Nearest Neighbors (KNN)।
• आर्किटेक्चर: ResNet, DenseNet, MobileNet, आदि।

3. मुख्य योगदान (Key Contributions)

1. नया फ्रेमवर्क: Catalyst का परिचय, जो मौजूदा OOD डिटेक्टरों को बढ़ाने के लिए कम खोजे गए प्री-पूलिंग चैनल-वाइज़ सांख्यिकी का लाभ उठाने वाला एक पोस्ट-हॉक मेथड है।
2. इलास्टिक स्केलिंग मैकेनिज्म: एक मजबूत मल्टीप्लिकेटिव फ्यूजन रणनीति जो बेसलाइन स्कोर को डायनेमिक रूप से पुनर्गठित करती है, जो एडिटिव विकल्पों की तुलना में अधिक स्थिर और प्रभावी सिद्ध हुई है।
3. व्यापक मूल्यांकन: व्यापक प्रयोग जो प्रदर्शित करते हैं कि Catalyst विभिन्न आर्किटेक्चर (ResNet, DenseNet, MobileNet) और डेटासेट (CIFAR-10/100, ImageNet-1k) में लगातार प्रदर्शन में सुधार करता है।
4. सांख्यिकीय सत्यापन: एब्लेशन अध्ययन (Ablation studies) पुष्टि करते हैं कि पेनल्टीमेट लेयर सबसे विशिष्ट सिग्नल प्रदान करती है और मीडियन या एंट्रॉपी की तुलना में मीन, स्टैंडर्ड डेविएशन और मैक्सिमम सबसे मजबूत सांख्यिकी हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने मानक बेंचमार्क पर Catalyst का मूल्यांकन किया, प्रदर्शन को FPR95 (95% ट्रू पॉजिटिव रेट पर फॉल्स पॉजिटिव रेट) और AUROC के माध्यम से मापा।

• CIFAR बेंचमार्क (ResNet-18):

  • CIFAR-10: बेसलाइन की तुलना में औसत FPR95 में 32.87% की कमी आई।
  • CIFAR-100: औसत FPR95 में 27.94% की कमी आई।
  • जब ReAct के साथ जोड़ा गया, तो Catalyst ने नए अत्याधुनिक (state-of-the-art) परिणाम प्राप्त किए (जैसे, अकेले ReAct के 29.76% के मुकाबले CIFAR-10 पर 13.19% का FPR95)।

• ImageNet बेंचमार्क (ResNet-50):

  • ImageNet-1k बेंचमार्क पर औसत FPR95 में 22.25% की कमी आई।
  • ResNet-34, MobileNet-v2, और DenseNet-121 जैसे अन्य आर्किटेक्चर में महत्वपूर्ण लाभ प्रदर्शित किया।

• अन्य विधियों के साथ तालमेल (Synergy):

  • Catalyst ने ImageNet पर KNN-आधारित डिटेक्टरों में FPR95 कमी में 50% से अधिक का सुधार किया।
  • इसने प्रत्यक्ष तुलनाओं में हालिया बेसलाइन्स जैसे AdaScale, NCI, और fDBD को पछाड़ दिया।

• दक्षता (Efficiency):

  • कंप्यूटेशनल ओवरहेड: नगण्य। सांख्यिकी की गणना करने से फॉरवर्ड पास में 0.01% से भी कम का ओवरहेड जुड़ता है (उदाहरण के लिए, मीन सांख्यिकी के लिए <0.0001% जो GAP आउटपुट का पुन: उपयोग करती है)।
  • सटीकता: यह मूल ID वर्गीकरण सटीकता को बनाए रखता है क्योंकि यह मॉडल के इन्फरेंस पाथ या वेट्स को नहीं बदलता है।

5. महत्व और प्रभाव (Significance and Impact)

• पैराडाइम शिफ्ट: Catalyst इस पारंपरिक धारणा को चुनौती देता है कि पूल्ड फीचर वेक्टर ही OOD डिटेक्शन के लिए एकमात्र विशिष्ट सूचना का स्रोत है। यह सिद्ध करता है कि कच्चे चैनल सांख्यिकी में महत्वपूर्ण, पूरक संकेत होते हैं।
• सुरक्षा-महत्वपूर्ण अनुप्रयोग (Safety-Critical Applications): फॉल्स पॉजिटिव (FPR95) को काफी कम करके, Catalyst स्वायत्त ड्राइविंग और चिकित्सा निदान जैसे उच्च-दांव वाले डोमेन में AI सिस्टम की विश्वसनीयता बढ़ाता है, जहाँ OOD नमूने का पता लगाने में विफल होना गंभीर परिणाम दे सकता है।
• व्यावहारिक तैनाती: एक हल्के, पोस्ट-हॉक समाधान के रूप में जिसे पुन: प्रशिक्षण की आवश्यकता नहीं है, Catalyst मौजूदा तैनात मॉडलों में तुरंत लागू किया जा सकता है, जो वर्तमान OOD डिटेक्शन पाइपलाइनों को "मुफ्त" प्रदर्शन बूस्ट प्रदान करता है।
• सामान्यीकरण: फ्रेमवर्क की लॉजिट-आधारित और डिस्टेंस-आधारित दोनों विधियों के साथ काम करने की क्षमता इसे व्यापक OOD डिटेक्शन क्षेत्र के लिए एक सार्वभौमिक एनहेंसर बनाती है।

निष्कर्षतः, Catalyst यह प्रदर्शित करता है कि प्री-पूलिंग सांख्यिकी का उपयोग करके "इलास्टिक स्केलिंग" ID और OOD वितरणों के बीच के अंतर को पाटने के लिए एक शक्तिशाली, सामान्यीकरण योग्य और कुशल रणनीति है, जो पोस्ट-हॉक OOD डिटेक्शन के लिए एक नया बेंचमार्क स्थापित करती है।