DAVIS: OOD Detection via Dominant Activations and Variance for Increased Separation

यहाँ शोध पत्र "DAVIS: Dominant Activations and Variance for Increased Separation के माध्यम से OOD डिटेक्शन" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वास्तविक दुनिया के परिदृश्यों में मशीन लर्निंग (ML) मॉडल की सुरक्षित तैनाती के लिए सुदृढ़ आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्शन की आवश्यकता होती है। मॉडलों को उन इनपुट्स को पहचानना चाहिए जो उनके प्रशिक्षण वितरण (जैसे, नवीन संदर्भ या अज्ञात वर्ग) से बाहर हैं और गलत भविष्यवाणियां करने के बजाय अनिश्चितता का संकेत देना चाहिए।

मुख्य सीमा (The Core Limitation):
अधिकांश मौजूदा पोस्ट-हॉक (post-hoc) OOD डिटेक्शन विधियाँ न्यूरल नेटवर्क की पेनल्टीमेट लेयर (penultimate layer) पर लागू ग्लोबल एवरेज पूलिंग (GAP) से प्राप्त फीचर वेक्टर्स पर कार्य करती हैं।

• सूचना की हानि (Information Loss): GAP एक लॉस-ई (lossy) ऑपरेशन है जो प्रत्येक चैनल के स्थानिक सक्रियता मानचित्र (spatial activation map) को एक एकल स्केलर (माध्य/mean) में संक्षेपित कर देता है।
• त्यागे गए संकेत (Discarded Signals): यह प्रक्रिया मूल्यवान वितरण सांख्यिकी (distributional statistics), विशेष रूप से प्रमुख सक्रियता (dominant activation) और विचरण (variance/spread) को स्थायी रूप से हटा देती है।
• संरचनात्मक बेमेल (Structural Mismatch): जबकि GAP वर्गीकरण के लिए फायदेमंद स्थानिक अपरिवर्तनीयता (spatial invariance) को बढ़ावा देता है, यह उन सांख्यिकीय संकेतों (peaks और variance) को दबा देता है जो इन-डिस्ट्रीब्यूशन (ID) और OOD नमूनों के बीच अंतर करने के लिए अत्यधिक विभेदक (discriminative) होते हैं।

2. कार्यप्रणाली: DAVIS (Methodology: DAVIS)

लेखक DAVIS (Dominant Activations and Variance for Increased Separation) का प्रस्ताव करते हैं, जो एक सरल, पोस्ट-हॉक, प्लग-एंड-प्ले मॉड्यूल है जो डाउनस्ट्रीम स्कोरिंग से पहले फीचर रिप्रजेंटेशन को समृद्ध करता है।

मुख्य तंत्र (Key Mechanism):
केवल GAP द्वारा उत्पादित माध्य ($\mu$) पर निर्भर रहने के बजाय, DAVIS प्री-पूलिंग सक्रियता मानचित्रों ($g(x) \in \mathbb{R}^{n \times k \times k}$) से समृद्ध सांख्यिकी निकालता है:

1. माध्य ($\mu$): मानक चैनल-वार औसत।
2. प्रमुख सक्रियता ($m$): प्रत्येक चैनल में अधिकतम सक्रियता मान।
3. मानक विचलन ($\sigma$): चैनल-वार मानक विचलन।

फीचर फॉर्मुलेशन (Feature Formulations):
DAVIS समृद्ध फीचर वेक्टर $h_{DAVIS}(x)$ बनाने के दो तरीके प्रस्तावित करता है:

1. DAVIS($\mu, \sigma$): माध्य को स्केल किए गए मानक विचलन के साथ संवर्धित करता है।
   $$h_{DAVIS}(x) = \mu(x) + \gamma \sigma(x)$$
   जहाँ $\gamma$ एक हाइपरपैरामीटर है।
2. DAVIS($m$): माध्य फीचर वेक्टर को पूरी तरह से प्रमुख (अधिकतम) सक्रियता से बदल देता है।
   $$h_{DAVIS}(x) = m(x)$$

एकीकरण (Integration):

• मॉडल-अज्ञेय (Model-Agnostic): DAVIS को पुन: प्रशिक्षण (retraining) की आवश्यकता नहीं है। यह अंतिम वर्गीकरण परत को पास किए जाने से पहले पेनल्टीमेट लेयर के प्रतिनिधित्व को संशोधित करता है।
• अनुकूलता (Compatibility): यह मौजूदा OOD स्कोरिंग फंक्शन के साथ सहजता से एकीकृत होता है, जिसमें शामिल हैं:
  • लॉजिट-आधारित (MSP, ODIN)
  • एनर्जी-आधारित (Energy score)
  • ग्रेडिएंट-आधारित (GradNorm)
  • डिस्टेंस-आधारित (kNN)
• वर्कफ़्लो (Workflow): समृद्ध वेक्टर $h_{DAVIS}(x)$ को मूल फुली कनेक्टेड लेयर के माध्यम से पारित किया जाता है ताकि संशोधित लॉजिट्स उत्पन्न किए जा सकें, जिनका उपयोग फिर OOD स्कोर की गणना के लिए किया जाता है।

3. सैद्धांतिक विश्लेषण (Theoretical Analysis)

शोध पत्र एक सांख्यिकीय विश्लेषण प्रदान करता है जो सिद्ध करता है कि DAVIS पृथक्करण (separation) में क्यों सुधार करता है:

• अवलोकन 1: अच्छी तरह से प्रशिक्षित मॉडलों के लिए, ID नमूने OOD नमूनों की तुलना में माध्य, अधिकतम और मानक विचलन सांख्यिकी में लगातार उच्च परिमाण प्रदर्शित करते हैं।
• पृथक्करण अंतराल (Separation Gap): लेखक ID और OOD वितरणों के बीच एक पृथक्करण अंतराल ($\Delta$) को परिभाषित करते हैं। वे गणितीय रूप से सिद्ध करते हैं कि मानक विचलन ($\Delta_{\mu,\sigma}$) को शामिल करना या अधिकतम ($\Delta_m$) का उपयोग करना, केवल माध्य ($\Delta_\mu$) का उपयोग करने की तुलना में एक बड़ा पृथक्करण अंतराल प्रदान करता है।
• लॉजिट प्रोपेगेशन (Logit Propagation): इस धारणा के तहत कि क्लासिफायर का वेट मैट्रिक्स गैर-ऋणात्मक पंक्ति योग (non-negative row sums) रखता है (एक गुण जो अक्सर अनुभवजन्य रूप से देखा जाता है), बढ़ी हुई फीचर पृथक्करण सीधे आउटपुट लॉजिट स्पेस में बढ़ी हुई पृथक्करण में परिवर्तित हो जाती है, जिससे बेहतर OOD स्कोरिंग होती है।

4. मुख्य योगदान (Key Contributions)

1. GAP की सीमाओं की पहचान: शोध पत्र GAP से होने वाली सूचना की हानि को पोस्ट-हॉक OOD डिटेक्शन की एक महत्वपूर्ण, अनदेखी कमजोरी के रूप में पहचानता है।
2. DAVIS फ्रेमवर्क: प्री-पूलिंग सांख्यिकी (max और variance) का उपयोग करके फीचर रिप्रजेंटेशन को समृद्ध करने के लिए एक सरल, पूरक मॉड्यूल का परिचय।
3. व्यापक अनुभवजन्य सत्यापन: विविध आर्किटेक्चर (ResNet, DenseNet, EfficientNet, Swin-B, ConvNeXt-B) और डेटासेट (CIFAR-10/100, ImageNet-1K) पर मूल्यांकन।
4. आधुनिक आर्किटेक्चर के प्रति मजबूती: यह प्रदर्शन करता है कि DAVIS आधुनिक मॉडलों (जैसे Swin Transformers, ConvNeXt) पर विशेष रूप से प्रभावी है जहाँ पारंपरिक बेसलाइन अक्सर नॉर्मलाइजेशन (LayerNorm बनाम BatchNorm) और एक्टिवेशन फंक्शन (GeLU/SiLU बनाम ReLU) में अंतर के कारण विफल हो जाते हैं।

5. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने मानक बेंचमार्क (OpenOOD) और नियर-OOD (near-OOD) परिदृश्यों पर DAVIS का मूल्यांकन किया।

प्रदर्शन की मुख्य बातें (Performance Highlights):

• ImageNet बेंचमार्क:
  • Swin-B: DAVIS($\mu, \sigma$) + KNN ने पिछले सर्वश्रेष्ठ (GEN) की तुलना में FPR95 को 25.09% कम कर दिया।
  • ConvNeXt-B: DAVIS($\mu, \sigma$) + KNN ने CARef की तुलना में FPR95 को 16.53% कम कर दिया।
  • ResNet-50: DAVIS($\mu, \sigma$) + SCALE ने SCALE की तुलना में FPR95 को 7.96% कम कर दिया।
• CIFAR बेंचमार्क:
  • CIFAR-10 पर, DAVIS + DICE ने मजबूत बेसलाइन की तुलना में FPR95 को 52.08% (ResNet-18) और 45.12% (ResNet-34) कम किया।
  • CIFAR-100 पर, सभी परीक्षण किए गए आर्किटेक्चरों में महत्वपूर्ण सुधार देखे गए।
• Near-OOD डिटेक्शन: DAVIS ने चुनौतीपूर्ण Near-OOD सेटिंग्स (जैसे, SSB-Hard, NINCO) में मजबूती प्रदर्शित की, जो ReAct की तुलना में Swin-B पर FPR95 को 25.52% कम करता है।
• SOTA के साथ तुलना: DAVIS ने लगातार ReAct, DICE, ASH, SCALE और CADRef जैसे अत्याधुनिक (state-of-the-art) तरीकों से बेहतर प्रदर्शन किया या उनके बराबर रहा, और अक्सर एनर्जी-आधारित या kNN स्कोरिंग के साथ संयोजन में सर्वश्रेष्ठ परिणाम प्राप्त किए।

6. महत्व और प्रभाव (Significance and Impact)

• प्रतिमान परिवर्तन (Paradigm Shift): यह कार्य OOD डिटेक्शन के लिए केवल GAP-व्युत्पन्न माध्य फीचर्स पर निर्भर करने की मानक पद्धति को चुनौती देता है, और स्थानिक वितरण सांख्यिकी को बनाए रखने की वकालत करता है।
• व्यावहारिक उपयोगिता: एक पोस्ट-हॉक विधि के रूप में, DAVIS के लिए पुन: प्रशिक्षण की आवश्यकता नहीं है और इसमें नगण्य कम्प्यूटेशनल ओवरहेड (0.1% से कम GFLOPs की वृद्धि) है, जिससे यह उत्पादन प्रणालियों (production systems) में अत्यधिक तैनात करने योग्य है।
• आधुनिक मॉडल अनुकूलता: यह एक विशिष्ट अंतर को संबोधित करता है जहाँ आधुनिक डीप लर्निंग आर्किटेक्चर (LayerNorm और non-ReLU एक्टिवेशन का उपयोग करने वाले) पारंपरिक OOD डिटेक्टरों के प्रदर्शन को कम कर देते हैं। DAVIS उन मौलिक सांख्यिकीय संकेतों का लाभ उठाता है जो इन वास्तुशिल्प परिवर्तनों के बावजूद सुदृढ़ रहते हैं।
• सामान्यीकरण (Generalizability): यह विधि पारंपरिक CNN से लेकर विजन ट्रांसफॉर्मर और हाइब्रिड आर्किटेक्चर तक, मॉडल परिवारों की एक विस्तृत श्रृंखला में प्रभावी ढंग से कार्य करती है।

निष्कर्षतः, DAVIS OOD डिटेक्शन में सूचना की हानि की समस्या के लिए एक सिद्धांतपूर्ण, सरल और अत्यधिक प्रभावी समाधान प्रदान करता है, जो ओपन-वर्ल्ड सेटिंग्स में ML मॉडलों की विश्वसनीयता में महत्वपूर्ण सुधार करता है।