तकनीकी सारांश: टेबुलर विसंगति पहचान (Tabular Anomaly Detection) के लिए कर्टोसिस-गाइडेड डिनोइजिंग स्कोर मैचिंग (Kurtosis-Guided Denoising Score Matching)

समस्या विवरण (Problem Statement)

टेबुलर डेटा में विसंगति पहचान (Anomaly detection) के लिए उन अवलोकनों (observations) की पहचान करना आवश्यक है जो अपेक्षित वितरण (expected distribution) से विचलित होते हैं। हालांकि डिनोइजिंग स्कोर मैचिंग (DSM) उच्च-आयामी वितरणों को मॉडल करने के लिए स्कोर फंक्शन (लॉग-घनत्व का ग्रेडिएंट) सीखने के माध्यम से एक शक्तिशाली ढांचा प्रदान करता है, लेकिन इसे एक महत्वपूर्ण व्यावहारिक चुनौती का सामना करना पड़ता है: शोर स्केल चयन (noise scale selection)।

मानक DSM सभी विशेषताओं (features) पर वैश्विक रूप से लागू एक एकल, निश्चित शोर स्केल ($\sigma$) पर निर्भर करता है। यह एक विरोधाभास पैदा करता है:

• बहुत कम शोर: सीखे गए स्कोर अनुमान विरल क्षेत्रों (sparse regions) में अस्थिर होते हैं, जिससे वे उन संरचनाओं को पकड़ने में विफल रहते हैं जहाँ विसंगतियाँ आमतौर पर निवास करती हैं।
• बहुत अधिक शोर: विक्षोभ (perturbation) स्थानीय संरचना को मिटा देता है, जिससे सामान्य और विसंगत नमूनों के बीच के अंतर धुंधले हो जाते हैं और संवेदनशीलता कमजोर हो जाती है।

मौजूदा समाधान, जैसे मल्टी-स्केल स्कोर मैचिंग (MSM) या नॉइज़ कंडीशनल स्कोर नेटवर्क (NCSNs), कई शोर स्केल्स पर मॉडल को प्रशिक्षित करके इस समस्या को हल करने का प्रयास करते हैं। हालाँकि, ये दृष्टिकोण महत्वपूर्ण कम्प्यूटेशनल ओवरहेड पेश करते हैं, इन्फरेंस-टाइम शोर चयन के लिए जटिल प्रक्रिया की आवश्यकता होती है, और अक्सर तब विफल हो जाते हैं जब आर्किटेक्चर को सावधानीपूर्वक ट्यून नहीं किया जाता है। इसके अलावा, पूरी तरह से अनसुपरवाइज्ड (दूषित/contaminated) सेटिंग्स में जहाँ प्रशिक्षण डेटा में विसंगतियाँ मौजूद होती हैं, मानक DSM विफल हो जाता है क्योंकि डिनोइजिंग ऑब्जेक्टिव स्पष्ट रूप से मॉडल को उन दूषित तत्वों (contaminants) के लिए निम्न स्कोर नॉर्म्स असाइन करने के लिए सिखाता है।

कार्यप्रणाली (Methodology)

लेखक K-DSM (Kurtosis-Guided Denoising Score Matching) का प्रस्ताव करते हैं, जो एक वैश्विक शोर स्केल के बजाय एक डेटा-अनुकूलित, प्रति-विशेषता (per-feature) शोर स्केलिंग रणनीति का उपयोग करता है।

1. प्रति-विशेषता विक्षोभ (Per-Feature Perturbation)

एक वैश्विक $\sigma$ लागू करने के बजाय, K-DSM एक डायगोनल नॉइज़ कोवेरिएंस मैट्रिक्स $\Sigma = \text{diag}(\sigma_1^2, \dots, \sigma_d^2)$ का उपयोग करता है। ऑब्जेक्टिव फंक्शन को कच्चे स्कोर के बजाय यूनिट-वेरिएंस शोर $\varepsilon$ की भविष्यवाणी करने के लिए संशोधित किया गया है, जो ग्रेडिएंट योगदान को शोर स्केल से अलग करता है:
$$\mathcal{L}_{\text{per-feature}}^{\text{DSM}}(\theta) = \frac{1}{2} \mathbb{E}_{x \sim p_{\text{data}}} \mathbb{E}_{\tilde{x} \sim \mathcal{N}(x, \Sigma)} \left[ \| s_\theta(\tilde{x}) + \Sigma^{-1/2}(\tilde{x} - x) \|_2^2 \right]$$
यह सुनिश्चित करता है कि छोटे शोर स्केल वाली विशेषताएँ लॉस फंक्शन पर हावी न हों।

2. कर्टोसिस-गाइडेड नॉइज़ स्केलिंग (Kurtosis-Guided Noise Scaling)

मुख्य नवाचार प्रत्येक विशेषता $j$ के लिए उसके मार्जिनल वितरण के सांख्यिकीय आकार के आधार पर $\sigma_j$ निर्धारित करना है। लेखक टेल एक्सट्रेमिटी (tail extremity) के प्रॉक्सी के रूप में कर्टोसिस (चौथा मानकीकृत क्षण/fourth standardized moment) का उपयोग करते हैं।

• तर्क (Rationale): हल्के-पूंछ वाले या सपाट वितरण (कम कर्टोसिस) पहले से ही अपने प्रभावी सपोर्ट को कवर करते हैं और उन्हें छोटे विक्षोभ की आवश्यकता होती है। भारी-पूंछ वाले या तीव्रता से केंद्रित वितरण (उच्च कर्टोसिस) आसपास के स्थान को कम प्रतिनिधित्व वाला छोड़ देते हैं और उन्हें कम-घनत्व वाले क्षेत्रों के संपर्क में लाने के लिए बड़े विक्षोभ की आवश्यकता होती है।
• हिस्टोग्राम पुनर्गठन (Histogram Rearrangement): यह सुनिश्चित करने के लिए कि कर्टोसिस स्क्यूनेस (skewness) या बाइमोडैलिटी (bimodality) जैसे आर्टिफैक्ट्स के बजाय टेल वेट (tail weight) को दर्शाए, लेखक कर्टोसिस की गणना करने से पहले एक सिमेट्रिक डिक्रीजिंग हिस्टोग्राम पुनर्गठन लागू करते हैं। यह चरण वितरण को उसके प्रमुख मोड के चारों ओर सममित (symmetrize) करता है, जिससे पीक से टेल तक क्षय की दर (rate of decay) अलग हो जाती है।
• स्केलिंग नियम: शोर स्केल की गणना कॉर्निश–फिशर विस्तार (Cornish–Fisher expansion) से प्राप्त एक एफ़ाइन नियम के माध्यम से की जाती है:
  $$\sigma_j = \sigma_{\text{base}} \cdot (1 + c \cdot (\kappa_j^* - 3))$$
  जहाँ $\kappa_j^*$ पुनर्गठित $j$-वीं विशेषता का कर्टोसिस है, $\sigma_{\text{base}}$ एक वैश्विक हाइपरपैरामीटर है, और $c$ एक संवेदनशीलता गुणांक (प्रायोगिक रूप से 0.33 निर्धारित) है। परिणाम को एक वैध रेंज $[\sigma_{\min}, \sigma_{\max}]$ में क्लिप किया जाता है।

3. सैद्धांतिक औचित्य (Theoretical Justification)

लेखक सिद्ध करते हैं कि सममित यूनिमोडल वितरणों के लिए, टेल रेडियस (वह दूरी जिसे एक प्रशिक्षण बिंदु को एक विशिष्ट टेल प्रोबेबिलिटी तक पहुँचने के लिए विस्थापित होना पड़ता है) कर्टोसिस में सख्ती से बढ़ती है। फलस्वरूप, समीकरण (5) में एफ़ाइन नियम को टेल कवरेज के लिए अद्वितीय प्रथम-क्रम अनुकूल शोर स्केल (unique first-order optimal noise scale) के रूप में दिखाया गया है, जो ह्यूरिस्टिक ट्यूनिंग के लिए एक सिद्धांत आधारित विकल्प प्रदान करता है।

4. अनसुपरवाइज्ड विस्तार (EMA-Teacher Filtering)

उस "दूषित" सेटिंग को संबोधित करने के लिए जहाँ प्रशिक्षण डेटा में विसंगतियाँ शामिल हैं, लेखक एक हल्का फ़िल्टरिंग तंत्र पेश करते हैं। वे ऑनलाइन मॉडल के वेट्स का एक एक्सपोनेंशियल मूविंग एवरेज (EMA) (एक "टीचर") बनाए रखते हैं। प्रशिक्षण के दौरान, टीचर के अनुसार उच्च स्कोर नॉर्म वाले नमूनों को संभावित दूषित तत्वों के रूप में पहचाना जाता है और ग्रेडिएंट अपडेट से हटा दिया जाता है। यह मॉडल को दूषित तत्वों को स्वयं कम विसंगति स्कोर असाइन करने से सीखने से रोकता है।

मुख्य योगदान (Key Contributions)

1. सिंगल-स्केल DSM का पुनर्मूल्यांकन: लेखक प्रदर्शित करते हैं कि एक आधुनिक MLP आर्किटेक्चर (ResNet-जैसे) के साथ लैस सिंगल-स्केल DSM मॉडल, मल्टी-स्केल विधियों (MSM) और अन्य डीप बेसलाइन्स (DTE, SLAD) को टेबुलर बेंचमार्क पर पहले से ही पीछे छोड़ देता है। यह प्रचलित धारणा को चुनौती देता है कि प्रभावी स्कोर-आधारित विसंगति पहचान के लिए मल्टी-स्केल कंडीशनिंग अनिवार्य है।
2. सैद्धांतिक गारंटी के साथ K-DSM: मार्जिनल कर्टोसिस पर आधारित प्रति-विशेषता शोर स्केलिंग नियम का प्रस्ताव, जो टेल कवरेज के लिए अद्वितीय प्रथम-क्रम अनुकूल समाधान के रूप में समर्थित है।
3. स्टेट-ऑफ-द-आर्ट प्रदर्शन: K-DSM ADBench (57 डेटासेट) पर सेमी-सुपरवाइज्ड सेटिंग में सर्वश्रेष्ठ औसत AUC-PR (0.627) प्राप्त करता है, जो पिछले सर्वश्रेष्ठ बेसलाइन (0.594) से बेहतर है।
4. मजबूत अनसुपरवाइज्ड डिटेक्शन: EMA-टीचर फ़िल्टरिंग नियम के साथ K-DSM को जोड़कर, यह विधि पूरी तरह से अनसुपरवाइज्ड (दूषित) सेटिंग में स्टेट-ऑफ-द-आर्ट प्रदर्शन (0.343 औसत AUC-PR) प्राप्त करती है, जो डेटा संदूषण के कारण खोई हुई प्रदर्शन क्षमता को काफी हद तक पुनः प्राप्त करती है।
5. दक्षता (Efficiency): मल्टी-स्केल विधियों के विपरीत जिन्हें कई शोर स्तरों पर इन्फरेंस की आवश्यकता होती है, K-DSM एक सिंगल फॉरवर्ड पास के साथ इन्फरेंस की गति बनाए रखता है, जिससे यह MSM और DDAE की तुलना में काफी तेज़ हो जाता है।

प्रयोगात्मक परिणाम (Experimental Results)

• सेमी-सुपरवाइज्ड सेटिंग (स्वच्छ प्रशिक्षण डेटा): ADBench पर, K-DSM 0.627 का औसत AUC-PR प्राप्त करता है, जो रनर-अप बेसलाइन (0.594) और सिंगल-स्केल DSM बेसलाइन (0.584) से बेहतर है। यह विधि $\sigma_{\text{base}}$ के चयन के प्रति भी मजबूत है, जबकि मानक DSM इस हाइपरपैरामीटर के प्रति अत्यधिक संवेदनशील है।
• अनसुपरवाइजड सेटिंग (दूषित प्रशिक्षण डेटा): मानक DSM और K-DSM इस सेटिंग में विफल हो जाते हैं (लगभग ~0.188 AUC-PR तक गिर जाते हैं) क्योंकि वे विसंगतियों को सामान्य मानने के लिए सीख लेते हैं। EMA-टीचर विस्तार प्रदर्शन को बहाल करता है, K-DSM-EMA को 0.343 AUC-PR तक ऊपर ले जाता है, जो 14 तुलना की गई विधियों में सर्वश्रेष्ठ है।
• इमेज बेंचमार्क: MVTec-AD और VisA (DINOv3 एम्बेडिंग्स का उपयोग करके) पर, K-DSM प्रतिस्पर्धी है लेकिन हावी नहीं होता है। लेखक नोट करते हैं कि यह अपेक्षित है क्योंकि मानकीकृत डीप विजन फीचर्स प्रति कोऑर्डिनेट लगभग गॉसियन होते हैं, जिससे कर्टोसिस-आधारित स्केलिंग अप्रभावी हो जाती है (क्योंकि $\kappa \approx 3$)। यह विधि की वैधता के क्षेत्र को रेखांकित करता: यह वहां उत्कृष्ट है जहां मार्जिनल टेल हेटेरोजेनिटी (heterogeneity) मौजूद होती है।
• इन्फरेंस स्पीड: K-DSM इन्फरेंस में सबसे तेज़ डीप लर्निंग विधि है, जिसमें केवल एक सिंगल फॉरवर्ड पास (~0.02–0.03s प्रति डेटासेट) की आवश्यकता होती है, जो मल्टी-स्केल या डिफ्यूजन-आधारित विधियों के सेकंडों की तुलना में बहुत कम है।

महत्व और दावे (Significance and Claims)

पेपर का तर्क है कि DSM में शोर स्केल चयन की लंबे समय से चली आ रही चुनौती को भारी मल्टी-स्केल मॉडल का सहारा लिए बिना हल किया जा सकता है। प्रत्येक विशेषता के वितरण की आंतरिक ज्यामिति के अनुसार शोर स्तर को अनुकूलित करके, K-DSM कम-घनत्व वाले क्षेत्रों के कवरेज में सुधार करता है जबकि उच्च-घनत्व वाले क्षेत्रों में संवेदनशीलता बनाए रखता है।

लेखक दावा करते हैं कि सावधानीपूर्वक, डेटा-अनुकूलित शोर स्केलिंग को कंटैमिनेशन-रोबस्ट ट्रेनिंग रेसिपी के साथ मिलाने से वास्तविक दुनिया के टेबुलर विसंगति पहचान के लिए एक व्यावहारिक, स्केलेबल और स्टेट-ऑफ-द-आर्ट विकल्प मिलता है। यह हाइपरपैरामीटर ट्यूनिंग और वैलिडेशन सेट्स पर निर्भरता को कम करता है, जिससे यह उन परिदृश्यों के लिए उपयुक्त बनता है जहाँ विसंगतियाँ अज्ञात हैं और डेटा कम या दूषित है।

स्वीकार की गई सीमाएं (Limitations Acknowledged):

• विधि का लाभ तब कम हो जाता है जब विशेषताओं को लगभग-गॉसियन मार्जिनल्स (जैसे, डीप विजन एम्बेडिंग्स) के लिए मानकीकृत किया जाता है, क्योंकि कर्टोसिस नियम सिंगल स्केल में सिमट जाता है।
• अनसुपरवाइज्ड सेटिंग में, EMA-टीचर फ़िल्टर एक निश्चित पर्सेंटाइल कटऑफ़ पर निर्भर करता है, जो स्पष्ट रूप से यह मानता है कि कंटैमिनेशन रेट एक निश्चित थ्रेशोल्ड (जैसे, <20%) से नीचे है। यदि कंटैमिनेशन रेट बहुत अधिक है तो प्रदर्शन घट जाता है।