⚛️ high-energy experiments

Wasserstein normalized autoencoder for anomaly detection

यह शोध पत्र वॉसरस्टीन नॉर्मलाइज्ड ऑटोएन्कोडर (WNAE) को प्रस्तुत करता है, जो एक नवीन अनसुपरवाइज्ड विसंगति पहचान मॉडल है जो प्रशिक्षण डेटा और पुनर्निर्माण त्रुटियों के बोल्ट्ज़मैन वितरण के बीच वॉसरस्टीन दूरी को न्यूनतम करता है ताकि सीर्न एलएचसी (CERN LHC) पर सेमीविज़िबल जेट्स की प्रभावी ढंग से पहचान की जा सके और मानक ऑटोएएनकोडर्स में सामान्य आउटलायर पुनर्निर्माण विफलताओं को दूर किया जा सके।

मूल लेखक: CMS Collaboration

प्रकाशित 2026-06-01

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: CMS Collaboration

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: घास के ढेर में सुई ढूँढना (बिना यह जाने कि सुई कैसी दिखती है)

कल्पना कीजिए कि आप एक विशाल हवाई अड्डे पर सुरक्षा गार्ड हैं। हर दिन हजारों लोग आपके चेकपॉइंट से गुजरते हैं। आप जानते हैं कि एक "सामान्य" यात्री कैसा दिखता है: उनके पास एक बैकपैक होता है, उन्होंने कोट पहना होता है, शायद उनके हाथ में कॉफी हो। ये आपके Standard Model के कण (बैकग्राउंड) हैं।

लेकिन कभी-कभी, कोई ऐसा व्यक्ति गुजरता है जिसके पास कुछ अजीब चीज़ होती है—शायद एक चमकता हुआ बॉक्स या अदृश्य कपड़े से बना सूट। यह New Physics (सिग्नल) है। समस्या यह है कि आपको यह नहीं पता कि वह "चमकता हुआ बॉक्स" वास्तव में कैसा दिखता है। वह कुछ भी हो सकता है। यदि आप अपने सुरक्षा सिस्टम को किसी विशिष्ट प्रकार के चमकते हुए बॉक्स को पहचानने के लिए सिखाने की कोशिश करते हैं, तो आप किसी दूसरे प्रकार के बॉक्स को मिस कर सकते हैं।

इसलिए, आप अपने सिस्टम को केवल यह सिखाने का निर्णय लेते हैं कि "सामान्य" क्या है। यदि कुछ भी "सामान्य" पैटर्न में फिट नहीं बैठता है, तो आप उसे एक विसंगति (anomaly) के रूप में चिह्नित करते हैं। इसे Anomaly Detection कहा जाता है।

समस्या: "बहुत अधिक मददगार" रोबोट

यह पेपर एक विशेष प्रकार के AI के बारे में चर्चा करता है जिसे Autoencoder कहा जाता है। एक Autoencoder को एक ऐसे रोबोट के रूप में सोचें जो एक सामान्य यात्री की फोटो को याद करने, उसे एक छोटे से नोट में संकुचित (compress) करने और फिर उस नोट से फोटो को फिर से बनाने (redraw) की कोशिश करता है।

लक्ष्य: यदि रोबोट एक सामान्य यात्री को देखता है, तो उसे उन्हें पूरी तरह से फिर से बनाना चाहिए (कम त्रुटि/error)। यदि वह किसी अजीब एलियन को देखता है, तो उसे उन्हें फिर से बनाने में संघर्ष करना चाहिए (उच्च त्रुटि), और आप उस एलियन को फ्लैग करते हैं।
खराबी: कभी-कभी, रोबोट बहुत अच्छा होता है। यदि एलियन वास्तव में सामान्य यात्रियों की तुलना में सरल है (शायद एलियन सिर्फ एक सादा ग्रे गोला है, जबकि सामान्य यात्रियों के पास जटिल पैटर्न हैं), तो रोबोट गलती से एलियन को भी पूरी तरह से फिर से बनाना सीख सकता है।
परिणाम: रोबोट सोचता है कि एलियन सामान्य है क्योंकि वह उसे आसानी से फिर से बना सकता है। सुरक्षा प्रणाली विफल हो जाती है। पेपर में, वे इसे "Outlier Reconstruction" कहते हैं। यह एक ऐसे जालसाज की तरह है जो पेंटिंग्स की इतनी अच्छी नकल करता है कि वे गलती से एक नकली उत्कृष्ट कृति (masterpiece) को इतना अच्छा बना देते हैं कि संग्रहालय को लगता है कि वह असली है।

पहला प्रयास: "नॉर्मलाइज्ड" रोबट (NAE)

इसे ठीक करने के लिए, वैज्ञानिकों ने एक स्मार्ट रोबोट आजमाया जिसे Normalized Autoencoder (NAE) कहा जाता है।

केवल चित्र को फिर से बनाने की कोशिश करने के बजाय, यह रोबोट यह सीखने की कोशिश करता है कि एक सामान्य यात्री की संभावना (probability) क्या है। यह एक "मार्कोव चेन" (जिसे एक रैंडम वॉक के रूप में सोचें) से जुड़ी एक गणितीय तकनीक का उपयोग करता है ताकि नकली "नेगेटिव" उदाहरण उत्पन्न किए जा सकें। यह खुद से पूछता है: "यदि मैं एक रैंडम यात्री बनाऊं, तो क्या यह उन वास्तविक यात्रियों जैसा दिखता है जिन्हें मैंने देखा है?"

लक्ष्य: यह सुनिश्चित करने की कोशिश करता है कि जो कुछ भी "अजीब" (कम संभावना वाला) दिखता है, उसे उच्च "त्रुटि स्कोर" मिले।
नई खराबी: यह रोबोट अस्थिर है। कभी-कभी, यह भ्रमित हो जाता है और "डाइवर्ज" (diverge) होने लगता है। यह तय कर सकता है कि जीतने का सबसे अच्छा तरीका यह है कि हर चीज़ को फिर से बनाने के लिए बेकार बना दिया जाए, या यह ऐसी स्थिति में ढह सकता है जहाँ यह सब कुछ (अजीब एलियंस सहित) पूरी तरह से फिर से बनाने लगता है, ताकि अपने गणितीय स्कोर को कम किया जा सके। यह एक ऐसे छात्र की तरह है जो, पढ़ाई करने के बजाय, उत्तर कुंजी (answer key) को इस तरह से रटने का फैसला करता है जिससे टेस्ट ही टूट जाए।

समाधान: "वैसरस्टीन" रोबोट (WNAE)

यही इस पेपर का मुख्य योगदान है। वैज्ञानिकों ने Wasserstein Normalized Autoencoder (WNAE) पेश किया।

इसे समझने के लिए, कल्पना कीजिए कि आपके पास रेत के दो ढेर हैं:

ढेर A: वास्तविक यात्री (आपका ट्रेनिंग डेटा)।
ढेर B: रोबोट का यात्रियों के दिखने का वर्तमान अनुमान (उसका सीखा हुआ वितरण/distribution)।

पुराने तरीकों में, रोबोट केवल ढेरों के आकार को मिलाने की कोशिश करता था। लेकिन कभी-कभी, रोबोट एक ऐसा ढेर बनाकर धोखाधड़ी करता था जो दिखने में समान था लेकिन वास्तव में गलत जगह पर था।

Wasserstein distance रेत के ढेर B से ढेर A में रेत ले जाने के "लागत" (cost) को मापने का एक तरीका है। कल्पना कीजिए कि आपको एक ढेर से दूसरे ढेर तक रेत के कण ले जाने हैं। Wasserstein distance पूछता है: "मेरे नकली ढेर को वास्तविक ढेर में बदलने के लिए आवश्यक न्यूनतम प्रयास (दूरी x वजन) कितना है?"

WNAE कैसे काम करता है:

यह केवल इमेज को फिर से बनाने की कोशिश नहीं करता; यह इस "प्रयास" को कम करने की कोशिश करता है जो इसके नकली डेटा को वास्तविक डेटा जैसा दिखाने के लिए आवश्यक है।
यदि रोबोट धोखाधड़ी करने की कोशिश करता है और एक अजीब एलियन को पूरी तरह से फिर से बनाता है, तो उस एलियन के डेटा को "सामान्य" ढेर में वापस लाने का "प्रयास" (Wasserstein distance) बहुत बड़ा हो जाता है।
रोबोट को धोखाधड़ी करना बंद करने के लिए मजबूर किया जाता है। यह सीखता है कि प्रयास को कम करने का एकमात्र तरीका यह है कि वह सख्ती से "सामान्य" ढेर के आकार को सीखे और "अजीब" चीजों को अकेला छोड़ दे।

यह पेपर के लिए क्यों महत्वपूर्ण है

वैज्ञानिकों ने इसका परीक्षण CMS पर किया, जो CERN (लार्ज हैड्रॉन कोलाइडर) में एक विशाल कण डिटेक्टर है। वे Semivisible Jets (SVJs) की तलाश कर रहे थे।

परिदृश्य: कल्पना कीजिए कि कणों का एक जेट (जैसे पाइप से निकलने वाली फुहार) आधा दृश्य (मानक कण) और आधा अदृश्य (डार्क मैटर) है।
चुनौती: ये जेट्स, टॉप क्वार्क (एक सामान्य बैकग्राउंड) से आने वाले सामान्य जेट्स के समान दिखते हैं। स्टैंडर्ड रोबोट इन्हें अलग करने में विफल रहे क्योंकि वे इन अजीब जेट्स को भी "रिकंस्ट्रक्ट" (पुनर्निर्मित) करने लगे।
परिणाम: WNAE बिना एक भी "अजीब" जेट देखे, "सामान्य" जेट वितरण को पूरी तरह से सीखने में सक्षम रहा। इसने अदृश्य डार्क-मैटर जेट्स को विसंगतियों (anomalies) के रूप में सफलतापूर्वक पहचाना।

निष्कर्ष (Takeaway)

पेपर का दावा है कि Wasserstein distance को शिक्षक बनाकर, उन्होंने एक ऐसा रोबोट बनाया जो:

धोखाधड़ी नहीं करता: यह अपने स्कोर को कम करने के लिए अजीब चीजों को पूरी तरह से फिर से बनाना नहीं सीख सकता।
स्थिर है: यह पिछले "नॉर्मलाइज्ड" संस्करण की तरह क्रैश नहीं होता या भ्रमित नहीं होता।
सिग्नल-एग्नोस्टिक (Signal-agnostic) है: इसे यह जानने की आवश्यकता नहीं है कि "अजीब" चीज़ कैसी दिखती है। यह बस जानता है कि "सामान्य" क्या है, और जो कुछ भी उस सांचे में फिट नहीं बैठता, उसे फ्लैग कर दिया जाता है।

संक्षेप में, उन्होंने एक बेहतर तरीके से यह मापने के तरीके से एक टूटे हुए सुरक्षा सिस्टम को ठीक किया कि कोई संदिग्ध व्यक्ति भीड़ से कितना "दूर" है, यह सुनिश्चित करते हुए कि सावधानी से छिपा हुआ घुसपैठिया भी पकड़ा जाए।

तकनीकी सारांश: विसंगति का पता लगाने के लिए वासरस्टीन नॉर्मलाइज्ड ऑटोएन्कोडर (Wasserstein Normalized Autoencoder)

समस्या विवरण
अनसुपरवाइज्ड मशीन लर्निंग, विशेष रूप से ऑटोएन्कोडर्स (AEs), लार्ज हैड्रोन कोलाइडर (LHC) में नई भौतिकी की पहचान करने के लिए एक शक्तिशाली उपकरण है। यह विशिष्ट सिग्नल परिकल्पनाओं (hypotheses) पर निर्भर रहे बिना, स्टैंडर्ड मॉडल (SM) बैकग्राउंड इवेंट्स को संभावित बियॉन्ड-द-स्टैंडर्ड-मॉडल (BSM) सिग्नल्स से अलग करने का कार्य करता है। हालाँकि, मानक AEs एक गंभीर विफलता मोड का सामना करते हैं जिसे "आउटलियर रिकंस्ट्रक्शन" (outlier reconstruction) कहा जाता है। इस परिदृश्य में, नेटवर्क विसंगत डेटा बिंदुओं (outliers) को कम त्रुटि के साथ पुनर्गठित (reconstruct) करना सीख जाता है, जो अक्सर इसलिए होता है क्योंकि ये आउटलियर्स प्रशिक्षण डेटा की तुलना में कम जटिल होते हैं (एक घटना जिसे "कॉम्प्लेक्सिटी बायस" कहा जाता है) या केवल इसलिए क्योंकि नेटवर्क प्रशिक्षण वितरण के बाहर के फेज स्पेस (phase space) में रिकंस्ट्रक्शन एरर को कम करने के लिए स्वतंत्र होता है। इसके परिणामस्वरूप विभेदन शक्ति (discrimination power) में हानि होती है, जहाँ रिकंस्ट्रक्शन एरर बैकग्राउंड और सिग्नल के बीच अंतर करने में विफल रहता है।

इसे संबोधित करने के प्रयास में पूर्ववर्ती नॉर्मलाइज्ड ऑटोएन्कोडर्स (NAEs), जो AE रिकंस्ट्रक्शन एरर को बोल्ट्ज़मैन वितरण के भीतर एक ऊर्जा फलन (energy function) के रूप में फ्रेम करते हैं, भी चुनौतियों का सामना कर चुके हैं। NAE प्रशिक्षण अक्सर संख्यात्मक अस्थिरता प्रदर्शित करता है, जिसमें लॉस फंक्शन का विचलन (divergence) और "मोड कोलैप्स" (mode collapse) शामिल है, जहाँ नेटवर्क एक ऐसा संभाव्यता वितरण सीख लेता है जो सिग्नल के साथ महत्वपूर्ण रूप से ओवरलैप करता है, जिससे फिर से खराब विसंगति पहचान प्रदर्शन होता है। इसके अलावा, मौजूदा NAE प्रशिक्षण में ओवरट्रेनिंग और आउटलियर रिकंस्ट्रक्शन को रोकने के लिए एक मजबूत, सिग्नल-अज्ञेय (signal-agnostic) स्टॉपिंग कंडीशन का अभाव है।

कार्यप्रणाली (Methodology)
लेखक वासरस्टीन नॉर्मलाइज्ड ऑटोएन्कोडर (WNAE) पेश करते हैं, जो एक नवीन संभाव्य मॉडल (probabilistic model) है जिसे मानक AEs और NAEs की सीमाओं को दूर करने के लिए डिज़ाइन किया गया है। कार्यप्रणाली इस प्रकार है:

संभाव्य ढांचा (Probabilistic Framework): NAE की तरह, WNAE AE रिकंस्ट्रक्शन एरर $l_\theta(x)$ को एक ऊर्जा फलन $E_\theta(x)$ के रूप में मानता है। मॉडल एक बोल्ट्ज़मैन वितरण का उपयोग करके एक नॉर्मलाइज्ड संभाव्यता वितरण $p_\theta(x)$ को परिभाषित करता है: $p_\theta(x) = \frac{1}{\Omega_\theta} \exp(-E_\theta(x))$ ।
मार्कोव चेन मोंटे कार्लो (MCMC): वितरण $p_\theta$ को सीखने के लिए, मॉडल $p_\theta$ से "नेगेटिव" उदाहरणों को सैंपल करने के लिए लैंजेविन मोंटे कार्लो एल्गोरिदम का उपयोग करता है। ये सैंपल इनपुट फीचर्स के सापेक्ष ऊर्जा फलन के ग्रेडिएंट का उपयोग करके पुनरावृत्ति (iteratively) के माध्यम से उत्पन्न किए जाते हैं।
वासरस्टीन दूरी का उद्देश्य (The Wasserstein Distance Objective): मुख्य नवाचार सीधे प्रशिक्षण उद्देश्य के रूप में 1-वासरस्टीन दूरी (अर्थ मूवर्स डिस्टेंस) का उपयोग करना है। नेगेटिव लॉग-लाइक्लीहुड (जिसमें एक अग्राह्य पार्टिशन फंक्शन शामिल है और जो अस्थिरता की ओर ले जाता है) को कम करने के बजाय, WNAE प्रशिक्षण डेटा वितरण $p_{data}$ $p_{d a t a}$ और मॉडल वितरण $p_\theta$ $p_{θ}$ के बीच वासरस्टीन दूरी $W(p_{data}, p_\theta)$ $W (p_{d a t a}, p_{θ})$ को कम करता है।
- लॉस फंक्शन को पॉजिटिव सैंपल्स (जो $p_{data}$ से हैं) और नेगेटिव सैंपल्स (जो $p_\theta$ से हैं) के बीच वासरस्टीन दूरी के रूप में परिभाषित किया गया है।
- यह दृष्टिकोण कांतोरोविच-रुबिनस्टीन द्वैतता (Kantorovich-Rubinstein duality) का लाभ उठाता है, जो एक स्थिर, डिफरेंशिएबल लॉस फंक्शन प्रदान करता है जो उन वैनिशिंग ग्रेडिएंट्स या मोड कोलैप्स की समस्याओं से ग्रस्त नहीं होता है जो अन्य जनरेटिव मॉडल्स में आम हैं।
प्रशिक्षण गतिशीलता (Training Dynamics): प्रशिक्षण में दो चरण शामिल हैं: एक कोर्स एडजस्टमेंट जहाँ वासरस्टीन दूरी तेजी से घटती है क्योंकि मॉडल भौतिक डेटा के अनुकूल होता है, और उसके बाद एक फाइन-ट्यूनिंग चरण। स्थिरता सुनिश्चित करने के लिए एक लर्निंग रेट शेड्यूलर का उपयोग किया जाता है। महत्वपूर्ण रूप से, वासरस्टीन दूरी एक सिग्नल-अज्ञेय स्टॉपिंग कंडीशन के रूप में कार्य करती है; प्रशिक्षण तब रोका जाता है जब दूरी बढ़ने लगती है, जो मोड कोलैप्स या आउटलियर रिकंस्ट्रक्शन के आगमन का संकेत देती है।

केस स्टडी और डेटा
एल्गोरिदम को सेमीविज़िबल जेट्स (SVJs) की खोज के लिए लागू किया गया है, जो हिडन वैली मॉडल्स का एक सिग्नेचर है जहाँ डार्क सेक्टर कण ऐसे जेट्स उत्पन्न करते हैं जिनमें दृश्य स्टैंडर्ड मॉडल कणों और अदृश्य डार्क मैटर अवस्थाओं दोनों वाले विज़िबल घटक होते हैं।

बैकग्राउंड: अतिरिक्त जेट्स के साथ सिम्युलेटेड टॉप-एंटीटॉप ( $t\bar{t}$ ) उत्पादन।
सिग्नल: एक बाइफंडामेंटल स्केलर मीडिएटर के माध्यम से उत्पन्न SVJ इवेंट्स, जिनमें विभिन्न अदृश्य अंश ( $r_{inv}$ ) और मीडिएटर द्रव्यमान ( $m_\Phi$ ) शामिल हैं।
फीचर्स: इनपुट में 8 जेट सबस्ट्रक्चर वेरिएबल्स (जैसे मेजर/माइनर एक्सिस, एनर्जी फ्लो पॉलिनोमियल्स, $N$ -सबजेटनेस, सॉफ्टड्रॉप मास) शामिल हैं जो पार्टिकल-फ्लो रिकंस्ट्रक्शन से प्राप्त किए गए हैं।

प्रमुख परिणाम

मानक AE की विफलता: जब $t\bar{t}$ बैकग्राउंड पर प्रशिक्षित किया गया, तो एक मानक AE SVJs को बैकग्राउंड से अलग करने में विफल रहा, जिससे रैंडम गेसिंग के करीब AUC स्कोर प्राप्त हुआ, जो आउटलियर रिकंस्ट्रक्शन के कारण था।
NAE अस्थिरता: जबकि NAE ने शुरुआत में विभेदन में सुधार किया, यह लॉस डायवर्जेंस और मोड कोलैप्स से ग्रस्त होता है। जैसे-जैसे नेगेटिव एनर्जी डायवर्ट होती है, AUC घटता जाता है, और मॉडल सिग्नल-डिपेंडेंट स्टॉपिंग कंडीशन के बिना बैकग्राउंड से सिग्नल को अलग करने में विफल रहता है।
WNAE प्रदर्शन: WNAE स्थिर, अभिसारी (convergent) प्रशिक्षण प्रदर्शित करता है।
- यह वाइड रेंज ऑफ SVJ सिग्नल हाइपोथीसिस के लिए मजबूत वर्गीकरण प्रदर्शन प्राप्त करता है, जिसमें AUC स्कोर मानक AE से काफी अधिक और अनुकूलतम बिंदु पर NAE के बराबर या उससे बेहतर है।
- वासरस्टीन दूरी प्रभावी रूप से AUC स्कोर के साथ सह-संबंधित (correlate) होती है, जो एक विश्वसनीय स्टॉपिंग कंडीशन प्रदान करती है जो मॉडल को सिग्नल वितरण सीखने से रोकती है।
- WNAE कॉम्प्लेक्सिटी बायस को कम करता है। मानक AEs के विपरीत, जो संघर्ष करते हैं जब सिग्नल बैकग्राउंड की तुलना में कम जटिल होता है, W-NAE टॉप क्वार्क जेट्स को विसंगति के रूप में सफलतापूर्वक पहचानता है, भले ही उसे SVJ सिग्नल्स पर प्रशिक्षित किया गया हो, जो केवल रिकंस्ट्रक्शन एरर को कम करने के बजाय वास्तविक संभाव्यता घनत्व (probability density) को सीखने की इसकी क्षमता को दर्शाता है।

महत्व और दावे
पेपर का दावा है कि WNAE ऑटोएन्कोडर-आधारित विसंगति पहचान में मौलिक विफलता मोड यानी आउटलियर रिकंस्ट्रक्शन को सीधे संबोधित करता है। प्रशिक्षण डेटा वितरण और मॉडल द्वारा सीखे गए वितरण के बीच वासरस्टीन दूरी को कम करके, एल्गोरिदम यह सुनिश्चित करता है कि फेज स्पेस के वे क्षेत्र जो प्रशिक्षण डेटा से भिन्न हैं, उन्हें उच्च रिकंस्ट्रक्शन एरर दिया जाए।

लेखक इस बात पर जोर देते हैं कि WNAE पूरी तरह से अनसुपरवाइज्ड और सिग्नल-अज्ञेय बना रहता है। इसे प्रशिक्षण के दौरान सिग्नल हाइपोथीसिस के ज्ञान की आवश्यकता नहीं होती है, और न ही यह NAE लॉस को स्थिर करने के लिए एड-हॉक रेगुलराइजेशन पर निर्भर करता है। यह विधि उच्च-ऊर्जा भौतिकी में विसंगति का पता लगाने के लिए एक मजबूत, स्थिर और प्रभावी उपकरण प्रदान करती है, जो जटिल स्टैंडर्ड मॉडल बैकग्राउंड के विरुद्ध नए भौतिकी हस्ताक्षरों (signatures) की पहचान करने में सक्षम है। पेपर निष्कर्ष निकालता है कि हालांकि WNAE अध्ययन किए गए कार्य के लिए स्थिर है, यह अभी भी विसंगति पहचान मॉडल्स की जेनेरिक सीमाओं के अधीन हो सकता है, जैसे कि सिग्नल और बैकग्राउंड वितरण का ओवरलैप या प्रशिक्षण डेटा में विसंगतियों का संदूषण, हालांकि यह ऐसे मामलों में स्व-निरीक्षित (self-supervised) परिशोधन के लिए एक मार्ग प्रदान करता है।