Data-quality monitoring of luminosity blocks with ATLAS Open Data: an open benchmark and a learned within-run detector

कण भौतिकी (पार्टिकल फिजिक्स) की उच्च-दांव वाली दुनिया में, लार्ज हैड्रोन कोलाइडर ब्रह्मांड के मौलिक निर्माण खंडों को प्रकट करने के लिए प्रोटॉन को आपस में टकराता है। हालाँकि, यह मशीन पूर्ण नहीं है, और न ही वे विशाल डिटेक्टर जो टकरावों को रिकॉर्ड करते हैं। हर सेकंड, ये डिटेक्टर डेटा का एक सैलाब उत्पन्न करते हैं, लेकिन उनमें से सभी भरोसेमंद नहीं होते। कभी-कभी, एक सेंसर गड़बड़ी करता है, बिजली की आपूर्ति में उतार-चढ़ाव आता है, या डिटेक्टर का एक विशिष्ट क्षेत्र शांत हो जाता है। यदि भौतिक विज्ञानी इन त्रुटिपूर्ण डेटा का उपयोग नए कणों की खोज के लिए करते हैं, तो वे एक टूटे हुए सेंसर को एक खोज समझ बैठ सकते हैं। इसे रोकने के लिए, प्रयोग एक कठोर गुणवत्ता नियंत्रण प्रणाली का उपयोग करते हैं जो एक मिनट के छोटे अंतराल में डेटा की जांच करती है। यदि कोई समस्या पाई जाती है, तो उस विशिष्ट मिनट के डेटा को "खराब" के रूप में चिह्नित किया जाता है और हटा दिया जाता है। चुनौती यह है कि डिटेक्टर इतने जटिल हैं और एक रन से दूसरे रन में स्थितियाँ इतनी बदल जाती हैं कि इन सूक्ष्म त्रुटियों को पहचानना अविश्वसनीय रूप से कठिन है। उन्हें खोजने के तरीके गुप्त रहे हैं, जो प्रयोगशालाओं के भीतर बंद थे, जिससे वैज्ञानिकों के लिए बाहरी सहयोगियों के लिए विभिन्न दृष्टिकोणों की तुलना करना या प्रणाली में सुधार करना असंभव हो गया था।

रेन्जी वांग नामक एक शोधकर्ता ने ATLAS डिटेक्टर के एक सार्वजनिक डेटा रिलीज को एक पारदर्शी परीक्षण स्थल में बदलकर इसे बदल दिया है। 2015 और 2016 के वास्तविक टकराव डेटा का उपयोग करके और इसमें ज्ञात त्रुटियों को गुप्त रूप से इंजेक्ट करके, वांग ने एक बेंचमार्क बनाया जहाँ "सही" उत्तर ज्ञात है। इसने विभिन्न तरीकों की निष्पक्ष तुलना करने की अनुमति दी कि कौन से तरीके बिना गलत चेतावनी दिए (क्रयिंग वूल) समस्याओं को पहचानने में सबसे अच्छा है। अध्ययन से पता चला कि सबसे सफल रणनीति हर मिनट के डेटा की वैश्विक औसत के विरुद्ध तुलना करने के बजाय, यह देखना है कि प्रत्येक मिनट अपने आस-पास के मिनटों से कैसे भिन्न है। इस दृष्टिकोण का उपयोग करते हुए, सिंथेटिक त्रुटियों पर प्रशिक्षित एक मशीन लर्निंग सिस्टम ने केवल एक प्रतिशत गलत अलार्म रखते हुए, इंजेक्ट की गई 43 प्रतिशत समस्याओं की पहचान की। यह पुराने स्कैनिंग तरीकों की तुलना में एक महत्वपूर्ण सुधार है, जो समान सख्त परिस्थितियों में केवल 25 प्रतिशत त्रुटियों को पकड़ पाते थे।

समस्या का मूल डेटा की प्रकृति में निहित है। डिटेक्टर टकरावों को "ल्यूमिनोसिटी ब्लॉक्स" में रिकॉर्ड करता है, जो लगभग एक मिनट की खिड़कियां हैं जहाँ माना जाता है कि स्थितियाँ स्थिर हैं। यह जांचने के लिए कि एक ब्लॉक अच्छा है या नहीं, वैज्ञानिक हिस्टोग्राम भरते हैं, जो अनिवार्य रूप से बार चार्ट हैं जो दिखाते हैं कि विभिन्न ऊर्जाओं या कोणों पर एक निश्चित प्रकार के कितने कण पाए गए। अतीत में, शोधकर्ताओं ने कई पिछले रन से बनाए गए संदर्भ के विरुद्ध डेटा के एक नए ब्लॉक की तुलना करने का प्रयास किया। हालाँकि, वांग के विश्लेषण ने दिखाया कि यह दृष्टिकोण विफल हो जाता है क्योंकि विभिन्न रन के बीच स्थितियाँ बहुत अधिक बदलती हैं। टकरावों की संख्या और डिटेक्टर की विशिष्ट सेटिंग्स जैसे कारक एक रन से दूसरे रन में बदलते रहते हैं, जिससे डेटा में ऐसे अंतर पैदा होते हैं जो एक एकल मिनट के सांख्यिकीय शोर (स्टैटिस्टिकल नॉइज़) से कहीं अधिक बड़े होते हैं। जब एक नए ब्लॉक की तुलना दूर के पिछले रन से की जाती है, तो ये सामान्य भिन्नताएं दोषों की तरह दिखती हैं, जिससे सिस्टम अच्छे डेटा को खराब के रूप में चिह्नित कर देता है।

इस अध्ययन में पाया गया समाधान घर के बहुत करीब देखना है। एक ब्लॉक की पूरे प्रयोग के इतिहास से तुलना करने के बजाय, सिस्टम उसी रन के भीतर अन्य ब्लॉक्स के साथ तुलना करता है। एक ही रन के भीतर, डिटेक्टर की सेटिंग्स और सामान्य स्थितियाँ स्थिर रहती हैं, और केवल एक ही चीज़ बदलती है—टकराकों की संख्या, जो सुचारू रूप से बदलती है। प्रत्येक रन के लिए विशेष रूप से एक संदर्भ बनाने के माध्यम से, सिस्टम बड़े, सामान्य परिवर्तनों को फ़िल्टर कर सकता है और अचानक होने वाले तीव्र बदलावों (जैगड डेविएशन) पर ध्यान केंद्रित कर सकता है जो वास्तविक समस्या का संकेत देते हैं। यह विधि डेटा को "रेसिडुअल्स" (अवशेषों) या अंतरों के एक सेट में बदल देती है, जो बहुत अधिक अनुमानित व्यवहार करते हैं। इन्हीं साफ किए गए अंतरों के भीतर दोष दृश्यमान हो जाते हैं।

इसका परीक्षण करने के लिए, वांग ने सार्वजनिक डेटा लिया और घटनाओं में आठ अलग-अलग सिम्युलेटेड डिटेक्टर विफलताओं को गुप्त रूप से इंजेक्ट किया। इनमें कैलोरीमीटर में एक मृत क्षेत्र (डेड रीजन) जैसी स्थितियाँ शामिल थीं जहाँ कण गायब हो जाते हैं, एक "हॉट स्पॉट" जहाँ एक शोर वाला सेल नकली कण बनाता है, या माप के ऊर्जा पैमाने में अचानक बदलाव। ये त्रुटियाँ डेटा के भीतर छिपी हुई थीं, और लक्ष्य यह देखना था कि कौन सा कंप्यूटर प्रोग्राम उन्हें ढूंढ सकता है। अध्ययन ने सरल सांख्यिकीय स्कैन और अधिक जटिल मशीन लर्निंग मॉडल सहित कई दृष्टिकोणों की तुलना की। सरल स्कैन, जो त्रुटियों के विशिष्ट पैटर्न की तलाश करते थे, लगभग एक चौथाई समस्याओं को खोजने में सफल रहे। हालाँकि, रेसिडुअल्स पर प्रशिक्षित एक मशीन लर्निंग क्लासिफायर ने काफी बेहतर प्रदर्शन किया। इस सिस्टम ने सीखा कि कई अलग-अलग हिस्टोग्रामों में त्रुटियों के सूक्ष्म, संयुक्त हस्ताक्षरों को कैसे पहचाना जाए, बजाय इसके कि केवल एक स्पष्ट पैटर्न को देखा जाए।

परिणाम स्पष्ट थे। मशीन लर्निंग सिस्टम ने, जब सिंथेटिक दोषों के उदाहरणों पर प्रशिक्षित किया गया और कम गलत-अलार्म दर सुनिश्चित करने के लिए एक सख्त सांख्यिकीय पद्धति का उपयोग किया गया, तो इंजेक्ट की गई 43 प्रतिशत त्रुटियों का पता लगाया। यह सबसे अच्छे पारंपरिक स्कैनिंग तरीके की 25 प्रतिशत डिटेक्शन दर से एक बड़ी छलांग थी। यह सिस्टम उन त्रुटियों को खोजने में विशेष रूप से प्रभावी था जो डेटा के विभिन्न हिस्सों में फैली हुई थीं, जहाँ किसी भी एकल हिस्टोग्राम में नाटकीय उछाल नहीं दिखता था। हालाँकि, अध्ययन ने यह भी रेखांकित किया कि क्या खोजा जा सकता है इसकी सीमाएं भी हैं। कुछ प्रकार की त्रुटियां, जैसे कि एक विशिष्ट मॉड्यूल का बंद होना जो केवल डेटा के एक बहुत छोटे हिस्से को प्रभावित करता है, एक मिनट के डेटा की उपलब्धता को देखते हुए किसी भी विधि द्वारा देखी जाने वाली बहुत सूक्ष्म थीं। इसके अलावा, सिस्टम तब संघर्ष करता था जब उसे किसी ऐसे प्रकार की त्रुटि का सामना करना पड़ता था जिसे उसने पहले कभी नहीं देखा था। यदि प्रशिक्षण डेटा में केवल ज्ञात 'डेड रीजन' या 'हॉट स्पॉट' के विशिष्ट उदाहरण शामिल थे, तो सिस्टम पूरी तरह से अलग प्रकार की विफलता को मिस कर देता था।

इसे संबोधित करने के लिए, शोधकर्ताओं ने एक "सेफ्टी नेट" दृष्टिकोण का परीक्षण किया। उन्होंने प्रशिक्षण डेटा में जेनेरिक, पैटर्न-अज्ञेइक (पैटर्न-एग्नोस्टिक) विफलता के उदाहरण जोड़े—ऐसे सिमुलेशन जो किसी विशिष्ट ज्ञात त्रुटि की नकल नहीं करते थे बल्कि कुछ गलत होने के सामान्य विचार का प्रतिनिधित्व करते थे। इस समायोजन ने अज्ञात त्रुटि प्रकारों में से 34 प्रतिशत को पकड़ने की अनुमति दी, जो केवल ज्ञात पैटर्न पर प्रशिक्षित सिस्टम द्वारा पकड़े गए 18 प्रतिशत की तुलना में एक बड़ा सुधार है। इसके बदले में ज्ञात प्रकारों पर प्रदर्शन में मामूली गिरावट आई, लेकिन अज्ञात समस्याओं को पकड़ने की समग्र क्षमता बढ़ गई। यह सुझाव देता है कि वास्तविक दुनिया के डिटेक्टर के लिए, जहाँ संभावित विफलताओं की पूरी सूची कभी भी पूर्ण नहीं होती, ज्ञात और जेनेरिक विफलताओं के मिश्रण पर प्रशिक्षित सिस्टम सबसे मजबूत विकल्प है।

अध्ययन ने यह भी जांचा कि इन प्रणालियों को काम करने के लिए कितने ऐतिहासिक डेटा की आवश्यकता है। एक आम चिंता यह है कि क्या एक नए डिटेक्टर के पास वर्ष की शुरुआत में एक विश्वसनीय संदर्भ बनाने के लिए पर्याप्त पिछला डेटा हो सकता है। शोध ने दिखाया कि मशीन लर्निंग सिस्टम को सरल स्कैनिंग विधियों से बेहतर प्रदर्शन करने के लिए लगभग आठ पिछले रन के इतिहास की आवश्यकता होती है। कम रन के साथ, सिस्टम बहुत रूढ़िवादी हो जाता है और बहुत सी त्रुटियों को चूक जाता है, लेकिन थोड़े से इतिहास के साथ, यह तेजी से श्रेष्ठ उपकरण बन जाता है। यह निष्कर्ष ऐसे सिस्टम की व्यावहारिक तैनाती के लिए महत्वपूर्ण है, क्योंकि इसका अर्थ है कि वे डेटा लेने की अवधि में अपेक्षाकृत जल्दी प्रभावी हो सकते हैं।

अंततः, यह कार्य प्रदर्शित करता है कि जटिल वैज्ञानिक उपकरणों की निगरानी करने की कुंजी वैश्विक विसंगतियों को देखना नहीं है, बल्कि स्थानीय संदर्भ को समझना है। एक ही रन के भीतर के अंतरों पर ध्यान केंद्रित करके और सूक्ष्म विचलन के पैटर्न की व्याख्या करने के लिए मशीन लर्निंग का उपयोग करके, वैज्ञानिक बिना अच्छे डेटा को हटाए त्रुटियों का बहुत उच्च प्रतिशत पकड़ सकते हैं। इस अध्ययन में बनाया गया बेंचमार्क अब सार्वजनिक है, जिससे अन्य शोधकर्ताओं को वास्तविक दुनिया के इसी डेटा के विरुद्ध अपने स्वयं के विचारों का परीक्षण करने की अनुमति मिलती है। यह पारदर्शिता एक महत्वपूर्ण कदम है, जो इस क्षेत्र को अलग-थलग, मालिकाना पद्धतियों के संग्रह से एक साझा, प्रतिस्पर्धी वातावरण की ओर ले जाती है जहाँ भविष्य की सभी भौतिक खोजों के लाभ के लिए सर्वोत्तम तकनीकों की पहचान और परिशोधन किया जा सके।