⚛️ high-energy experiments

Spatially Aware Linear Transformer (SAL-T) for Particle Jet Tagging

यह शोध पत्र स्पेशियली अवेयर लीनियर ट्रांसफॉर्मर (SAL-T) को प्रस्तुत करता है, जो एक भौतिकी-प्रेरित आर्किटेक्चर है जो लीनियर अटेंशन को स्थानिक रूप से जागरूक विभाजन और कनवल्शनल परतों के साथ जोड़ता है ताकि पार्टिकल जेट टैगिंग में ट्रांसफॉर्मर-स्तर की सटीकता प्राप्त करते हुए कम्प्यूटेशनल जटिलता और इन्फरेंस लेटेंसी को काफी कम किया जा सके।

मूल लेखक: Aaron Wang, Zihan Zhao, Subash Katel, Vivekanand Gyanchand Sahu, Elham E Khoda, Abhijith Gandrakota, Jennifer Ngadiuba, Richard Cavanaugh, Javier Duarte

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aaron Wang, Zihan Zhao, Subash Katel, Vivekanand Gyanchand Sahu, Elham E Khoda, Abhijith Gandrakota, Jennifer Ngadiuba, Richard Cavanaugh, Javier Duarte

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

समस्या: बहुत अधिक डेटा, बहुत कम समय

कल्पना कीजिए कि लार्ज हैड्रॉन कोलाइडर (LHC) एक विशाल, उच्च-गति वाले कैमरे की तरह है जो हर सेकंड कणों के टकराव की 4 करोड़ तस्वीरें ले रहा है। प्रत्येक फोटो एक "पॉइंट क्लाउड" (point cloud) है—सैकड़ों छोटे कणों का एक अराजक छिड़काव जो एक टक्कर से बाहर निकल रहे हैं।

भौतिकविदों को यह तय करने के लिए इन तस्वीरों को तुरंत देखना पड़ता है कि कौन सी दिलचस्प हैं (जैसे कि एक दुर्लभ, भारी कण को खोजना) और कौन सी केवल बैकग्राउंड शोर (background noise) हैं। हालांकि, स्टोरेज सीमाओं के कारण वे 40,000 में से केवल 1 फोटो ही सहेज सकते हैं। उन्हें वास्तविक समय (real-time) में यह निर्णय लेने के लिए एक सुपर-फास्ट "फिल्टर" की आवश्यकता है।

यहाँ ट्रांसफॉर्मर्स (Transformers) आते हैं, जो एक प्रकार का AI मॉडल है जो यह समझने में अविश्वसनीय रूप से कुशल है कि एक तस्वीर के विभिन्न हिस्से एक-दूसरे से कैसे संबंधित हैं। एक ट्रांसफार्मर को एक ऐसे जासूस के रूप में सोचें जो कमरे के हर एक सुराग को देखता है और उसकी तुलना हर दूसरे सुराग से करता है ताकि रहस्य को सुलझा सके। हालांकि यह जासूस बहुत बुद्धिमान है, लेकिन वह धीमा भी है। यदि 100 सुराग हैं, तो जासूस को 10,000 तुलनाएँ करनी होंगी। यदि 1,000 सुराग हैं, तो उन्हें दस लाख तुलनाएँ करनी होंगी। यह "क्वाड्रेटिक" (quadratic) धीमी गति LHC के रियल-टाइम फिल्टर के लिए बहुत धीमी है।

समाधान: SAL-T (स्मार्ट, तेज़ जासूस)

लेखक SAL-T (स्पेशियली अवेयर लीनियर ट्रांसफार्मर - Spatially Aware Linear Transformer) पेश करते हैं। एक ऐसे जासूस के बजाय जो हर सुराग की हर दूसरे सुराग से तुलना करता है, SAL-T एक ऐसा जासूस है जो सुरागों को समूह में बनाने की एक स्मार्ट रणनीति का उपयोग करता है और केवल उन्हीं की जाँच करता है जिनके आपस में संबंधित होने की संभावना अधिक है।

यहाँ बताया गया है कि SAL-T कैसे काम करता है, जिसे सरल चरणों में विभाजित किया गया है:

1. सुरागों को छाँटना (The " $k_T$ " Sort)

एक सामान्य जेट (कणों का छिड़काव) में, सबसे महत्वपूर्ण सुराग वे होते हैं जिनमें सबसे अधिक ऊर्जा होती है और जो छिड़काव के केंद्र के सबसे करीब होते हैं।

पुराना तरीका: AI सुरागों को उसी क्रम में देख सकता है जिस क्रम में वे आए थे, जो कि अराजक है। बाईं ओर का एक सुराग दाईं ओर के सुराग से तुलना किया जा सकता है, भले ही वे असंबंधित हों।
SAL-T का तरीका: SAL-T पहले कणों को एक लाइब्रेरियन द्वारा किताबें व्यवस्थित करने की तरह छाँटता है। यह उन्हें $k_T$ नामक एक भौतिक नियम के आधार पर व्यवस्थित करता है। यह नियम सबसे ऊर्जावान कणों और छिड़काव के केंद्र के सबसे करीब वाले कणों को सूची में एक-दूसरे के ठीक बगल में रखता है। अब, सूची में "पड़ोसी" वास्तव में भौतिक स्थान में भी पड़ोसी हैं।

2. विभाजन रणनीति (The "Group Work" Analogy)

कल्पना कीजिए कि आपके पास 100 छात्रों (कणों) की एक कक्षा है और आप जानना चाहते हैं कि कौन किसका दोस्त है।

Full Transformer: प्रत्येक छात्र अन्य सभी छात्रों से हाथ उठाकर पूछता है, "क्या हम दोस्त हैं?" इसमें बहुत समय लगता है।
Standard Linear Transformer: शिक्षक पूरी कक्षा का प्रतिनिधित्व करने के लिए कुछ छात्रों को चुनता है। हर कोई इन प्रतिनिधियों से बात करता है। यह तेज़ है, लेकिन यह उन विशिष्ट दोस्ती को मिस कर देता है जो बगल में बैठे छात्रों के बीच होती है।
SAL-T: शिक्षक कक्षा को उनकी बैठने की जगह के आधार पर 4 छोटे समूहों में विभाजित करता है (क्योंकि हमने उन्हें पहले ही सॉर्ट कर दिया था!)। छात्र A केवल अपने ही छोटे समूह के छात्रों से बात करता है। यह बहुत तेज़ है, लेकिन क्योंकि समूह निकटता के आधार पर सॉर्ट किए गए थे, इसलिए छात्र A अभी भी अपने वास्तविक दोस्तों से ही बात कर रहा है। इसे Linear Partitioned Particle Multi-Head Attention कहा जाता है।

3. कनवल्शन लेयर (The "Spotlight")

समूह बनाने के बाद भी, SAL-T एक विशेष "स्पॉटलाइट" (एक कनवल्शनल लेयर) जोड़ता है। यह AI को एक समूह के भीतर के तत्काल पड़ोसियों को देखने और यह देखने की अनुमति देता है कि वे कैसे परस्पर क्रिया करते हैं। यह एक शिक्षक द्वारा छात्रों के एक छोटे समूह पर रोशनी डालने जैसा है ताकि यह देखा जा सके कि क्या वे आपस में फुसफुसा रहे हैं। यह पूरे कमरे की जाँच किए बिना स्थानीय विवरणों को पकड़ लेता है।

परिणाम: तेज़ और सटीक

पेपर में SAL-T का परीक्षण तीन अलग-अलग प्रकार के "रहस्यों" (डेटासेट) पर किया गया:

जेट टैगिंग (hls4ml): यह पहचानना कि क्या कणों का छिड़काव एक टॉप क्वार्क, एक W बोसॉन, या केवल एक नियमित क्वार्क से आया है।
टॉप टैगिंग: विशेष रूप से टॉप क्वार्क्स को खोजना।
Quark vs. Gluon: दो प्रकार के कणों के बीच अंतर करना।
ModelNet10: एक जेनेरिक टेस्ट जिसमें 3D आकृतियों (जैसे कुर्सी और सोफा) का उपयोग किया गया है ताकि यह साबित किया जा सके कि यह विधि किसी भी "पॉइंट क्लाउड" पर काम करती है, न कि केवल भौतिकी पर।

निष्कर्ष:

गति (Speed): SAL-T लगभग उतना ही तेज़ है जितना कि "तेज़ लेकिन कम बुद्धिमान" मॉडल (Linformer) और यह "बुद्धिमान लेकिन धीमे" मॉडलों (Full Transformers) से काफी तेज़ है। यह बहुत कम कंप्यूटर संसाधनों (FLOPs) और मेमोरी का उपयोग करता है।
सटीकता (Accuracy): तेज़ होने के बावजूद, SAL-T रहस्य सुलझाने में धीमे, फुल ट्रांसफॉर्मर्स के समान ही अच्छा है। वास्तव में, जटिल छिड़काव के मामले में, SAL-T अक्सर मानक तेज़ मॉडलों से बेहतर प्रदर्शन करता है।
सॉर्टिंग मायने रखती है: पेपर में पाया गया कि केवल ऊर्जा ( $p_T$ ) द्वारा डेटा को सॉर्ट करना पर्याप्त नहीं था। भौतिकी-आधारित $k_T$ सॉर्ट का उपयोग करना महत्वपूर्ण था। जब उन्होंने इस सॉर्टिंग को अन्य AI मॉडलों पर लागू किया, तो वे मॉडल भी बेहतर हो गए, जिससे यह साबित हुआ कि "अपने सुरागों को व्यवस्थित करना" एक शक्तिशाली तकनीक है।

यह भविष्य के लिए क्यों महत्वपूर्ण है

लेखकों का कहना है कि LHC अपग्रेड हो रहा है (High-Luminosity LHC) जो और भी अधिक डेटा उत्पन्न करेगा। वर्तमान फिल्टर सभी दिलचस्प भौतिकी को पकड़ने के लिए बहुत सरल हैं। SAL-T एक ऐसा तरीका प्रदान करता है जिससे एक "सुपर-स्मार्ट" AI फ़िल्टर को सीधे उस हार्डवेयर (FPGAs) में डाला जा सकता है जो प्रयोग को नियंत्रित करता है।

संक्षेप में: SAL-T एक नया प्रकार का AI है जो विश्लेषण करने से पहले कण डेटा को महत्व और स्थान के आधार पर व्यवस्थित करता है। यह इसे अविश्वसनीय रूप से तेज़ (लीनियर स्पीड) बनाता है और साथ ही इतना स्मार्ट भी रखता है कि यह उन दुर्लभ, जटिल पैटर्न को पहचान सके जिन्हें फुल-स्पीड AI मॉडल पाते हैं, जिससे यह कण भौतिकी की हाई-स्पीड दुनिया के लिए एकदम सही बन जाता है।

तकनीकी सारांश: स्पेशियली अवेयर लीनियर ट्रांसफॉर्मर (SAL-T) फॉर पार्टिकल जेट टैगिंग

समस्या विवरण
पार्टिकल डेटा, विशेष रूप से "जेट टैगिंग" (उनके क्षय उत्पादों के पॉइंट क्लाउड्स के आधार पर कणों जैसे कि क्वार्क, ग्लूऑन, W/Z बोसॉन, टॉप क्वार्क की पहचान करना) के विश्लेषण के लिए ट्रांसफॉर्मर स्टेट-ऑफ-द-आर्ट (SOTA) बन गए हैं। हालांकि, मानक ट्रांसफॉर्मर इनपुट कणों ( $n$ ) की संख्या के संबंध में द्विघाती (quadratic) कम्प्यूटेशनल जटिलता ( $O(n^2)$ ) से ग्रस्त होते हैं। यह उन्हें सीर्न (CERN) के लार्ज हैड्रॉन कोलाइडर (LHC) जैसे उच्च-डेटा-थ्रूपुट, कम-विलंबता वाले ट्रिगर वातावरण में तैनात करने के लिए अव्यवहार्य बनाता है। इन प्रणालियों में, केवल टकराव घटनाओं का एक बहुत छोटा हिस्सा ही संग्रहीत किया जा सकता है, जिसके लिए सख्त समय और मेमोरी सीमाओं के भीतर काम करने वाले वास्तविक समय के फ़िल्टरिंग एल्गोरिदम की आवश्यकता होती है। जबकि लीनियर अटेंशन एप्रोक्सिमेशन (जैसे Linformer) जटिलता को लगभग रैखिक (linear) तक कम कर देते हैं, वे अक्सर जेट भौतिकी में अंतर्निहित स्थानिक संरचना (spatial structure) की अनदेखी करते हैं, जिससे फुल-अटेंशन मॉडल की तुलना में उप-इष्टतम प्रदर्शन होता है।

कार्यप्रणाली
लेखक स्पेशियली अवेयर लीनियर ट्रांसफॉर्मर (SAL-T) का प्रस्ताव करते हैं, जो एक भौतिकी-प्रेरित आर्किटेक्चर है जिसे रैखिक जटिलता बनाए रखते हुए जेट सबस्ट्रक्चर में महत्वपूर्ण स्थानिक सहसंबंधों (spatial correlations) को कैप्चर करने के लिए डिज़ाइन किया गया है। SAL-T, Linformer आर्किटेक्चर को तीन प्रमुख तंत्रों के माध्यम से संशोधित करता है:

फिजिक्स-इन्फॉर्म्ड सॉर्टिंग (भौतिकी-आधारित क्रमबद्धता): मनमाने क्रम के बजाय, इनपुट कणों को एक काइनेमैटिक मीट्रिक $k_T = p_T \Delta R$ द्वारा सॉर्ट किया जाता है, जहाँ $p_T$ ट्रांसवर्स मोमेंटम है और $\Delta R = \sqrt{(\Delta\eta)^2 + (\Delta\phi)^2}$ जेट अक्ष से स्यूडो-एंगुलर दूरी है। यह मीट्रिक, जो पुनरावृत्त जेट क्लस्टरिंग एल्गोरिदम में निहित है, यह सुनिश्चित करता है कि भौतिक रूप से पास के और ऊर्जावान कण अनुक्रम में एक साथ हों, जिससे एक स्थानिक रूप से सुसंगत इनपुट ऑर्डर बनता है।
स्पेशियली अवेयर पार्टीशनिंग (स्थानिक रूप से जागरूक विभाजन): की (key) और वैल्यू (value) प्रोजेक्शन को सॉर्ट किए गए अनुक्रम के आधार पर $p$ समूहों में विभाजित किया जाता है। प्रत्येक अटेंशन हेड केवल अपने विशिष्ट कण उपसमुच्चय (subset) पर ध्यान केंद्रित करता है। यह अटेंशन मैकेनिज्म को $(\Delta\eta, \Delta\phi)$ प्लेन में स्थानीय पड़ोस तक सीमित करता है, जिससे कम्प्यूटेशनल जटिलता $O(n^2)$ से घटकर $O(np) $हो जाती है, जहाँ$ p \ll n$।
लोकल कन्वोल्यूशनल एनहांसमेंट (स्थानीय अभिकोंलन संवर्धन): द्विघाती जटिलता को फिर से पेश किए बिना स्थानीय सहसंबंधों को कैप्चर करने के लिए, लेखक प्रत्येक हेड के रॉ अटेंशन लॉजिट्स पर एक डेप्थवाइज 2D कन्वेल्शन लागू करते हैं। यह मॉडल को $k_T$ -सॉर्ट किए गए अनुक्रम में तत्काल पड़ोसियों से जानकारी एकत्र करने की अनुमति देता है, जिससे स्थानिक संदर्भ के साथ अटेंशन मैप समृद्ध होता है।

मुख्य मॉड्यूल, लीनियर पार्टीशनर्ड पार्टिकल मल्टी-हेड अटेंशन (LPP-MHA), इन तत्वों को जोड़ता है। आर्किटेक्चर को ट्रिगर सिस्टम की संसाधन सीमाओं को पूरा करने के लिए हल्का (कुछ हजार पैरामीटर्स, अधिकतम दो अटेंशन लेयर्स) रखा गया है।

प्रमुख योगदान

आर्किटेक्चर: SAL-T का परिचय, जो विशेष रूप से जेट भौतिकी के लिए तैयार किए गए लीनियर अटेंशन फ्रेमवर्क में स्थानिक विभाजन और लाइटवेट कन्वेल्शन को एकीकृत करता है।
सॉर्टिंग रणनीति: यह प्रदर्शन करना कि $k_T$ (मानक $p_T$ के बजाय) द्वारा कणों को सॉर्ट करना भौतिक निकटता के साथ अनुक्रम को संरेखित करके लीनियर और फुल-अटेंशन दोनों मॉडलों के प्रदर्शन में महत्वपूर्ण सुधार करता है।
एफिशिएंसी-परफॉरमेंस ट्रेड-ऑफ: एक मॉडल डिज़ाइन जो फुल-अटेंशन ट्रांसफॉर्मर के प्रदर्शन के बराबर सटीकता प्राप्त करता है जबकि लीनियर एप्रोक्सिमेशन की लीनियर कम्प्यूटेशनल लागत और कम विलंबता बनाए रखता है।

परिणाम
प्रयोग hls4ml डेटासेट (5 जेट क्लास), Top Tagging और Quark-Gluon डेटासेट, और जेनेरिक ModelNet10 पॉइंट क्लाउड बेंचमार्क पर किए गए।

वर्गीकरण प्रदर्शन: hls4ml डेटासेट पर, SAL-T ( $k_T$ सॉर्टिंग के साथ) ने 81.18% की सटीकता और 0.9593 का AUC प्राप्त किया, जो मानक Linformer (81.00% सटीकता) से बेहतर और फुल ट्रांसफॉर्मर (81.27% सटीकता) के प्रदर्शन के बराबर है।
बैकग्राउंड रिजेक्शन: SAL-T ने (80% सिग्नल एफिशिएंसी पर 40.78) Linformer (38.41) की तुलना में बेहतर बैकग्राउंड रिजेक्शन प्रदर्शित किया और फुल ट्रांसफॉर्मर (42.02) के करीब पहुँचा।
दक्षता: SAL-T ने अनुक्रम लंबाई के साथ फ्लोटिंग पॉइंट ऑपरेशंस (FLOPs) का लीनियर स्केलिंग बनाए रखा, जैसा कि Linformer में है, जबकि फुल ट्रांसफॉर्मर के FLOPs द्विघाती रूप से बढ़े। इन्फरेंस लेटेंसी के मामले में, SAL-T (लगभग 27.69 $\mu$ s) फुल ट्रांसफॉर्मर (30.86 $\mu$ s) की तुलना में काफी तेज़ था और Linformer के तुलनीय था।
सामान्यीकरण (Generalization): ModelNet10 पर, SAL-T ने Linformer (80.10% बनाम 77.86% सटीकता) को पछाड़ दिया और दिखाया कि स्थानिक सॉर्टिंग गैर-भौतिक पॉइंट क्लाउड कार्यों के लिए भी फायदेमंद है।
एब्लेशन (Ablation): पार्टीशनिंग या कन्वेल्शनल लेयर्स में से किसी एक को हटाने से प्रदर्शन में गिरावट आई, जिससे पुष्टि हुई कि दोनों घटक स्थानिक जानकारी को कैप्चर करने में योगदान देते हैं।

महत्व और दावे
पेपर का दावा है कि SAL-T सफलतापूर्वक फुल-अटेंशन ट्रांसफॉर्मर की उच्च सटीकता और वास्तविक समय के कोलाइडर ट्रिगर्स की सख्त संसाधन सीमाओं के बीच के अंतर को पाटता है। लीनियर अटेंशन मैकेनिज्म में भौतिकी-सूचित स्थानिक जागरूकता को शामिल करके, SAL-T हाई-ल्यूमिनोसिटी LHC (HL-LHC) के ट्रिगर स्तर पर उन्नत मशीन लर्निंग मॉडल को तैनात करने के लिए एक व्यवहार्य मार्ग प्रदान करता है। लेखक इस बात पर जोर देते हैं कि ट्रिगर स्तर पर वर्गीकरण सटीकता में मामूली सुधार भी उन दुर्लभ टकराव घटनाओं के लाखों को बचा सकता है जो अन्यथा खो दी जातीं।

यह कार्य अपने वर्तमान दायरे के बारे में विनम्र है, यह नोट करते हुए कि मूल्यांकन सिम्युलेटेड डेटासेट्स तक सीमित है और वास्तविक CMS या ATLAS ट्रिगर डेटा पर प्रदर्शन को मान्य करने के लिए भविष्य के कार्य की आवश्यकता है, साथ ही FPGA पर तैनाती के लिए आर्किटेक्चर को विशेष रूप से अनुकूलित करने की भी आवश्यकता है। हालांकि, परिणाम बताते हैं कि भौतिक स्थानीयता (physical locality) को लो-रैंक अटेंशन मैकेनिज्म में एकीकृत करना कुशल, वास्तविक समय के पार्टिकल फिजिक्स विश्लेषण के लिए एक आशाजनक दिशा है।