⚛️ high-energy experiments

Dissecting Jet-Tagger Through Mechanistic Interpretability

यह शोध पत्र टॉप क्वार्क टैगिंग के लिए एक पार्टिकल ट्रांसफॉर्मर पर मैकेनिस्टिक इंटरप्रिटेबिलिटी तकनीकों को लागू करता है, जिससे यह प्रकट होता है कि एक स्पार्स सिक्स-हेड सर्किट, 2-प्रोंग सबस्ट्रक्चर की पहचान करने के लिए एक एनर्जी कोरिलेटर-आधारित प्रतिनिधित्व का उपयोग करके पूर्ण मॉडल के प्रदर्शन को प्रभावी रूप से दोहराता है, जिससे यह सिद्ध होता है कि ग्रेडिएंट डिसेंट बिना किसी पर्यवेक्षण के जेट भौतिकी में भौतिक रूप से सार्थक विशेषताओं को पुनः खोज सकता है।

मूल लेखक: Saurabh Rai, Sanmay Ganguly

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Saurabh Rai, Sanmay Ganguly

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: ब्लैक बॉक्स को खोलना

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जो कणों के बिखराव (जिसे "जेट" कहा जाता है) को देखकर तुरंत बता सकता है कि वह एक भारी टॉप क्वार्क (सिग्नल) से आया है या एक सामान्य QCD जेट (बैकग्राउंड नॉइज़) से। यह रोबोट अविश्वसनीय रूप से सटीक है, लेकिन अब तक कोई नहीं जानता था कि इसने वह निर्णय कैसे लिया। यह एक "ब्लैक बॉक्स" था।

यह शोध पत्र उस रोबोट को खोलकर यह देखने जैसा है कि कौन से गियर और तार काम कर रहे हैं। लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने रोबोट के दिमाग को रिवर्स-इंजीनियर करने के लिए मैकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic Interpretability) नामक एक विशेष टूलकिट का उपयोग किया। उन्होंने पाया कि रोबोट अपना निर्णय लेने के लिए अपने पूरे दिमाग का उपयोग नहीं कर रहा है; बल्कि यह वास्तव में छह विशिष्ट "न्यूरॉन्स" (जिन्हें अटेंशन हेड्स कहा जाता है) की एक छोटी, विशिष्ट टीम पर निर्भर है जो लगभग सारा भारी काम करती है।

पात्रों का परिचय: जेट और रोबोट

द जेट (The Jet): एक टॉप क्वार्क जेट को हवा में हुए विस्फोट (पटाखे) की तरह समझें। यह तीन मुख्य टुकड़ों (एक भारी "W" कण और एक "b" क्वार्क) में टूट जाता है। एक बैकग्राउंड जेट एक साधारण फुलझड़ी की तरह है। रोबोट का काम उस पटाखे के पैटर्न को पहचानना है।
द रोबोट (पार्टिकल ट्रांसफार्मर): यह एक प्रकार का AI है जो स्प्रे में मौजूद हर एक कण और उनके बीच के संबंधों को देखता है। इसमें "सोचने" के कई स्तर (अटेंशन हेड्स) होते हैं जो सूचना को एक लाइन में आगे बढ़ाते हैं।

खोज: "छह लोगों की ड्रीम टीम"

लेखकों ने पाया कि रोबोट के कुल 16 "सोचने वाले हेड्स" में से केवल छह ही टॉप क्वार्क डिटेक्शन के लिए जिम्मेदार हैं। यदि आप अन्य दस को बंद कर देते, तो भी रोबोट लगभग पूरी तरह से काम करता रहता (पहले जितना ही 97.3% प्रभावी)।

उन्होंने मानचित्रित किया कि ये छह हेड्स एक-दूसरे से कैसे बात करते हैं, जिससे एक "सर्किट" बनता है जो रिले रेस (रिले दौड़) जैसा दिखता है:

द स्काउट (प्राथमिक स्रोत): सबसे शुरुआत में एक हेड एक स्काउट की तरह कार्य करता है। यह सीधे बड़े विस्फोट को नहीं देखता। इसके बजाय, यह "बैकग्राउंड नॉइज़" (शांत, कोमल कणों) को देखता है ताकि माहौल सेट किया जा सके। यह एक सुरक्षा गार्ड की तरह है जो परिधि की जांच करता है ताकि बाकी टीम को पता चल सके कि "सामान्य" क्या दिखता है।
द रिलेज़ (मध्यम टीम): बीच के तीन हेड्स संदेशवाहकों के रूप में कार्य करते हैं। वे स्काउट के संदर्भ को लेते हैं और विशेष रूप से भारी, ऊर्जावान कणों के जोड़ों की तलाश करते हैं। एक टॉप क्वार्क जेट में, "W" कण दो भारी क्वार्क्स में टूट जाता है। ये रिले हेड्स उन दो भारी साथियों पर ज़ूम करने वाले जासूसों की तरह हैं, और बाकी शोर को अनदेखा कर देते हैं।
द रीडर (रीडआउट): अंत में एक हेड सभी रिपोर्टों को इकट्ठा करता है और कहता है, "ठीक है, मुझे पैटर्न दिख रहा है। यह एक टॉप क्वार्क है।"

उपमा (Analogy): कल्पना कीजिए कि एक अदालत है।

स्काउट वह मार्शल (bailiff) है जो कमरे से ध्यान भटकाने वाली चीजों को हटा देता है।
रिलेज़ वे वकील हैं जो विशेष रूप से दो भारी, धुआं छोड़ती बंदूकों (W-decay कणों) की ओर इशारा करते हैं।
रीडर वह जज है जो सबूत सुनने के बाद हथौड़ा मारकर फैसला सुनाता है।

"अहा!" मोमेंट: यह वह नहीं है जो आप सोचते हैं

लेखकों ने पाया कि रोबंड कैसे सोचता है, इसके बारे में दो आश्चर्यजनक बातें हैं:

1. द "बेसिस रोटेशन" (अनुवादक)
शुरुआत में, ऐसा लग रहा था कि रोबोट अपना निर्णय बिल्कुल अंत में एक साथ लेता है। लेकिन लेखकों ने महसूस किया कि रोबोट ने बहुत पहले ही (सोचने के पहले स्तर में ही) उत्तर निकाल लिया था। अंतिम चरण उत्तर "खोजना" नहीं था; यह केवल उत्तर को एक ऐसी भाषा में अनुवादित करना था जिसे अंतिम जज समझ सके।

उपमा: कल्पना कीजिए कि आप अपने दिमाग में एक गणित का सवाल हल करते हैं (शुरुआती परतें)। आप जानते हैं कि उत्तर "42" है। लेकिन आपका अंतिम उत्तर पत्र केवल रोमन अंकों को स्वीकार करता है। अंतिम चरण गणित करना नहीं है; यह बस "42" के बजाय "XLII" लिखना है। रोबोट बस अपने स्वयं के विचारों का अनुवाद कर रहा था।

2. द "चीट कोड" (2-प्रोंग बनाम 3-प्रोंग)
काम एक 3-भाग वाले विस्फोट (टॉप क्वार्क) को खोजना था। हालांकि, रोबोट ने एक शॉर्टकट खोज लिया। उसने महसूस किया कि विस्फोट का सबसे कठिन हिस्सा भारी "W" कण को खोजना है, जो कि एक 2-भाग वाला विस्फोट है।

उपमा: कल्पना कीजिए कि आप एक कार को उसके 4 पहियों से पहचानने की कोशिश कर रहे हैं। सभी 4 पहियों की जांच करने के बजाय, रोबोट ने महसूस किया कि यदि वह दो भारी पिछले पहिए ढूंढ लेता है, तो वह 99% सुनिश्चित हो सकता है कि यह वही कार है। उसने पूर्ण 3-भाग की जटिलता को अनदेखा कर दिया और आसान 2-भाग वाले पैटर्न (W-decay) पर ध्यान केंद्रित किया क्योंकि वह सबसे विश्वसनीय सुराग था। रोबोट ने एक जटिल समस्या को हल करने के लिए एक सरल रणनीति का आविष्कार किया।

टूलकिट: उन्होंने यह कैसे किया

इन रहस्यों को खोजने के लिए, लेखकों ने कुछ चतुर तरीकों का उपयोग किया:

ज़ीरो एब्लेशन (Zero Ablation): उन्होंने यह देखने के लिए विशिष्ट हेड्स को "बंद" कर दिया कि क्या रोबोट क्रैश हो जाता है। यदि यह काम करता रहता, तो वह हेड महत्वपूर्ण नहीं था।
पाथ पैचिंग (Path Patching): उन्होंने एक "साफ" जेट और एक "भ्रष्ट" जेट लिया, और मस्तिष्क की सोच के हिस्सों को उनके बीच अदला-बदली की यह देखने के लिए कि कौन से हिस्से महत्वपूर्ण जानकारी ले जाते हैं।
लीनियर प्रोबिंग (Linear Probing): उन्होंने रोबोट से पूछा, "आप भौतिक रूप से क्या देखते हैं?" और पाया कि वह विशिष्ट ऊर्जा पैटर्न (Energy Correlators) देख रहा था, न कि मानक टेक्स्टबुक माप (N-subjettiness)।

निष्कर्ष

यह शोध पत्र सिद्ध करता है कि हम हाई-एनर्जी फिजिक्स में उपयोग किए जाने वाले एक जटिल, "ब्लैक बॉक्स" AI को समझ सकते हैं और यह जान सकते हैं कि यह कैसे काम करता है। रोबोट ने केवल डेटा को याद नहीं किया; उसने एक तार्किक, चरण-दर-चरण भौतिक रणनीति सीखी:

बैकग्राउंड की जांच करें।
भारी 2-भाग वाले जोड़े (W-boson) को खोजें।
इस खोज को अंतिम निर्णय में अनुवादित करें।

यह साबित होता है कि भौतिकी को स्पष्ट रूप से सिखाए बिना भी, AI ने सबसे स्पष्ट भौतिक सुराग पर ध्यान केंद्रित करके टॉप क्वार्क्स को पहचानने का एक स्मार्ट और कुशल तरीका खुद खोज लिया।

तकनीकी सारांश: मेकेनिस्टिक इंटरप्रिटेबिलिटी के माध्यम से जेट-टैगर का विच्छेदन

समस्या विवरण
उच्च ऊर्जा भौतिकी (HEP) काफी हद तक "जेट टैगिंग" पर निर्भर करती है, जो कणों के कैस्केड (जेट्स) के प्राथमिक मूल की पहचान करने का कार्य है, जैसे कि बूस्टेड टॉप क्वार्क और बैकग्राउंड QCD जेट्स के बीच अंतर करना। पार्टिकल ट्रांसफॉर्मर (ParT) जैसे डीप लर्निंग आर्किटेक्चर ने हैंड-क्राफ्टेड ऑब्जर्वेबल्स (hand-crafted observables) को पीछे छोड़ते हुए स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया है, लेकिन उनकी आंतरिक निर्णय लेने की प्रक्रिया अपारदर्शी बनी हुई है। कोलाइडर भौतिकी में मौजूदा व्याख्यात्मक प्रयास मुख्य रूप से पोस्ट-हॉक एट्रिब्यूशन (जैसे, शापली वैल्यूज़, सैलिएंसी मैप्स) या 'इंटरप्रिटेबल-बाय-कंस्ट्रक्शन' आर्किटेक्चर पर केंद्रित रहे हैं। हालांकि, ये विधियाँ एक प्रशिक्षित ब्लैक-बॉक्स मॉडल के भीतर विशिष्ट कॉज़ल सर्किट्स (causal circuits) को रिवर्स-इंजीनियर नहीं करती हैं या नेटवर्क द्वारा लागू किए जाने वाले एल्गोरिद्मिक चरणों का लक्षण वर्णन नहीं करती हैं। यह शोध पत्र मेकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) के पूर्ण टूलकिट को—जिसे मूल रूप से प्राकृतिक भाषा मॉडलों के लिए विकसित किया गया था—एक जेट भौतिकी क्लासिफायर पर लागू करके इस अंतराल को संबोधित करता है।

कार्यप्रणाली
लेखकों ने टॉप क्वार्क टैगिंग संदर्भ डेटासेट (सिग्नल: $t \to Wb \to q\bar{q}b$ ; बैकग्राउंड: लाइट क्वार्क्स/ग्लूऑन्स) के एक उपसमुच्चय पर एक छोटे पैमाने का पार्टिकल ट्रांसफॉर्मर (4 पार्टिकल अटेंशन लेयर्स, 4 हेड्स प्रति लेयर, ~1.3M पैरामीटर्स) प्रशिक्षित किया। विश्लेषण हस्तक्षेप (intervention) और प्रोबिंग तकनीकों के एक समूह का उपयोग करता है:

जीरो एब्लेशन (Zero Ablation): संरचनात्मक महत्व को मापने के लिए अटेंशन हेड स्केलिंग वेट्स को व्यवस्थित रूप से शून्य पर सेट करना।
पाथ पैचिंग (Path Patching): एक कॉज़ल इंटरवेंशन विधि जहाँ एक "क्लीन" इनपुट के विशिष्ट हेड के एक्टिवेशन को एक "करप्टेड" इनपुट में प्रत्यारोपित किया जाता है (इन-बैच पार्टिकल रिप्लेसमेंट या जेट परम्यूटेशन का उपयोग करके)। यह डायरेक्ट इफेक्ट्स और हेड्स के बीच सूचना प्रवाह (इन्फॉर्मेशन फ्लो) के पाथ इफेक्ट्स को अलग करता है।
लॉगिट लेंस और प्रति-लेयर प्रोब्स (Logit Lens & Per-Layer Probes): लॉगिट लेंस अंतिम प्रशिक्षित हेड के माध्यम से मध्यवर्ती रिप्रेजेंटेशन को प्रोजेक्ट करता है ताकि क्लास इंफॉर्मेशन का अनुमान लगाया जा सके। बेसिस मिसअलाइनमेंट को हल करने के लिए, लेखकों ने प्रत्येक लेयर के रिप्रेजेंटेशन पर अलग-अलग लॉजिस्टिक रिग्रेशन प्रोब्स प्रशिक्षित किए।
लीनियर प्रोबिंग (Linear Probing): शास्त्रीय जेट सबस्ट्रक्चर ऑब्जर्वेबल्स (जैसे, $N$ -subjettiness, एनर्जी कोरिलेटर्स) की भविष्यवाणी करने के लिए रेसिडुअल स्ट्रीम पर लीनियर मॉडल (रिज/लॉजिस्टिक रिग्रेशन) प्रशिक्षित करना।
फीचर एब्लेशन (Feature Ablation): MLP के विशिष्ट पेयरवाइज इनपुट फीचर्स को ज़ीरो करना ताकि कॉज़ल डिपेंडेंसीज़ निर्धारित की जा सकें।

प्रमुख योगदान और परिणाम

एक स्पार्स सिक्स-हेड सर्किट की पहचान:
लेखकों ने एक न्यूनतम छह-हेड सर्किट की पहचान की जो पूरे मॉडल के AUC का 97.3% रिकवर करता है। यह सर्किट रैंडमली चुने गए छह-हेड सबसेट्स (रैंडम बेसलाइन का 96वां पर्सेंटाइल) से काफी बेहतर प्रदर्शन करता है। यह सर्किट एक स्पष्ट सोर्स-रिले-रीडआउट (source-relay-readout) संरचना प्रदर्शित करता है:
- प्राइमरी सोर्स ( $L0H1$ ): पहली लेयर में एक एकल हेड जो प्राथमिक कॉज़ल ड्राइवर के रूप में कार्य करता है। यह सॉफ्ट और कोलीनियर एमिशन ( $\ln k_T, \ln \Delta, \ln m^2$ के साथ नकारात्मक सहसंबंध) पर ध्यान देता है और एक क्लास-एग्नोस्टिक कॉन्टेक्स्टुअलाइजेशन प्रदान करता है।
- सेकेंडरी सोर्स ( $L0H2$ ): पहली लेयर में एक समानांतर हेड जो हार्ड, हाई-इनवैरिएंट-मास पेयर्स पर ध्यान देता है।
- रिले हेड्स ( $L1H0, L1H1, L1H3$ ): दूसरी लेयर में हेड्स का एक क्लस्टर जो उच्च-इनवैरिएंट-मास, उच्च- $k_T$ पार्टिकल पेयर्स (जो हैड्रोनिक $W$ -बोसॉन डिके की विशेषता है) पर चुनिंदा रूप से ध्यान देता है। ये हेड्स अपस्ट्रीम सोर्स हेड्स पर कंडिशनली डिपेंडेंट हैं।
- रीडआउट हेड ( $L3H3$ ): अंतिम पार्टिकल लेयर में एक एकल हेड जो रिले किए गए सिग्नल्स को एग्रीगेट करता है।
कॉज़ल स्ट्रक्चर और रोबस्टनेस:
पाथ पैचिंग से पता चला कि प्राइमरी सोर्स हेड ( $L0H1$ ) अकेले मॉडल के प्रदर्शन का 88.6% रिकवर करता है। डायरेक्ट इफेक्ट्स के साइन पैटर्न दो ऑन-मैनिफोल्ड करप्शन रणनीतियों (पार्टिकल रिप्लेसमेंट और जेट परम्यूटेशन) में रोबस्ट थे। लेखकों ने नोट किया कि ऑफ-मैनिफोल्ड (गौसियन) करप्शन रणनीतियाँ इस किनेमैटिकली नैरो डेटासेट पर स्टैंडर्ड रिकवरी-स्कोर फॉर्मुलेशन के साथ संरचनात्मक रूप से असंगत हैं, क्योंकि वे मॉडल को एक फिक्स्ड, स्ट्रॉन्गली नेगेटिव लोगिट रिजीम में धकेल देती हैं।
"कमिटमेंट" पॉइंट का समाधान:
मानक लॉगिट लेंस विश्लेषण ने सुझाव दिया कि मॉडल वर्गीकरण निर्णय के लिए केवल पहले क्लास अटेंशन ब्लॉक ($Cls0$) पर कमिट करता है, जो AUC में 0.111 से 0.973 तक एक नाटकीय उछाल दिखाता है। हालांकि, प्रति-लेयर प्रशिक्षित प्रोब्स ने खुलासा किया कि लीनियरली एक्सेसिबल क्लास इंफॉर्मेशन पहले पार्टिकल अटेंशन लेयर ( $L1$ ) तक ही AUC $\approx$ 0.97 पर संतृप्त (saturate) हो जाती है। लेखक निष्कर्ष निकालते हैं कि क्लास अटेंशन ब्लॉक एक बेसिस रोटेशन (basis rotation) करता है, जो लेटेंट सिग्नल को पार्टिकल अटेंशन बेसिस से क्लासिफिकेशन हेड के बेसिस में पुनोरिएंट करता है, न कि नई जानकारी की गणना करता है।
रिप्रेजेंटेशन की भौतिक सामग्री:
रेसिडुअल स्ट्रीम के खिलाफ लीनियर प्रोबिंग ने शास्त्रीय ऑब्जर्वेबल्स के विरुद्ध दो महत्वपूर्ण निष्कर्ष दिए:
1. एनर्जी कोरिलेटर प्राथमिकता: मॉडल, जेट मास के विरुद्ध रेसिडुअलाइज करने के बाद भी, $N$ -subjettiness बेसिस के बजाय एनर्जी कोरिलेटर बेसिस को प्राथमिकता से एनकोड करता है।
2. इम्प्लिसिट फैक्टराइजेशन: 3-प्रोंग टॉप-टैगिंग कार्य के लिए प्रशिक्षित होने के बावजूद, मॉडल औपचारिक रूप से सही 3-प्रोंग ऑब्जर्वेबल्स ( $N^{(\beta=1)}_3$ ) की तुलना में 2-प्रोंग ऑब्जर्वेबल्स (विशेष रूप से $D^{(\beta=1)}_2$ , जो हैड्रोनिक $W$ -बोसॉन डिके को लक्षित करता है) को अधिक मजबूती से एनकोड करता है। मॉडल स्पष्ट रूप से 3-प्रोंग समस्या को भारी $W$ -बोसॉन सबस्ट्रक्चर की पहचान करने वाली अधिक सुलभ उप-समस्या में फैक्टराइज करता है।

महत्व और दावे
यह पेपर दावा करता है कि प्राकृतिक भाषा मॉडलों के लिए विकसित मेकेनिस्टिक इंटरप्रिटेबिलिटी विधियों को जेट भौतिकी क्लासिफायर्स पर सफलतापूर्वक स्थानांतरित किया जा सकता है। अध्ययन प्रदर्शित करता है कि ग्रेडिएंट डिसेंट, बिना किसी स्पष्ट पर्यवेक्षण या आर्किटेक्चरल बाधा के, भौतिक रूप से सार्थक संरचनाओं को पुनः खोज सकता है:

नेटवर्क स्पष्ट रूप से हैड्रोनिक $W$ -बोसॉन डिके (एक 2-प्रोंग सबस्ट्रक्चर) के इर्द-गिर्द अपने कंप्यूटेशन को व्यवस्थित करता है, न कि पूर्ण 3-प्रोंग टोपोलॉजी के।
पहचाना गया सोर्स-रिले-रीडआउट सर्किट एक जेनेरिक एल्गोरिद्मिक पैटर्न प्रतीत होता है, जो केवल भाषा मॉडल प्रशिक्षण का आर्टिफैक्ट नहीं है।
यह कार्य एक जटिल डीप लर्निंग मॉडल का "क्लीन सोर्स-रिले-रीडआउट इंटरप्रिटेशन" प्रदान करता है, जो एट्रिब्यूशन से आगे बढ़कर इस बात की कॉज़ल समझ की ओर बढ़ता है कि मॉडल अपना निर्णय कैसे कंप्यूट करता है।

लेखक अपनी सामान्यीकरण क्षमता (generalizability) के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि विशिष्ट छह-हेड सर्किट एक छोटे मॉडल में पहचाना गया था और बड़े मॉडलों में समृद्ध संरचनाएं हो सकती हैं। वे सूचना की लीनियर एक्सेसिबिलिटी (गैर-रैखिक एनकोडिंग्स कम रिपोर्ट की जा सकती हैं) और विस्तृत कॉज़ल विश्लेषण के लिए एकल ट्रेनिंग सीड पर निर्भरता के संबंध में सीमाओं को भी रेखांकित करते हैं।