Leveraging Industrial Foundation Models at the Edge of Particle Physics Detectors via Distillation Learning and Hardware Co-design

ब्रह्मांड के मौलिक निर्माण खंडों को समझने की खोज में, वैज्ञानिक अत्यधिक जटिल मशीनें बनाते हैं। ये कण डिटेक्टर (particle detectors) विशाल, अत्यंत संवेदनशील कैमरों की तरह कार्य करते हैं, जो उप-परमाणु कणों के क्षणिक निशानों को पकड़ते हैं जब वे प्रकाश की गति के लगभग बराबर वेग से अंतरिक्ष में उड़ते हैं। चुनौती केवल इन कणों को देखना नहीं है, बल्कि उन्हें रिकॉर्ड करना भी है। आधुनिक प्रयोग डेटा का इतना विशाल प्रवाह उत्पन्न करते हैं कि सब कुछ सहेजना असंभव है। मशीनों को पलक झपकते ही निर्णय लेने होते हैं, साधारण घटनाओं को फ़िल्टर करने और केवल दुर्लभ, दिलचस्प घटनाओं को रखने के लिए, इससे पहले कि जानकारी हमेशा के लिए खो जाए। यह फ़िल्टरिंग वास्तविक समय में, डिटेक्टर के भीतर ही सख्त भौतिक और शक्ति संबंधी सीमाओं के भीतर होती है, जिसे अक्सर प्रयोग का "एज" (edge) कहा जाता है। इसे संभालने के लिए, शोधकर्ता कृत्रिम बुद्धिमत्ता (AI) की ओर रुख कर रहे हैं, इस उम्मीद में कि वे मशीनों को डेटा स्ट्रीम में पैटर्न पहचानने के लिए पहले से कहीं अधिक तेज़ी और सटीकता से प्रशिक्षित कर सकें।

गिया एंकोन और स्टैनफोर्ड यूनिवर्सिटी तथा स्लैक (SLAC) नेशनल एक्सेलेरेटर लेबोरेटरी के सहयोगियों द्वारा किया गया एक नया अध्ययन इस बुद्धिमत्ता को 'एज' तक लाने के एक अभिनव तरीके की खोज करता है। प्रत्येक विशिष्ट कार्य के लिए एक छोटा, सरल कंप्यूटर प्रोग्राम शुरू से बनाने के बजाय, टीम ने एक विशाल, पूर्व-प्रशिक्षित "फाउंडेशन मॉडल" (foundation model) से शुरुआत की। इसे एक सामान्य-उद्देश्य वाले AI के रूप में समझें जिसने पहले से ही उदाहरणों के एक विशाल पुस्तकालय से समय-आधारित डेटा के लय और आकृतियों को समझना सीख लिया है। शोधकर्ताओं ने इस शक्तिशाली, सामान्य मॉडल को लिया और इसे कण डिटेक्टरों से संकेतों को पढ़ने के विशिष्ट कार्य के लिए सावधानीपूर्वक अनुकूलित किया। इसके बाद उन्होंने इस बड़े मॉडल को छोटा किया, अनावश्यक जटिलता को हटा दिया, ताकि एक बहुत छोटा संस्करण बनाया जा सके जो डिटेक्टर के भीतर विशेष, कम-शक्ति वाले चिप्स पर चल सके। "डिस्टिलेशन" (distillation) नामक इस प्रक्रिया ने उन्हें विशाल मॉडल के गहरे ज्ञान को एक हल्के पैकेज में स्थानांतरित करने की अनुमति दी, जो भविष्य के कण त्वरक (particle collider) के कठोर, स्थान-सीमित वातावरण के लिए उपयुक्त है।

टीम ने इस दृष्टिकोण का परीक्षण दो अलग-अलग प्रकार के कण डिटेक्टरों पर किया। पहला एक 'ड्रिफ्ट चैंबर' (drift chamber) था, जो विद्युत संकेतों के सूक्ष्म समूहों को गिनकर आवेशित कणों के पथ को ट्रैक करता है। दूसरा एक 'डुअल-रीडआउट कैलोरीमीटर' (dual-readout calorimeter) था, जो कणों द्वारा उत्पन्न प्रकाश के विशिष्ट मिश्रण का विश्लेषण करके उनकी ऊर्जा को मापता है। दोनों मामलों में, लक्ष्य कच्चे डेटा के तरंगरूपों (waveforms) से सटीक भौतिक जानकारी निकालना था। शोधकर्ताओं ने पहले बड़े फाउंडेशन मॉडल को एक "शिक्षक" के रूप में फाइन-ट्यून किया, जिससे उसने इन विशिष्ट भौतिक समस्याओं को हल करना सीखा। फिर उन्होंने बहुत छोटे, सरल मॉडल, या "छात्र" (students) को प्रशिक्षित किया, ताकि वे शिक्षक के व्यवहार की नकल कर सकें। महत्वपूर्ण रूप से, इन छात्र मॉडलों को मूल रूप से 'फील्ड-प्रोग्रामेबल गेट एरेज़' (FPGA) के साथ संगत होने के लिए डिज़ाइन किया गया था, जो एक प्रकार का पुनर्गठनीय हार्डवेयर चिप है जिसका उपयोग उच्च-गति वाले इलेक्ट्रॉनिक्स में आम तौर पर किया जाता है। टीम ने अनावश्यक कनेक्शनों को हटाकर और उपयोग किए जाने वाले नंबरों को सरल बनाकर इन मॉडलों को और अधिक संकुचित किया, जिससे यह सुनिश्चित हुआ कि वे डिटेक्टर के फ्रंट-एंड इलेक्ट्रॉनिक्स की सख्त मेमोरी और गति सीमाओं के भीतर फिट हो सकें।

इन सिमुलेशन के परिणाम आश्चर्यजनक थे। जब पूर्ण मात्रा में प्रशिक्षण डेटा दिया गया, तो बड़े, फाइन-ट्यून किए गए फाउंडेशन मॉडल ने पिछले सभी तरीकों को पीछे छोड़ दिया, जिससे यह सिद्ध हुआ कि पूर्व-प्रशिक्षित AI से शुरुआत करना सटीकता में महत्वपूर्ण वृद्धि प्रदान करता है। अधिक महत्वपूर्ण बात यह है कि छोटे, संकुचित छात्र मॉडल, विशेष रूप से इन कार्यों के लिए डिज़ाइन किए गए सर्वश्रेष्ठ मौजूदा समाधानों के समान या उनसे बेहतर प्रदर्शन करते हैं। शायद सबसे महत्वपूर्ण बात यह है कि डिस्टिल्ड छात्र मॉडल बहुत तेज़ी से सीखे। जब शोधकर्ताओं ने छात्र मॉडलों को उपलब्ध डेटा का केवल एक अंश दिया, तब भी उन्होंने उच्च प्रदर्शन प्राप्त किया, जबकि शून्य से प्रशिक्षित मॉडलों को समान स्तर की सटीकता तक पहुँचने के लिए पूर्ण डेटासेट की आवश्यकता थी। वास्तव में, केवल दस प्रतिशत डेटा पर प्रशिक्षित एक छात्र मॉडल ने सौ प्रतिशत डेटा पर प्रशिक्षित मॉडल के प्रदर्शन के बराबर प्रदर्शन किया। यह सुझाव देता है कि भविष्य के प्रयोगों के लिए, जहाँ प्रारंभिक डिज़ाइन चरण के दौरान लेबल किए गए डेटा की विशाल मात्रा उपलब्ध नहीं हो सकती है, यह विधि विश्वसनीय डेटा फिल्टर विकसित करने के लिए आवश्यक समय और संसाधनों को काफी कम कर सकती है।

अंतिम चरण में सॉफ्टवेयर मॉडलों को हार्डवेयर निर्देशों में अनुवादित करना शामिल था। टीम ने संकुचित छात्र मॉडलों को FPGA चिप्स के डिजाइनों में सफलतापूर्वक संश्लेषित किया। ये डिज़ाइन अविश्वसनीय रूप से कुशल थे, जिनमें किसी विशेष डिजिटल सिग्नल प्रोसेसर की आवश्यकता नहीं थी और वे केवल 25 नैनोसेकंड की विलंबता (latency) के साथ संचालित होते थे। यह गति भविष्य के कण त्वरकों में अपेक्षित तीव्र टकरावों के साथ तालमेल बिठाने के लिए पर्याप्त तेज़ है, जहाँ कण हर कुछ दस नैनोसेकंड में एक-दूसरे के मार्ग को काटते हैं। यह अध्ययन पुष्टि करता है कि यह संभव है कि औद्योगिक-स्तर के AI की अपार शक्ति को एक ऐसे रूप में संकुचित किया जाए जो डिटेक्टर चिप पर फिट होने के लिए पर्याप्त छोटा हो, और वह वास्तविक समय में जटिल भौतिक कार्यों को निष्पादित कर सके। हालाँकि ये परिणाम वर्तमान में कंप्यूटर सिमुलेशन पर आधारित हैं, फिर भी वे एक स्पष्ट मार्ग दिखाते हैं। पूर्व-प्रशिक्ित मॉडलों और स्मार्ट हार्डवेयर डिज़ाइन का लाभ उठाकर, वैज्ञानिक जल्द ही अपने डिटेक्टरों को ऐसी बुद्धिमान प्रणालियों से लैस कर सकते हैं जो अभूतपूर्व गति और सटीकता के साथ उप-परमाणु दुनिया के अराजक माहौल में से डेटा को छान सकें।