HEPTABench: A framework for portable and controlled agentic evaluations in high energy physics

आधुनिक भौतिकी के विशाल, शांत गलियारों में, वैज्ञानिक अब केवल नए कणों की ही तलाश नहीं कर रहे हैं; वे उन्हें खोजने के नए तरीकों की भी तलाश कर रहे हैं। दशकों से, उच्च-ऊर्जा भौतिकी का क्षेत्र अमूर्त सिद्धांतों को ठोस गणनाओं में अनुवाद करने के लिए मानव शोधकर्ताओं पर निर्भर रहा है, जो यह सिम्युलेट करने के लिए जटिल कंप्यूटर कोड लिखते हैं कि कण विशाल डिटेक्टरों में कैसे व्यवहार कर सकते हैं या टकराव के परिणामों की भविष्यवाणी कैसे की जा सकती है। आज, प्रयोगशाला में एक नए प्रकार का कार्यकर्ता प्रवेश कर चुका है: आर्टिफिशियल इंटेलिजेंस (AI) एजेंट। ये केवल निर्देशों की एक कठोर सूची का पालन करने वाले साधारण प्रोग्राम नहीं हैं, बल्कि योजना बनाने, अपना स्वयं का कोड लिखने, सिमुलेशन चलाने और चीजें गलत होने पर अपनी गलतियों को सुधारने में सक्षम परिष्कृत प्रणालियाँ हैं। वे खोज की गति को तेज करने का वादा करते हैं, लेकिन वे एक नया प्रश्न भी खड़ा करते हैं: क्या हम उन्हें विज्ञान के नाजुक और सटीक कार्य को करने के लिए भरोसा कर सकते हैं? इसका उत्तर देने के लिए, शोधकर्ताओं को सरल परीक्षणों से आगे बढ़कर एक नियंत्रित वातावरण बनाना होगा जहाँ वे देख सकें कि ये डिजिटल सहायक वास्तव में कैसे प्रदर्शन करते हैं, उन्हें किन उपकरणों की आवश्यकता है, और वे कहाँ विफल हो सकते हैं।

भौतिकविदों और कंप्यूटर वैज्ञानिकों की एक टीम ने ऐसा वातावरण बनाया है, एक ढांचा जिसे वे HEPTABench कहते हैं, जिसे इन AI एजेंटों को उच्च-ऊर्जा भौतिकी की विशिष्ट दुनिया में परखने के लिए डिज़ाइन किया गया है। उनका लक्ष्य केवल यह देखना नहीं था कि क्या एक AI किसी समस्या को हल कर सकता है, बल्कि यह समझना था कि उसके द्वारा उपयोग किए जाने वाले उपकरण परिणाम को कैसे बदलते हैं। उन्होंने प्रयोगों की एक श्रृंखला स्थापित की जहाँ एक ही वैज्ञानिक कार्य अलग-अलग AI प्रणालियों को दिया गया था, लेकिन इसमें एक महत्वपूर्ण चर (variable) बदला गया था: कुछ परीक्षणों में, AI को शून्य से अपने स्वयं के गणितीय उपकरण बनाने थे, जबकि अन्य में, उसे विशेष उपकरणों का एक पूर्व-निर्मित, सत्यापित टूलकिट दिया गया था। परिणाम स्पष्ट और सुसंगत थे। जब AI एजेंटों को इन विशिष्ट, डोमेन-विशिष्ट उपकरणों का उपयोग करने की अनुमति दी गई, तो उनका कार्य काफी अधिक सटीक और बहुत अधिक विश्वसनीय हो गया। उनके द्वारा उत्पन्न परिणाम ज्ञात सत्य के अधिक करीब थे, और उनके द्वारा दिए गए उत्तर एक प्रयास से दूसरे प्रयास में बहुत अधिक सुसंगत थे।

शोधकर्ताओं ने इस विचार का परीक्षण दो बहुत ही अलग प्रकार की भौतिकी समस्याओं के साथ किया। पहला एक जटिल गणना थी जिसमें एक काल्पनिक कण शामिल था जो क्षय (decay) होने से पहले लंबे समय तक जीवित रहता है। इस प्रकार की गणना क्षेत्र का एक मुख्य हिस्सा है, जिसमें चरणों की एक श्रृंखला की आवश्यकता होती है जिसमें यह भविष्यवाणी करना शामिल है कि कण कैसे बनता है, वह डिटेक्टर के माध्यम से कैसे यात्रा करता है, और उसे देखे जाने की कितनी संभावना है। टीम ने चार अलग-अलग उन्नत AI प्रणालियों को यह गणना करने के लिए कहा। पहले दौर में, प्रणालियों को केवल भौतिकी के बुनियादी नियमों और प्रयोगात्मक सेटअप को दिया गया था, जिससे उन्हें कण की यात्रा को सिम्युलेट करने के लिए आवश्यक प्रत्येक कोड को स्वयं लिखना पड़ा। दूसरे दौर में, उन्हीं प्रणालियों को वही कार्य दिया गया लेकिन उनके साथ विशेष उपकरणों का एक सेट भी प्रदान किया गया जो गणना के विशिष्ट हिस्सों को संभाल सकते थे, जैसे कि कण धाराओं (particle streams) को उत्पन्न करना या क्षय की संभावनाओं की गणना करना। अंतर चौंकाने वाला था। हर एक प्रणाली ने, उसकी अंतर्निहित संरचना के बावजूद, बेहतर परिणाम दिए जब उसके पास विशेष उपकरणों तक पहुंच थी। उनके द्वारा गणना की गई संख्याएँ सही मानों के अधिक करीब थीं, और एक ही प्रणाली द्वारा विभिन्न प्रयासों के बीच का अंतर नाटकीय रूप से कम हो गया। AI एजेंटों ने बहुत कम कोड भी लिखा, क्योंकि उन्होंने हर बार पहिये का पुनरुद्धार करने के बजाय भारी काम के लिए भरोसेमंद उपकरणों पर भरोसा किया।

दूसरा प्रयोग एक अलग प्रकार की चुनौती पर केंद्रित था: प्रतीकात्मक गणित (symbolic mathematics)। यहाँ, कार्य कणों के क्षय के सूत्रों को व्युत्पन्न करना था, एक ऐसी प्रक्रिया जिसमें केवल संख्याओं को संसाधित करने के बजाय जटिल बीजगणितीय अभिव्यक्तियों (algebraic expressions) के हेरफेर की आवश्यकता होती है। शोधकर्ताओं ने आठ अलग-अलग क्षय परिदृश्यों पर एक विशिष्ट AI मॉडल का परीक्षण किया। विशेष उपकरणों के बिना, मॉडल अत्यधिक संघर्ष करता था, और उसके प्रयासों का केवल एक बहुत छोटा हिस्सा ही सफल होता था। यह अक्सर अधूरे उत्तर या ऐसे सूत्र देता था जो भौतिकी से मेल नहीं खाते थे। हालाँकि, जब उसी मॉडल को प्रतीकात्मक भौतिकी गणनाओं के लिए विशेष रूप से डिज़ाइन किए गए टूलकिट तक पहुंच दी गई, तो इसके प्रदर्शन में जबरदस्त उछाल आया। सफल प्रयासों का अंश मात्र आठ प्रतिशत से बढ़कर लगभग अस्सी प्रतिशत हो गया। इसने दिखाया कि सही उपकरण प्रदान करने से एक ऐसी प्रणाली बदल सकती है जो मुश्किल से कार्यात्मक थी, एक अत्यधिक प्रभावी प्रणाली में। दिलचस्प बात यह है कि एक अलग, अधिक शक्तिशाली AI मॉडल अपने अंतर्निहित क्षमताओं का उपयोग करके इन समस्याओं को पूरी तरह से हल करने में सक्षम था, जो यह सुझाव देता है कि जबकि उपकरण कुछ प्रणालियों के लिए आवश्यक हैं, सबसे उन्नत मॉडल अंततः इन कार्यों को अपने दम पर संभालने में सक्षम हो सकते हैं।

यह अध्ययन केवल यह दिखाने के अलावा कि उपकरण मदद करते हैं; यह इसे सिद्ध करने की एक विधि स्थापित करता है। प्रत्येक अन्य कारक को स्थिर रखकर—कार्य, AI मॉडल और कंप्यूटर वातावरण—शोधकर्ता स्वयं उपकरणों के प्रभाव को अलग कर सके। उन्होंने पाया कि सुधार केवल एक बार सही उत्तर प्राप्त करने का मामला नहीं था; यह निरंतरता के बारे में था। AI एजेंट अधिक विश्वसनीय हो गए, ऐसे परिणाम देने लगे जो हर बार प्रयोग चलाने पर सत्य के करीब रहते थे। यह विश्वसनीयता विज्ञान के लिए महत्वपूर्ण है, जहाँ एक भाग्यशाली अनुमान पर्याप्त नहीं है; शोधकर्ताओं को यह जानने की आवश्यकता है कि एक परिणाम जांच के अधीन भी बना रहेगा। उनके द्वारा बनाया गया ढांचा इस प्रकार के विस्तृत निरीक्षण की अनुमति देता है, जो AI द्वारा लिए गए प्रत्येक कदम, उसके द्वारा बनाई गई प्रत्येक फ़ाइल और उसके द्वारा लिए गए प्रत्येक निर्णय को रिकॉर्ड करता है। यह पारदर्शिता का अर्थ है कि यदि किसी परिणाम पर सवाल उठाया जाता है, तो वैज्ञानिक उस सटीक पथ को देख सकते हैं जो AI ने वहां तक पहुँचने के लिए अपनाया था, न कि केवल एक अंतिम संख्या को स्वीकार कर सकते हैं।

इस कार्य के निहितार्थ उन विशिष्ट कणों या गणनाओं से परे हैं जिनका परीक्षण किया गया है। यह इस बारे में सोचने का एक नया तरीका सुझाता है कि कृत्रिम बुद्धिमत्ता का उपयोग विज्ञान में कैसे किया जाएगा। एक एकल, सर्वज्ञ AI से सब कुछ करने की अपेक्षा करने के बजाय, भविष्य इन बुद्धिमान प्रणालियों को विशिष्ट, मानव-सत्यापित टूलकिट के साथ जोड़ने में निहित हो सकता है। जिस प्रकार एक मानव भौतिक विज्ञानी अपना कार्य करने के लिए स्थापित सूत्रों और सॉफ्टवेयर पैकेज के पुस्तकालय पर निर्भर करता है, एक AI एजेंट को भी उन्हीं संसाधनों तक पहुंच देकर अधिक सक्षम और विश्वसनीय बनाया जा सकता है। शोधकर्ताओं ने प्रदर्शित किया कि यह दृष्टिकोण विभिन्न प्रकार के AI और भौतिकी की विभिन्न समस्याओं, जैसे कि कण टकरावों का अनुकरण करने से लेकर गणितीय सूत्र व्युत्पन्न करने तक, में काम करता है। यह एक ऐसा मार्ग प्रदान करता है जहाँ AI की गति और अनुकूलन क्षमता को मानव-अभियंत्रित उपकरणों की सटीकता और विश्वसनीयता के साथ जोड़ा जा सकता है।

अंततः, इस शोध पत्र में प्रस्तुत कार्य विश्वास बनाने के बारे में है। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस विज्ञान की प्रक्रिया में एकीकृत हो रहा है, समुदाय को इसकी क्षमताओं और सीमाओं को उसी कठोरता के साथ मापने के तरीके की आवश्यकता है जिसका उपयोग किसी अन्य वैज्ञानिक उपकरण के लिए किया जाता है। HEPTABेंच वह मापन दंड (measuring stick) प्रदान करता है। यह दिखाता है कि सही सेटअप के साथ, AI एजेंटों को उच्च-गुणवत्ता वाले, पुनरुत्पादक वैज्ञानिक कार्य करने के लिए निर्देशित किया जा सकता है। निष्कर्ष बताते हैं कि भविष्य में इन प्रणालियों को तैनात करने का सबसे प्रभावी तरीका उन्हें स्वतंत्र रूप से घूमने देना नहीं है, बल्कि उन्हें सफल होने के लिए विशिष्ट, सत्यापित उपकरणों से लैस करना है। यह दृष्टिकोण सुनिश्चित करता है कि उनके द्वारा उत्पन्न परिणाम केवल चतुर अनुमान नहीं हैं, बल्कि ब्रह्मांड की हमारी समझ में विश्वसनीय योगदान हैं।